WO2023058221A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2023058221A1
WO2023058221A1 PCT/JP2021/037332 JP2021037332W WO2023058221A1 WO 2023058221 A1 WO2023058221 A1 WO 2023058221A1 JP 2021037332 W JP2021037332 W JP 2021037332W WO 2023058221 A1 WO2023058221 A1 WO 2023058221A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
image
posture
imaging device
image processing
Prior art date
Application number
PCT/JP2021/037332
Other languages
English (en)
French (fr)
Inventor
雅己 岡本
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP2023552653A priority Critical patent/JPWO2023058221A1/ja
Priority to PCT/JP2021/037332 priority patent/WO2023058221A1/ja
Priority to CN202180103139.7A priority patent/CN118076972A/zh
Publication of WO2023058221A1 publication Critical patent/WO2023058221A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to an image processing device and an image processing method for recognizing human behavior.
  • a pair of three-dimensional image data and two-dimensional image data captured by a camera is acquired from the photographer side, the position and orientation of the camera are estimated based on the three-dimensional image data, and the estimated position and orientation of the camera are combined with the previously obtained position and orientation.
  • extracting a skeletal posture parameter representing the skeletal posture of the photographer based on the body shape parameter representing the body shape of the photographer and the three-dimensional image data extracting the posture feature of the photographer based on the skeletal posture parameter; Extracting image feature values based on two-dimensional image data, and recognizing the behavior of the photographer based on the posture feature value, the image feature value, and pre-learned classifier parameters for identifying the behavior of the photographer.
  • Patent Document 1 A method for doing so is known (Patent Document 1).
  • the problem to be solved by the present invention is to provide an image processing device and an image processing method that can correctly recognize the posture of a person even when the mounting position of the camera is shifted.
  • the present invention acquires an image including the person from an imaging device attached to at least one of a person and an article worn by the person, detects the posture of the person from the image, and detects the position of the person from the image.
  • the above problem is solved by calculating the positional deviation of the imaging device using a reference position as a reference for calculating the deviation, and correcting the posture using the positional deviation.
  • the human posture can be correctly recognized.
  • FIG. 1 is a block diagram showing one embodiment of an image processing system including an image processing apparatus according to the present invention
  • FIG. FIG. 2 is a plan view showing the wearable terminal including the imaging device of FIG. 1 and the operator's left forearm and left hand
  • FIG. 2 is a perspective view showing the head of a human (operator) and a helmet to which a camera, which is the imaging device of FIG. 1, is attached
  • FIG. 2 is a plan view showing the camera, which is the imaging device of FIG. 1, and the operator's right arm
  • 2B is a diagram showing an example of an image of an operator captured by the wearable terminal of FIG. 2A
  • FIG. 2C is a diagram showing an example of an image of an operator captured by the camera of FIG. 2B
  • FIG. 2C is a diagram showing an example of an image of an operator captured by the camera of FIG. 2C;
  • 3B is a diagram showing an example of a method for detecting the posture of the operator shown in FIG. 3A;
  • FIG. 3C is a diagram showing an example of a method for detecting the posture of the operator shown in FIG. 3B;
  • FIG. 3D is a diagram showing an example of a method for detecting the posture of the operator shown in FIG. 3C;
  • FIG. 2B is a diagram showing another example of an image of an operator captured by the wearable terminal of FIG. 2A;
  • FIG. FIG. 2D is a diagram showing another example of an image of an operator captured by the camera of FIG. 2C;
  • FIG. 2C is a diagram showing another example of an image of an operator captured by the camera of FIG. 2B (No. 1);
  • FIG. 2C is a diagram showing another example of the image of the operator captured by the camera of FIG. 2B (No. 2);
  • 2 is a flowchart showing an example of an information processing procedure in the image processing system of FIG. 1;
  • FIG. 1 is a block diagram showing an image processing system 1 according to the invention.
  • the image processing system 1 is a device that detects actions of an operator (corresponding to a human according to the present invention) who performs a predetermined operation. Predetermined operations are not particularly limited. , also referred to as a "dealer.”
  • An operator whose behavior is detected by the image processing system 1 (hereinafter also simply referred to as an "operator”) is not particularly limited, and examples thereof include vehicle crew, factory workers, dealer mechanics, and the like.
  • the actions detected by the image processing system 1 are, for example, the action of a vehicle occupant reaching for a switch on an on-board device such as an air conditioner, and the action of an assembly factory worker pulling a torque wrench out of a tool box. and the action of touching the switch that raises and lowers the lift that lifts the vehicle by the dealer's mechanic.
  • the image processing system 1 of the present embodiment detects the above-described behavior, thereby determining whether or not the function associated with the operation of the on-vehicle device has been properly manifested. It is possible to confirm whether or not the assembly work was performed according to a predetermined procedure, and whether or not the mechanics engaged in vehicle maintenance at the vehicle dealer performed maintenance according to the manual.
  • the image processing system 1 includes an imaging device 11, a display device 12, and an image processing device 13.
  • Devices that make up the image processing system 1 are connected to each other by known means such as a wired or wireless LAN so that they can exchange data with each other.
  • the numbers of the imaging device 11 and the number of the display devices 12 are not particularly limited as long as they are at least one or more.
  • the imaging device 11 and the display device 12 do not have to be installed together with the image processing device 13 and may be installed at a location away from the image processing device 13 .
  • the imaging device 11 and the display device 12 are installed near the assembly line of the assembly plant, and the image processing device 13 is installed in a central control room away from the assembly line or in a remote server away from the assembly plant. may
  • the imaging device 11 is a device for acquiring image data of objects existing around the operator, and is, for example, a camera including an imaging device such as a CCD, an ultrasonic camera, an infrared camera, or the like.
  • Objects include objects existing around the operator in addition to the operator.
  • objects include switches and touch panels around the vehicle occupants, parts assembled by workers and tools used, and vehicles maintained by dealer mechanics.
  • the imaging device 11 can detect the operator's body posture such as the dashboard, roof and seat of the vehicle, the assembly line of the assembly plant, the vicinity of the work table and the tools used by the workers, and the lift of the dealer. installed in a position where
  • the imaging device 11 of the present embodiment is attached to at least one of the operator who performs the above-described predetermined operation and the article worn by the operator. At this time, the imaging device 11 is attached so that at least a part of the operator's body can be photographed.
  • the imaging device 11 is attached to the operator, for example, the imaging device 11 is attached to the operator's head, upper arm, forearm, abdomen, thigh and lower leg.
  • a mounting method for example, a hook-and-loop fastener or a buckle is used to wrap and fix the operator's body, an adhesive tape is used to affix the operator's body, and an adhesive is used for operation. and a method of adhering to a person's body.
  • FIG. 2A is a plan view showing the operator's left forearm 73b and left hand 73c, with the left forearm 73b covered by clothing.
  • the wearable terminal 3 is worn by wrapping it around a portion of the operator's left forearm 73b near the wrist with a band 31 having a hook-and-loop fastener.
  • the wearable terminal 3 includes an imaging device 11, and the imaging device 11 captures an image within a field of view 4 indicated by broken lines in FIG. 2A. Accordingly, an image including the body of the operator wearing the wearable terminal 3 can be captured.
  • the items worn by the operator are the clothes and protective gear that the operator wears when performing a predetermined operation.
  • Clothing and protective gear includes jackets, coats, wristwatches, rings, earrings and piercings worn by vehicle occupants, and work clothes, caps, safety shoes and helmets worn by assembly plant workers and dealer mechanics. , masks and protective glasses.
  • a method of attaching the imaging device 11 to the clothes and protective gear worn by the operator for example, a method of fixing it to a coat or work clothes using a hook-and-loop fastener, and a member such as a clamp to a hat, a helmet, a mask, protective glasses, or the like. and attaching the imaging device 11 by gripping the member, and a method of adhering the device to a wrist watch or safety shoes using an adhesive tape or adhesive.
  • FIG. 2B is a perspective view showing the operator's head 71 and the helmet 5 attached to the head 71.
  • the camera 6 is attached downward to the brim 51 of the helmet 5 worn by the operator so that the operator's body can be photographed.
  • the camera 6 is attached by attaching a bracket 52 for holding the camera 6 to the helmet 5 and holding the camera 6 by the bracket 52 .
  • the helmet 5 may be provided with a portion for sandwiching the camera 6, and the portion may be integrally molded as the helmet 5 to sandwich the camera 6 therebetween.
  • the camera 6 captures an image within the range of the field of view 4a indicated by the dashed line in FIG. 2B. Accordingly, an image including the body of the operator wearing the helmet 5 can be captured.
  • FIG. 2C is a plan view showing the operator's right arm, which consists of the right upper arm 74a, the right forearm 74b, and the right hand 74c.
  • the camera 6 is attached by wrapping it around the operator's right forearm 74b near the elbow with a band 61 having a hook-and-loop fastener.
  • the camera 6 captures an image within the field of view 4b indicated by the dashed line in FIG. 2C. Accordingly, an image including the right hand 74c of the operator wearing the camera 6 can be captured.
  • FIG. 2C is a plan view showing the operator's right arm, which consists of the right upper arm 74a, the right forearm 74b, and the right hand 74c.
  • the camera 6 is attached by wrapping it around the operator's right forearm 74b near the elbow with a band 61 having a hook-and-loop fastener.
  • the camera 6 captures an image within the field of view 4b indicated by the das
  • the camera 6 is mounted so as to photograph the back side of the operator's right hand 74c, but the camera 6 may be mounted so as to photograph the palm side of the operator's right hand 74c. Which side is photographed is appropriately selected according to the behavior of the operator to be detected.
  • the wearable terminal 3 is worn on the left arm in the example of FIG. 2A and the camera 6 is worn on the right arm in the example of FIG. 2C, the wearable terminal 3 and the camera 6 may be worn on either the left or right arm. .
  • these mounting positions can be set to appropriate positions within a range in which the behavior of the operator can be appropriately detected.
  • the display device 12 is a device for notifying the operator of actions detected by the image processing device 13 .
  • the display device 12 is, for example, a liquid crystal display, a projector, or the like, and may include a speaker.
  • the display device 12 is installed near the operator, such as the dashboard of the vehicle, the work place of the worker in the assembly plant, and the position where the operator can be notified of necessary information. If there is a supervisor to monitor the operation, it will be installed near the supervisor. In this case, if the supervisor is located away from the operator, the display device 12 will be installed at a location away from the operator. Also, the display device 12 may be attached to the operator as a wearable terminal such as glasses. Furthermore, instead of the display device 12, only a speaker that emits an alarm sound according to the detected action may be used.
  • the image processing device 13 is a device, such as a computer, for estimating the behavior of the operator from the posture of the operator performing a predetermined operation.
  • the image processing device 13 can consider the positional deviation of the imaging device 11 when detecting the posture of the operator.
  • the image processing device 13 cooperates with the imaging device 11 and the display device 12 to obtain image data from the imaging device 11 at predetermined time intervals, and processes the obtained image data to detect the posture of the operator. Then, correction of the positional deviation of the imaging device 11 and estimation of the behavior of the operator are performed.
  • the image processing device 13 includes a CPU (Central Processing Unit) 131 which is a processor, and a program stored therein. It has a ROM (Read Only Memory) 132 and a RAM (Random Access Memory) 133 that functions as an accessible storage device.
  • the CPU 131 is an operation circuit for functioning as the image processing device 13 by executing programs stored in the ROM 132 . Note that the image processing device 13 does not have to be installed together with the imaging device 11 and the display device 12, and may be installed in a remote server away from these devices.
  • a program used in the image processing device 13 includes a processing section 2 which is a functional block for realizing the functions of the image processing device 13 described above.
  • the processing unit 2 controls and cooperates with the imaging device 11 and the display device 12 to obtain image data including the operator from the imaging device 11 (data acquisition function) and acquire the acquired image data.
  • a function for detecting the posture of the operator after processing and correcting the positional deviation of the imaging device 11, and a function for estimating the action of the operator from the posture of the operator (action estimation function). function
  • the processing unit 2 includes, as shown in FIG. and In FIG. 1, each part is extracted and shown for convenience.
  • the image processing apparatus 13 shown in FIG. 1 includes all of the above functional blocks, but it is not necessary for a single image processing apparatus 13 to include all of the functional blocks. It may be provided in another device included in the system 1 or in another information processing device (not shown).
  • the detection unit 22 may be provided in the imaging device 11 . In this case, the functions of the detection unit 22 are executed using the CPU, ROM, and RAM of the imaging device 11 .
  • each functional block it is not necessary for a single device to execute all the processing of each functional block, and the function of each functional block may be realized across multiple devices connected in a state where data can be exchanged.
  • the CPU, ROM, and RAM of the imaging device 11 are used to perform part of the processing for realizing the function of the calculator 23 .
  • the acquisition unit 21 has a function of acquiring an image including the operator from the imaging device 11 .
  • the imaging device 11 of the present embodiment is installed at a position and in an orientation in which an image including the operator's body can be captured. By acquiring image data at predetermined time intervals, an image including the operator can be acquired. Further, the image data acquired by the acquisition unit 21 is not limited to still images, and may be time-series images such as moving images. Examples of images acquired by the acquisition unit 21 are shown in FIGS. 3A to 3C.
  • FIG. 3A is an image captured by the wearable terminal 3 shown in FIG. 2A, and is an image including the operator 7 who is a passenger of the vehicle.
  • the operator 7 who is a vehicle occupant wears the wearable terminal 3 on the forearm 73b of the left arm.
  • a forearm 73b is shown on the right side, and a right upper arm 74a and a right forearm 74b are shown on the left side.
  • the entire head 71 and neck 72 of the operator 7 are photographed, and a part of the body 75 is also photographed.
  • FIG. 3B is an image captured by the camera 6 shown in FIG. 2B, and is an image including the operator 7 who is a worker at the vehicle assembly plant.
  • the operator 7 who is a worker has the camera 6 attached to the brim 51 of the helmet 5 worn on the head 71 facing downward.
  • a portion above 51 that is, a portion covered by the helmet 5) cannot be photographed. Therefore, as shown in FIG. 3B, an image of the upper portion of the head 71 cannot be acquired.
  • a neck 72 and a torso 75 are shown below the head 71. On the left side of the torso 75 are shown a right upper arm 74a, a right forearm 74b, and a right hand 74c.
  • An upper arm 73a, a left forearm 73b, and a left hand 73c are shown. Since the camera 6 photographs the operator 7 from the front direction of the operator 7, the left and right are reversed as in FIG. 3A. A portion of the left leg 76 and a portion of the right leg 77 are also photographed below the body 75 .
  • FIG. 3C is an image captured by the camera 6 shown in FIG. 2C, and is an image including the right hand 74c of the operator who is a worker at the vehicle assembly plant. Since the operator who is a worker wears the camera 6 near the elbow of the forearm 74b of the right arm, when the right hand 74c is photographed from the camera 6, as shown in FIG. , and the right hand 74c.
  • the detection unit 22 has a function of detecting the posture of the operator 7 from the image acquired by the acquisition unit 21.
  • the posture of the operator 7 is the stance or posture of the body of the operator 7, and more specifically, the position of each joint of the body of the operator 7 and the relationship of connection between the joints.
  • the positions of the joints of the body of the operator 7 and the parts of the body that connect the joints are known, the positions of the joints in a three-dimensional space defined by an orthogonal coordinate system.
  • the operator's body stance can be represented geometrically. .
  • the detection unit 22 performs the processing shown in FIG. 4A to detect the posture of the operator 7.
  • the joints of the operator 7 are detected from among the operator 7 included in the image by pattern matching or the like.
  • a characteristic portion such as a portion where the orientation of the body of the operator 7 is changed is extracted, and the extracted characteristic portion is compared with the class dictionary stored in the database 14. By doing so, it is determined to which class the feature part belongs. If a class for each joint is set in the class dictionary, it can be determined whether or not the characteristic portion corresponds to the joint.
  • a point P1 is plotted at a portion corresponding to the joint of the neck 72 of the operator 7
  • a point P2 is plotted at a portion corresponding to the right shoulder joint
  • a right elbow joint is plotted.
  • a point P3 is plotted at the portion corresponding to
  • a point P4 is plotted at the portion corresponding to the left shoulder joint
  • a point P5 is plotted at the portion corresponding to the left elbow joint.
  • a straight line corresponding to the right shoulder is drawn between points P1 and P2
  • a straight line corresponding to the right upper arm 74a is drawn between points P2 and P3
  • a straight line is drawn between points P1 and P4.
  • a straight line corresponding to the left shoulder is drawn between them, and a straight line corresponding to the upper arm 73a of the left arm is drawn between points P4 and P5.
  • the image shown in FIG. 3A does not include the right and left hands of the operator 7, but since there is no joint between the elbow joint and the wrist, the forearm 74b of the right arm included in FIG. It is presumed that the right hand exists on the line and the left hand exists on the extension line of the left forearm 73b. Therefore, as shown in FIG. 4A, a straight line is drawn from point P3 toward the estimated position of the right hand (not shown), and a straight line is drawn from point P5 toward the estimated position of the left hand (not shown).
  • the detection unit 22 performs the processing shown in FIG. 4B to detect the posture of the operator 7.
  • joints are first detected by a process similar to the pattern matching described in FIG. 4A. Then, as in FIG. 4A, dots are plotted at the portions determined to be joints. Specifically, as shown in FIG. 4B, a point P6 is plotted at the portion corresponding to the joint of the neck 72 of the operator 7, a point P7 is plotted at the portion corresponding to the right shoulder joint, and a right elbow joint is plotted.
  • Point P8 is plotted on the part corresponding to the right wrist joint
  • Point P9 is plotted on the part corresponding to the right wrist joint
  • Point P10 is plotted on the part corresponding to the left shoulder joint
  • Point P10 is plotted on the part corresponding to the left elbow joint P11 is plotted
  • point P12 is plotted at the portion corresponding to the joint of the left wrist.
  • a point P13 is plotted at the portion corresponding to the hip joint
  • a point P14 is plotted at the portion corresponding to the joint at the base of the right leg
  • a point P15 is plotted at the portion corresponding to the right knee joint
  • a point P15 is plotted at the portion corresponding to the right knee joint.
  • a point P16 is plotted at the portion corresponding to the joint at the base of the knee
  • a point P17 is plotted at the portion corresponding to the left knee joint.
  • a straight line corresponding to the trunk 75 is drawn between the points P6 and P13, and a straight line corresponding to the base of the leg is drawn between the points P13 and P14 and between the points P13 and P16.
  • a straight line corresponding to the right leg 77 is drawn between the points P14 and P15, and a straight line corresponding to the left leg 76 is drawn between the points P16 and P17.
  • the image shown in FIG. 3B does not include the right ankle and left ankle of the operator 7, but since there is no joint between the knee joint and the ankle, the right leg 77 included in FIG. It is presumed that the right ankle exists on the extension line and the left ankle exists on the extension line of the left leg 76 . Therefore, as shown in FIG. 4B, straight lines are drawn from points P15 and P17 toward the estimated positions of both ankles (not shown). These straight lines pass through the centers of right leg 77 and left leg 76, for example, in a direction perpendicular to the lengthwise direction of right leg 77 and left leg 76. As shown in FIG. In this way, the detection unit 22 obtains the positions of the joints of the body of the operator 7 included in FIG. The posture of the operator 7 is detected by representing it with a straight line.
  • the detection unit 22 performs the processing shown in FIG. 4C to detect the posture of the operator's right hand 74c.
  • joints are first detected by a process similar to the pattern matching described in FIG. 4A. Then, as in FIG. 4A, dots are plotted at the portions determined to be joints. Specifically, as shown in FIG. 4C, a point P18 is plotted at the joint of the right wrist of the operator, points P19 to P20 are plotted at the joint of the thumb, and points P19 to P20 are plotted at the joint of the index finger.
  • Points P21 to P23 are plotted in the corresponding portion
  • points P24 to P26 are plotted in the portion corresponding to the joint of the middle finger
  • points P27 to P29 are plotted in the portion corresponding to the joint of the ring finger
  • the joint of the little finger is plotted.
  • Plot points P30-P32 on the part.
  • a straight line corresponding to the thumb is drawn between points P19 and P20
  • a straight line corresponding to the index finger is drawn between points P21 and P22 and between points P22 and P23
  • points P24 and P24 are drawn.
  • a straight line corresponding to the middle finger is drawn between points P25 and between points P25 and P26
  • a straight line corresponding to the ring finger is drawn between points P27 and P28 and between points P28 and P29
  • a straight line corresponding to the little finger is drawn between points P30 and P31 and between points P31 and P32.
  • FIG. 3C The image shown in FIG. 3C does not include the operator's right elbow, but since there is no joint between the elbow and the wrist, the right elbow is on the extension line of the right forearm 74b included in FIG. 4C. presumed to exist. Therefore, as shown in FIG. 4C, a straight line is drawn from point P18 toward the estimated position of the right elbow (not shown). This straight line passes through the center of the right forearm 74b, for example, in a direction perpendicular to the length of the right forearm 74b. In this way, the detection unit 22 determines the position of each joint of the operator's right hand 74c included in FIG. By representing with a straight line, the posture of the operator's right hand 74c is detected.
  • the detection unit 22 can detect the posture of the operator 7 based on the relative positional relationship between the parts of the operator's 7 body and objects around the operator 7 . For example, the positions of the head 71 and arms of the operator 7 are calculated with respect to the ground on which the operator 7 is standing, and the posture of the operator 7 is detected based on the calculation result. Alternatively, or in addition to this, the detection unit 22 can detect the posture from the orientation of the parts of the body of the operator 7 . For example, the posture of the operator 7 is detected from the eye position (line of sight), hand orientation, leg orientation, and body orientation 75 of the operator 7 .
  • joints for which points are set by the detection unit 22 are not limited to the joints shown in FIGS. 4A to 4C.
  • finer joints may be detected and plotted with more points than those shown in Figures 4A and 4B.
  • dots may be plotted at portions corresponding to the finger joints of the left hand 73c and right hand 74c to detect how the fingers of the left hand 73c and right hand 74c are shaped. . This makes it possible to detect detailed postures, such as whether or not a vehicle occupant is touching onboard equipment of the vehicle, or whether or not an assembly line worker is holding a tool.
  • the detection unit 22 uses a posture estimation model trained in advance to estimate the posture of the operator 7 from an image including the operator 7. may be used.
  • the posture estimation model is stored, for example, in database 14 shown in FIG.
  • an image including the operator 7 is associated with the pose of the operator 7 detected in the image.
  • the posture of the operator 7 is output.
  • the posture estimation model is machine-learned by the first machine-learning unit 221 shown in FIG. Specifically, using the past images and the posture detection result of the operator 7 stored in the database 14, the posture estimation model detects an appropriate posture for the input image data, and the result Let it learn to output
  • the posture estimation model may be a trained model that has undergone machine learning.
  • a trained model is a model that has been learned in advance by machine learning so that appropriate output data can be obtained for certain input data. At least, a program that performs operations from input data to output data, and a weighting coefficient (parameter) used for the calculation.
  • the learned model is configured by a computer (especially , a processor (CPU 131). By using such a learned model, it is possible to detect the posture of the operator 7 who performs an operation other than the learned operation.
  • a neural network comprises an input layer, an intermediate layer, and an output layer, each layer containing at least one neuron.
  • Input data including image data acquired by the acquisition unit 21 is input to the input layer, and the input data is output to the intermediate layer.
  • the intermediate layer extracts the data of the operator 7 from the data input from the input layer.
  • the posture is detected from the extracted data of the operator 7 .
  • the output layer outputs the data input from the intermediate layer as output data including posture data.
  • parameters for the intermediate layer the positions of the joints of the operator 7 and the connection relationships between the joints are considered.
  • the calculation unit 23 has a function of identifying a reference position as a reference for calculating positional displacement from the image obtained by the obtaining unit 21 and calculating the positional displacement of the imaging device 11 using the identified reference position.
  • the imaging device 11 of the present embodiment is attached to at least one of the operator 7 and an article worn by the operator 7, but the attached imaging device 11 is not necessarily completely fixed. While the operator 7 is performing a predetermined operation, the mounting position of the imaging device 11 may move from the position where it was initially mounted. For example, in FIG. 2A, when the band 31 rotates with respect to the wrist and the wearable terminal 3 rotates and moves toward the thumb side of the left hand 73c, the acquisition unit 21 detects the operator's position as shown in FIG. 5A.
  • An image is acquired with 7 rotated counterclockwise (in the direction of arrow 8). 2C, when the band 61 is loosened and the camera 6 rotates clockwise, the acquisition unit 21 obtains an image in which the right hand 74c rotates clockwise (in the direction of the arrow 9) as shown in FIG. 5B. is obtained.
  • the posture of the operator 7 may not be detected correctly by the detection unit 22. Therefore, the function of the calculation unit 23 is used to calculate the positional deviation of the mounting position of the imaging device 11, and the correction unit 24 described later. corrects the posture detected by the detection unit 22 by . Thereby, the posture of the operator 7 is correctly detected.
  • the positional deviation of the imaging device 11 is calculated with respect to a reference position in a predetermined state.
  • the predetermined state includes, for example, the initial state when the imaging device 11 is worn (hereinafter also referred to as "initial state"), the state when the operator 7 starts a predetermined operation, and a predetermined time from a certain time point (for example, the present). A previous state or state at a certain time. How much the reference position has moved (displaced) with respect to the reference position in these states is calculated, and the calculated result is used as the positional displacement of the imaging device 11 .
  • the calculation unit 23 identifies a part of the body of the operator 7 included in the image as a reference position, and calculates the positional displacement using the identified part of the body.
  • the parts of the body mentioned above are parts of the body that are identified in order to calculate the positional deviation as simply as possible, and the parts themselves do not have movable parts such as joints. Specifically, when the imaging device 11 is worn by the operator 7 , there is no joint between the imaging device 11 and the part where the imaging device 11 is worn. When attached to an article worn by the operator 7, it is a part where no joint exists between the article that the operator 7 is wearing and the part that is in contact with the article. The reason why there is no portion movable by a joint in the part itself is that when calculating the positional deviation using the part of the body as the reference position, the part at the reference position may have moved due to movement of the joint, or the mounting position of the imaging device 11 may be changed.
  • the portion of the body of the operator 7 to which the imaging device 11 is mounted cannot be calculated.
  • the portion that is in contact with the article worn by the operator 7 is excluded from the candidates for the reference position.
  • the part on which the imaging device 11 is mounted and the part in contact with the article worn by the operator 7 are parts of the body of the operator 7 .
  • the part identified as the reference position and the part to which the imaging device 11 is attached may be the same part.
  • the part identified as the reference position part and the part in contact with the article worn by the operator 7 may be the same part.
  • a preset part of the body of the operator 7 included in the image data is detected by pattern matching. Then, when a preset site is identified, the site is set as a reference position for calculating the positional deviation.
  • the site is set as a reference position for calculating the positional deviation.
  • FIG. 2A when the wearable terminal 3 is worn on the wrist of the left hand 73c, the left forearm 73b existing between the wrist and the left elbow joint is used as a reference position. Set in advance. The forearm 73b itself of the left arm does not have a movable part by a joint, and there is no joint between the worn wearable terminal 3 and the forearm 73b of the left arm.
  • the left hand 73c since the left hand 73c has finger joints, it does not serve as a reference position for calculating the positional deviation.
  • FIG. 2B when the helmet 5 is worn on the head 71, the nose not covered by the helmet 5 is set in advance as a reference position. The nose itself has no articulated parts and there are no joints between the part covered by the helmet 5 and the nose.
  • the jaw and mouth do not serve as the reference position for calculating the positional deviation because the mandibular joint moves the lower jaw.
  • FIG. 2B when the helmet 5 is worn on the head 71, the nose not covered by the helmet 5 is set in advance as a reference position. The nose itself has no articulated parts and there are no joints between the part covered by the helmet 5 and the nose.
  • the jaw and mouth do not serve as the reference position for calculating the positional deviation because the mandibular joint moves the lower jaw.
  • the forearm 74b of the right arm when the camera 6 is attached to a portion of the forearm 74b of the right arm near the elbow, the forearm 74b of the right arm is set in advance as a reference position. .
  • the forearm 74b of the right arm itself does not have a movable part by a joint, and there is no joint between the mounted camera 6 and the forearm 74b of the right arm (especially the wrist side of the forearm 74b of the right arm).
  • the right hand 74c since the right hand 74c is moved by the joint of the right wrist, it does not become the reference position for calculating the positional deviation.
  • FIGS. 6A and 6B show a method of calculating positional deviation when the nose is identified as a reference position for calculating positional deviation and the identified nose is set as the reference position.
  • FIG. 6A is a plan view showing an example of an image obtained when the head 71 is photographed by the camera 6 shown in FIG. 2B.
  • FIG. 6A includes a head 71 and a nose 711, and the nose 711 is set as a reference position for calculating positional deviation.
  • the positional deviation in the case of FIG. 6A is calculated with respect to the position when the imaging device 11 is first worn, that is, the position in the initial state shown in FIG. 6A. In this case, assuming that the helmet 5 rotates counterclockwise, as shown in FIG.
  • the head 71 is rotated clockwise by an angle ⁇ with respect to the center 712 of the head 71 of .
  • the position of the nose 711 in the image does not change even if the operator 7 rotates. Actually, the operator 7 himself did not rotate, but only the helmet 5 rotated.
  • the calculation unit 23 calculates the position of the nose in the initial state. The distance and angle (angle ⁇ in the case of FIG.
  • the nose 6B by which the nose has moved with respect to the position of 711 (that is, the position of the center 712) are detected.
  • the positional deviation caused by the rotation of the helmet 5 (camera 6) is calculated.
  • the calculated positional deviation information is output to the correction unit 24 .
  • the mounting position of the imaging device 11 in the initial state or the position of the nose 711 is also referred to as a starting position for calculating the positional deviation.
  • the part to be the reference position may be identified from the time-series images acquired by the acquisition unit 21 without presetting the part to be the reference position. For example, in time-series images captured at a predetermined cycle, a part that has moved only a distance within a predetermined range (for example, 5 mm or less) in which displacement of the mounting position of the imaging device 11 can be detected is detected. , identifies the site as the reference position. For example, when the imaging device 11 is attached to the ankle of the right leg facing upward, a portion whose movement amount in the image is 5 mm or less is detected in time-series images taken at a cycle of 1 minute. In this case, since the operator 7 is photographed upward from the ankle of the right leg, the calf of the right leg hardly moves with respect to the ankle. Therefore, the calf of the right leg is identified as the reference position.
  • a predetermined range for example, 5 mm or less
  • the calculation unit 23 calculates the displacement from the amount of movement of the part in the time-series images.
  • the movement of the nose 711 shown in FIGS. 6A and 6B is acquired as time-series images from when the helmet 5 is worn until the helmet 5 rotates as shown in FIG. It is possible to calculate in which direction and how much the hollow nose 711 has moved, and to use the calculation result as a positional deviation.
  • the starting position for calculating the positional deviation may be set to the first position of the part in the time-series images.
  • the calculating unit 23 uses positional displacement estimation that has been learned in advance so as to estimate the positional displacement from the position of the part set as the reference position in the image when calculating the positional displacement from the image acquired by the acquiring unit 21.
  • a model may be used.
  • the positional deviation estimation model is stored, for example, in the database 14 shown in FIG.
  • an image including the operator 7 is associated with the misregistration calculated in the image. output.
  • the positional deviation estimation model is machine-learned by the second machine-learning unit 231 shown in FIG. Specifically, using past images and misregistration calculation results stored in the database 14, a misregistration estimation model estimates appropriate misregistration for the input image data, and outputs the results. Let it learn to output.
  • the misalignment estimation model may be a learned model that has undergone machine learning.
  • the trained model is a computer (particularly, a processor) so that output data including positional deviation is output based on the input data.
  • a certain CPU 131) is activated.
  • a neural network comprises an input layer, an intermediate layer, and an output layer, each layer containing at least one neuron.
  • Input data including image data acquired by the acquisition unit 21 is input to the input layer, and the input data is output to the intermediate layer.
  • the intermediate layer extracts the data of the operator 7 from the data input from the input layer.
  • the positional deviation is estimated from the extracted data of the operator 7 .
  • the output layer outputs the data input from the intermediate layer as output data including misalignment data.
  • the positions of the joints of the operator 7 and the connection relationships between the joints are considered.
  • the calculation unit 23 identifies the pattern as a reference position, and identifies the imaging device specified from the pattern. 11 positions may be used to calculate the misalignment.
  • the pattern is not particularly limited as long as it serves as a reference when calculating the positional deviation in the image, and examples thereof include a plurality of intersecting lines, star-shaped marks, and the like.
  • a mask worn by a vehicle occupant is patterned with grid lines, and the grid lines are used to calculate the displacement of the mounting position of the imaging device 11 .
  • the calculation unit 23 may be calculated based on the position of the imaging device 11 and the posture of the operator 7 detected at 22 .
  • a camera installed in front of an assembly plant worker is used to detect the position of the imaging device 11 and the posture of the operator 7, and the behavior of the operator 7 is estimated using the detection results.
  • the correction unit 24 has a function of correcting the orientation detected by the detection unit 22 using the positional deviation of the imaging device 11 calculated by the calculation unit 23 .
  • the correction unit 24 geometrically transforms the geometrically expressed posture of the operator 7 acquired by the detection unit 22. I do. For example, as shown in FIG. 6B, when the helmet 5 is rotated counterclockwise by an angle ⁇ , the detected orientation is converted to rotate clockwise by an angle ⁇ . As a result, the posture of the operator 7 before the helmet 5 rotates and the wearing position shifts, that is, the correct posture of the operator 7 can be detected.
  • the helmet 5 when the helmet 5 is displaced in the front-rear direction and in the left-right direction with respect to the operator 7, at least one linear transformation out of translation, rotation, enlargement, and reduction is performed on the detected posture, and the helmet 5 is shifted.
  • a process for correcting movement that is, positional deviation
  • the wearable terminal 3 shown in FIG. 2A and the camera 6 shown in FIG. 2C can also be corrected for positional deviation by performing the same geometric conversion.
  • the estimation unit 25 has a function of estimating the behavior of the operator 7 from the posture of the operator 7 corrected by the correction unit 24 .
  • the action of the operator 7 refers to any action necessary to complete a predetermined operation, such as the act of reaching out to the switch of the on-vehicle equipment such as an air conditioner by the occupant of the vehicle to operate the on-vehicle equipment, assembly, etc.
  • a factory worker taking out a torque wrench from a tool box and the action of a dealer mechanic touching a switch for raising and lowering a lift that lifts a vehicle
  • a vehicle occupant presses a switch for raising and lowering the window glass of the vehicle.
  • the action of a vehicle occupant touching a touch panel to change the display of a map on a navigation device The assembly factory worker's action of connecting a coupler connected to a sensor and a coupler connected to an electronic control unit (ECU). assembly plant workers tightening bolts using tools to attach the exhaust manifold to the engine block, dealer mechanics fitting spark plugs into the engine, dealer mechanics , the action of tightening a bolt using a torque wrench.
  • ECU electronice control unit
  • the estimation unit 25 determines that the vehicle occupant is a vehicle occupant based on the positions of points P1 to P3 shown in FIG. 4A and the shape of a straight line drawn from the points P1 to P3. It is presumed that the operator 7 is extending his right hand (not shown) to the operation unit of the on-vehicle device in order to operate the on-board device. Further, when the posture shown in FIG. 4B is detected, from the positions of points P7 to P9 and P10 to P12 shown in FIG.
  • characteristic portions such as the positions of the joints of the operator 7, the relationship between the joints, and the shapes of the body parts that connect the joints are extracted and extracted. It is determined to which class the characteristic portion belongs by comparing the obtained characteristic portion with the class dictionary stored in the database 14 . If an action corresponding to a posture is set as a class in the class dictionary, the action can be estimated from the posture.
  • a model can be used.
  • the action estimation model is stored, for example, in the database 14 shown in FIG.
  • the detected posture of the operator 7 and the action of the operator 7 are associated so that they correspond to each other. 7 actions are output.
  • the behavior estimation model is machine-learned by the third machine-learning unit 251 shown in FIG. Specifically, using the past detection results of the posture of the operator 7 and the estimated behavior of the operator 7 stored in the database 14, the behavior estimation model generates learn to estimate appropriate actions and output the results.
  • the action estimation model may be a learned model that has undergone machine learning.
  • the trained model is configured by a computer (especially , a processor (CPU 131). By using such a learned model, it is possible to appropriately detect the actions of the operator 7 who performs an operation other than the learned operation. It should be noted that the input posture data may or may not have been corrected by the correction unit 24 .
  • a neural network comprises an input layer, an intermediate layer, and an output layer, each layer containing at least one neuron.
  • Input data including posture data detected by the detection unit 22 is input to the input layer, and the input data is output to the intermediate layer.
  • the intermediate layer extracts posture data of the operator 7 from the data input from the input layer.
  • the action is estimated from the extracted posture data of the operator 7 .
  • the output layer outputs the data input from the intermediate layer as output data including action data.
  • the parameters in the intermediate layer for example, the positions of points indicating the joints of the operator 7 and the shape of straight lines indicating the connection relationship between the joints are considered.
  • the estimating unit 25 does not specify the attributes of the operator 7.
  • an action corresponding to the posture can be specified.
  • the attributes of the operator 7 include, for example, whether the operator 7 is a vehicle crew member, a worker working on an assembly line at an assembly plant, or a mechanic at a vehicle dealer maintenance plant. It is a feature about the role of the operator 7 and the place where the operator 7 exists.
  • the output unit 26 has a function of outputting the behavior estimated by the estimation unit 25 to the display device 12 .
  • the actions of the operator 7 output from the output unit 26 are received by the display device 12 . Then, it is displayed on the display device 12 and presented to the operator 7, the supervisor of the operator 7, and the like. By confirming the action presented by the display device 12, the operator 7 and the supervisor can determine whether the action of the operator 7 is necessary for the predetermined operation and whether the operator 7 performs the predetermined operation in a predetermined procedure. It is possible to confirm whether or not the operator 7 has skipped necessary procedures.
  • the processing unit 2 determines whether the operator 7's action is necessary for the predetermined operation, whether the operator 7 is performing the predetermined operation in a predetermined procedure, and whether the operator 7 performs the predetermined operation. It may be determined whether or not 7 is skipping a necessary step.
  • the predetermined operation, the procedure of the predetermined operation, the action required for the predetermined operation, and the like are stored in the database 14 and acquired by the processing unit 2 as necessary.
  • FIG. 7 is an example of a flowchart showing information processing in the image processing system 1 of this embodiment. The processing described below is executed at predetermined time intervals by the CPU 131, which is the processor of the image processing device 13, while the operator 7 is performing a predetermined operation.
  • step S1 the function of the acquisition unit 21 acquires image data captured by the imaging device 11 .
  • step S2 it is determined whether or not image data including the operator 7 has been acquired. If the operator 7 is not included in the obtained image data, the process returns to step S1. On the other hand, when the operator 7 is included in the obtained image data, the process proceeds to step S3.
  • step S3 the posture of the operator 7 included in the image is detected by the function of the detection unit 22.
  • step S4 it is determined whether or not the posture of the operator 7 has been properly detected. If the posture of the operator 7 could not be properly detected, the process returns to step S1. On the other hand, if the posture of the operator 7 can be properly detected, the process proceeds to step S5.
  • step S5 the function of the calculation unit 23 calculates how much the mounting position of the imaging device 11 is deviated from, for example, the reference position in the initial state.
  • step S6 it is determined whether or not the mounting position of the imaging device 11 is shifted. Specifically, it is determined whether or not the calculated amount of positional deviation is within a range in which the posture of the operator 7 can be detected correctly. If the calculated amount of positional deviation is within the range in which the posture of the operator 7 can be detected correctly, the process proceeds to step S8. On the other hand, if the calculated amount of positional deviation exceeds the range in which the posture of the operator 7 can be detected correctly, the process proceeds to step S7.
  • step S7 the posture of the operator 7 is corrected by the function of the correction unit 24 based on the amount of deviation calculated by the calculation unit 23.
  • step S8 the action of the operator 7 is estimated from the posture of the operator 7 by the function of the estimation unit 25.
  • step S9 it is determined whether or not the behavior of the operator 7 has been appropriately estimated. If the behavior of the operator 7 could not be properly estimated, the execution of the routine is stopped and the information processing is terminated. On the other hand, if the action of the operator 7 can be appropriately estimated, the process proceeds to step S10.
  • step S10 the function of the output unit 26 outputs data including the estimated behavior from the image processing device 13 to the display device 12.
  • the function of the processing unit 2 determines whether or not the operator 7 is appropriately performing the predetermined operation based on the behavior estimated by the estimation unit 25. FIG. At this time, the determination result may be output to the display device 12 .
  • step S11 the execution of the routine is stopped and the information processing is terminated. Note that step S2, step S4, step S6, and steps S9 to S11 are not essential steps, and can be provided as necessary.
  • an image including the operator 7 is captured from the imaging device 11 attached to at least one of the operator 7 performing the predetermined operation and the article worn by the operator 7.
  • An acquisition unit 21 for acquiring, a detection unit 22 for detecting the posture of the operator 7 from the image, and a positional deviation of the imaging device 11 is calculated from the image using a reference position as a standard for calculating positional deviation. and a correction unit 24 that corrects the posture using the positional deviation.
  • an action estimation model that has been learned in advance so as to estimate the action of the operator 7 from the posture is used to estimate the action of the operator 7 from the corrected posture.
  • An estimation unit 25 for estimating behavior is provided. Thereby, the behavior of the operator 7 can be estimated by associating the posture and the behavior of the operator 7 .
  • the detection unit 22 uses a posture estimation model that has been learned in advance so as to estimate the posture of the operator 7 from the image, and performs the operation from the image.
  • the posture of the person 7 is detected. As a result, it is possible to perform highly accurate posture detection using the detection results obtained so far.
  • the calculation unit 23 identifies a part of the body of the operator 7 included in the image as the reference position, and calculates the reference position relative to the reference position in a predetermined state. Calculate the misalignment. As a result, it is possible to easily and accurately calculate the positional deviation using the parts of the body.
  • the reference position is the operator's position other than the part where the imaging device 11 is attached. 7 of the body, the part itself does not have a joint that can be moved by a joint and has no joint with the part to which the imaging device 11 is attached.
  • the operator 7 is a part where there is no joint between the article and the part that is in contact with the wearer. This makes it possible to more accurately identify body parts.
  • the acquisition unit 21 acquires time-series images including the reference position, and the calculation unit 23 moves the reference position in the time-series images. Quantity is used to calculate the misalignment. Thereby, the positional deviation of the imaging device 11 can be calculated more accurately.
  • the calculation unit 23 uses a positional deviation estimation model learned in advance so as to estimate the positional deviation from the position of the reference position in the image. Calculate the deviation. This makes it possible to calculate the amount of positional deviation simply by inputting an image.
  • the acquisition unit 21 acquires an image including a pattern for specifying the position of the imaging device 11, and the calculation unit 23 calculates the pattern as the reference.
  • the positional deviation is calculated using the position of the imaging device 11 identified as the position and specified from the pattern. Thereby, the positional deviation of the imaging device 11 can be calculated more accurately.
  • the detection unit 22 detects the position of the imaging device 11 and the posture of the operator 7 using detection devices installed around the operator 7 .
  • the calculation unit 23 calculates the positional deviation based on the position of the imaging device 11 and the posture of the operator 7 detected by the detection unit 22 . Thereby, the positional deviation of the imaging device 11 can be calculated more accurately.
  • the processor performs an image pickup attached to at least one of the operator 7 performing the predetermined operation and the article worn by the operator 7.
  • An image including the operator 7 is acquired from the device 11, the posture of the operator 7 is detected from the image, and the image of the imaging device 11 is detected using a reference position as a reference for calculating positional deviation from the image.
  • An image processing method is provided that calculates misalignment and corrects the pose using the misalignment. As a result, the posture of the operator 7 can be correctly recognized even when the mounting position of the imaging device 11 (for example, a camera) is displaced.
  • Output unit 3 Wearable terminal 31 Bands 4, 4a, 4b Field of view 5 Helmet 51 Collar 52 Bracket 6 Camera 61 Band 7 Operator (human) 71 Head 711 Nose 712 Center 72 Neck 73a Left upper arm 73b Left forearm 73c Left hand 74a Right upper arm 74b Right forearm 74c Right hand 75 Torso 76 Left leg 77 Right leg 8, 9... Arrows P1 to P32... Point ⁇ ... Angle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、人間（７）及び前記人間（７）が身に付ける物品のうち少なくとも一方に装着された撮像装置（１１）から、前記人間（７）を含む画像を取得し、前記画像から前記人間（７）の姿勢を検出し、前記画像から、位置ずれを算出する基準としての基準位置を用いて前記撮像装置（１１）の位置ずれを算出し、前記位置ずれを用いて前記姿勢を補正する画像処理装置（１３）及び画像処理方法を提供する。

Description

画像処理装置及び画像処理方法
　本発明は、人間の行動を認識するための画像処理装置及び画像処理方法に関するものである。
　撮影者側からカメラにより撮影した三次元画像データ及び二次元画像データのペアを取得し、三次元画像データに基づいてカメラの位置姿勢を推定し、推定されたカメラの位置姿勢と、予め求められた撮影者の体型を表す体型パラメータと、三次元画像データとに基づいて、撮影者の骨格姿勢を表す骨格姿勢パラメータを抽出し、骨格姿勢パラメータに基づいて撮影者の姿勢特徴量を抽出し、二次元画像データに基づいて画像特徴量を抽出し、姿勢特徴量及び画像特徴量と、撮影者の行動を識別するための予め学習された識別器パラメータとに基づいて、撮影者の行動を認識する方法が知られている（特許文献１）。
特開２０１６－９９９８２号公報
　しかしながら、上記従来技術では、人間の頭部などに装着されたカメラの装着位置が最初の位置からずれた場合に、カメラで取得した画像データを用いて人間の姿勢を正しく認識できないという問題がある。
　本発明が解決しようとする課題は、カメラの装着位置がずれた場合でも、人間の姿勢を正しく認識することができる画像処理装置及び画像処理方法を提供することである。
　本発明は、人間及び前記人間が身に付ける物品のうち少なくとも一方に装着された撮像装置から、前記人間を含む画像を取得し、前記画像から前記人間の姿勢を検出し、前記画像から、位置ずれを算出する基準としての基準位置を用いて前記撮像装置の位置ずれを算出し、前記位置ずれを用いて前記姿勢を補正することによって上記課題を解決する。
　本発明によれば、カメラの装着位置がずれた場合でも、人間の姿勢を正しく認識することができる。
本発明に係る画像処理装置を含む画像処理システムの実施形態の一つを示すブロック図である。 図１の撮像装置を備えるウェアラブル端末と、操作者の左腕の前腕及び左手とを示す平面図である。 人間（操作者）の頭部と、図１の撮像装置であるカメラが取付けられたヘルメットとを示す斜視図である。 図１の撮像装置であるカメラと、操作者の右腕とを示す平面図である。 図２Ａのウェアラブル端末で撮影した操作者の画像の一例を示す図である。 図２Ｂのカメラで撮影した操作者の画像の一例を示す図である。 図２Ｃのカメラで撮影した操作者の画像の一例を示す図である。 図３Ａに示す操作者の姿勢を検出する方法の一例を示す図である。 図３Ｂに示す操作者の姿勢を検出する方法の一例を示す図である。 図３Ｃに示す操作者の姿勢を検出する方法の一例を示す図である。 図２Ａのウェアラブル端末で撮影した操作者の画像の別の例を示す図である。 図２Ｃのカメラで撮影した操作者の画像の別の例を示す図である。 図２Ｂのカメラで撮影した操作者の画像の別の例を示す図である（その１）。 図２Ｂのカメラで撮影した操作者の画像の別の例を示す図である（その２）。 図１の画像処理システムにおける情報処理の手順の一例を示すフローチャートである。
　以下、本発明に係る画像処理装置と画像処理方法の実施形態を図面に基づいて説明する。
［画像処理システム］
　図１は、本発明に係る画像処理システム１を示すブロック図である。画像処理システム１は、所定操作を行う操作者（本発明に係る人間に相当する。）の行動を検出する装置である。所定操作は特に限定されず、たとえば、車両の乗員（ドライバーを含む。以下同じ。）による車載機器の操作と、工場において組立て作業に従事する作業員の工具の操作と、車両の販売店（以下、「ディーラー」とも言う。）において、車両の整備に従事する整備士の整備用具の操作とが挙げられる。画像処理システム１により行動を検出される操作者（以下、単に「操作者」とも言う。）は特に限定されず、車両の乗員、工場の作業員及びディーラーの整備士などが挙げられる。画像処理システム１により検出される行動は、たとえば、車両の乗員がエアコンなどの車載機器を操作するために、車載機器のスイッチに手を延ばす行動と、組立て工場の作業員が工具箱からトルクレンチを取り出す行動と、ディーラーの整備士が車両を持ち上げるリフトを上下させるスイッチに触れる行動とが挙げられる。本実施形態の画像処理システム１により上述したような行動を検出することで、車載機器の操作に付随した機能が適切に発現したか否か、車両の組立て工場において、組立て作業に従事する作業員の組立て作業が、予め決められた手順に従って行われたか否か、車両の販売店において、車両の整備に従事する整備士の整備がマニュアルに従って行われたか否かなどを確認することができる。
　図１に示すように、画像処理システム１は、撮像装置１１と、表示装置１２と、画像処理装置１３とを備える。画像処理システム１を構成する機器は、有線又は無線ＬＡＮなどの公知の手段により、互いにデータの授受が可能な状態で接続されている。撮像装置１１及び表示装置１２の数は、それぞれ、少なくとも１以上であれば特に限定されない。また、撮像装置１１及び表示装置１２は、画像処理装置１３と共に設けられている必要はなく、画像処理装置１３から離れた場所に設置されていてもよい。たとえば、撮像装置１１と表示装置１２とを、組立て工場の組立てラインの近くに設置し、画像処理装置１３を、組立てラインから離れた中央制御室、又は組立て工場から離れた遠隔地のサーバーに設けてもよい。
　撮像装置１１は、操作者の周囲に存在する対象物の画像データを取得するための装置であり、たとえば、ＣＣＤなどの撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどのカメラである。対象物には、操作者に加えて、操作者の周囲に存在する物体が含まれる。たとえば、車両の乗員の周囲にあるスイッチやタッチパネル、作業員が組立てているパーツや使用している工具、ディーラーの整備士が整備する車両などが、対象物に含まれる。また、撮像装置１１は、車両のダッシュボード、ルーフ及び座席、組立て工場の組立てライン、作業台及び作業員が使用する道具の近傍、並びにディーラーのリフトなど、操作者の身体の姿勢を検出することができる位置に設置される。
　本実施形態の撮像装置１１は、上述した所定操作を行う操作者、及び操作者が身に付ける物品のうち少なくとも一方に装着される。この際、撮像装置１１は、操作者の身体の少なくとも一部が撮影できるように取付けられる。操作者に撮像装置１１を装着する場合には、たとえば、撮像装置１１を操作者の頭部、上腕、前腕、腹部、大腿及び下腿などに装着する。装着方法としては、たとえば、面ファスナーやバックルを用いて、操作者の身体に巻き付けて固定する方法と、粘着性のテープを用いて操作者の身体に貼り付ける方法と、接着剤を用いて操作者の身体に接着させる方法とが挙げられる。
　一例として、撮像装置１１と、表示装置１２と、画像処理装置１３とを、スマートウォッチのような一つのウェアラブル端末３に統合した場合には、図２Ａに示すように装着される。図２Ａは、操作者の左腕の前腕７３ｂと左手７３ｃとを示す平面図であり、左腕の前腕７３ｂは衣服により覆われている。この場合に、ウェアラブル端末３は、面ファスナーを備えるバンド３１によって、操作者の左腕の前腕７３ｂにおいて手首に近い部分に巻き付けて装着されている。ウェアラブル端末３は撮像装置１１を備えており、撮像装置１１は、図２Ａに破線で示す視野４の範囲の画像を撮影する。これにより、ウェアラブル端末３を装着した操作者の身体を含む画像を撮影できる。
　一方、操作者が身に付ける物品とは、所定操作を行う際に操作者が着る衣服及び防具などである。衣服及び防具としては、車両の乗員が身に付けるジャケット、コート、腕時計、指輪、イヤリング及びピアス、並びに組立て工場の作業員とディーラーの整備士とが身に付ける作業着、帽子、安全靴、ヘルメット、マスク及び防護メガネなどが挙げられる。操作者が着る衣服及び防具に撮像装置１１を装着する方法としては、たとえば、コート又は作業着に面ファスナーを用いて固定する方法と、帽子、ヘルメット、マスク、防護メガネなどにクランプのような部材を取付けて、当該部材により撮像装置１１を把持することで装着する方法と、粘着性のテープや接着剤を用いて、腕時計や安全靴に接着させる方法とが挙げられる。
　一例として、撮像装置１１が、広角レンズ、魚眼レンズ又は超広角レンズを備えたＣＣＤカメラである場合には、図２Ｂに示すように装着される。図２Ｂは、操作者の頭部７１と、頭部７１に装着されたヘルメット５とを示す斜視図である。この場合に、カメラ６は、操作者の身に付けるヘルメット５のつば５１に、操作者の身体が撮影できるように、下向きに取付けられている。カメラ６の取付け方法は、カメラ６を保持するためのブラケット５２をヘルメット５に取付け、ブラケット５２によりカメラ６を保持する。またこれに代えて、カメラ６を挟持する部分をヘルメット５に設け、当該部分をヘルメット５として一体成形し、カメラ６を挟持してもよい。カメラ６は、図２Ｂに破線で示す視野４ａの範囲の画像を撮影する。これにより、ヘルメット５を装着した操作者の身体を含む画像を撮影できる。
　また、カメラ６を操作者に装着する場合は、たとえば図２Ｃに示すように装着される。図２Ｃは、右腕の上腕７４ａ、右腕の前腕７４ｂ及び右手７４ｃからなる、操作者の右腕を示す平面図である。この場合に、カメラ６は、面ファスナーを備えるバンド６１によって、操作者の右腕の前腕７４ｂにおいて肘に近い部分に巻き付けて装着されている。カメラ６は、図２Ｃに破線で示す視野４ｂの範囲の画像を撮影する。これにより、カメラ６を装着した操作者の右手７４ｃを含む画像を撮影できる。図２Ｃでは、操作者の右手７４ｃの手の甲側を撮影できるようにカメラ６が装着されているが、カメラ６は、操作者の右手７４ｃの掌側を撮影できるように装着されていてもよい。どちらの側を撮影するかは、検出する操作者の行動により適宜選択する。なお、図２Ａの例では左腕にウェアラブル端末３を装着し、図２Ｃの例では右腕にカメラ６を装着しているが、ウェアラブル端末３及びカメラ６は、左右どちらの腕に装着してもよい。また、これらの装着位置は、操作者の行動を適切に検出できる範囲内で適宜の位置に設定することができる。
　図１に戻り、表示装置１２は、画像処理装置１３にて検出された行動を操作者に通知するための装置である。表示装置１２は、たとえば、液晶ディスプレイ、プロジェクターなどであり、スピーカーを備えていてもよい。表示装置１２は、車両のダッシュボード、組立て工場の作業員の作業場所など、操作者の近くであって、操作者に必要な情報を通知することができる位置に設置されるが、操作者の操作を監視する監督者が存在する場合は、監督者の近くに設置される。この場合、監督者が操作者から離れた場所にいるとすると、表示装置１２は、操作者から離れた位置に設置されることになる。また、表示装置１２は、メガネのようなウェアラブル端末として操作者に取付けられていてもよい。さらに、表示装置１２に代えて、検出された行動に応じて警報音を発するスピーカーのみとしてもよい。
　画像処理装置１３は、所定操作を行う操作者の姿勢から、当該操作者の行動を推定するための装置であり、たとえばコンピュータである。特に、画像処理装置１３は、操作者の姿勢を検出する際に、撮像装置１１の位置ずれを考慮することができる。画像処理装置１３は、撮像装置１１及び表示装置１２と協働することで、所定の時間間隔で撮像装置１１から画像データを取得し、取得した画像データを処理することで、操作者の姿勢検出と、撮像装置１１の位置ずれの補正と、操作者の行動推定とを行う。
　これらのデータ取得機能と、姿勢検出機能と、位置ずれ補正機能と、行動推定機能とを実現するため、画像処理装置１３は、プロセッサであるＣＰＵ（Central Processing Unit）１３１と、プログラムが格納されたＲＯＭ（Read Only Memory）１３２と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３３とを備える。ＣＰＵ１３１は、ＲＯＭ１３２に格納されたプログラムを実行することで、画像処理装置１３として機能するための動作回路である。なお、画像処理装置１３は、撮像装置１１及び表示装置１２と共に設けられている必要はなく、これらの機器から離れた遠隔地のサーバーに設けられていてもよい。
［処理部］
　画像処理装置１３で用いるプログラムは、上述した画像処理装置１３の機能を実現するための機能ブロックである処理部２を含む。処理部２は、撮像装置１１と、表示装置１２とを制御して協働させることで、撮像装置１１から操作者を含む画像データを取得する機能（データ取得機能）と、取得した画像データを処理し、撮像装置１１の位置ずれを補正したうえで操作者の姿勢を検出する機能（姿勢検出機能及び位置ずれ補正機能）と、操作者の姿勢から操作者の行動を推定する機能（行動推定機能）とを実現する。これらの機能に対応する機能ブロックとして、処理部２は、図１に示すように、取得部２１と、検出部２２と、算出部２３と、補正部２４と、推定部２５と、出力部２６とを備える。図１には、各部を便宜的に抽出して示す。
　図１に示す画像処理装置１３は上記の機能ブロックを全て備えるが、単一の画像処理装置１３が全ての機能ブロックを備える必要はなく、上記の機能ブロックのうち一部のものを、画像処理システム１に含まれる他の機器、又は図示しない別の情報処理装置に設けてもよい。たとえば、図１の画像処理システム１において、検出部２２を撮像装置１１に設けてもよい。この場合には、撮像装置１１のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて検出部２２の機能が実行されることになる。
　また、各機能ブロックの処理の全てを単一の装置にて実行する必要はなく、データが授受できる状態で接続された複数の装置をまたいで、各機能ブロックの機能を実現してもよい。たとえば、図１の画像処理システム１において、算出部２３にて実行される処理のうち、一部の処理を撮像装置１１にて実行し、残りの処理を画像処理装置１３にて実行するようにしてもよい。この場合には、撮像装置１１のＣＰＵ、ＲＯＭ、及びＲＡＭを用いて、算出部２３の機能を実現するための処理の一部が行われることになる。
　以下、処理部２の各機能ブロックが果たす機能について説明する。
　取得部２１は、撮像装置１１から、操作者を含む画像を取得する機能を有する。本実施形態の撮像装置１１は、図２Ａ～２Ｃに示すように、操作者の身体を含む画像を撮影できる位置及び向きに設置されているため、取得部２１は、撮像装置１１により撮影された画像のデータを所定の時間間隔で取得することで、操作者を含む画像を取得することができる。また、取得部２１により取得される画像データは静止画に限られず、動画のような時系列の画像であってもよい。取得部２１により取得された画像の例を図３Ａ～３Ｃに示す。
　図３Ａは、図２Ａに示すウェアラブル端末３により撮影された画像であり、車両の乗員である操作者７を含む画像である。車両の乗員である操作者７は、左腕の前腕７３ｂにウェアラブル端末３を装着しているため、ウェアラブル端末３から操作者７を撮影すると、図３Ａに示すように、左腕の上腕７３ａと左腕の前腕７３ｂが右側に写り、右腕の上腕７４ａと右腕の前腕７４ｂとが左側に写る。また、操作者７の頭部７１と首７２の全体が撮影され、胴体７５の一部も撮影されている。
　図３Ｂは、図２Ｂに示すカメラ６により撮影された画像であり、車両の組立て工場の作業員である操作者７を含む画像である。作業員である操作者７は、頭部７１に身に付けるヘルメット５のつば５１に、カメラ６を下向きに装着しているため、カメラ６から操作者７を撮影すると、頭部７１のうちつば５１より上の部分（つまりヘルメット５により覆われた部分）は撮影できない。そのため、図３Ｂに示すように、頭部７１の上側の部分については、画像を取得することができない。頭部７１の下には首７２と胴体７５とが写り、胴体７５の左側には、右腕の上腕７４ａと、右腕の前腕７４ｂと、右手７４ｃとが写り、胴体７５の右側には、左腕の上腕７３ａと、左腕の前腕７３ｂと、左手７３ｃとが写る。カメラ６は、操作者７を、操作者７の正面方向から撮影するため、図３Ａと同様に左右が反対になる。また、胴体７５の下側には、左脚７６の一部と、右脚７７の一部とが撮影されている。
　図３Ｃは、図２Ｃに示すカメラ６により撮影された画像であり、車両の組立て工場の作業員である操作者の右手７４ｃを含む画像である。作業員である操作者は、右腕の前腕７４ｂの肘に近い部分にカメラ６を装着しているため、カメラ６から右手７４ｃを撮影すると、図３Ｃに示すように、右腕の前腕７４ｂの手首側と、右手７４ｃとが写る。
　図１に戻り、検出部２２は、取得部２１により取得された画像から操作者７の姿勢を検出する機能を有する。操作者７の姿勢とは、操作者７の身体の構え又は格好であり、具体的には、操作者７の身体の各関節の位置と、関節同士が接続する関係のことを言う。たとえば、操作者７の身体の各関節の位置と、関節と関節を結ぶ身体の部位とが明らかになっている場合であれば、直交座標系で定義される三次元空間において、各関節の位置に対応する座標に点をプロットし、当該部位によりつながっている関節（点）と関節（点）との間を直線で結ぶことで、操作者の身体の構えを幾何学的に表すことができる。
　一例として、取得部２１により、図３Ａに示す画像が取得された場合には、検出部２２は、図４Ａに示すような処理を行い、操作者７の姿勢を検出する。図４Ａでは、まず、パターンマッチングなどにより、画像に含まれる操作者７の中から、操作者７の関節を検出する。具体的には、入力された画像データにおいて、操作者７の身体の向きが変化している部分などの特徴部分を抽出し、抽出された特徴部分について、データベース１４に格納されたクラス辞書と比較することで、特徴部分がどのクラスに属するのかを判定する。クラス辞書において、関節ごとのクラスが設定されていれば、特徴部分が関節に該当するか否かを判定することができる。
　次に、関節と判定された部分に点をプロットする。具体的には、図４Ａに示すように、操作者７の首７２の関節に相当する部分に点Ｐ１をプロットし、右肩の関節に相当する部分に点Ｐ２をプロットし、右肘の関節に相当する部分に点Ｐ３をプロットし、左肩の関節に相当する部分に点Ｐ４をプロットし、左肘の関節に相当する部分に点Ｐ５をプロットする。次に、点Ｐ１と点Ｐ２との間に、右肩に相当する直線を引き、点Ｐ２と点Ｐ３との間に、右腕の上腕７４ａに相当する直線を引き、点Ｐ１と点Ｐ４との間に、左肩に相当する直線を引き、点Ｐ４と点Ｐ５との間に、左腕の上腕７３ａに相当する直線を引く。
　また、図３Ａに示す画像には、操作者７の右手と左手とが含まれていないが、肘の関節から手首の間に関節は存在しないので、図４Ａに含まれる右腕の前腕７４ｂの延長線上に右手が存在し、左腕の前腕７３ｂの延長線上に左手が存在すると推測される。そこで、図４Ａに示すように、推測された右手（不図示）の位置に向けて点Ｐ３から直線を引き、推測された左手（不図示）の位置に向けて点Ｐ５から直線を引く。これらの直線は、たとえば、右腕の前腕７４ｂ及び左腕の前腕７３ｂの長さ方向に直行する方向において、右腕の前腕７４ｂ及び左腕の前腕７３ｂの中心を通る。また、図３Ａに示す画像には胴体７５の腰より下の部分が含まれていないが、首７２の関節に相当する点Ｐ１から、胴体７５の左右の中心部分を通る直線を引き、胴体７５の位置を表す。このように、検出部２２は、図３Ａに含まれる操作者７の身体の各関節の位置と、関節同士が接続する関係を、図４Ａに示す点Ｐ１～Ｐ５と、各点から引かれた直線とにより表すことで、操作者７の姿勢を検出する。
　また別の例として、取得部２１により、図３Ｂに示す画像が取得された場合には、検出部２２は、図４Ｂに示すような処理を行い、操作者７の姿勢を検出する。図４Ｂでは、まず、図４Ａにて説明したパターンマッチングと同様の処理により、関節を検出する。次に、図４Ａの場合と同様に、関節と判定された部分に点をプロットする。具体的には、図４Ｂに示すように、操作者７の首７２の関節に相当する部分に点Ｐ６をプロットし、右肩の関節に相当する部分に点Ｐ７をプロットし、右肘の関節に相当する部分に点Ｐ８をプロットし、右手首の関節に相当する部分に点Ｐ９をプロットし、左肩の関節に相当する部分に点Ｐ１０をプロットし、左肘の関節に相当する部分に点Ｐ１１をプロットし、左手首の関節に相当する部分に点Ｐ１２をプロットする。さらに、腰の関節に相当する部分に点Ｐ１３をプロットし、右脚の付け根の関節に相当する部分に点Ｐ１４をプロットし、右膝の関節に相当する部分に点Ｐ１５をプロットし、左脚の付け根の関節に相当する部分に点Ｐ１６をプロットし、左膝の関節に相当する部分に点Ｐ１７をプロットする。
　次に、点Ｐ６と点Ｐ７との間に、右肩に相当する直線を引き、点Ｐ７と点Ｐ８との間に、右腕の上腕７４ａに相当する直線を引き、点Ｐ８と点Ｐ９との間に、右腕の前腕７４ｂに相当する直線を引き、点Ｐ７と点Ｐ１０との間に、左肩に相当する直線を引き、点Ｐ１０と点Ｐ１１との間に、左腕の上腕７３ａに相当する直線を引き、点Ｐ１１と点Ｐ１２との間に、左腕の前腕７３ｂに相当する直線を引く。さらに、点Ｐ６と点Ｐ１３との間に、胴体７５に相当する直線を引き、点Ｐ１３と点Ｐ１４との間、及び点Ｐ１３と点Ｐ１６との間に、脚の付け根に相当する直線を引き、点Ｐ１４と点Ｐ１５との間に、右脚７７に相当する直線を引き、点Ｐ１６と点Ｐ１７との間に、左脚７６に相当する直線を引く。
　また、図３Ｂに示す画像には、操作者７の右足首と左足首とが含まれていないが、膝の関節から足首の間に関節は存在しないので、図４Ｂに含まれる右脚７７の延長線上に右足首が存在し、左脚７６の延長線上に左足首が存在すると推測される。そこで、図４Ｂに示すように、推測された両足首（不図示）の位置に向けて点Ｐ１５及びＰ１７から直線を引く。これらの直線は、たとえば、右脚７７及び左脚７６の長さ方向に直行する方向において、右脚７７及び左脚７６の中心を通る。このように、検出部２２は、図３Ｂに含まれる操作者７の身体の各関節の位置と、関節同士が接続する関係を、図４Ｂに示す点Ｐ６～Ｐ１７と、各点から引かれた直線とにより表すことで、操作者７の姿勢を検出する。
　さらに別の例として、取得部２１により、図３Ｃに示す画像が取得された場合には、検出部２２は、図４Ｃに示すような処理を行い、操作者の右手７４ｃの姿勢を検出する。図４Ｃでは、まず、図４Ａにて説明したパターンマッチングと同様の処理により、関節を検出する。次に、図４Ａの場合と同様に、関節と判定された部分に点をプロットする。具体的には、図４Ｃに示すように、操作者の右手首の関節に相当する部分に点Ｐ１８をプロットし、親指の関節に相当する部分に点Ｐ１９～Ｐ２０をプロットし、人差し指の関節に相当する部分に点Ｐ２１～Ｐ２３をプロットし、中指の関節に相当する部分に点Ｐ２４～Ｐ２６をプロットし、薬指の関節に相当する部分に点Ｐ２７～Ｐ２９をプロットし、小指の関節に相当する部分に点Ｐ３０～Ｐ３２をプロットする。次に、点Ｐ１８と点Ｐ１９との間と、点Ｐ１８と点Ｐ２１との間と、点Ｐ１８と点Ｐ２４との間と、点Ｐ１８と点Ｐ２７との間と、点Ｐ１８と点Ｐ３０との間に掌に相当する直線を引く。さらに、点Ｐ１９と点Ｐ２０との間に親指に相当する直線を引き、点Ｐ２１と点Ｐ２２との間と、点Ｐ２２と点Ｐ２３との間に人差し指に相当する直線を引き、点Ｐ２４と点Ｐ２５との間と、点Ｐ２５と点Ｐ２６との間に中指に相当する直線を引き、点Ｐ２７と点Ｐ２８との間と、点Ｐ２８と点Ｐ２９との間に薬指に相当する直線を引き、点Ｐ３０と点Ｐ３１との間と、点Ｐ３１と点Ｐ３２との間に小指に相当する直線を引く。
　また、図３Ｃに示す画像には、操作者の右肘が含まれていないが、肘から手首の間に関節は存在しないので、図４Ｃに含まれる右腕の前腕７４ｂの延長線上に右肘が存在すると推測される。そこで、図４Ｃに示すように、推測された右肘（不図示）の位置に向けて点Ｐ１８から直線を引く。この直線は、たとえば、右腕の前腕７４ｂの長さ方向に直行する方向において、右腕の前腕７４ｂの中心を通る。このように、検出部２２は、図３Ｃに含まれる操作者の右手７４ｃの各関節の位置と、関節同士が接続する関係を、図４Ｃに示す点Ｐ１８～Ｐ３２と、各点から引かれた直線とにより表すことで、操作者の右手７４ｃの姿勢を検出する。
　検出部２２は、上述した方法以外に、操作者７の身体の部位と、操作者７の周囲の物体との相対的な位置関係に基づいて、操作者７の姿勢を検出することができる。たとえば、操作者７が立っている地面に対して、操作者７の頭部７１および腕などがどこに位置するかを算出し、当該算出結果を基に操作者７の姿勢を検出する。またこれに代えて、又はこれに加えて、検出部２２は、操作者７の身体の部位の向きから姿勢を検出することができる。たとえば、操作者７の眼の位置（視線）、手の向き、足の向き、胴体７５の向きから、操作者７の姿勢を検出する。
　また、検出部２２により点が設定される関節は、図４Ａ～４Ｃに示す関節に限定されない。図４Ａ及び４Ｂでは、図４Ａ及び４Ｂに示す関節より細かい関節を検出し、より多くの点をプロットしてもよい。たとえば、図４Ｃに示すように、左手７３ｃ及び右手７４ｃの指の関節に相当する部分に点をプロットし、左手７３ｃ及び右手７４ｃの指がどのような格好になっているかを検出してもよい。これにより、車両の乗員が車両の車載機器に触れているか否か、組立てラインの作業員が工具を握っているか否かといった、細かな姿勢の検出ができる。
　検出部２２は、取得部２１により取得された画像から操作者７の姿勢を検出する場合に、操作者７が含まれる画像から操作者７の姿勢を推定するように予め学習された姿勢推定モデルを用いてもよい。姿勢推定モデルは、たとえば、図１に示すデータベース１４に格納されている。姿勢推定モデルでは、操作者７が含まれる画像と、当該画像において検出された操作者７の姿勢とが対応するように関連付けられており、ある画像データを入力すると、入力した画像データに対応する、操作者７の姿勢が出力される。姿勢推定モデルは、図１に示す第１機械学習部２２１により機械学習される。具体的には、データベース１４に格納された、過去の画像と操作者７の姿勢の検出結果とを用いて、姿勢推定モデルが、入力された画像データに対して適切な姿勢を検出し、結果を出力するように、学習させる。
　また、姿勢推定モデルは、機械学習を行った学習済みモデルであってもよい。学習済みモデルとは、ある入力データに対して適切な出力データが得られるように、予め機械学習により学習されたモデルであり、少なくとも、入力データから出力データを得るまでの演算を行うプログラムと、当該演算に用いられる重み付け係数（パラメータ）とを備える。当該学習済みモデルは、取得部２１にて取得された画像データが入力データとして入力されると、当該入力データに基づいて、操作者７の姿勢を含む出力データが出力されるようにコンピュータ（特に、プロセッサであるＣＰＵ１３１）を機能させる。このような学習済みモデルを用いることで、学習された操作以外の操作を行う操作者７についても、姿勢を検出することができる。
　本実施形態の学習済みモデルは特に限定されないが、たとえばニューラルネットワークである。ニューラルネットワークは、入力層と、中間層と、及び出力層とを備え、各層には少なくとも一つのニューロンが含まれている。入力層には、取得部２１にて取得された画像データを含む入力データが入力され、入力されたデータを中間層に出力する。中間層は、入力層から入力されたデータから、操作者７のデータを抽出する。次に、抽出した操作者７のデータから、姿勢と検出する。出力層は、中間層から入力されたデータを、姿勢のデータを含む出力データとして出力する。中間層におけるパラメータとしては、操作者７の関節の位置と、関節同士の接続関係が考慮される。
　算出部２３は、取得部２１により取得された画像から、位置ずれを算出する基準としての基準位置を識別し、識別された基準位置を用いて撮像装置１１の位置ずれを算出する機能を有する。本実施形態の撮像装置１１は、操作者７、及び操作者７が身に付ける物品のうち少なくとも一方に装着されるが、装着された撮像装置１１が完全に固定されているとは限らず、操作者７が所定操作を行う間に、撮像装置１１の装着位置が、最初に装着された位置から移動する場合がある。たとえば、図２Ａにおいて、バンド３１が手首に対して回転することで、ウェアラブル端末３が、左手７３ｃの親指側に回転して移動した場合には、取得部２１により、図５Ａのような操作者７が反時計回り（矢印８の方向）に回転した画像が取得される。また、図２Ｃにおいて、バンド６１が緩むことで、カメラ６が時計回りに回転した場合には、取得部２１により、図５Ｂのような右手７４ｃが時計回り（矢印９の方向）に回転した画像が取得される。これら場合に、検出部２２において、操作者７の姿勢が正しく検出されないおそれがあるため、算出部２３の機能により、撮像装置１１の装着位置の位置ずれを算出し、後述する補正部２４の機能により、検出部２２により検出された姿勢を補正する。これにより、操作者７の姿勢が正しく検出される。
　撮像装置１１の位置ずれは、所定状態の基準位置に対して算出される。所定状態とは、たとえば、撮像装置１１を装着した最初の状態（以下、「初期状態」とも言う。）、操作者７が所定操作を開始したときの状態、ある時点（たとえば現在）から所定時間前の状態又はある時間における状態である。これらの状態における基準位置に対して、基準位置がどれだけ移動したか（ずれたか）を算出し、当該算出結果を撮像装置１１の位置ずれとする。当該位置ずれを算出する際に、算出部２３は、画像に含まれる操作者７の身体の一部を基準位置として識別し、識別した身体の一部を用いて位置ずれを算出する。
　上述した身体の一部は、位置ずれを可能な限り簡単に算出するために識別される身体の部位であって、部位自体が関節などの可動部分を持たないものである。具体的には、撮像装置１１が操作者７に装着されている場合には、撮像装置１１が装着された部分との間に関節が存在しない部位であり、撮像装置１１が、操作者７が身に付ける物品に装着されている場合には、操作者７が身に付けた物品と接触している部分との間に関節が存在しない部位である。部位自体に関節により可動する部分が存在しない理由は、身体の部位を基準位置として位置ずれを算出する場合に、関節が可動して基準位置の部位が移動したのか、撮像装置１１の装着位置が位置ずれて基準位置の部位が移動したのかを区別する必要があり、位置ずれを正確に算出することが難しくなるためである。また、撮像装置１１が装着された部分、及び操作者７が身に付けた物品と接触している部分との間に関節が存在しない理由は、撮像装置１１と識別した部位との間に関節が存在すると、基準位置として設定した部位の移動が、関節の可動によるものか、装着位置の位置ずれによるものかを区別することが難しくなるためである。
　ただし、撮像装置１１が装着された位置を用いて、撮像装置１１の装着部分の位置ずれを算出することはできないため、操作者７の身体の部位のうち、撮像装置１１が装着された部分と、操作者７が身に付ける物品と接触している部分は、基準位置となる部位の候補から除かれる。ここで、撮像装置１１が装着された部分と、操作者７が身に付ける物品と接触している部分は、操作者７の身体の部位の一部である。つまり、基準位置となる部位として識別された部位と、撮像装置１１の装着された部位は、同じ部位であってもよい。また、基準位置となる部位として識別された部位と、操作者７が身に付ける物品と接触している部位は、同じ部位であってもよい。
　基準位置となる部位を検出する場合には、たとえば、画像データに含まれる操作者７の身体のうち、予め設定された部位をパターンマッチングにより検出する。そして、予め設定された部位が識別された場合に、当該部位を、位置ずれを算出するための基準位置として設定する。一例として、図２Ａに示すように、左手７３ｃの手首にウェアラブル端末３を装着している場合は、手首から左肘の関節までの間に存在する左腕の前腕７３ｂを、基準位置となる部位として予め設定しておく。左腕の前腕７３ｂ自体は関節により可動する部分を持たず、装着されたウェアラブル端末３と左腕の前腕７３ｂとの間に関節は存在しない。これに対して、左手７３ｃは指の関節を備えるため、位置ずれを算出するための基準位置にはならない。別の例として、図２Ｂに示すように、頭部７１にヘルメット５を装着している場合は、ヘルメット５により覆われていない鼻を、基準位置となる部位として予め設定しておく。鼻自体は関節により可動する部分を持たず、ヘルメット５により覆われた部分と鼻との間に関節は存在しない。これに対して、顎及び口は、顎の関節により下顎が動くため、位置ずれを算出するための基準位置にはならない。さらに別の例として、図２Ｃに示すように、右腕の前腕７４ｂにおいて肘に近い部分にカメラ６を装着している場合は、右腕の前腕７４ｂを、基準位置となる部位として予め設定しておく。右腕の前腕７４ｂ自体は関節により可動する部分を持たず、装着されたカメラ６と右腕の前腕７４ｂ（特に右腕の前腕７４ｂの手首側）との間に関節は存在しない。これに対して、右手７４ｃは右手首の関節により動くため、位置ずれを算出するための基準位置にはならない。
　一例として、図６Ａ～６Ｂに、位置ずれを算出するための基準位置として鼻を識別し、識別した鼻を基準位置に設定した場合に、位置ずれを算出する方法を示す。図６Ａは、図２Ｂに示すカメラ６にて頭部７１を撮影したときに取得された画像の一例を示す平面図である。図６Ａには、頭部７１と鼻７１１が含まれており、鼻７１１が、位置ずれを算出するための基準位置に設定されている。ここで、図６Ａの場合の位置ずれは、最初に撮像装置１１を装着したときの位置、すなわち図６Ａに示す初期状態の位置に対して算出されるものとする。この場合に、ヘルメット５が反時計回りに回転したとすると、図６Ｂに示すように、最初にヘルメット５を被ったときの撮像装置１１の位置と比較して、操作者７を平面視した場合の頭部７１の中心７１２に対して、角度αだけ頭部７１が時計回りに回転したように見える。ところが、ヘルメット５がきちんと操作者７に装着されていれば、操作者７が回転しても、画像における鼻７１１の位置は変化しない。実際には、操作者７自身は回転しておらず、ヘルメット５が回転しただけである。算出部２３は、図６Ｂのように、基準位置である鼻が、初期状態である、最初に撮像装置１１を装着した位置に対して移動した画像が取得された場合には、初期状態の鼻７１１の位置（つまり中心７１２の位置）に対して鼻が移動した距離及び角度（図６Ｂの場合は角度α）を検出する。次に、検出した距離及び角度から、ヘルメット５（カメラ６）が回転したことに起因する位置ずれを算出する。そして、算出した位置ずれの情報を、補正部２４に出力する。なお、初期状態の撮像装置１１の装着位置又は鼻７１１の位置を、位置ずれを算出するための起算位置とも言う。
　また、基準位置となる部位を予め設定せずに、取得部２１により取得された時系列の画像から、基準位置となる部位を識別してもよい。たとえば、所定の周期で撮影された時系列の画像において、撮像装置１１の装着位置の位置ずれを検出することができる所定の範囲内（たとえば５ｍｍ以下）の距離しか移動していない部位を検出し、当該部位を基準位置として識別する。たとえば、右脚の足首に上向きに撮像装置１１を装着した場合には、１分の周期で撮影された時系列の画像において、画像内における移動量が５ｍｍ以下となる部位を検出する。この場合、右脚の足首から上向きに操作者７を撮影しているため、右脚のふくらはぎは足首に対してほとんど移動しない。そのため、右脚のふくらはぎが基準位置として識別される。
　さらに、算出部２３は、取得部２１が、基準位置となる部位を含む時系列の画像を取得した場合に、当該時系列の画像における当該部位の移動量から位置ずれを算出する。たとえば、図６Ａ及び６Ｂに示す鼻７１１の動きを、ヘルメット５を装着してから、図６Ｂのようにヘルメット５が回転するまでの間の時系列の画像として取得し、ヘルメット５を装着してから鼻７１１がどの方向にどれだけ移動したかを算出し、算出結果を位置ずれとすることができる。この場合に、位置ずれを算出するための起算位置は、時系列の画像における当該部位の最初の位置に設定してもよい。
　算出部２３は、取得部２１により取得された画像から位置ずれを算出する場合に、当該画像における、基準位置として設定された部位の位置から位置ずれを推定するように予め学習された位置ずれ推定モデルを用いてもよい。位置ずれ推定モデルは、たとえば、図１に示すデータベース１４に格納されている。位置ずれ推定モデルでは、操作者７が含まれる画像と、当該画像において算出された位置ずれが対応するように関連付けられており、ある画像データを入力すると、入力した画像データに対応する位置ずれが出力される。位置ずれ推定モデルは、図１に示す第２機械学習部２３１により機械学習される。具体的には、データベース１４に格納された、過去の画像と位置ずれの算出結果とを用いて、位置ずれ推定モデルが、入力された画像データに対して適切な位置ずれを推定し、結果を出力するように、学習させる。
　また、位置ずれ推定モデルは、機械学習を行った学習済みモデルであってもよい。当該学習済みモデルは、取得部２１にて取得された画像データが入力データとして入力されると、当該入力データに基づいて、位置ずれを含む出力データが出力されるようにコンピュータ（特に、プロセッサであるＣＰＵ１３１）を機能させる。このような学習済みモデルを用いることで、学習された操作以外の操作を行う操作者７についても、位置ずれを算出することができる。
　本実施形態の学習済みモデルは特に限定されないが、たとえばニューラルネットワークである。ニューラルネットワークは、入力層と、中間層と、及び出力層とを備え、各層には少なくとも一つのニューロンが含まれている。入力層には、取得部２１にて取得された画像データを含む入力データが入力され、入力されたデータを中間層に出力する。中間層は、入力層から入力されたデータから、操作者７のデータを抽出する。次に、抽出した操作者７のデータから、位置ずれを推定する。出力層は、中間層から入力されたデータを、位置ずれのデータを含む出力データとして出力する。中間層におけるパラメータとしては、操作者７の関節の位置と、関節同士の接続関係が考慮される。
　また、算出部２３は、取得部２１により、撮像装置１１の位置を特定するための模様を含む画像が取得された場合には、当該模様を基準位置として識別し、模様から特定された撮像装置１１の位置を用いて位置ずれを算出してもよい。模様とは、画像において位置ずれを算出する際に基準となるものであれば特に限定されず、交差する複数の線、星型のマークなどが挙げられる。たとえば、車両の乗員が装着するマスクにグリッド線の模様を付しておき、グリッド線を用いて、撮像装置１１の装着位置の位置ずれを算出する。さらに、算出部２３は、検出部２２により、操作者７の周囲に設置された検出装置を用いて、撮像装置１１の位置と、操作者７の姿勢とが検出された場合には、検出部２２にて検出された、撮像装置１１の位置と操作者７の姿勢とに基づいて位置ずれを算出してもよい。たとえば、組立て工場の作業員の前に設置されたカメラを用いて、撮像装置１１の位置と操作者７の姿勢とを検出し、検出した結果を用いて操作者７の行動を推定する。
　補正部２４は、算出部２３により算出された撮像装置１１の位置ずれを用いて、検出部２２により検出された姿勢を補正する機能を有する。補正部２４は、算出部２３により算出された位置ずれの情報を用いて、検出部２２にて取得された、幾何学的に表された操作者７の姿勢に対して、幾何学的な変換を行う。たとえば、図６Ｂに示すように、ヘルメット５が角度αだけ反時計回りに回転した場合には、検出された姿勢について、角度αだけ時計回りに回転する変換を行う。これにより、ヘルメット５が回転し、装着位置がずれる前の操作者７の姿勢、つまり操作者７の正確な姿勢を検出することができる。また、ヘルメット５が、操作者７に対して前後方法及び左右方向にずれた場合には、検出された姿勢について、並進、回転、拡大及び縮小のうち少なくとも一つの線形変換を行い、ヘルメット５の移動（つまり位置ずれ）を補正する処理を行う。図２Ａに示すウェアラブル端末３及び図２Ｃに示すカメラ６についても、同様の幾何学的な変換を行うことで、位置ずれを補正することができる。
　推定部２５は、補正部２４により補正された、操作者７の姿勢から、操作者７の行動を推定する機能を有する。操作者７の行動とは、所定操作を完了させるために必要なあらゆる行動のことを言い、車両の乗員がエアコンなどの車載機器を操作するために、車載機器のスイッチに手を延ばす行動、組立て工場の作業員が工具箱からトルクレンチを取り出す行動、及びディーラーの整備士が車両を持ち上げるリフトを上下させるスイッチに触れる行動に加えて、車両の乗員が、車両の窓ガラスを上下させるスイッチを押込む行動、車両の乗員が、タッチパネルに触れてナビゲーション装置の地図の表示を変更する行動、組立て工場の作業員が、センサーに接続されたカプラーと、電子制御装置（ＥＣＵ）に接続されたカプラーとを嵌合する行動、組立て工場の作業員が、工具を用いてボルトを締めて、エンジンブロックにエキゾーストマニホールドを取り付ける行動、ディーラーの整備士が、エンジンにスパークプラグを嵌める行動、ディーラーの整備士が、トルクレンチを用いてボルトを締める行動などの行動を挙げることができる。
　たとえば、推定部２５は、図４Ａに示す姿勢が検出された場合に、図４Ａに示す点Ｐ１～Ｐ３の位置と、点Ｐ１～Ｐ３から引かれた直線の形状とから、車両の乗員である操作者７は、車載機器を操作しようと、車載機器の操作部に右手（不図示）を延ばしていると推定する。また、図４Ｂに示す姿勢が検出された場合に、図４Ｂに示す点Ｐ７～Ｐ９及びＰ１０～Ｐ１２の位置と、点Ｐ７～Ｐ９及びＰ１０～Ｐ１２に引かれた直線の形状とから、組立て工場の作業員である操作者７は、組立てに用いる工具を操作しようと、左手７３ｃと右手７４ｃとで工具を掴もうとしていると推定する。さらに、図４Ｃに示す姿勢が検出された場合に、図４Ｃに示す点Ｐ１９～Ｐ３２の位置と、点Ｐ１９～Ｐ３２から引かれた直線の形状とから、工場の作業員である操作者７は、指を延ばして、組立てに用いる工具を右手７４ｃで掴もうとしていると推定する。このような行動の推定には、たとえばパターンマッチングを用いる。具体的には、入力された姿勢のデータにおいて、操作者７の関節の位置と、関節同士が接続している関係と、関節を接続する身体の部位の形状などの特徴部分を抽出し、抽出された特徴部分について、データベース１４に格納されたクラス辞書と比較することで、特徴部分がどのクラスに属するのかを判定する。クラス辞書において、姿勢に対応する行動がクラスとして設定されていれば、姿勢から行動を推定することができる。
　推定部２５は、行動の推定する場合に、検出部２２により検出され、補正部２４により補正された、操作者７の姿勢から、操作者７の行動を推定するように予め学習された行動推定モデルを用いることができる。行動推定モデルは、たとえば、図１に示すデータベース１４に格納されている。行動推定モデルでは、検出された操作者７の姿勢と、操作者７の行動とが対応するように関連付けられており、ある姿勢のデータを入力すると、入力した姿勢のデータに対応する、操作者７の行動が出力される。行動推定モデルは、図１に示す第３機械学習部２５１により機械学習される。具体的には、データベース１４に格納された、操作者７の姿勢の過去の検出結果と、推定された操作者７の行動とを用いて、行動推定モデルが、入力された姿勢のデータに対して適切な行動を推定し、結果を出力するように、学習させる。
　また、行動推定モデルは、機械学習を行った学習済みモデルであってもよい。当該学習済みモデルは、検出部２２により検出された姿勢のデータが入力データとして入力されると、当該入力データに基づいて、操作者７の行動を含む出力データが出力されるようにコンピュータ（特に、プロセッサであるＣＰＵ１３１）を機能させる。このような学習済みモデルを用いることで、学習された操作以外の操作を行う操作者７についても、行動を適切に検出することができる。なお、入力される姿勢のデータは、補正部２４により補正されていても、補正されていなくともよい。
　本実施形態の学習済みモデルは特に限定されないが、たとえばニューラルネットワークである。ニューラルネットワークは、入力層と、中間層と、及び出力層とを備え、各層には少なくとも一つのニューロンが含まれている。入力層には、検出部２２にて検出された姿勢のデータを含む入力データが入力され、入力されたデータを中間層に出力する。中間層は、入力層から入力されたデータから、操作者７の姿勢のデータを抽出する。次に、抽出した操作者７の姿勢のデータから、行動と推定する。出力層は、中間層から入力されたデータを、行動のデータを含む出力データとして出力する。中間層におけるパラメータとしては、たとえば、操作者７の関節を示す点の位置と、関節同士の接続関係を示す直線の形とが考慮される。
　なお、操作者７の姿勢に対して複数の行動が推定される場合があるが、本実施形態の操作者７は所定操作を行うため、推定部２５は、操作者７の属性が特定されれば、姿勢に対応する行動を特定することができる。操作者７の属性とは、たとえば、操作者７が車両の乗員であるか、組立て工場の組立てラインで作業する作業員であるか、車両のディーラーの整備工場の整備士であるかなどの、操作者７の役割及び操作者７の存在する場所についての特徴である。
　出力部２６は、推定部２５にて推定された行動を表示装置１２に出力する機能を有する。出力部２６から出力された、操作者７の行動は、表示装置１２により受け取られる。そして、表示装置１２に表示され、操作者７及び操作者７の監督者などに提示される。操作者７及び監督者は、表示装置１２により提示された行動を確認することで、操作者７の行動が所定操作に必要なものか否か、操作者７が所定操作を所定の手順で行っているか否か、操作者７が必要な手順を飛ばしているか否か、などを確認することができる。また、操作者７及び監督者に代えて、処理部２において、操作者７の行動が所定操作に必要か否か、操作者７が所定操作を所定の手順で行っているか否か、操作者７が必要な手順を飛ばしているか否か、などを判定してもよい。この場合、所定操作、所定操作の手順、所定操作に必要な行動などはデータベース１４に格納され、必要に応じて、処理部２により取得される。
［画像処理システムにおける処理］
　図７を参照して、画像処理装置１３が情報を処理する際の手順を説明する。図７は、本実施形態の画像処理システム１における情報の処理を示すフローチャートの一例である。以下に説明する処理は、操作者７が所定操作を行っている間、画像処理装置１３のプロセッサであるＣＰＵ１３１により所定の時間間隔で実行される。
　まず、ステップＳ１にて、取得部２１の機能により、撮像装置１１にて撮影された画像データを取得する。続くステップＳ２にて、操作者７を含む画像データが取得されたか否かを判定する。取得した画像データに操作者７が含まれていない場合は、ステップＳ１に戻る。これに対して、取得した画像データに操作者７が含まれている場合は、ステップＳ３に進む。
　ステップＳ３にて、検出部２２の機能により、画像に含まれた操作者７の姿勢を検出する。続くステップＳ４にて、操作者７の姿勢が適切に検出できたか否かを判定する。操作者７の姿勢が適切に検出できなかった場合は、ステップＳ１に戻る。これに対して、操作者７の姿勢が適切に検出できた場合は、ステップＳ５に進む。
　ステップＳ５にて、算出部２３の機能により、撮像装置１１の装着位置が、たとえば初期状態の基準位置に対してどの程度ずれているのかを算出する。続くステップＳ６にて、撮像装置１１の装着位置がずれているか否かを判定する。具体的には、算出された位置ずれの量が、操作者７の姿勢を正しく検出することができる範囲内であるか否かを判定する。算出された位置ずれの量が、操作者７の姿勢を正しく検出することができる範囲内であれば、ステップＳ８に進む。これに対して、算出された位置ずれの量が、操作者７の姿勢を正しく検出することができる範囲を超えている場合は、ステップＳ７に進む。
　ステップＳ７にて、補正部２４の機能により、算出部２３により算出されたずれ量に基づいて、操作者７の姿勢を補正する。続くステップＳ８にて、推定部２５の機能により、操作者７の姿勢から、操作者７の行動を推定する。続くステップＳ９にて、操作者７の行動が適切に推定できたか否かを判定する。操作者７の行動が適切に推定できなかった場合は、ルーチンの実行を停止して情報の処理を終了する。これに対して、操作者７の行動が適切に推定できた場合は、ステップＳ１０に進む。
　ステップＳ１０にて、出力部２６の機能により、推定された行動を含むデータを、画像処理装置１３から表示装置１２に出力する。続くステップＳ１１にて、処理部２の機能により、推定部２５により推定された行動に基づいて、操作者７が所定操作を適切に実行しているか否かを判定する。この際に、当該判定結果を表示装置１２に出力してもよい。ステップＳ１１における処理が完了すると、ルーチンの実行を停止して情報の処理を終了する。なお、ステップＳ２と、ステップＳ４と、ステップＳ６と、ステップＳ９～Ｓ１１とは、必須のステップではなく、必要に応じて設けることができる。
［本発明の実施態様］
　以上のとおり、本実施形態によれば、所定操作を行う操作者７、及び前記操作者７が身に付ける物品のうち少なくとも一方に装着された撮像装置１１から、前記操作者７を含む画像を取得する取得部２１と、前記画像から前記操作者７の姿勢を検出する検出部２２と、前記画像から、位置ずれを算出する基準としての基準位置を用いて前記撮像装置１１の位置ずれを算出する算出部２３と、前記位置ずれを用いて前記姿勢を補正する補正部２４と、を備える、画像処理装置１３が提供される。これにより、撮像装置１１（たとえばカメラ）の装着位置がずれた場合でも、操作者７の姿勢を正しく認識することができる。
　また、本実施形態の画像処理装置１３によれば、前記姿勢から前記操作者７の行動を推定するように予め学習された行動推定モデルを用いて、補正された前記姿勢から前記操作者７の行動を推定する推定部２５を備える。これにより、操作者７の姿勢と行動とを関連付けて、操作者７の行動を推定することができる。
　また、本実施形態の画像処理装置１３によれば、前記検出部２２は、前記画像から前記操作者７の姿勢を推定するように予め学習された姿勢推定モデルを用いて、前記画像から前記操作者７の姿勢を検出する。これにより、これまでの検出結果を用いた、精度の高い姿勢検出を行うことができる。
　また、本実施形態の画像処理装置１３によれば、前記算出部２３は、前記画像に含まれる前記操作者７の身体の一部を前記基準位置として識別し、所定状態の前記基準位置に対する前記位置ずれを算出する。これにより、身体の部位を用いた簡易で正確な位置ずれの算出が実現できる。
　また、本実施形態の画像処理装置１３によれば、前記基準位置は、前記撮像装置１１が前記操作者に装着されている場合には、前記撮像装置１１が装着された部分以外の前記操作者７の身体の部位のうち、部位自体に関節により可動する部分が存在せず、且つ、前記撮像装置１１が装着された部分との間に関節が存在しない部位であり、前記撮像装置１１が前記物品に装着されている場合には、前記物品と接触している部分以外の前記操作者７の身体の部位のうち、部位自体に関節により可動する部分が存在せず、且つ、前記操作者７が身に付けた前記物品と接触している部分との間に関節が存在しない部位である。これにより、身体の部位をより正確に特定することができる。
　また、本実施形態の画像処理装置１３によれば、前記取得部２１は、前記基準位置を含む時系列の画像を取得し、前記算出部２３は、前記時系列の画像における前記基準位置の移動量を用いて前記位置ずれを算出する。これにより、撮像装置１１の位置ずれをより正確に算出することができる。
　また、本実施形態の画像処理装置１３によれば、前記算出部２３は、前記画像における前記基準位置の位置から前記位置ずれを推定するように予め学習された位置ずれ推定モデルを用いて前記位置ずれを算出する。これにより、画像を入力するだけで位置ずれの量を算出することができる。
　また、本実施形態の画像処理装置１３によれば、前記取得部２１は、前記撮像装置１１の位置を特定するための模様を含む画像を取得し、前記算出部２３は、前記模様を前記基準位置として識別し、前記模様から特定された前記撮像装置１１の位置を用いて前記位置ずれを算出する。これにより、撮像装置１１の位置ずれをより正確に算出することができる。
　また、本実施形態の画像処理装置１３によれば、前記検出部２２は、前記操作者７の周囲に設置された検出装置を用いて、前記撮像装置１１の位置と、前記操作者７の姿勢とを検出し、前記算出部２３は、前記検出部２２にて検出された、前記撮像装置１１の位置と前記操作者７の姿勢とに基づいて前記位置ずれを算出する。これにより、撮像装置１１の位置ずれをより正確に算出することができる。
　また、本実施形態によれば、プロセッサにより実行される画像処理方法において、前記プロセッサは、所定操作を行う操作者７、及び前記操作者７が身に付ける物品のうち少なくとも一方に装着された撮像装置１１から、前記操作者７を含む画像を取得し、前記画像から前記操作者７の姿勢を検出し、前記画像から、位置ずれを算出する基準としての基準位置を用いて前記撮像装置１１の位置ずれを算出し、前記位置ずれを用いて前記姿勢を補正する、画像処理方法が提供される。これにより、撮像装置１１（たとえばカメラ）の装着位置がずれた場合でも、操作者７の姿勢を正しく認識することができる。
１…画像処理システム
　１１…撮像装置
　１２…表示装置
　１３…画像処理装置
　　１３１…ＣＰＵ
　　１３２…ＲＯＭ
　　１３３…ＲＡＭ
　１４…データベース
２…処理部
　２１…取得部
　２２…検出部
　　２２１…第１機械学習部
　２３…算出部
　　２３１…第２機械学習部
　２４…補正部
　２５…推定部
　　２５１…第３機械学習部
　２６…出力部
３…ウェアラブル端末
　３１…バンド
４、４ａ、４ｂ…視野
５…ヘルメット
　５１…つば
　５２…ブラケット
６…カメラ
　６１…バンド
７…操作者（人間）
　７１…頭部
　　７１１…鼻
　　７１２…中心
　７２…首
　７３ａ…左腕の上腕
　７３ｂ…左腕の前腕
　７３ｃ…左手
　７４ａ…右腕の上腕
　７４ｂ…右腕の前腕
　７４ｃ…右手
　７５…胴体
　７６…左脚
　７７…右脚
８、９…矢印
Ｐ１～Ｐ３２…点
α…角度

Claims (10)

  1. 　人間及び前記人間が身に付ける物品のうち少なくとも一方に装着された撮像装置から、前記人間を含む画像を取得する取得部と、
    　前記画像から前記人間の姿勢を検出する検出部と、
    　前記画像から、位置ずれを算出する基準としての基準位置を用いて前記撮像装置の位置ずれを算出する算出部と、
    　前記位置ずれを用いて前記姿勢を補正する補正部と、を備える、画像処理装置。
  2. 　前記姿勢から前記人間の行動を推定するように予め学習された行動推定モデルを用いて、補正された前記姿勢から前記人間の行動を推定する推定部を備える、請求項１に記載の画像処理装置。
  3. 　前記検出部は、前記画像から前記人間の姿勢を推定するように予め学習された姿勢推定モデルを用いて、前記画像から前記人間の姿勢を検出する、請求項１又は２に記載の画像処理装置。
  4. 　前記算出部は、前記画像に含まれる前記人間の身体の一部を前記基準位置として識別し、所定状態の前記基準位置に対する前記位置ずれを算出する、請求項１～３のいずれか一項に記載の画像処理装置。
  5. 　前記基準位置は、
    　　前記撮像装置が前記人間に装着されている場合には、前記撮像装置が装着された部分以外の前記人間の身体の部位のうち、部位自体に関節により可動する部分が存在せず、且つ、前記撮像装置が装着された部分との間に関節が存在しない部位であり、
    　　前記撮像装置が前記物品に装着されている場合には、前記物品と接触している部分以外の前記人間の身体の部位のうち、部位自体に関節により可動する部分が存在せず、且つ、前記人間が身に付けた前記物品と接触している部分との間に関節が存在しない部位である、請求項４に記載の画像処理装置。
  6. 　前記取得部は、前記基準位置を含む時系列の画像を取得し、
    　前記算出部は、前記時系列の画像における前記基準位置の移動量を用いて前記位置ずれを算出する、請求項４又は５に記載の画像処理装置。
  7. 　前記算出部は、前記画像における前記基準位置の位置から前記位置ずれを推定するように予め学習された位置ずれ推定モデルを用いて前記位置ずれを算出する、請求項４又は５に記載の画像処理装置。
  8. 　前記取得部は、前記撮像装置の位置を特定するための模様を含む画像を取得し、
    　前記算出部は、前記模様を前記基準位置として識別し、前記模様から特定された前記撮像装置の位置を用いて前記位置ずれを算出する、請求項１～７のいずれか一項に記載の画像処理装置。
  9. 　前記検出部は、前記人間の周囲に設置された検出装置を用いて、前記撮像装置の位置と、前記人間の姿勢とを検出し、
    　前記算出部は、前記検出部にて検出された、前記撮像装置の位置と前記人間の姿勢とに基づいて前記位置ずれを算出する、請求項１～８のいずれか一項に記載の画像処理装置。
  10. 　プロセッサにより実行される画像処理方法において、
    　前記プロセッサは、
    　　人間及び前記人間が身に付ける物品のうち少なくとも一方に装着された撮像装置から、前記人間を含む画像を取得し、
    　　前記画像から前記人間の姿勢を検出し、
    　　前記画像から、位置ずれを算出する基準としての基準位置を用いて前記撮像装置の位置ずれを算出し、
    　　前記位置ずれを用いて前記姿勢を補正する、画像処理方法。
PCT/JP2021/037332 2021-10-08 2021-10-08 画像処理装置及び画像処理方法 WO2023058221A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023552653A JPWO2023058221A1 (ja) 2021-10-08 2021-10-08
PCT/JP2021/037332 WO2023058221A1 (ja) 2021-10-08 2021-10-08 画像処理装置及び画像処理方法
CN202180103139.7A CN118076972A (zh) 2021-10-08 2021-10-08 图像处理装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037332 WO2023058221A1 (ja) 2021-10-08 2021-10-08 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
WO2023058221A1 true WO2023058221A1 (ja) 2023-04-13

Family

ID=85804060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037332 WO2023058221A1 (ja) 2021-10-08 2021-10-08 画像処理装置及び画像処理方法

Country Status (3)

Country Link
JP (1) JPWO2023058221A1 (ja)
CN (1) CN118076972A (ja)
WO (1) WO2023058221A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099982A (ja) 2014-11-26 2016-05-30 日本電信電話株式会社 行動認識装置、行動学習装置、方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099982A (ja) 2014-11-26 2016-05-30 日本電信電話株式会社 行動認識装置、行動学習装置、方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Developed motion capture technology using a compact chest- mounted camera", TOKYO INSTITUTE OF TECHNOLOGY, 21 October 2020 (2020-10-21), XP093056932, Retrieved from the Internet <URL:https://www.titech.ac.jp/news/2020/048131> [retrieved on 20230622] *
HATANAKA TETSUO, WATANABE Y., KOMURO T., ISHIKAWA M.: "A Method of Human Gait Estimation Using a Wearable Camera System outline of human gait estimation", PROCEEDINGS OF THE 2009 JSME CONFERENCE ON ROBOTICS AND MECHATRONICS, 24 May 2009 (2009-05-24), XP093056924, Retrieved from the Internet <URL:http://ishikawa-vision.org/members/watanabe/hatanaka_ROBOMEC2009.pdf> [retrieved on 20230622] *

Also Published As

Publication number Publication date
CN118076972A (zh) 2024-05-24
JPWO2023058221A1 (ja) 2023-04-13

Similar Documents

Publication Publication Date Title
CN108268129B (zh) 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
US9278453B2 (en) Biosleeve human-machine interface
Liu et al. A glove-based system for studying hand-object manipulation via joint pose and force sensing
TWI549655B (zh) 關節活動度量測裝置及其量測方法
US20150054850A1 (en) Rehabilitation device and assistive device for phantom limb pain treatment
KR20120025582A (ko) 로봇의 교시 데이터를 작성하는 방법 및 로봇 교시 시스템
CN107856014B (zh) 基于手势识别的机械臂位姿控制方法
CN110978064B (zh) 人机协作中人体安全评估方法及***
EP2418562B1 (en) Modelling of hand and arm position and orientation
US11667031B2 (en) Teaching method
Xu et al. Development of a hybrid motion capture method using MYO armband with application to teleoperation
JPWO2010027015A1 (ja) モーションキャプチャ装置
JP4765075B2 (ja) ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム
WO2023058221A1 (ja) 画像処理装置及び画像処理方法
JP6491121B2 (ja) 身体歪み検知システム
CN115919250A (zh) 一种人体动态关节角测量***
JP2006130580A (ja) ロボットによる任意形状物体の把持方法
JP2020054433A (ja) 身体姿勢検知システム
JP4882930B2 (ja) 行動推定装置
JP3884249B2 (ja) 人間型ハンドロボット用教示システム
JP2016206081A (ja) 動作推測装置および動作推測方法
Ogata et al. Estimating movements of human body for the shirt-type wearable device mounted on the strain sensors based on convolutional neural networks
CN112057083B (zh) 可穿戴人体上肢位姿采集设备及采集方法
Kim et al. Thumb joint angle estimation for soft wearable hand robotic devices
JP4878462B2 (ja) コミュニケーションロボット

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21959963

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023552653

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2021959963

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021959963

Country of ref document: EP

Effective date: 20240508