WO2022009399A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2022009399A1
WO2022009399A1 PCT/JP2020/026911 JP2020026911W WO2022009399A1 WO 2022009399 A1 WO2022009399 A1 WO 2022009399A1 JP 2020026911 W JP2020026911 W JP 2020026911W WO 2022009399 A1 WO2022009399 A1 WO 2022009399A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
unit
image processing
work
Prior art date
Application number
PCT/JP2020/026911
Other languages
English (en)
French (fr)
Inventor
拓実 東
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to PCT/JP2020/026911 priority Critical patent/WO2022009399A1/ja
Priority to JP2022534602A priority patent/JPWO2022009399A1/ja
Publication of WO2022009399A1 publication Critical patent/WO2022009399A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This specification discloses an image processing device and an image processing method.
  • This image processing device sets a target area including a detection target and a detection area for which a teacher signal should be set for the learning image, and calculates the degree of association between the target area and the detection area. Then, a teacher signal that can take a value equal to or higher than a predetermined value according to the degree of relevance is set for the detection area, and machine learning is performed using the area in which the teacher signal is set as learning data.
  • the main purpose of this disclosure is to generate an accurate model while reducing the burden of generating a model by learning.
  • the image processing apparatus of the present disclosure is An input unit for inputting a learning image of an object, A recognition unit that detects the shape feature of the object from the learning image based on the correspondence between the shape feature of the object and the posture set in advance and recognizes the object and its posture. An assigning unit that assigns tag information indicating an attribute to the recognized object, and A learning unit that generates a discriminant model for discriminating the attributes of an object by performing learning based on the recognition result of the learning image and the tag information.
  • the gist is to prepare.
  • the image processing apparatus of the present disclosure recognizes the object and its posture from the learning image based on the correspondence between the shape feature of the object and the posture set in advance, and provides tag information indicating the attribute to the object. Give. Then, a discrimination model is generated by performing learning based on the recognition result of the learning image and the tag information.
  • a discrimination model is generated by performing learning based on the recognition result of the learning image and the tag information.
  • learning is performed without recognizing the posture of the object, a large amount of learning covering all postures is required in order to generate an accurate discrimination model, which increases the processing load. ..
  • the present disclosure since learning is performed while recognizing the posture of the object, it is possible to generate a relatively accurate discrimination model even if the amount of learning is small. Therefore, it is possible to generate an accurate model while reducing the burden of generating the model by learning.
  • the block diagram which shows the outline of the structure of the image processing apparatus 10.
  • Explanatory drawing which shows an example of work W.
  • a flowchart showing an example of learning processing Explanatory drawing which shows an example of the image TI (TI1, TI2) for learning.
  • Explanatory drawing which shows an example of the tag information which is given to the data of a work W.
  • a flowchart showing an example of the discrimination process A flowchart showing a learning process of a modified example.
  • Explanatory drawing which shows an example of the attribute specification screen 32a including the learning image TI of a modification.
  • Explanatory drawing which shows the tag information which is given to work data in a modification.
  • FIG. 1 is a configuration diagram showing an outline of the configuration of the image processing device 10.
  • the image processing device 10 is configured as a device for processing an image of the work W captured by, for example, the camera 40.
  • the camera 40 includes, for example, an image pickup element such as a CCD or CMOS and an optical system that guides light incident from the outside to the image pickup element, and captures an image of a work W or the like.
  • the image processing device 10 includes a well-known CPU, ROM, RAM, HDD, input / output port, communication port, and the like.
  • the image processing device 10 includes an image input unit 12, a feature extraction unit 14, a work recognition unit 16, a tagging unit 18, a machine learning unit 22, a storage unit 24, and an attribute discrimination unit 26 as functional blocks. ,
  • the image input unit 12 inputs an image of the work W captured by the camera 40.
  • the image input unit 12 is not limited to inputting an image from the camera 40, and may input an image via a network or the like. Further, the input image may be a two-dimensional image or a three-dimensional image.
  • the feature extraction unit 14 performs extraction processing on the target area in the image input by the image input unit 12 to extract the shape feature which is the shape feature of the work W.
  • the feature extraction unit 14 obtains a luminance distribution in two directions orthogonal to each other from the luminance value of each pixel in the target region, and the feature is that the amount of change thereof becomes a predetermined amount or more due to a change in shape, a change in material, or the like. Extract shape features as points.
  • the feature extraction unit 14 is not limited to this method, and the shape feature may be extracted by another method. Further, the feature extraction unit 14 recognizes an angle indicating the direction (posture) of the work W in the image when extracting the shape feature of the work W, and calculates the position of the shape feature at a predetermined reference angle. Then, the feature extraction unit 14 generates the correspondence information 25a in which the position of the shape feature is associated with the reference angle, and stores it in the storage unit 24.
  • FIG. 2 is an explanatory diagram showing an example of the work W.
  • FIG. 2A shows the front surface of the work W
  • FIG. 2B shows the back surface of the work W.
  • the vertical direction in FIG. 2 is defined as the vertical direction of the work W.
  • the work W is an electric component such as a connector component, and has substantially the same shape on the front surface and the back surface.
  • the image processing device 10 performs, for example, front and back discrimination processing as an attribute of the work W.
  • the work W includes a resin body B and a plurality of conductive pins P protruding from the lower end surface of the body B.
  • the lower end surface on which the pin P protrudes has a substantially trapezoidal shape with the front surface side as the short side and the back surface side as the long side.
  • the lower side of the body B is formed in such a substantially trapezoidal shape, and the upper side is formed in a substantially rectangular parallelepiped shape.
  • the operator can distinguish between the front surface and the back surface by visually recognizing the presence or absence of the short side.
  • the maximum width of the lower side of the body B shown in the image is the long side of the trapezoid, so that the outer shape of the work W shown in the image is substantially the same on the front surface and the back surface. It becomes.
  • a work W is a work target in, for example, a pick-and-place work performed by a robot system including an articulated robot or the like.
  • the articulated robot is made to pick the work W so that either the front surface or the back surface faces upward. Place the work W in place.
  • the image processing device 10 is supposed to discriminate the front and back of the work W during this pick-and-place work.
  • the work W of the present embodiment has a shape such as a feature portion F1 formed in a convex shape in the upper center of the body B and a feature portion F2 formed in a convex shape at both left and right ends on the upper side of the body B.
  • the feature extraction unit 14 extracts the shape features such as the feature portions F1 and F2 and the boundary between the upper part and the lower part by the above-mentioned extraction process.
  • the feature extraction unit 14 has a coordinate system in which the angle at which the pin P protrudes from the lower end surface along the vertical direction is set as the reference angle of the work W, and the origin is, for example, the substantially center position of the body B. Based on Rc, the size and position of shape features such as feature portions F1 and F2 are detected. As a result, the size and position of the shape feature with respect to the reference angle of the work W are detected.
  • the work recognition unit 16 recognizes the work W by using the correspondence information 25a stored in the storage unit 24 with respect to the image input by the image input unit 12.
  • the tagging unit 18 assigns tag information indicating the attribute of the work W to each work W in the image recognized by the work recognition unit 16.
  • the tagging unit 18 of the present embodiment adds tag information indicating which side of the work W is the front or back side.
  • the attributes of the work W include the size of the work W, the type of material, and the presence or absence of quality defects in the work W.
  • the machine learning unit 22 performs supervised learning such as a support vector machine based on the recognition result in which the work W in the image is recognized by the work recognition unit 16 and the tag information assigned by the tagging unit 18. ..
  • the machine learning unit 22 generates a discrimination model 25b for discriminating the attributes of the work W, and stores the generated discriminant model 25b in the storage unit 24.
  • the attribute discrimination unit 26 discriminates the attributes of the work W in the image based on the recognition result in which the work W in the image is recognized by the work recognition unit 16 and the discrimination model 25b stored in the storage unit 24.
  • the display unit 32 is, for example, a liquid crystal display or the like, and displays various information, an image input by the image input unit 12, and the like.
  • the operation unit 34 is for an operator to perform an input operation, such as a keyboard or a mouse. By operating the operation unit 34, the operator can select the work W from the image displayed on the display unit 32, specify the attribute for the work W, and the like.
  • the display operation control unit 36 controls the display of various information and images on the display unit 32, generates operation information based on the input operation received by the operation unit 34, and controls the output to each unit as needed. ..
  • the display operation control unit 36 selects the work W area by the operation of the operation unit 34 for the displayed image, and the work W The area information of is generated and output to the feature extraction unit 14.
  • the feature extraction unit 14 performs the shape feature extraction process using the region based on the region information as the above-mentioned target region, and stores the correspondence information 25a in the storage unit 24 in association with the work type.
  • FIG. 3 is a flowchart showing an example of the learning process. It is assumed that the above-mentioned correspondence information 25a is preset and stored in the storage unit 24.
  • the image processing apparatus 10 does not include the work W on the back surface, and only the work W on the front surface inputs the learning image TI1 captured by the camera 40 by the image input unit 12 (S100). ..
  • the learning image TI1 is imaged in a state where a plurality of work Ws are arranged by an operator so that the surface faces upward (on the camera 40 side) in the image pickup range of the camera 40.
  • FIG. 4 is an explanatory diagram showing an example of the learning image TI (TI1, TI2), and FIG. 4A shows an example of the learning image TI1. Since the surface of each work W (W1 to W10) in the image is upward, the short side of the trapezoidal shape described above appears, and the angles are various.
  • the image processing device 10 recognizes the position and angle of each work W in the learning image TI1 by the work recognition unit 16 using the correspondence information 25a, and uses the angle of the work W as a reference. Align to the angle (S110).
  • the work recognition unit 16 recognizes the position of the work W by detecting the region having the shape feature included in the correspondence information 25a, and further recognizes the direction of the detected shape feature and the reference associated with the shape feature. The angle (orientation) of the work W in the image is recognized from the angle. Further, the work recognition unit 16 aligns the work W with the reference angle by rotating each work W so that the recognized angle matches the reference angle.
  • FIG. 5 is an explanatory diagram showing an example of tag information given to the data of the work W.
  • the tag information indicating the surface is uniformly given to the input data of each work W (W1 to W10). (See FIG. 5A).
  • the process of aligning the work W with the reference angle in S110 may be performed before the start of learning the attributes, or may be performed after the tag information is added.
  • the image processing device 10 does not include the work W on the front surface, and only the work W on the back surface inputs the learning image TI2 (see FIG. 4B) captured by the camera 40 by the image input unit 12 (S130).
  • the learning image TI2 is imaged in a state where a plurality of works W (W11 to W20) are arranged by an operator so that the back surface faces upward (camera 40 side) in the image pickup range of the camera 40.
  • the image processing device 10 recognizes the position and angle of each work W in the learning image TI2 by using the correspondence information 25a as in S110, and sets the reference angle. Each work W is rotated (S140).
  • the image processing device 10 assigns tag information indicating that the attribute is the back surface to each work W by the tagging unit 18 (S150).
  • the tag information indicating the back surface is uniformly added to the input data of each work W (W11 to W20). (See FIG. 5B).
  • the image processing device 10 learns the attributes of each work W aligned in the reference direction by the machine learning unit 22 and discriminates the model. Generate 25b (S160). Then, the image processing apparatus 10 associates the generated discrimination model 25b with the work type and stores it in the storage unit 24 (S170), and ends the learning process.
  • the image processing apparatus 10 associates the generated discrimination model 25b with the work type and stores it in the storage unit 24 (S170), and ends the learning process.
  • the image processing apparatus 10 associates the generated discrimination model 25b with the work type and stores it in the storage unit 24 (S170), and ends the learning process.
  • the image processing apparatus 10 associates the generated discrimination model 25b with the work type and stores it in the storage unit 24 (S170), and ends the learning process.
  • the present embodiment since the learning is performed in a state where the angle of the work W is recognized and aligned with the reference angle, it is possible to generate an accurate discrimination model 25b with a small amount of data.
  • FIG. 6 is a flowchart showing an example of the discrimination process.
  • the image processing apparatus 10 first inputs the discriminant image captured by the work W by the image input unit 12 (S200).
  • the discriminating image is an image obtained by capturing the supplied work W with the camera 40 during execution of, for example, the above-mentioned pick-and-place work, and the front and back sides and orientations of the work W in the image are in a disjointed state. ing.
  • the image processing device 10 recognizes the position and angle of each work W in the discrimination image by the work recognition unit 16 using the correspondence information 25a, and aligns the angle of each work W with the reference angle (S210). ). This process is performed in the same manner as in the learning processes S110 and S140. Then, the image processing apparatus 10 discriminates the attributes of each work W by using the discriminating model 25b corresponding to the work type to be processed (S220), and ends the discriminating process. Since the image processing apparatus 10 discriminates the attributes of the work W in a state of being aligned at the same reference angle as in the case of generating the discriminant model 25b, it is possible to prevent erroneous determination of the attributes and perform accurate determination. The attributes of the determined work W are appropriately output to the outside such as the control device of the robot system in association with the recognized position and angle of the work W.
  • the image input unit 12 of the present embodiment corresponds to the image input unit
  • the work recognition unit 16 corresponds to the recognition unit
  • the tag attachment unit 18 corresponds to the addition unit
  • the machine learning unit 22 corresponds to the learning unit
  • the attribute discrimination unit 26 corresponds to the discrimination unit
  • the display unit 32 corresponds to the display unit
  • the operation unit 34 corresponds to the operation unit.
  • an example of the image processing method of the present disclosure is also clarified by explaining the processing of the image processing apparatus 10.
  • the position and angle of the work W are recognized from the learning image TI and tag information is added based on the correspondence information 25a between the shape feature of the work W and the angle. .. Then, learning based on the recognition result and the tag information is performed to generate the discrimination model 25b. As a result, it is possible to generate the discrimination model 25b with relatively high accuracy while reducing the learning amount (the number of target data) and reducing the burden when generating.
  • the image processing device 10 learns by aligning the direction of the work W with the reference angle (reference posture), the learning amount can be reduced. Further, since the attributes of the work W are discriminated by aligning them with the same reference angle as in the case of generating the discriminant model 25b, it is possible to prevent the attributes from being erroneously determined and perform the determination accurately.
  • the image processing device 10 inputs the learning images TI1 and TI2 having the same attributes of the work W and assigns tag information indicating the same attributes to each work W, the worker assigns the attributes of each work W.
  • the burden can be further reduced by eliminating the trouble of specifying.
  • the work W has almost the same outer shape as shown in the image regardless of the attributes. Therefore, more learning is likely to be required in order to accurately determine the attributes, and it is of great significance to apply the present disclosure in order to reduce the amount of learning.
  • the work W having substantially the same outer shape regardless of the attribute is exemplified, but the work W is not limited to this, and the work W having a different outer shape reflected in the image may be processed depending on the attribute.
  • the connector component is exemplified as the work W, the present invention is not limited to this, and an electric component or a mechanical component other than the connector component may be used. That is, the present disclosure may be applied to any object regardless of the external shape, the type of parts, the intended use, and the like.
  • the learning is performed in a state where the angles of the work W are aligned with one reference angle (reference posture), but the learning is not limited to this, and the learning is performed in a state where the angles are aligned with any of a plurality of angles. It may be used for learning at. For example, as the angle of the work W, 90 °, 180 °, and 270 ° can be selected in addition to 0 ° corresponding to the reference angle of the embodiment, and one of these angles, whichever is closer, can be selected for that angle. You may learn by associating and associating with the aligned angles.
  • the work W when discriminating the attributes of the work W, the work W is aligned at any of the angles of 0 °, 90 °, 180 °, and 270 °, and the discriminant model associated with that angle is used for discrimination. do it. It should be noted that the present invention is not limited to the two-dimensional image, and similarly, when a three-dimensional image is used, the posture of the work W may be aligned to either one reference posture or a plurality of reference postures.
  • the image processing device that generates the discrimination model 25b by learning and the image processing device that discriminates the attributes of the work W using the discrimination model 25b are the same device, but the device is not limited to this, and they are separate. It may be used as a device of.
  • the correspondence information 25a may be generated by a device other than the image processing device 10 and stored in the storage unit 24. Further, the correspondence information 25a is not limited to the one stored in the storage unit 24 of the image processing device 10, but is stored in an external storage device such as a server, and the image processing device 10 is stored via a network or the like as necessary. You may access the correspondence information 25a.
  • the image processing device 10 may include at least an image input unit 12, a work recognition unit 16, a tagging unit 18, and a machine learning unit 22, and does not include a feature extraction unit 14 and an attribute discrimination unit 26. You may. Further, the display unit 32, the operation unit 34, and the display operation control unit 36 are necessary for generating the correspondence information 25a and performing the following modification, and for executing the learning process and the discrimination process of the embodiment. Not required.
  • FIG. 7 is a flowchart showing the learning process of the modified example.
  • the same process as that of the embodiment is assigned the same step number, and the description thereof will be omitted.
  • the image processing device 10 inputs the learning image TI captured by the camera 40 by the work W in a state where the front and back are unknown (S100a).
  • the image processing device 10 recognizes the position and angle of each work W in the learning image TI1 using the correspondence information 25a (S110a).
  • the image processing device 10 displays a learning image TI on the attribute designation screen 32a of the display unit 32 so that the attributes can be specified in order to receive the designation of the attributes (front and back) of each work from the operator. (S112), the designation of the attribute of each work W is accepted (S114).
  • FIG. 8 is an explanatory diagram showing an example of the attribute designation screen 32a including the learning image TI of the modified example.
  • FIG. 9 is an explanatory diagram of how the attribute is designated on the attribute designation screen 32a.
  • a learning image TI is displayed in the upper row
  • a front button, a back button, and a designation completion button for designating the attribute are displayed in the lower row.
  • a cursor illustrated by an arrow
  • the work W of the work W is specified.
  • the attribute is specified on the surface.
  • FIG. 9 shows how the attributes of the works W21, W25, W28, and W29 are specified on the surface. Further, although not shown, the remaining work W has an attribute specified on the back surface.
  • the image processing device 10 has already recognized the position of the work W by the recognition process of S110a. Further, the image processing apparatus 10 shall set a predetermined range centered on the position of the work W as a designated range of the work W. For example, in FIG.
  • a circular range shown by a dotted line is set as a designated range of the work W29.
  • the worker can specify the attribute of the work W simply by moving the cursor within this specified range and clicking. Therefore, the operator can easily specify the attribute without performing an operation of surrounding the work W in the image with a rectangular area drawn by the cursor. Further, when the worker specifies the attribute, the display operation control unit 36 outputs the information associating the position of the work W with the attribute to the tagging unit 18.
  • FIG. 10 is an explanatory diagram showing tag information given to the work data in the modified example. As shown in the figure, the tag information of the work W21, W25, W28, W29 is on the front side, and the tag information of the remaining work W is on the back side. Then, the image processing apparatus 10 performs the processing after S160 to generate the discrimination model 25b, and ends the learning process.
  • the learning image TI whose attributes are unknown can be used
  • the operator can easily specify the attributes without the trouble of surrounding the work W, so that when the discrimination model 25b is generated. The burden on the user can be reduced.
  • the tag information is given to the learning image TI for which the attribute of the work W is not discriminated by accepting the attribute designation from the worker, but the tag information is not limited to the image for which the attribute is not discriminated. ..
  • the image processing apparatus 10 makes an error in the determination of the attributes of the work W when there is an error in the determination of the attributes such as a mistake in the determination of the front and back, or when the reliability of the determination of the attributes is low.
  • the existing work W, an image with low reliability, and the like are displayed on the display unit 32, and the attribute designation by the operator's operation is accepted.
  • the image processing device 10 reassigns the tag information indicating the designated attribute to the work W.
  • the image processing device 10 may update the discrimination model 25b based on the tag information reassigned to the work W. As a result, the discriminant model 25b with higher reliability can be generated.
  • these processes may be performed in an embodiment.
  • the image processing apparatus of the present disclosure may be configured as follows.
  • the learning unit performs learning in a state where the recognized posture of the object is aligned with a predetermined posture, and the input unit inputs an image for discriminating the object, and the above-mentioned.
  • the recognition unit detects the shape feature of the object from the discrimination image based on the correspondence, recognizes the object and its posture, and aligns the recognized posture of the object with the predetermined posture.
  • a discrimination unit that discriminates the attributes of an object using a discrimination model may be provided. By doing so, since learning is performed with the postures of the objects aligned with the predetermined postures, it is possible to reduce the amount of learning. Further, since the attribute of the object is discriminated in the same predetermined posture as in the case of generating the discriminant model, it is possible to prevent erroneous determination of the attribute and perform the determination accurately.
  • the input unit inputs an image as the learning image, which is determined to have the same attribute of the object in the image, and the imparting unit recognizes the image.
  • Tag information indicating the same attribute may be added to the object.
  • the image processing apparatus of the present disclosure includes a display unit for displaying an image and an operation unit capable of a designated operation by an operator, and the input unit has attributes of an object in the image as the learning image.
  • An image that has not been discriminated is input, and the granting unit acquires the attribute specified by the operator's designated operation for the object in the learning image displayed on the display unit, and the recognized object.
  • the tag information indicating the acquired attribute may be added to the.
  • the position of the object can also be recognized, so that the operator does not have to perform an operation to surround the object. Can be selected. Therefore, when the worker specifies the attribute, the object can be easily selected and the burden can be reduced.
  • the image processing apparatus of the present disclosure includes a display unit for displaying an image and an operation unit capable of a designated operation by an operator, and the granting unit determines whether or not there is an error in determining the attribute of the object.
  • the attribute specified by the designated operation by the operator may be acquired for the object in the image having low reliability, and the tag information indicating the acquired attribute may be reassigned. In this way, it is possible to generate a discriminant model with higher reliability.
  • the object may have substantially the same outer shape as reflected in the image regardless of the attributes. Since such an object tends to require more learning in order to accurately determine the attribute, it is of great significance to apply the present disclosure in order to reduce the amount of learning.
  • the image processing method of the present disclosure is based on an input step for inputting a learning image of an object and a correspondence relationship between a preset shape feature and a posture of the object, and the shape feature of the object from the learning image.
  • the gist is to include a learning step of generating a discriminant model for discriminating the attributes of an object by doing so.
  • the image processing method of the present disclosure can generate an accurate model while reducing the burden of generating the model.
  • the aspect of the image processing apparatus described above may be adopted, or a step of realizing the function of the image processing apparatus described above may be included.
  • This disclosure can be used in the manufacturing industry of image processing equipment and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置は、対象物の学習用画像を入力する入力部と、事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて学習用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識する認識部と、認識した対象物に属性を示すタグ情報を付与する付与部と、学習用画像の認識結果とタグ情報とに基づく学習を行うことにより、対象物の属性を判別するための判別モデルを生成する学習部と、を備えることを要旨とする。

Description

画像処理装置および画像処理方法
　本明細書は、画像処理装置および画像処理方法を開示する。
　従来、この種の画像処理装置としては、学習用画像を取得し、機械学習を行ってモデルを生成するものが提案されている（例えば、特許文献１参照）。この画像処理装置は、学習用画像に対して検出対象を含む対象領域と、教師信号を設定すべき検出領域とを設定し、対象領域と検出領域との関連度を算出する。そして、関連度に応じた所定値以上の値を取り得る教師信号を検出領域に対して設定し、教師信号が設定されている領域を学習データとして機械学習を行う。
ＷＯ２０１８／１６８５１５号公報
　上述したような画像処理装置では、精度のよいモデルを生成するために、できるだけ多くの対象を学習することが求められる。しかしながら、学習の対象が多くなると、上述した領域の設定や関連度の算出などの処理の負担が増える。また、学習に必要な情報を作業者が付与する作業などにも手間が掛かり、作業者の負担も増えてしまう。
　本開示は、学習によりモデルを生成する際の負担を低減しながら精度のよいモデルを生成することを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の画像処理装置は、
　対象物の学習用画像を入力する入力部と、
　事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて前記学習用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識する認識部と、
　前記認識した対象物に属性を示すタグ情報を付与する付与部と、
　前記学習用画像の認識結果と前記タグ情報とに基づく学習を行うことにより、対象物の属性を判別するための判別モデルを生成する学習部と、
　を備えることを要旨とする。
　本開示の画像処理装置は、事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて、学習用画像から対象物およびその姿勢を認識し、対象物に属性を示すタグ情報を付与する。そして、学習用画像の認識結果とタグ情報とに基づく学習を行うことにより、判別モデルを生成する。ここで、対象物の姿勢を認識していない状態で学習を行う場合には、精度のよい判別モデルを生成するために、あらゆる姿勢を網羅した多量の学習が必要となり、処理の負担が大きくなる。これに対して本開示では、対象物の姿勢を認識した状態で学習するため、学習量を少なくしても比較的精度のよい判別モデルを生成することができる。したがって、学習によりモデルを生成する際の負担を低減しながら精度のよいモデルを生成することができる。
画像処理装置１０の構成の概略を示す構成図。 ワークＷの一例を示す説明図。 学習処理の一例を示すフローチャート。 学習用画像ＴＩ（ＴＩ１，ＴＩ２）の一例を示す説明図。 ワークＷのデータに付与されるタグ情報の一例を示す説明図。 判別処理の一例を示すフローチャート。 変形例の学習処理を示すフローチャート。 変形例の学習用画像ＴＩを含む属性指定画面３２ａの一例を示す説明図。 属性指定画面３２ａで属性が指定される様子の説明図。 変形例においてワークデータに付与されるタグ情報を示す説明図。
　次に、本開示を実施するための形態について図面を参照しながら説明する。
　図１は画像処理装置１０の構成の概略を示す構成図である。画像処理装置１０は、例えばカメラ４０により撮像されたワークＷの画像を処理する装置として構成されている。カメラ４０は、例えばＣＣＤやＣＭＯＳ等の撮像素子と、外部から入射した光を撮像素子に導く光学系とを備え、ワークＷの画像などを撮像する。画像処理装置１０は、周知のＣＰＵやＲＯＭ、ＲＡＭ、ＨＤＤ、入出力ポート、通信ポートなどを備える。画像処理装置１０は、機能ブロックとして、画像入力部１２と、特徴抽出部１４と、ワーク認識部１６と、タグ付与部１８と、機械学習部２２と、記憶部２４と、属性判別部２６と、表示部３２と、操作部３４と、表示操作制御部３６と、を備える。
　画像入力部１２は、カメラ４０で撮像されたワークＷの画像を入力する。なお、画像入力部１２は、カメラ４０から画像を入力するものに限られず、ネットワークなどを介して画像を入力してもよい。また、入力する画像は、二次元画像であってもよいし三次元画像であってもよい。特徴抽出部１４は、画像入力部１２により入力された画像内の対象領域に対して抽出処理を行って、ワークＷの形状的な特徴である形状特徴を抽出する。例えば、特徴抽出部１４は、対象領域内の各画素の輝度値から互いに直交する二方向の輝度分布を求め、それらの変化量が、形状変化や材質変化などにより所定量以上となる点を特徴点として形状特徴を抽出する。勿論、特徴抽出部１４は、この方法に限定されることなく、他の方法により形状特徴を抽出してもよい。また、特徴抽出部１４は、ワークＷの形状特徴を抽出する際に、画像内におけるワークＷの向き（姿勢）を示す角度を認識し、所定の基準角度における形状特徴の位置を演算する。そして、特徴抽出部１４は、形状特徴の位置を基準角度に対応付けた対応関係情報２５ａを生成し、記憶部２４に記憶させる。
　ここで、図２は、ワークＷの一例を示す説明図である。図２Ａは、ワークＷの表面を示し、図２Ｂは、ワークＷの裏面を示す。なお、図２中の上下方向をワークＷの上下とする。ワークＷは、例えばコネクタ部品などの電気部品であり、表面と裏面とが略同じ形状となっている。画像処理装置１０は、ワークＷの属性として例えば表裏の判別処理を行う。ワークＷは、樹脂製のボディＢと、ボディＢの下端面から突出した複数の導電性のピンＰとを備える。ピンＰが突出する下端面は、表面側を短辺とし、裏面側を長辺とする略台形状となっている。ボディＢの下側は、そのような略台形状に形成されており、上側は、略直方体状に形成されている。作業者は、短辺の有無を視認することで表面と裏面とを見分けることができる。しかし、ワークＷを表面側から撮像した画像でも、画像に写るボディＢの下側の最大幅は台形の長辺となるから、画像に写るワークＷの外形形状は、表面と裏面とで略同じとなる。また、ボディＢの色や光の反射具合によっては表面側の短辺の縁が画像に現れにくいから、画像処理装置１０が画像内のワークＷの外形形状から表裏を判別するのは困難となる。なお、例えば多関節型ロボットなどを備えるロボットシステムで行われるピックアンドプレース作業などにおいて、このようなワークＷが作業対象となる。例えば、ロボットシステムでは、供給装置により複数供給されたワークＷの表裏の判別を行ってから、多関節型ロボットにワークＷをピッキングさせて、表面または裏面のうちいずれかの面が上を向くようにワークＷを所定箇所にプレースさせる。画像処理装置１０は、このピックアンドプレース作業中にワークＷの表裏の判別を行うものなどとする。
　また、本実施形態のワークＷは、例えばボディＢの上側中央に凸状に形成された特徴部Ｆ１や、ボディＢの上側の左右両端に凸状に形成された特徴部Ｆ２などの形状的な特徴が表面と裏面に同様に設けられている。特徴抽出部１４は、上述した抽出処理により、このような特徴部Ｆ１，Ｆ２や上部と下部の境界などの形状特徴を抽出する。また、特徴抽出部１４は、図２に示すように、ピンＰが上下方向に沿って下端面から突出する角度をワークＷの基準角度とし、例えばボディＢの略中央位置を原点とする座標系Ｒｃに基づいて、特徴部Ｆ１，Ｆ２などの形状特徴のサイズや位置を検出する。これにより、ワークＷの基準角度に対する形状特徴のサイズや位置が検出される。
　ワーク認識部１６は、画像入力部１２により入力された画像に対し、記憶部２４に記憶された対応関係情報２５ａを用いてワークＷを認識する。タグ付与部１８は、ワーク認識部１６により認識された画像内の各ワークＷに対して、ワークＷの属性を示すタグ情報を付与する。本実施形態のタグ付与部１８は、ワークＷの表裏のいずれの面であるかを示すタグ情報を付与する。なお、ワークＷの属性は、この他に、ワークＷのサイズや材質の種類、ワークＷの品質不良の有無などが挙げられる。機械学習部２２は、ワーク認識部１６により画像内のワークＷが認識された認識結果と、タグ付与部１８により付与されたタグ情報とに基づいて、例えばサポートベクターマシンなどの教師あり学習を行う。機械学習部２２は、この学習により、ワークＷの属性を判別するための判別モデル２５ｂを生成し、生成した判別モデル２５ｂを記憶部２４に記憶させる。属性判別部２６は、ワーク認識部１６により画像内のワークＷが認識された認識結果と、記憶部２４に記憶された判別モデル２５ｂとに基づいて、画像内のワークＷの属性を判別する。
　表示部３２は、例えば液晶ディスプレイ等であり、各種情報や、画像入力部１２により入力された画像などを表示する。操作部３４は、例えばキーボードやマウス等、作業者が入力操作を行うものである。作業者は、操作部３４を操作することで、表示部３２に表示された画像内からワークＷの選択やワークＷに対する属性の指定などが可能である。表示操作制御部３６は、各種情報や画像の表示部３２への表示を制御したり、操作部３４で受け付けた入力操作に基づく操作情報を生成し、必要に応じて各部への出力を制御する。例えば、表示操作制御部３６は、特徴抽出部１４が形状特徴の抽出処理を行う場合、表示中の画像に対して作業者が操作部３４の操作によりワークＷの領域を選択すると、そのワークＷの領域情報を生成して、特徴抽出部１４に出力する。特徴抽出部１４は、その領域情報に基づく領域を上述した対象領域として、形状特徴の抽出処理を行い、ワーク種に対応付けて対応関係情報２５ａを記憶部２４に記憶させる。
　次に、こうして構成された画像処理装置１０が、学習用画像を用いた機械学習により判別モデル２５ｂを生成する処理と、判別モデル２５ｂを用いてワークＷの表裏を判別する処理とを順に説明する。図３は学習処理の一例を示すフローチャートである。なお、上述した対応関係情報２５ａは、予め設定されて記憶部２４に記憶されているものとする。
　図３の学習処理では、画像処理装置１０は、まず、裏面のワークＷを含まず、表面のワークＷだけがカメラ４０で撮像された学習用画像ＴＩ１を画像入力部１２により入力する（Ｓ１００）。なお、学習用画像ＴＩ１は、カメラ４０の撮像範囲に、表面が上向き（カメラ４０側）となるように作業者により複数のワークＷを並べた状態で撮像される。図４は、学習用画像ＴＩ（ＴＩ１，ＴＩ２）の一例を示す説明図であり、図４Ａに学習用画像ＴＩ１の一例を示す。画像内の各ワークＷ（Ｗ１～Ｗ１０）は、いずれも表面が上向きであるため上述した台形状の短辺が現れており、様々な角度となっている。
　画像処理装置１０は、学習用画像ＴＩ１を入力すると、対応関係情報２５ａを用いてワーク認識部１６により学習用画像ＴＩ１内の各ワークＷの位置と角度とを認識し、ワークＷの角度を基準角度に揃える（Ｓ１１０）。例えば、ワーク認識部１６は、対応関係情報２５ａに含まれる形状特徴を有する領域を検出することによりワークＷの位置を認識し、さらに検出した形状特徴の向きと、形状特徴に対応付けられた基準角度とから、画像内のワークＷの角度（向き）を認識する。また、ワーク認識部１６は、認識した角度が基準角度に一致するように各ワークＷを回転させることで、ワークＷを基準角度に揃える。続いて、画像処理装置１０は、属性が表面であることを示すタグ情報をタグ付与部１８により各ワークＷに付与する（Ｓ１２０）。図５は、ワークＷのデータに付与されるタグ情報の一例を示す説明図である。ここでは、学習用画像ＴＩ１内の全てのワークＷの属性が表面であることが予め判別しているから、表面を示すタグ情報が各ワークＷ（Ｗ１～Ｗ１０）の入力データに一律に付与される（図５Ａ参照）。なお、Ｓ１１０でワークＷを基準角度に揃える処理は、属性の学習を開始するまでに行われればよく、タグ情報が付与された後に行われてもよい。
　次に、画像処理装置１０は、表面のワークＷを含まず、裏面のワークＷだけがカメラ４０で撮像された学習用画像ＴＩ２（図４Ｂ参照）を画像入力部１２により入力する（Ｓ１３０）。なお、学習用画像ＴＩ２は、カメラ４０の撮像範囲に、裏面が上向き（カメラ４０側）となるように作業者により複数のワークＷ（Ｗ１１～Ｗ２０）を並べた状態で撮像される。学習用画像ＴＩ２を入力すると、画像処理装置１０は、Ｓ１１０と同様に、対応関係情報２５ａを用いて学習用画像ＴＩ２内の各ワークＷの位置と角度とを認識し、基準角度となるように各ワークＷを回転させる（Ｓ１４０）。続いて、画像処理装置１０は、属性が裏面であることを示すタグ情報をタグ付与部１８により各ワークＷに付与する（Ｓ１５０）。ここでは、学習用画像ＴＩ２内の全てのワークＷの属性が裏面であることが予め判別しているから、裏面を示すタグ情報が各ワークＷ（Ｗ１１～Ｗ２０）の入力データに一律に付与される（図５Ｂ参照）。
　こうして学習用画像ＴＩ１，ＴＩ２からワークＷを認識した認識結果とタグ情報とに基づいて、画像処理装置１０は、基準向きに揃えた各ワークＷの属性を機械学習部２２により学習して判別モデル２５ｂを生成する（Ｓ１６０）。そして、画像処理装置１０は、生成した判別モデル２５ｂをワーク種に対応付けて記憶部２４に記憶させて（Ｓ１７０）、学習処理を終了する。ここで、ワークＷの角度（向き）を認識していない状態で学習を行う場合、精度のよい判別モデルを生成するために、あらゆる角度を網羅した多量の学習が必要となり、処理の負担が大きくなる。これに対して本実施形態では、ワークＷの角度を認識し基準角度に揃えた状態で学習を行うから、少ないデータ量で精度のよい判別モデル２５ｂを生成することができる。
　次に、こうして生成された判別モデル２５ｂを用いた判別処理を説明する。図６は、判別処理の一例を示すフローチャートである。この判別処理では、画像処理装置１０は、まず、ワークＷが撮像された判別用画像を画像入力部１２により入力する（Ｓ２００）。なお、判別用画像は、例えば上述したピックアンドプレース作業などの実行中に、供給されたワークＷをカメラ４０で撮像した画像であり、画像内のワークＷの表裏や向きがバラバラの状態となっている。
　続いて、画像処理装置１０は、対応関係情報２５ａを用いてワーク認識部１６により判別用画像内の各ワークＷの位置と角度とを認識し、各ワークＷの角度を基準角度に揃える（Ｓ２１０）。この処理は、学習処理のＳ１１０，Ｓ１４０と同様に行われる。そして、画像処理装置１０は、処理対象のワーク種に対応する判別モデル２５ｂを用いて各ワークＷの属性をそれぞれ判別して（Ｓ２２０）、判別処理を終了する。画像処理装置１０は、判別モデル２５ｂを生成する場合と同じ基準角度に揃えた状態でワークＷの属性を判別するから、属性を誤判定するのを防止して精度よく判定することができる。なお、判別したワークＷの属性は、認識したワークＷの位置や角度に対応付けて、ロボットシステムの制御装置などの外部に適宜出力される。
　ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の画像入力部１２が画像入力部に相当し、ワーク認識部１６が認識部に相当し、タグ付与部１８が付与部に相当し、機械学習部２２が学習部に相当する。属性判別部２６が判別部に相当する。表示部３２が表示部に相当し、操作部３４が操作部に相当する。なお、本実施形態では、画像処理装置１０の処理を説明することにより本開示の画像処理方法の一例も明らかにしている。
　以上説明した本実施形態の画像処理装置１０では、ワークＷの形状特徴と角度との対応関係情報２５ａに基づいて、学習用画像ＴＩからワークＷの位置と角度を認識してタグ情報を付与する。そして、認識結果とタグ情報とに基づく学習を行って判別モデル２５ｂを生成する。これにより、学習量（対象データ数）を少なくして、生成する際の負担を低減しながら比較的精度のよい判別モデル２５ｂを生成することができる。
　また、画像処理装置１０は、ワークＷの向きを基準角度（基準姿勢）に揃えて学習するから、学習量を少なくすることができる。また、判別モデル２５ｂを生成する場合と同じ基準角度に揃えてワークＷの属性を判別するから、属性を誤判定するのを防止して精度よく判定することができる。
　また、画像処理装置１０は、ワークＷの属性が同一の学習用画像ＴＩ１，ＴＩ２を入力し、各ワークＷに同一の属性を示すタグ情報を付与するから、作業者が各ワークＷの属性を指定する手間を省いて、負担をより低減することができる。
　また、ワークＷは、属性に拘わらず画像に写る外形形状が略同じである。このため、属性を精度よく判定するために、より多くの学習が必要となりやすいから、学習量を少なくするために本開示を適用する意義が高いものとなる。
　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、属性に拘わらず外形形状が略同じワークＷを例示したが、これに限られず、属性によって画像に写る外形形状が異なるワークＷを処理してもよい。また、ワークＷとしてコネクタ部品を例示したが、これに限られず、コネクタ部品以外の電気部品や機械部品などとしてもよい。即ち、外形形状や部品種、用途などに拘わらず如何なる対象物に本開示を適用してもよい。
　上述した実施形態では、ワークＷの角度を１の基準角度（基準姿勢）に揃えた状態で学習を行うものとしたが、これに限られず、複数の角度のうちいずれかの角度に揃えた状態で学習を行うものとしてもよい。例えば、ワークＷの角度として、実施形態の基準角度に相当する０°の他に、９０°と１８０°と２７０°とを選択可能とし、これらのうちいずれか近い角度を選択してその角度に揃え、揃えた角度に対応付けて学習してもよい。この場合、ワークＷの属性を判別する際には、０°と９０°と１８０°と２７０°のうちいずれかの角度にワークＷを揃え、その角度に対応付けられた判別モデルを用いて判別すればよい。なお、二次元画像に限られず、三次元画像を用いた場合も同様に、ワークＷの姿勢を１の基準姿勢または複数の基準姿勢のうちのいずれかに揃えるものであればよい。
　上述した実施形態では、学習により判別モデル２５ｂを生成する画像処理装置と、判別モデル２５ｂを用いてワークＷの属性を判別する画像処理装置とを同一の装置としたが、これに限られず、別々の装置としてもよい。また、対応関係情報２５ａを画像処理装置１０以外の装置が生成して記憶部２４に記憶させてもよい。また、対応関係情報２５ａを画像処理装置１０の記憶部２４に記憶するものに限られず、サーバなどの外部記憶装置に記憶しておき、画像処理装置１０は必要に応じてネットワークなどを経由して対応関係情報２５ａにアクセスしてもよい。このように、画像処理装置１０は、少なくとも、画像入力部１２とワーク認識部１６とタグ付与部１８と機械学習部２２とを備えればよく、特徴抽出部１４や属性判別部２６を備えなくてもよい。また、表示部３２と操作部３４と表示操作制御部３６は、対応関係情報２５ａの生成や以下の変形例を行うために必要なものであり、実施形態の学習処理と判別処理の実行には必須ではない。
　上述した実施形態では、ワークＷの属性が同一の属性であると判別している学習用画像ＴＩを入力したが、これに限られず、ワークＷの属性が判別していない学習用画像ＴＩを入力してもよい。以下、この変形例について説明する。図７は、変形例の学習処理を示すフローチャートである。なお、図７では、実施形態と同じ処理には同じステップ番号を付して説明を省略する。
　図７の変形例の学習処理では、画像処理装置１０は、表裏が不明な状態でワークＷがカメラ４０により撮像された学習用画像ＴＩを入力する（Ｓ１００ａ）。次に、画像処理装置１０は、対応関係情報２５ａを用いて学習用画像ＴＩ１内の各ワークＷの位置と角度とを認識する（Ｓ１１０ａ）。続いて、画像処理装置１０は、各ワークの属性（表裏）の指定を作業者から受け付けるために、表示部３２の属性指定画面３２ａに、属性の指定が可能に学習用画像ＴＩを表示して（Ｓ１１２）、各ワークＷの属性の指定を受け付ける（Ｓ１１４）。
　図８は、変形例の学習用画像ＴＩを含む属性指定画面３２ａの一例を示す説明図である。図９は、属性指定画面３２ａで属性が指定される様子の説明図である。図８に示すように、例えば属性指定画面３２ａには、上段に学習用画像ＴＩが表示され、下段に属性を指定するための表ボタンと裏ボタン、指定完了ボタンが表示されている。また、属性指定画面３２ａには、作業者が操作部３４を用いて指定操作が可能なカーソル（矢印で図示）も表示されている。図８，図９に示すように、作業者が操作部３４を用いて表ボタンをカーソルで指定（クリック）してから、学習用画像ＴＩ内のワークＷをカーソルで指定すると、そのワークＷの属性が表面に指定される。図９では、ワークＷ２１，Ｗ２５，Ｗ２８，Ｗ２９の属性が表面に指定された様子を示す。また、残りのワークＷは、図示は省略するが、属性が裏面に指定される。画像処理装置１０は、Ｓ１１０ａの認識処理により、既にワークＷの位置を認識している。また、画像処理装置１０は、ワークＷの位置を中心とする所定範囲を当該ワークＷの指定範囲として設定するものとする。例えば、図９では、ワークＷ２９の指定範囲として、点線で示す円形状の範囲が設定される。作業者は、この指定範囲内にカーソルを移動させてクリックするだけで、ワークＷの属性を指定することができる。このため、作業者は、画像内のワークＷをカーソルで描く矩形状の領域で囲う操作などを行うことなく、容易に属性を指定することができる。また、表示操作制御部３６は、作業者が属性の指定を行うと、ワークＷの位置と属性とを対応付けた情報をタグ付与部１８に出力する。
　画像処理装置１０は、こうして各ワークＷの属性の指定を受け付けると、ワークＷの角度を基準角度に揃えて（Ｓ１１６）、指定された属性を示すタグ情報を各ワークＷに付与する（Ｓ１５０ａ）。タグ付与部１８は、表示操作制御部３６からの情報に基づいて、各ワークＷにタグ情報を付与する。なお、図１０は、変形例においてワークデータに付与されるタグ情報を示す説明図である。図示するように、ワークＷ２１，Ｗ２５，Ｗ２８，Ｗ２９のタグ情報が表面となり、残りのワークＷのタグ情報が裏面となっている。そして、画像処理装置１０は、Ｓ１６０以降の処理を行って判別モデル２５ｂを生成して、学習処理を終了する。このように、変形例では、属性が不明な学習用画像ＴＩを用いる場合に、作業者がワークＷを囲うなどの手間なく容易に属性を指定することができるから、判別モデル２５ｂを生成する際の負担を低減することができる。
　この変形例では、ワークＷの属性が判別していない学習用画像ＴＩに対して作業者から属性の指定を受け付けてタグ情報を付与したが、属性が判別していない画像に対するものに限られない。例えば、画像処理装置１０は、ワークＷの属性の判別において、表裏の判別を間違えたなど属性の判別に誤りがあった場合や属性の判別の信頼度が低かった場合などに、判別に誤りがあったワークＷや信頼度が低かった画像などを表示部３２に表示して作業者の操作による属性の指定を受け付ける。そして、画像処理装置１０は、指定された属性を示すタグ情報を、ワークＷに付与し直すものとする。また、画像処理装置１０は、ワークＷに付与し直したタグ情報に基づいて判別モデル２５ｂを更新するものなどとすればよい。これにより、信頼度のより高い判別モデル２５ｂを生成することができる。なお、これらの処理が、実施形態で行われてもよい。
　ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の画像処理装置において、前記学習部は、前記認識した対象物の姿勢を所定姿勢に揃えた状態で学習を行い、前記入力部は、対象物の判別用画像を入力し、前記認識部は、前記対応関係に基づいて前記判別用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識し、前記認識した対象物の姿勢を前記所定姿勢に揃えた状態で前記判別モデルを用いて対象物の属性を判別する判別部を備えるものとしてもよい。こうすれば、対象物の姿勢を所定姿勢に揃えた状態で学習を行うから、学習量を少なくすることが可能となる。また、判別モデルを生成する場合と同じ所定姿勢に揃えた状態で対象物の属性を判別するから、属性を誤判定するのを防止して精度よく判定することができる。
　本開示の画像処理装置において、前記入力部は、前記学習用画像として、画像内の対象物の属性が同一の属性であると判別している画像を入力し、前記付与部は、前記認識した対象物に前記同一の属性を示すタグ情報を付与するものとしてもよい。こうすれば、作業者が、学習用画像内の対象物に属性を指定する手間を省くことができるから、モデルを生成する際の負担をより低減することができる。
　本開示の画像処理装置において、画像を表示する表示部と、作業者による指定操作が可能な操作部と、を備え、前記入力部は、前記学習用画像として、画像内の対象物の属性が判別していない画像を入力し、前記付与部は、前記表示部に表示された前記学習用画像内の対象物に対し作業者による指定操作で指定された属性を取得し、前記認識した対象物に前記取得した属性を示すタグ情報を付与するものとしてもよい。ここで、学習用画像内の対象物およびその姿勢を認識する際に、対象物の位置も認識可能であるから、作業者が対象物の周囲を囲うような操作を行わなくても、対象物を選択することが可能となる。このため、作業者が属性を指定する際に対象物の選択を容易に行って負担を低減することができる。
　本開示の画像処理装置において、画像を表示する表示部と、作業者による指定操作が可能な操作部と、を備え、前記付与部は、前記対象物の属性の判別に誤りがあったか属性の判別の信頼度が低かった画像内の対象物に対し、作業者による指定操作で指定された属性を取得し、該取得した属性を示すタグ情報を付与し直すものとしてもよい。こうすれば、信頼度のより高い判別モデルを生成することができる。
　本開示の画像処理装置において、前記対象物は、属性に拘わらず画像に写る外形形状が略同じ形状であるものとしてもよい。このような対象物は、属性を精度よく判定するために、より多くの学習が必要となりやすいから、学習の対象量を少なくするために本開示を適用する意義が高いものとなる。
　本開示の画像処理方法は、対象物の学習用画像を入力する入力ステップと、事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて前記学習用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識する認識ステップと、前記認識した対象物に属性を示すタグ情報を付与する付与ステップと、前記学習用画像の認識結果と前記タグ情報とに基づく学習を行うことにより、対象物の属性を判別するための判別モデルを生成する学習ステップと、を含むことを要旨とする。本開示の画像処理方法は、本開示の画像処理装置と同様に、モデルを生成する際の負担を低減しながら精度のよいモデルを生成することができる。この画像処理方法において、上述した画像処理装置の態様を採用してもよいし、上述した画像処理装置の機能を実現するステップを含んでもよい。
　本開示は、画像処理装置の製造産業などに利用可能である。
　１０　画像処理装置、１２　画像入力部、１４　特徴抽出部、１６　ワーク認識部、１８　タグ付与部、２２　機械学習部、２４　記憶部、２５ａ　対応関係情報、２５ｂ　判別モデル、２６　属性判別部、３２　表示部、３２ａ　属性指定画面、３４　操作部、３６　表示操作制御部、４０　カメラ、Ｂ　ボディ、Ｆ１，Ｆ２　形状特徴、Ｐ　ピン、Ｒｃ　座標系、ＴＩ，ＴＩ１，ＴＩ２　学習用画像、Ｗ，Ｗ１～Ｗ３０　ワーク。

Claims (7)

  1. 　対象物の学習用画像を入力する入力部と、
    　事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて前記学習用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識する認識部と、
    　前記認識した対象物に属性を示すタグ情報を付与する付与部と、
    　前記学習用画像の認識結果と前記タグ情報とに基づく学習を行うことにより、対象物の属性を判別するための判別モデルを生成する学習部と、
    　を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記学習部は、前記認識した対象物の姿勢を所定姿勢に揃えた状態で学習を行い、
    　前記入力部は、対象物の判別用画像を入力し、
    　前記認識部は、前記対応関係に基づいて前記判別用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識し、
    　前記認識した対象物の姿勢を前記所定姿勢に揃えた状態で前記判別モデルを用いて対象物の属性を判別する判別部を備える
    　画像処理装置。
  3. 　請求項１または２に記載の画像処理装置であって、
    　前記入力部は、前記学習用画像として、画像内の対象物の属性が同一の属性であると判別している画像を入力し、
    　前記付与部は、前記認識した対象物に前記同一の属性を示すタグ情報を付与する
    　画像処理装置。
  4. 　請求項１または２に記載の画像処理装置であって、
    　画像を表示する表示部と、
    　作業者による指定操作が可能な操作部と、
    　を備え、
    　前記入力部は、前記学習用画像として、画像内の対象物の属性が判別していない画像を入力し、
    　前記付与部は、前記表示部に表示された前記学習用画像内の対象物に対し作業者による指定操作で指定された属性を取得し、前記認識した対象物に前記取得した属性を示すタグ情報を付与する
    　画像処理装置。
  5. 　請求項１ないし４のいずれか１項に記載の画像処理装置であって、
    　画像を表示する表示部と、
    　作業者による指定操作が可能な操作部と、
    　を備え、
    　前記付与部は、前記対象物の属性の判別に誤りがあったか属性の判別の信頼度が低かった画像内の対象物に対し、作業者による指定操作で指定された属性を取得し、該取得した属性を示すタグ情報を付与し直す
    　画像処理装置。
  6. 　請求項１ないし５のいずれか１項に記載の画像処理装置であって、
    　前記対象物は、属性に拘わらず画像に写る外形形状が略同じ形状である
    　画像処理装置。
  7. 　対象物の学習用画像を入力する入力ステップと、
    　事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて前記学習用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識する認識ステップと、
    　前記認識した対象物に属性を示すタグ情報を付与する付与ステップと、
    　前記学習用画像の認識結果と前記タグ情報とに基づく学習を行うことにより、対象物の属性を判別するための判別モデルを生成する学習ステップと、
    　を含む画像処理方法。
PCT/JP2020/026911 2020-07-09 2020-07-09 画像処理装置および画像処理方法 WO2022009399A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/026911 WO2022009399A1 (ja) 2020-07-09 2020-07-09 画像処理装置および画像処理方法
JP2022534602A JPWO2022009399A1 (ja) 2020-07-09 2020-07-09

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026911 WO2022009399A1 (ja) 2020-07-09 2020-07-09 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2022009399A1 true WO2022009399A1 (ja) 2022-01-13

Family

ID=79552354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026911 WO2022009399A1 (ja) 2020-07-09 2020-07-09 画像処理装置および画像処理方法

Country Status (2)

Country Link
JP (1) JPWO2022009399A1 (ja)
WO (1) WO2022009399A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116589A (ja) * 2017-01-20 2018-07-26 Kddi株式会社 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116589A (ja) * 2017-01-20 2018-07-26 Kddi株式会社 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法

Also Published As

Publication number Publication date
JPWO2022009399A1 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
US10456918B2 (en) Information processing apparatus, information processing method, and program
CN109426835B (zh) 信息处理装置、信息处理装置的控制方法和存储介质
US11232589B2 (en) Object recognition device and object recognition method
KR100920931B1 (ko) Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
US20170154430A1 (en) Information processing apparatus, information processing method, and recording medium
US10306149B2 (en) Image processing apparatus, robot system, robot, and image processing method
JP6557943B2 (ja) 画像照合装置、画像センサ、処理システム、画像照合方法
US11625842B2 (en) Image processing apparatus and image processing method
US6993177B1 (en) Gauging based on global alignment and sub-models
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
KR101535801B1 (ko) 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템
CN113840695A (zh) 标定检验组件、机器人***、检验方法和标定方法
CN111199533B (zh) 图像处理装置
US11989928B2 (en) Image processing system
WO2022009399A1 (ja) 画像処理装置および画像処理方法
JP2015203680A (ja) 情報処理装置、方法、プログラム
US20230321823A1 (en) Robot control device, and robot system
US20230033339A1 (en) Image processing system
US11263760B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium for obtaining a position/orientation of an object
WO2022249875A1 (ja) 画像識別装置、及び、画像識別方法
US20230311308A1 (en) Machine-learning device
JP2765382B2 (ja) 画像認識装置及び柄合せ裁断装置
JP2024004619A (ja) カメラによる物体認識を評価する方法、システム、及び、コンピュータープログラム
JP2020094984A (ja) 計測装置、システム、表示方法及びプログラム
JP2021071420A (ja) 情報処理装置、情報処理方法、プログラム、システム、物品の製造方法、計測装置及び計測方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20944793

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022534602

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20944793

Country of ref document: EP

Kind code of ref document: A1