JP2017020971A - Pattern image projection device, parallax information creating device, and pattern image creating program - Google Patents
Pattern image projection device, parallax information creating device, and pattern image creating program Download PDFInfo
- Publication number
- JP2017020971A JP2017020971A JP2015140571A JP2015140571A JP2017020971A JP 2017020971 A JP2017020971 A JP 2017020971A JP 2015140571 A JP2015140571 A JP 2015140571A JP 2015140571 A JP2015140571 A JP 2015140571A JP 2017020971 A JP2017020971 A JP 2017020971A
- Authority
- JP
- Japan
- Prior art keywords
- pattern image
- image
- pattern
- imaging
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、パターン画像投射装置、視差情報生成装置、パターン画像生成プログラムに関するものである。 The present invention relates to a pattern image projection device, a parallax information generation device, and a pattern image generation program.
従来、撮像領域内の対象物を異なる視点から複数の撮像手段により撮像して当該対象物の視差情報を生成するときに、撮像領域に向けてパターン画像を投射するパターン画像投射装置が知られている。 Conventionally, there has been known a pattern image projection device that projects a pattern image toward an imaging region when the object in the imaging region is imaged by a plurality of imaging units from different viewpoints to generate parallax information of the object. Yes.
特許文献1には、パターン画像投射装置から投光パターン(パターン画像)が照射された被写体(対象物)を異なる視点から撮像して得た基準画像と参照画像との対応点付け(マッチング処理)を行い、マッチングされた対応画素間の視差値に基づいて距離画像(視差情報)を生成する3次元形状計測装置が開示されている。この3次元形状計測装置では、周期的な模様をもつ投光パターンを被写体に照射する場合に生じていた対応点付け時のミスマッチングの発生を減少させる目的で、乱数を用い、ドットのサイズ、線の長さや太さ、位置、濃度等が不規則である模様からなる非周期的な投光パターンを生成する。 Japanese Patent Laid-Open No. 2004-26883 discloses matching (matching processing) between a reference image obtained by imaging a subject (object) irradiated with a light projection pattern (pattern image) from a pattern image projection device from different viewpoints and a reference image. And a three-dimensional shape measurement apparatus that generates a distance image (disparity information) based on a parallax value between matched corresponding pixels is disclosed. In this three-dimensional shape measuring apparatus, random numbers are used for the purpose of reducing the occurrence of mismatching at the time of matching corresponding to the case where a subject is irradiated with a light projection pattern having a periodic pattern, the dot size, A non-periodic light projection pattern is generated that is a pattern with irregular line length, thickness, position, density, and the like.
一般に、パターン画像投射装置は、レンズ等の光学系を介してパターン画像を撮像領域に向けて投射するが、その光学系の光学的特性は撮像領域内の地点に応じて異なる。例えば、光学系の光軸中心付近の地点とその光軸中心から離れた地点との間では、パターン画像の明るさ(輝度)、歪み、コントラストなどの光学的特性が異なる。このような光学的特性は、複数の撮像画像間における撮像領域内の同一地点を映し出す画素を対応づけるマッチング処理のマッチング精度に影響を及ぼす。そのため、光学的特性が撮像領域内の地点に応じて異なると、撮像領域内においてマッチング精度の相対的に低い地点が局所的に生じてしまう。そのため、そのような地点における対象物については適切な視差情報が得られないおそれがあり得る。 In general, a pattern image projection device projects a pattern image toward an imaging region via an optical system such as a lens, but the optical characteristics of the optical system differ depending on the point in the imaging region. For example, optical characteristics such as brightness (luminance), distortion, and contrast of the pattern image are different between a point near the optical axis center of the optical system and a point far from the optical axis center. Such optical characteristics affect the matching accuracy of the matching process for associating pixels that show the same point in the imaging region between a plurality of captured images. For this reason, if the optical characteristics differ depending on the points in the imaging region, points with relatively low matching accuracy locally occur in the imaging region. Therefore, there is a possibility that appropriate parallax information cannot be obtained for the object at such a point.
同様に、パターン画像が投射された撮像領域内の対象物を複数の撮像手段により異なる地点から撮像する場合の撮像手段の光学系も、その光学的特性は撮像領域内の地点に応じて異なる。そのため、仮に一様なパターン画像が投射されている場合であっても、撮像画像の明るさ(輝度)、歪み、コントラストなどの光学的特性が、撮像領域内の地点に応じて異なる。このような光学的特性もマッチング処理のマッチング精度に影響を及ぼすので、撮像手段の光学的特性が撮像領域内の地点に応じて異なる場合も、マッチング精度が相対的に低い地点が局所的に生じてしまう。そのため、そのような地点における対象物については適切な視差情報が得られないおそれがある。 Similarly, in the optical system of the image pickup means when the object in the image pickup area on which the pattern image is projected is picked up from different points by a plurality of image pickup means, the optical characteristics thereof differ depending on the points in the image pickup area. Therefore, even if a uniform pattern image is projected, optical characteristics such as brightness (brightness), distortion, and contrast of the captured image differ depending on points in the imaging region. Since such optical characteristics also affect the matching accuracy of the matching process, even when the optical characteristics of the imaging means differ depending on the points in the imaging region, points with relatively low matching accuracy are locally generated. End up. Therefore, there is a possibility that appropriate parallax information cannot be obtained for the object at such a point.
なお、相対的にマッチング精度の低い地点は、光学系の光軸中心から離れた地点である場合に限らず、その光学系の構成等によって様々である。したがって、マッチング精度が相対的に低い地点、すなわち、適切な視差情報が得られない部分は、光学系の構成等に応じて異なり得る。 Note that the point with relatively low matching accuracy is not limited to the point away from the optical axis center of the optical system, but varies depending on the configuration of the optical system. Therefore, a point where the matching accuracy is relatively low, that is, a portion where appropriate parallax information cannot be obtained may differ depending on the configuration of the optical system.
また、上述した課題は、非周期的な投光パターン(パターン画像)を投射する特許文献1に開示のパターン画像投射装置を用いたとしても、解決することはできない。この投光パターンは、画像投射手段や撮像手段についての光学的特性が異なる各撮像領域箇所に投射されるパターン画像部分が、それぞれの撮像領域箇所に最適化されたパターン画像部分であるわけではない。したがって、画像投射手段や撮像手段についての光学的特性が撮像領域箇所に応じて異なる場合には、やはり、マッチング精度が相対的に低い地点が局所的に生じ、そのような地点に存在する対象物については適切な視差情報が得られないことがある。 Moreover, even if it uses the pattern image projection apparatus disclosed by patent document 1 which projects an aperiodic light projection pattern (pattern image), the subject mentioned above cannot be solved. In this projection pattern, the pattern image portion projected to each imaging region location having different optical characteristics for the image projecting means and the imaging device is not a pattern image portion optimized for each imaging region location. . Therefore, when the optical characteristics of the image projection unit and the imaging unit differ depending on the location of the imaging region, a point with relatively low matching accuracy is generated locally, and an object existing at such a point In some cases, appropriate disparity information may not be obtained.
上述した課題を解決するために、本発明は、撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて視差情報生成手段により該対象物の視差情報を生成するときに、撮像領域に向けてパターン画像を投射する画像投射手段を有するパターン画像投射装置において、前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とする。 In order to solve the above-described problem, the present invention generates parallax information of an object by the parallax information generating unit based on captured images obtained by capturing the object in the imaging region from different viewpoints by a plurality of imaging units. In addition, in the pattern image projection apparatus having the image projection unit that projects the pattern image toward the imaging region, the pattern image is in an imaging region where the optical characteristics of at least one of the image projection unit and the imaging unit are different. Accordingly, the pattern image portion projected on each imaging region location is different.
本発明によれば、画像投射手段や撮像手段の光学的特性が撮像領域箇所に応じて異なるなどの理由で、撮像領域内にマッチング精度の相対的に低い撮像領域箇所が存在しても、その撮像領域箇所に存在する対象物について適切な視差情報を得ることができるという優れた効果が奏される。 According to the present invention, even if there is an imaging region location with relatively low matching accuracy in the imaging region, for example, because the optical characteristics of the image projecting means or the imaging means differ depending on the imaging region location, An excellent effect is obtained in that appropriate parallax information can be obtained for an object present in an imaging region location.
以下、本発明に係るパターン画像投射装置を備える視差情報生成装置を、ロボットピッキングシステムに適用した一実施形態について説明する。
本実施形態におけるロボットピッキングシステムは、例えば、多数のワーク(対象物)がバラ積みされている箱から1つのワーク(例えばT型パイプ)をロボットアームにより取り出して、当該ワークを後段の処理装置へ受け渡すものである。このシステムでは、箱内を上方から撮像し、その撮像画像に基づいて箱内における個々のワークを区別して認識する。そして、その認識結果に基づいて、ロボットアームのハンド部で1つのワークを上方からピッキングして箱から取り出すように、ロボットアームの動作を制御する。
なお、本発明に係るパターン画像投射装置を備える視差情報生成装置は、ロボットピッキングシステムに限らず、例えば、撮像画像に基づいて撮像領域内に存在する対象物の認識処理を行う画像解析装置を搭載したその他のシステムにも適用できる。
Hereinafter, an embodiment in which a parallax information generation device including a pattern image projection device according to the present invention is applied to a robot picking system will be described.
In the robot picking system according to the present embodiment, for example, one workpiece (for example, a T-shaped pipe) is taken out from a box in which a large number of workpieces (objects) are stacked, and the workpiece is transferred to a subsequent processing apparatus. It is a thing to pass. In this system, the inside of the box is imaged from above, and individual workpieces in the box are distinguished and recognized based on the captured image. Based on the recognition result, the operation of the robot arm is controlled so that one workpiece is picked from above by the hand portion of the robot arm and taken out from the box.
Note that the disparity information generation device including the pattern image projection device according to the present invention is not limited to the robot picking system, and includes, for example, an image analysis device that performs recognition processing of an object existing in the imaging region based on the captured image. It can be applied to other systems.
図1は、本実施形態におけるロボットピッキングシステムを示すブロック図である。
図2は、本実施形態のロボットピッキングシステムの主要部の配置を示す説明図である。
本実施形態のロボットピッキングシステムは、主に、カメラ部100及び画像処理部200を備えたステレオカメラからなる撮像装置と、認識処理部300及びロボットアーム制御部400を備えたロボットアーム制御装置と、画像投射手段としてのプロジェクタ600及びこのプロジェクタ600を制御するパーソナルコンピュータ(以下「パソコン」という。)500を備えたパターン画像投射装置とから構成される。プロジェクタ600からワークが載置される作業台面601までの距離と、作業台面601からカメラ部100までの距離は、ほぼ等しくなるように配置されている。
FIG. 1 is a block diagram showing a robot picking system in the present embodiment.
FIG. 2 is an explanatory diagram showing an arrangement of main parts of the robot picking system of the present embodiment.
The robot picking system of the present embodiment mainly includes an imaging device including a stereo camera including a camera unit 100 and an image processing unit 200, a robot arm control device including a recognition processing unit 300 and a robot arm control unit 400, The image forming apparatus includes a projector 600 as an image projecting unit and a pattern image projecting apparatus including a personal computer (hereinafter referred to as “personal computer”) 500 that controls the projector 600. The distance from the projector 600 to the work table surface 601 on which the workpiece is placed and the distance from the work table surface 601 to the camera unit 100 are arranged to be substantially equal.
カメラ部100は、2つの撮像手段であるカメラ101A,101Bで構成されており、2つのカメラ101A,101Bの構成は同一のものである。カメラ101A,101Bは、主に、撮像レンズ等の光学系と、受光素子が2次元配置された画素アレイで構成された画像センサと、画像センサから出力されるアナログ電気信号(画像センサ上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部とから構成されている。 The camera unit 100 is composed of two cameras 101A and 101B that are image pickup means, and the two cameras 101A and 101B have the same configuration. The cameras 101A and 101B mainly include an optical system such as an imaging lens, an image sensor configured by a pixel array in which light receiving elements are two-dimensionally arranged, and analog electric signals (each on the image sensor) output from the image sensor. A signal processing unit that generates and outputs captured image data obtained by converting a received light amount received by the light receiving element into a digital electric signal.
画像処理部200は、カメラ部100から出力される撮像画像データを受け取って各種画像処理を実施する。カメラ部100の各カメラ101A,101Bから出力される撮像画像データは、理想ピンホールモデルで得られる画像に変換するために補正処理を行う画像補正部201A,201Bに入力される。画像補正部201A,201Bは、カメラ101A,101Bごとに設けられ、FPGA(Field-Programmable Gate Array)やメモリ等によって構成される。画像補正部201A,201Bは、FPGAにより、入力されるカメラ101A,101Bからの撮像画像データに対し、倍率補正、画像中心補正、歪補正などの補正処理を実行する。メモリには、その補正処理に用いる補正パラメータ等が格納されている。なお、FPGAに代えて、例えば、ASIC(Application Specific Integrated Circuit)などを採用してもよい。 The image processing unit 200 receives captured image data output from the camera unit 100 and performs various image processing. The captured image data output from each of the cameras 101A and 101B of the camera unit 100 is input to the image correction units 201A and 201B that perform correction processing to convert the captured image data into an image obtained by an ideal pinhole model. The image correction units 201A and 201B are provided for each of the cameras 101A and 101B, and are configured by an FPGA (Field-Programmable Gate Array), a memory, or the like. The image correction units 201A and 201B perform correction processing such as magnification correction, image center correction, and distortion correction on the input image data from the cameras 101A and 101B by the FPGA. The memory stores correction parameters used for the correction process. Note that, for example, an ASIC (Application Specific Integrated Circuit) may be employed instead of the FPGA.
画像補正部201A,201Bから出力される補正処理後の撮像画像データ(補正画像データ)は、視差情報生成手段としての視差情報算出部202に送られる。視差情報算出部202は、各カメラ101A,101Bで撮像して得られた補正画像データから得られる視差画像データを生成する処理を行う。具体的には、画像補正部201A,201Bから出力される補正画像データから視差画像データを得るために、当該2つの補正画像間の対応画像部分の視差値を演算する。 The captured image data after correction processing (corrected image data) output from the image correction units 201A and 201B is sent to the parallax information calculation unit 202 as parallax information generation means. The parallax information calculation unit 202 performs processing for generating parallax image data obtained from corrected image data obtained by imaging with the cameras 101A and 101B. Specifically, in order to obtain parallax image data from the corrected image data output from the image correction units 201A and 201B, the parallax value of the corresponding image portion between the two corrected images is calculated.
ここでいう視差値とは、各カメラ101A,101Bでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。視差画像データは、基準画像データ(例えばカメラ101Aが撮像した撮像画像データa)上の各画像部分について算出される視差値に応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。視差情報算出部202が出力する視差画像データは、後段の認識処理部300に送られるとともに、外部I/F203からパソコン500にも送られる。 The parallax value here refers to a comparison image with respect to an image portion on the reference image corresponding to the same point in the imaging region, with one of the captured images captured by the cameras 101A and 101B being a reference image and the other being a comparison image. The positional deviation amount of the image portion is calculated as the parallax value of the image portion. By using the principle of triangulation, the distance to the same point in the imaging area corresponding to the image portion can be calculated from the parallax value. The parallax image data is a parallax image in which pixel values corresponding to parallax values calculated for each image portion on reference image data (for example, captured image data a captured by the camera 101A) are represented as pixel values of the respective image portions. It is shown. The parallax image data output from the parallax information calculation unit 202 is sent to the recognition processing unit 300 at the subsequent stage and also sent from the external I / F 203 to the personal computer 500.
認識処理部300は、視差情報算出部202から出力される視差画像データを用いて、撮像領域内に存在する箱の中に収容されている多数のワークを個別に認識する処理を行う。具体的には、例えば、視差画像上において画素値(視差値)が大きく変化するエッジ部を検出し、その検出結果から個々のワークを映し出す画像部分を識別する。そして、例えば、識別した画像部分の中で視差値平均が最も大きい画像部分を特定し、特定した画像部分に対応するワークの水平方向位置と、その画像部分の視差値平均から算出される当該ワークまでの距離とを、ワーク認識結果として、ロボットアームの動作を制御するロボットアーム制御部400へ出力する。このようにして特定されるワークは、箱内で最も上に積まれているワークである。 The recognition processing unit 300 uses the parallax image data output from the parallax information calculation unit 202 to perform processing for individually recognizing a large number of works housed in a box existing in the imaging region. Specifically, for example, an edge portion where the pixel value (parallax value) greatly changes is detected on the parallax image, and an image portion on which each work is projected is identified from the detection result. Then, for example, the image portion having the largest parallax value average among the identified image portions is identified, and the workpiece calculated from the horizontal position of the workpiece corresponding to the identified image portion and the parallax value average of the image portion. To the robot arm control unit 400 that controls the operation of the robot arm as a workpiece recognition result. The work specified in this way is the work stacked on top in the box.
ロボットアーム制御部400は、認識処理部300から出力されるワーク認識結果に基づき、ピッキング対象となる1つのワークの位置(水平方向位置と距離)を把握することができる。ロボットアーム制御部400は、把握した位置に存在するワークをロボットアームのハンド部で上方からピッキングして箱から取り出し、後段の処理装置へ受け渡すように、ロボットアーム動作を制御する。 The robot arm control unit 400 can grasp the position (horizontal position and distance) of one workpiece to be picked based on the workpiece recognition result output from the recognition processing unit 300. The robot arm control unit 400 controls the robot arm operation so that the workpiece existing at the grasped position is picked from the top by the hand unit of the robot arm, taken out from the box, and transferred to the subsequent processing apparatus.
パソコン500は、対象物であるワークにプロジェクタ600からパターン画像を投射させるためにプロジェクタ600を制御する。本実施形態のパソコン500は、主に、CPU(Central Processing Unit)等からなる演算部と、ROM(Read Only Memory)やRAM(Random Access Memory)あるいはHDD(Hard Disk Drive)等の記憶装置からなる記憶部、通信インターフェース等からなる通信部、キーボードやポインティングデバイスなどの入力部など、汎用のパソコンが備える一般的な機能を備えている。 The personal computer 500 controls the projector 600 in order to project a pattern image from the projector 600 onto a work that is an object. The personal computer 500 according to the present embodiment mainly includes a calculation unit including a CPU (Central Processing Unit) and a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disk Drive). A general-purpose personal computer has general functions such as a storage unit, a communication unit including a communication interface, and an input unit such as a keyboard and a pointing device.
本実施形態において、パソコン500は、CPUが記憶部に記憶されている各種コンピュータプログラムを実行することにより、プロジェクタ600とともにパターン画像投射装置としての動作に必要な各種機能を実現する。特に、本実施形態1では、パターン画像生成プログラムをCPUで実行することにより、プロジェクタ600がワークに向けて投射するパターン画像を生成するパターン画像生成処理を実行する。パソコン500は、このパターン画像生成処理を実行するための構成として、視差点数算出部501と、パターン画像生成部502と、外部I/F503とを備え、対象物であるワークを高い認識精度で認識できるパターン画像を生成する。 In the present embodiment, the personal computer 500 realizes various functions necessary for the operation as the pattern image projection apparatus together with the projector 600 by the CPU executing various computer programs stored in the storage unit. In particular, in the first embodiment, a pattern image generation process for generating a pattern image projected by the projector 600 toward the work is executed by executing the pattern image generation program on the CPU. The personal computer 500 includes a parallax score calculation unit 501, a pattern image generation unit 502, and an external I / F 503 as a configuration for executing this pattern image generation processing, and recognizes a workpiece that is an object with high recognition accuracy. A pattern image that can be generated is generated.
このパターン画像生成処理は、パソコン500における視差点数算出部501及びパターン画像生成部502によって構成される。視差点数算出部501は、画像処理部200における視差情報算出部202から出力される視差画像データを外部I/F203,503を介して取得し、その視差画像データから、予め指定された指定画像部分内の有効視差値の数をカウントする。パターン画像生成部502は、視差点数算出部501がカウントした有効視差値の数が規定条件を満たすようなパターン画像を生成する。 This pattern image generation process includes a parallax point calculation unit 501 and a pattern image generation unit 502 in the personal computer 500. The parallax point calculation unit 501 acquires the parallax image data output from the parallax information calculation unit 202 in the image processing unit 200 via the external I / Fs 203 and 503, and designates a designated image portion designated in advance from the parallax image data. The number of effective parallax values is counted. The pattern image generation unit 502 generates a pattern image in which the number of effective parallax values counted by the parallax point calculation unit 501 satisfies a specified condition.
本実施形態において、対象物であるワークの認識精度を高めるためのパターン画像を生成する理由は、次のとおりである。
認識処理部300での認識処理は、上述したように、2つのカメラ101A,101Bで撮像した撮像画像間の視差情報に基づいてワークを映し出す画像部分を認識する。このような処理における認識精度は、ワークを映し出す画像部分について正確に算出された視差値の数(立体物領域を構成する視差画像上の画素数)の多さに依存する。視差値の算出は、両撮像画像間の対応画像部分(撮像領域内の同一地点に対応した各画像上の画像部分)を正確に特定(マッチング)することが前提となる。
In the present embodiment, the reason for generating a pattern image for increasing the recognition accuracy of a workpiece that is an object is as follows.
As described above, the recognition processing in the recognition processing unit 300 recognizes an image portion on which a workpiece is projected based on parallax information between captured images captured by the two cameras 101A and 101B. The recognition accuracy in such processing depends on the number of parallax values (the number of pixels on the parallax image constituting the three-dimensional object region) accurately calculated for the image portion showing the workpiece. The calculation of the parallax value is premised on accurately specifying (matching) a corresponding image portion between both captured images (an image portion on each image corresponding to the same point in the imaging region).
マッチング処理は、例えば、マッチング対象とする対応画像部分を含む基準画像内の対象画像領域と同じ縦方向位置(画像垂直方向位置)である比較画像内の各画像領域(横方向位置(画像水平方向位置)が異なる画像領域)について、それぞれ、基準画像内の対象画像領域を構成する複数の画素値(輝度値)の配列との関係について相関演算を行う。そして、一定以上の相関が認められた比較画像内の画像領域の中で最も相関が高い画像領域を、基準画像内の対象画像領域に対応する対応画像領域であると特定する。これにより、両撮像画像間の対応画像部分が特定される。 For example, the matching process is performed by using each image region (horizontal position (image horizontal direction) in the comparison image having the same vertical position (image vertical position) as the target image region in the reference image including the corresponding image portion to be matched. Correlation calculation is performed on the relationship between the image areas having different positions) and the arrangement of a plurality of pixel values (luminance values) constituting the target image area in the reference image. Then, the image area having the highest correlation among the image areas in the comparison image in which a correlation of a certain level or more is recognized is identified as the corresponding image area corresponding to the target image area in the reference image. Thereby, the corresponding image part between both captured images is specified.
ここで、プロジェクタ600は、光学系を介してパターン画像を投射するが、その光学系の光学的特性は、投射されるパターン画像全体にわたって一様ではない。本実施形態のプロジェクタ600は、光学系の光軸中心(以下「パターン画像の中心」ともいうが、ここでいうパターン画像の中心は、パターン画像の位置的な中央地点を示すものではない。)において最も輝度が高く、その光軸中心(パターン画像の中心)から離れるほど輝度が低下するという光学的特性を有する。すなわち、プロジェクタ600の光学系の光軸中心付近(パターン画像の中心部O)と、その光軸中心から離れた地点(パターン画像の周辺部)との間では、パターン画像の明るさ(輝度)が異なる。 Here, the projector 600 projects a pattern image via an optical system, but the optical characteristics of the optical system are not uniform over the entire projected pattern image. The projector 600 according to the present embodiment is the optical axis center of the optical system (hereinafter also referred to as “the center of the pattern image”, but the center of the pattern image here does not indicate the positional central point of the pattern image). Has an optical characteristic that the luminance is highest and the luminance decreases as the distance from the optical axis center (center of the pattern image) increases. That is, the brightness (luminance) of the pattern image between the vicinity of the optical axis center of the optical system of the projector 600 (the central portion O of the pattern image) and a point far from the optical axis center (the peripheral portion of the pattern image). Is different.
その結果、例えば、パターン画像の中心部Oにおいて最適な明るさ(輝度)すなわち当該中心部Oについて適切な視差値が算出できる明るさ(輝度)が得られるように、パターン画像を投射すると、図3に示すように、パターン画像の周辺部では最適な明るさ(輝度)よりも明るさが低いものとなる。明るさが低いと、撮像画像のコントラストが落ちるので、相関演算の精度が低下し、正確なマッチング処理を行うことが困難となる。これにより、パターン画像の周辺部が投射されるワークについては、正確なマッチング処理ができず、その視差値が算出できなかったり、誤った視差値を算出してしまったりする可能性が高くなる。その結果、当該ワークを映し出す画像部分について、正確に算出された視差値の数(当該ワークを映し出す画像部分に対応する視差画像上の画像部分の画素数)が少なくなってしまい、認識処理部300での認識処理精度を悪化させることになる。 As a result, for example, when the pattern image is projected so as to obtain optimal brightness (luminance) in the central portion O of the pattern image, that is, brightness (luminance) with which an appropriate parallax value can be calculated for the central portion O, FIG. As shown in FIG. 3, the brightness is lower than the optimum brightness (luminance) at the periphery of the pattern image. When the brightness is low, the contrast of the captured image is lowered, so that the accuracy of the correlation calculation is lowered and it is difficult to perform an accurate matching process. As a result, the workpiece on which the peripheral part of the pattern image is projected cannot be accurately matched, and the possibility that the parallax value cannot be calculated or an incorrect parallax value is calculated increases. As a result, the number of correctly calculated parallax values (the number of pixels of the image portion on the parallax image corresponding to the image portion projecting the work) is reduced for the image portion projecting the work, and the recognition processing unit 300. The recognition processing accuracy in the case will be deteriorated.
逆に、例えば、パターン画像の周辺部において最適な明るさ(輝度)が得られるようにパターン画像を投射すると、パターン画像の中心部Oでは最適な明るさ(輝度)よりも明るさが高いものとなる。明るさが高すぎると、当該中心部Oからの光を受光する受光素子の中に受光量が当該受光素子の光量検出範囲の上限値である飽和値を超えてしまう受光素子が存在して、正確なマッチング処理を行うことが困難となり得る。この場合、パターン画像の中心部が投射されるワークについては、正確なマッチング処理ができず、その視差値が算出できなかったり、誤った視差値を算出してしまったりする可能性が高くなる。その結果、当該ワークを映し出す画像部分について、正確に算出された視差値の数が少なくなってしまい、認識処理部300での認識処理精度を悪化させることになる。 On the other hand, for example, when a pattern image is projected so that the optimum brightness (luminance) is obtained in the peripheral portion of the pattern image, the brightness is higher than the optimum brightness (luminance) at the center portion O of the pattern image. It becomes. If the brightness is too high, among the light receiving elements that receive the light from the center O, there is a light receiving element in which the amount of received light exceeds the saturation value that is the upper limit value of the light amount detection range of the light receiving element, It can be difficult to perform an exact matching process. In this case, with respect to the work on which the center portion of the pattern image is projected, there is a high possibility that accurate matching processing cannot be performed, and the parallax value cannot be calculated or an incorrect parallax value is calculated. As a result, the number of parallax values accurately calculated for the image portion that shows the workpiece is reduced, and the recognition processing accuracy in the recognition processing unit 300 is deteriorated.
また、パターン画像が投射されたワークを異なる地点から撮像するカメラ部100の2つのカメラ101A,101Bの光学系も、その光学的特性は撮像領域全体にわたって一様ではない。本実施形態のカメラ101A,101Bは、図3に示すように、光学系の光軸中心(各カメラの画像センサ中心)において最も受光量が多く、その光軸中心(画像センサ中心)から離れるほど受光量が少なくなるという光学的特性を有する。すなわち、カメラ101A,101Bの光学系の光軸中心付近(画像センサの中心部)と、その光軸中心から離れた地点(画像センサの周辺部)との間では、撮像画像の明るさ(輝度)が異なる。 Also, the optical characteristics of the two cameras 101A and 101B of the camera unit 100 that captures the workpiece on which the pattern image is projected from different points are not uniform over the entire imaging region. As shown in FIG. 3, the cameras 101 </ b> A and 101 </ b> B of the present embodiment receive the largest amount of received light at the optical axis center (image sensor center of each camera) of the optical system, and the farther from the optical axis center (image sensor center). The optical characteristic is that the amount of received light is reduced. That is, the brightness (brightness) of the captured image between the vicinity of the optical axis center of the optical system of the cameras 101A and 101B (center portion of the image sensor) and a point away from the optical axis center (peripheral portion of the image sensor). ) Is different.
その結果、例えば、明るさ(輝度)が一様なパターン画像が投射されたワークを撮像しても、その撮像画像の中心部について適切な視差値が算出できる明るさ(輝度)となっているときには、その撮像画像の周辺部では最適な明るさ(輝度)よりも明るさが低いものとなる。撮像画像の明るさが低いと、撮像画像のコントラストが落ちるので、相関演算の精度が低下し、正確なマッチング処理を行うことが困難となる。これにより、撮像画像の周辺部に映し出されるワークについては、正確なマッチング処理ができず、その視差値が算出できなかったり、誤った視差値を算出してしまったりする可能性が高くなる。その結果、当該ワークを映し出す画像部分について、正確に算出された視差値の数が少なくなってしまい、認識処理部300での認識処理精度を悪化させることになる。 As a result, for example, even when a workpiece on which a pattern image with uniform brightness (luminance) is projected is captured, the brightness (luminance) is such that an appropriate parallax value can be calculated for the center of the captured image. Sometimes, the brightness of the peripheral portion of the captured image is lower than the optimum brightness (luminance). If the brightness of the picked-up image is low, the contrast of the picked-up image is lowered, so that the accuracy of the correlation calculation is lowered and it is difficult to perform accurate matching processing. As a result, the workpiece displayed in the peripheral portion of the captured image cannot be accurately matched, and the possibility that the parallax value cannot be calculated or an incorrect parallax value is calculated increases. As a result, the number of parallax values accurately calculated for the image portion that shows the workpiece is reduced, and the recognition processing accuracy in the recognition processing unit 300 is deteriorated.
逆に、例えば、撮像画像の周辺部について適切な視差値が算出できる明るさ(輝度)となっているときには、その撮像画像の中心部では最適な明るさ(輝度)よりも明るさが高いものとなる。撮像画像の明るさが高すぎると、当該撮像画像の中心部に対応する受光素子の中に受光量が当該受光素子の光量検出範囲の上限値である飽和値を超えてしまう受光素子が存在して、正確なマッチング処理を行うことが困難となり得る。この場合、撮像画像の中心部に映し出されるワークについては、正確なマッチング処理ができず、その視差値が算出できなかったり、誤った視差値を算出してしまったりする可能性が高くなる。その結果、当該ワークを映し出す画像部分について、正確に算出された視差値の数が少なくなってしまい、認識処理部300での認識処理精度を悪化させることになる。 On the other hand, for example, when the brightness (brightness) at which an appropriate parallax value can be calculated for the peripheral part of the captured image is higher than the optimal brightness (brightness) at the center of the captured image It becomes. If the brightness of the captured image is too high, there is a light receiving element in the light receiving element corresponding to the center of the captured image that has a light receiving amount that exceeds the saturation value that is the upper limit of the light amount detection range of the light receiving element. Thus, accurate matching processing can be difficult. In this case, the workpiece displayed in the center of the captured image cannot be accurately matched, and the possibility that the parallax value cannot be calculated or an incorrect parallax value is calculated increases. As a result, the number of parallax values accurately calculated for the image portion that shows the workpiece is reduced, and the recognition processing accuracy in the recognition processing unit 300 is deteriorated.
特に、カメラ部100の2つのカメラ101A,101Bによって撮像される撮像画像の周辺部に写し出される撮像領域箇所と、プロジェクタ600によってパターン画像の周辺部が投射される撮像領域箇所とが一致する場合がある。この場合、例えば、パターン画像の中心部Oで最適な条件によりパターン画像を投射し、かつ、撮像画像の中心部で最適な条件で撮像を行った場合、プロジェクタ600の光学的特性(パターン画像の周辺部における光量が少ない)と、各カメラ101A,101Bの光学的特性(撮像画像の周辺部における受光量が少ない)とが重畳して、当該撮像領域箇所に対応する撮像画像部分(撮像画像の周辺部)のマッチング処理における相関演算の精度を大きく低下させ、正確なマッチング処理を行うことが特に困難であり、認識処理部300での認識処理精度が特に低いものとなる。 In particular, there may be a case where an imaging region portion projected on the peripheral portion of the captured image captured by the two cameras 101A and 101B of the camera unit 100 matches an imaging region portion on which the peripheral portion of the pattern image is projected by the projector 600. is there. In this case, for example, when the pattern image is projected under the optimal condition at the center O of the pattern image and the image is captured under the optimal condition at the center of the captured image, the optical characteristics of the projector 600 (the pattern image The amount of light at the peripheral portion is small and the optical characteristics of the cameras 101A and 101B (the amount of light received at the peripheral portion of the captured image is small) are superimposed, and the captured image portion corresponding to the imaging region location (of the captured image) It is particularly difficult to perform accurate matching processing by greatly reducing the accuracy of correlation calculation in the matching processing of the peripheral portion), and the recognition processing accuracy in the recognition processing unit 300 is particularly low.
そこで、本実施形態では、撮像領域内において局所的に認識処理部300での認識処理精度が低下するのを抑制するため、プロジェクタ600やカメラ101A,101Bについての光学的特性が互いに異なる撮像領域箇所に投射される各パターン画像部分を異なるパターン条件で作成したパターン画像を用いて、視差画像データの生成を行う。具体的には、図4に示すように、パターン画像を、横方向にw個、縦方向にh個の合計w×h個のパターン画像部分に区分し、各パターン画像部分を異なるパターン条件で作成してパターン画像を生成する。 Therefore, in the present embodiment, in order to suppress a reduction in recognition processing accuracy in the recognition processing unit 300 locally in the imaging region, imaging region locations where the optical characteristics of the projector 600 and the cameras 101A and 101B are different from each other. The parallax image data is generated using the pattern images created under different pattern conditions for each pattern image portion projected on the screen. Specifically, as shown in FIG. 4, the pattern image is divided into w pattern patterns of w × h in the horizontal direction and a total of w × h pattern image sections in the vertical direction. Create a pattern image.
本実施形態では、ロボットピッキングシステムを稼働させる前の初期設定において、初期パターン画像の生成処理を実行する。本実施形態では、プロジェクタ600の光学的特性(パターン画像の周辺部の光量低下)と、カメラ101A,101Bの光学的特性(撮像画像の周辺部の光量低下)とを考慮して、それぞれの撮像領域箇所に投射されるパターン画像部分のパターン条件を調整したパターン画像を初期パターン画像として生成する。このパターン条件は、パターンの粒度やコントラストなどが挙げられるが、認識処理部300での認識処理精度が改善されるパターン条件であれば、特に制限はない。本実施形態のパターン画像生成部502では、空間周波数をパラメータとして粒度が異なるパターンを生成することができる。よって、本実施形態では、初期パターン画像を生成するときに、それぞれの撮像領域箇所に投射されるパターン画像部分についての空間周波数を調整して、それぞれの光学的特性に適した粒度のパターン画像部分(w,h)をもった初期パターン画像を生成する。なお、空間周波数が高いほど、パターンの粒度は細かくなる。 In the present embodiment, an initial pattern image generation process is executed in an initial setting before operating the robot picking system. In the present embodiment, each imaging is performed in consideration of the optical characteristics of the projector 600 (a reduction in the amount of light in the peripheral part of the pattern image) and the optical characteristics of the cameras 101A and 101B (a reduction in the amount of light in the peripheral part of the captured image). A pattern image in which the pattern conditions of the pattern image portion projected on the region portion are adjusted is generated as an initial pattern image. Examples of the pattern conditions include pattern granularity and contrast. However, the pattern conditions are not particularly limited as long as the recognition process accuracy in the recognition processing unit 300 is improved. The pattern image generation unit 502 of this embodiment can generate patterns with different granularities using the spatial frequency as a parameter. Therefore, in the present embodiment, when generating the initial pattern image, the spatial frequency of the pattern image portion projected on each imaging area portion is adjusted, and the pattern image portion having a granularity suitable for each optical characteristic is adjusted. An initial pattern image having (w, h) is generated. The higher the spatial frequency, the finer the pattern granularity.
図5は、本実施形態における初期画像パターン生成処理の流れを示すフローチャートである。
初期パターン画像生成処理では、まず、パソコン500のパターン画像生成部502は、パターン条件が均一な基準パターン画像を生成し、パソコン500はプロジェクタ600を制御してこの基準パターン画像を作業台面601に向けて投射する(S1)。このときのパターン画像は、いずれのパターン画像部分(w,h)も、同じ空間周波数f0(w,h)で作成されたもの(粒度が同じもの)である。なお、プロジェクタ600から投射されるパターン画像は、プロジェクタ600の光学系等による歪みを持たないものとする。
FIG. 5 is a flowchart showing the flow of initial image pattern generation processing in the present embodiment.
In the initial pattern image generation process, first, the pattern image generation unit 502 of the personal computer 500 generates a reference pattern image with uniform pattern conditions, and the personal computer 500 controls the projector 600 to direct the reference pattern image toward the work table surface 601. Project (S1). The pattern image at this time is one in which all the pattern image portions (w, h) are created with the same spatial frequency f0 (w, h) (the same granularity). Note that the pattern image projected from the projector 600 does not have distortion due to the optical system of the projector 600 or the like.
パターン条件(空間周波数)が均一な基準パターン画像を投射したら、カメラ部100の各カメラ101A,101Bに撮像動作を実行させ(S2)、1フレーム分の撮像画像データ(基準画像データと比較画像データ)を得る。この撮像画像データは、画像補正部201A,201Bで補正され、その補正画像データから視差情報算出部202により視差画像データ(視差情報)が生成される(S3)。このようにして生成された視差画像データは、外部I/F203,503を介してパターン画像生成部502に送られ、パターン画像生成部502では、受け取った視差画像データから、一般的な三角測量の原理を利用して、作業台面601からカメラ部100までの距離を算出する(S4)。 When a reference pattern image with uniform pattern conditions (spatial frequency) is projected, each camera 101A, 101B of the camera unit 100 executes an imaging operation (S2). One frame of captured image data (reference image data and comparative image data) ) The captured image data is corrected by the image correction units 201A and 201B, and parallax image data (parallax information) is generated from the corrected image data by the parallax information calculation unit 202 (S3). The parallax image data generated in this way is sent to the pattern image generation unit 502 via the external I / Fs 203 and 503, and the pattern image generation unit 502 performs general triangulation from the received parallax image data. Using the principle, the distance from the work table surface 601 to the camera unit 100 is calculated (S4).
続いて、パソコン500のパターン画像生成部502は、受け取った視差画像データあるいは当該視差画像データに対応する基準画像データから、カメラ部100の設置位置を基準としたプロジェクタ600の相対位置情報(XYZの相対位置座標とZ軸回りの回転角度)を算出する(S5)。具体的には、図2に示すように、作業台面に平行にX軸とY軸をとり、作業台面の法線方向にZ軸をとり、カメラ部100の設置位置(基準位置)を、(X座標,Y座標,Z座標,Z軸回転角)=(x0,y0,z0,rz0)とし、プロジェクタ600の設置位置を(X座標,Y座標,Z座標,Z軸回転角)=(x,y,z,rz)とすると、プロジェクタ600の相対位置情報は、(x−x0,y−y0,z−z0,rz−rz0)となる。 Subsequently, the pattern image generation unit 502 of the personal computer 500 uses the received parallax image data or the reference image data corresponding to the parallax image data to determine the relative position information (XYZ) of the projector 600 based on the installation position of the camera unit 100. The relative position coordinates and the rotation angle around the Z axis are calculated (S5). Specifically, as shown in FIG. 2, the X axis and the Y axis are taken in parallel to the work table surface, the Z axis is taken in the normal direction of the work table surface, and the installation position (reference position) of the camera unit 100 is ( X coordinate, Y coordinate, Z coordinate, Z axis rotation angle) = (x0, y0, z0, rz0), and the installation position of projector 600 is (X coordinate, Y coordinate, Z coordinate, Z axis rotation angle) = (x , Y, z, rz), the relative position information of the projector 600 is (x−x0, y−y0, z−z0, rz−rz0).
ここで、プロジェクタ600の光学的特性(パターン画像の周辺部の光量低下)を周辺光量係数Qp(w,h)で表す。この周辺光量係数Qp(w,h)は、図4に示すように、パターン画像を、横方向にw個、縦方向にh個の合計w×h個のパターン画像部分に区分したときに、例えば、パターン画像の中心部Oに位置するパターン画像部分の光量に対する各パターン画像部分の相対的な光量の比率を示すものである。この場合、パターン画像の中心部Oに位置するパターン画像部分の周辺光量係数Qpは1であり、他のパターン画像部分の周辺光量係数Qpは、通常、1未満の値であって、パターン画像の中心から遠いパターン画像部分ほど周辺光量係数Qpが小さい値を取る。 Here, the optical characteristic of the projector 600 (a decrease in the amount of light at the periphery of the pattern image) is represented by a peripheral light amount coefficient Qp (w, h). As shown in FIG. 4, the peripheral light quantity coefficient Qp (w, h) is obtained when the pattern image is divided into a total of w × h pattern image portions of w pieces in the horizontal direction and h pieces in the vertical direction. For example, the ratio of the relative light amount of each pattern image portion to the light amount of the pattern image portion located at the center portion O of the pattern image is shown. In this case, the peripheral light amount coefficient Qp of the pattern image portion located at the center portion O of the pattern image is 1, and the peripheral light amount coefficient Qp of the other pattern image portions is usually a value less than 1, and The peripheral light quantity coefficient Qp takes a smaller value as the pattern image part is farther from the center.
プロジェクタ600の光学的特性を示す周辺光量係数Qp(w,h)は、パターン画像の中心(プロジェクタの光軸)から遠いパターン画像部分ほど周辺光量係数Qpが小さい値を取るので、図6に示すように、作業台面601上に投射されるパターン画像の各パターン画像(w,h)に対応する周辺光量係数Qp(w,h)は、作業台面601上の各パターン画像(w,h)とプロジェクタ600とを結ぶ仮想線とプロジェクタ600の光軸とのなす角度θp(w,h)を使って、下記の式(1)のとおりに表すことができる。
Qp(w,h) = Ip/cos4θp(w,h) ・・・(1)
The peripheral light quantity coefficient Qp (w, h) indicating the optical characteristics of the projector 600 is as shown in FIG. 6 because the peripheral light quantity coefficient Qp takes a smaller value as the pattern image part is farther from the center of the pattern image (the optical axis of the projector). As described above, the peripheral light quantity coefficient Qp (w, h) corresponding to each pattern image (w, h) of the pattern image projected on the work table surface 601 is the same as each pattern image (w, h) on the work table surface 601. Using an angle θp (w, h) formed by an imaginary line connecting the projector 600 and the optical axis of the projector 600, it can be expressed as the following equation (1).
Qp (w, h) = Ip / cos 4 θp (w, h) (1)
本実施形態では、比例定数Ipは、プロジェクタ600ごとに特定される定数であり、予め記憶部に記憶されている。cos4θp(w,h)は、上述した処理ステップS4で求めた距離から算出される。よって、プロジェクタ600の周辺光量係数Qp(w,h)は、記憶部に記憶されている比例定数Ipと処理ステップS4で求めた距離とから算出される(S6)。 In the present embodiment, the proportionality constant Ip is a constant specified for each projector 600 and is stored in advance in the storage unit. cos 4 θp (w, h) is calculated from the distance obtained in the processing step S4 described above. Therefore, the peripheral light amount coefficient Qp (w, h) of the projector 600 is calculated from the proportionality constant Ip stored in the storage unit and the distance obtained in the processing step S4 (S6).
一方、各カメラ101A,101Bの光学的特性(撮像画像の周辺部の光量低下)については、周辺光量係数Qc(w,h)で表す。この周辺光量係数Qc(w,h)は、例えば、撮像画像の中心部に映し出されるパターン画像部分の受光量に対する各カメラ101A,101Bによって撮像される各パターン画像部分の相対的な受光量の比率を示すものである。 On the other hand, the optical characteristics of each of the cameras 101A and 101B (decrease in the amount of light at the periphery of the captured image) are represented by a peripheral light amount coefficient Qc (w, h). The peripheral light amount coefficient Qc (w, h) is, for example, the ratio of the relative received light amount of each pattern image portion captured by each camera 101A, 101B to the received light amount of the pattern image portion projected at the center of the captured image. Is shown.
カメラ101A,101Bの光学的特性を示す周辺光量係数Qc(w,h)は、撮像画像の中心(カメラの光軸)から遠いパターン画像部分ほど小さい値を取るので、図6に示すように、作業台面601上に投射されるパターン画像の各パターン画像(w,h)に対応する周辺光量係数Qc(w,h)は、作業台面601上の各パターン画像(w,h)とカメラ101A,101Bとを結ぶ仮想線とカメラ101A,101Bの光軸とのなす角度θc(w,h)を使って、下記の式(2)のとおりに表すことができる。
Qc(w,h) = Ic/cos4θc(w,h) ・・・(2)
Since the peripheral light quantity coefficient Qc (w, h) indicating the optical characteristics of the cameras 101A and 101B takes a smaller value as the pattern image part is farther from the center of the captured image (the optical axis of the camera), as shown in FIG. The peripheral light quantity coefficient Qc (w, h) corresponding to each pattern image (w, h) of the pattern image projected on the work table surface 601 is the same as each pattern image (w, h) on the work table surface 601 and the camera 101A, Using an angle θc (w, h) formed by an imaginary line connecting 101B and the optical axes of the cameras 101A and 101B, it can be expressed as the following equation (2).
Qc (w, h) = Ic / cos 4 θc (w, h) (2)
本実施形態では、比例定数Icは、カメラ101A,101Bごとに特定される定数であり、予め記憶部に記憶されている。cos4θc(w,h)は、上述した処理ステップS4で求めた距離から算出される。よって、カメラ101A,101Bの周辺光量係数Qc(w,h)は、記憶部に記憶されている比例定数Icと処理ステップS4で求めた距離とから算出される(S7)。 In the present embodiment, the proportionality constant Ic is a constant specified for each of the cameras 101A and 101B, and is stored in advance in the storage unit. cos 4 θc (w, h) is calculated from the distance obtained in the processing step S4 described above. Therefore, the peripheral light amount coefficient Qc (w, h) of the cameras 101A and 101B is calculated from the proportionality constant Ic stored in the storage unit and the distance obtained in the processing step S4 (S7).
ここで、本実施形態では、各カメラ101A,101Bの光学的特性(撮像画像の周辺部における受光量が少ない)を、プロジェクタ600によって投射するパターン画像における各パターン画像部分(w,h)のパターン条件に反映させる。このとき、本実施形態では、図6に示すように、各カメラ101A,101Bによって撮像される撮像領域の中心部(撮像画像の中心部O’)と、プロジェクタ600によって投射されるパターン画像の中心部Oとが一致しておらず、オフセットしている。そのため、パターン画像上では、図7中右側の三重同心円で示すようなプロジェクタ600の光学的特性(パターン画像の周辺部の光量低下)と、図7中左側の三重同心円で示すようなカメラ101A,101Bの光学的特性(撮像画像の周辺部の光量低下)とが、図7に示すように重畳する。このオフセット量は、カメラ部100の設置位置(基準位置)とプロジェクタ600の設置位置とのオフセット量(x−x0,y−y0)に相当する。よって、各カメラ101A,101Bの光学的特性を示す周辺光量係数Qc(w,h)は、各パターン画像部分(w,h)のパターン条件に反映させるにあたり、このオフセット量を考慮して、Qc(w+(x−x0),h+(y−y0))と表す。 Here, in the present embodiment, the optical characteristics of the cameras 101A and 101B (the amount of received light in the peripheral portion of the captured image is small) are the patterns of the pattern image portions (w, h) in the pattern image projected by the projector 600. Reflect in the conditions. At this time, in the present embodiment, as shown in FIG. 6, the center of the imaging region captured by each of the cameras 101A and 101B (the center O ′ of the captured image) and the center of the pattern image projected by the projector 600 The part O does not match and is offset. Therefore, on the pattern image, the optical characteristics of the projector 600 as shown by the triple concentric circle on the right side in FIG. 7 (decrease in the amount of light at the periphery of the pattern image) and the camera 101A, as shown by the triple concentric circle on the left side in FIG. The optical characteristics of 101B (a decrease in the amount of light at the periphery of the captured image) are superimposed as shown in FIG. This offset amount corresponds to the offset amount (x−x0, y−y0) between the installation position (reference position) of the camera unit 100 and the installation position of the projector 600. Therefore, the peripheral light quantity coefficient Qc (w, h) indicating the optical characteristics of the cameras 101A and 101B is taken into account when the offset amount is taken into account when reflecting the offset amount in the pattern condition of each pattern image portion (w, h). (W + (x−x0), h + (y−y0)).
以上より、本実施形態の初期パターン画像における各パターン画像部分(w,h)の粒度を決定する空間周波数f1(w,h)は、下記の式(3)より求めることができる(S8)。
f1(w,h) = f0(w,h)/Qp(w,h)/Qc(w+(x−x0),h+(y−y0)) ・・・(3)
From the above, the spatial frequency f1 (w, h) for determining the granularity of each pattern image portion (w, h) in the initial pattern image of the present embodiment can be obtained from the following equation (3) (S8).
f1 (w, h) = f0 (w, h) / Qp (w, h) / Qc (w + (x−x0), h + (y−y0)) (3)
このようにして、プロジェクタ600の光学的特性である周辺光量係数Qp(w,h)と、カメラ101A,101Bの光学的特性であり周辺光量係数Qc(w,h)とを考慮して、各パターン画像部分(w,h)の粒度を決定する空間周波数f1(w,h)を算出したら、パターン画像生成部502は、各空間周波数f1(w,h)に従って各パターン画像部分(w,h)を作成し、粒度が異なるパターン画像部分をもった初期パターン画像を生成する(S9)。 In this way, the peripheral light quantity coefficient Qp (w, h) that is the optical characteristic of the projector 600 and the peripheral light quantity coefficient Qc (w, h) that is the optical characteristic of the cameras 101A and 101B are considered. After calculating the spatial frequency f1 (w, h) that determines the granularity of the pattern image part (w, h), the pattern image generation unit 502 calculates each pattern image part (w, h) according to each spatial frequency f1 (w, h). ) And an initial pattern image having pattern image portions having different granularities is generated (S9).
なお、本実施形態では、パターン条件として粒度(空間周波数)を採用しているが、粒度に代えて又は粒度とともに、認識処理部300での認識処理精度が改善される別のパターン条件を採用してもよい。例えば、パターン条件としてコントラストを採用する場合、パターン画像生成部502は、上述したように算出した各空間周波数f1(w,h)に従って各パターン画像部分(w,h)のコントラストも決定し、図8に示すような粒度及びコントラストが異なるパターン画像部分をもった初期パターン画像を生成してもよい。 In this embodiment, the granularity (spatial frequency) is adopted as the pattern condition. However, instead of or together with the granularity, another pattern condition that improves the recognition processing accuracy in the recognition processing unit 300 is adopted. May be. For example, when contrast is adopted as the pattern condition, the pattern image generation unit 502 also determines the contrast of each pattern image portion (w, h) according to each spatial frequency f1 (w, h) calculated as described above. An initial pattern image having pattern image portions having different particle sizes and contrasts as shown in FIG. 8 may be generated.
なお、このようにして生成される初期パターン画像は、予め試験等を行って生成しておき、これをパソコン500の記憶部に記憶させておいてもよい。この場合、ロボットピッキングシステムを稼働させる前の初期設定では、記憶部から初期パターン画像を読み出せばよい。 The initial pattern image generated in this way may be generated by performing a test or the like in advance and stored in the storage unit of the personal computer 500. In this case, in the initial setting before operating the robot picking system, the initial pattern image may be read from the storage unit.
ここで、上述した初期パターン画像は、プロジェクタ600の光学的特性(パターン画像の周辺部の光量低下)と、カメラ101A,101Bの光学的特性(撮像画像の周辺部の光量低下)とを考慮して、相対的にマッチング精度の低い撮像領域箇所(パターン画像周辺部付近など)に投射されるパターン画像部分の粒度を調整して、当該撮像領域箇所についてのマッチング精度を改善し、適切な視差値が得られない部分の発生を低減している。したがって、上述した初期設定後、この初期パターン画像を固定的に使用するようにしてもよい。 Here, the above-described initial pattern image takes into consideration the optical characteristics of the projector 600 (reduction in the amount of light at the periphery of the pattern image) and the optical characteristics of the cameras 101A and 101B (reduction in the amount of light at the periphery of the captured image). By adjusting the granularity of the pattern image portion projected to the imaging area location (such as near the periphery of the pattern image) with relatively low matching accuracy, the matching accuracy for the imaging area location is improved, and an appropriate parallax value is obtained. This reduces the occurrence of parts that cannot be obtained. Therefore, after the initial setting described above, this initial pattern image may be used in a fixed manner.
しかしながら、プロジェクタ600や各カメラ101A,101Bの光学的特性は、経時的に変化したり、温度や湿度などの環境条件によって変化したりする場合があるので、このような変化によって適切な視差値が得られない部分の発生低減効果が低下してしまうことが起こり得る。また、プロジェクタ600や各カメラ101A,101Bの光学的特性の変化だけでなく、その他の変化(周囲の照明条件の変化など)があった場合も、適切な視差値が得られない部分の発生低減効果が低下してしまうことが起こり得る。そこで、本実施形態では、ロボットピッキングシステムの稼働後、所定の実行タイミングでパターン画像変更処理を実行して、何らかの変化によってマッチング精度が落ちた撮像領域箇所について、その撮像領域箇所のパターン画像部分のパターン条件(粒度等)を調整してマッチング精度を改善する。 However, since the optical characteristics of the projector 600 and the cameras 101A and 101B may change over time, or may change according to environmental conditions such as temperature and humidity, an appropriate parallax value is caused by such changes. It may happen that the effect of reducing the generation of unobtainable portions is reduced. In addition, not only changes in the optical characteristics of the projector 600 and the cameras 101A and 101B, but also other changes (such as changes in ambient lighting conditions) reduce the occurrence of portions where an appropriate parallax value cannot be obtained. It can happen that the effect is reduced. Therefore, in the present embodiment, after the robot picking system is operated, the pattern image change process is executed at a predetermined execution timing, and the pattern image portion of the image pickup area portion of the image pickup area portion where the matching accuracy is reduced due to some change is detected. Adjust the pattern conditions (granularity etc.) to improve the matching accuracy.
以下、本実施形態で実施するパターン画像変更処理について説明する。
図9は、本実施形態における画像パターン変更処理の流れを示すフローチャートである。
本ロボットピッキングシステムの稼働中の所定の実行タイミングが到来したら、まず、パソコン500は、プロジェクタ600を制御して、記憶部に記憶されているパターン画像を作業台面601に向けて投射し(S11)、作業台面601上のワークへパターン画像を表示させる。このときのパターン画像は、過去の画像パターン変更処理で初期パターン画像からの変更がなければ、初期パターン画像が用いられる。その後、カメラ部100の各カメラ101A,101Bに撮像動作を実行させ(S12)、1フレーム分の撮像画像データ(基準画像データと比較画像データ)を得る。この撮像画像データは、画像補正部201A,201Bで補正され、その補正画像データから視差情報算出部202により視差画像データ(視差情報)が生成される(S13)。このようにして生成された視差画像データは、外部I/F203,503を介してパソコン500の視差点数算出部501に送られる。
Hereinafter, the pattern image change process performed in the present embodiment will be described.
FIG. 9 is a flowchart showing the flow of image pattern change processing in the present embodiment.
When the predetermined execution timing during operation of the robot picking system arrives, first, the personal computer 500 controls the projector 600 to project the pattern image stored in the storage unit toward the work table surface 601 (S11). Then, the pattern image is displayed on the work on the work table surface 601. As the pattern image at this time, if there is no change from the initial pattern image in the past image pattern change processing, the initial pattern image is used. Thereafter, each of the cameras 101A and 101B of the camera unit 100 executes an imaging operation (S12), and captured image data (reference image data and comparison image data) for one frame is obtained. The captured image data is corrected by the image correction units 201A and 201B, and parallax image data (parallax information) is generated from the corrected image data by the parallax information calculation unit 202 (S13). The parallax image data generated in this way is sent to the parallax point calculation unit 501 of the personal computer 500 via the external I / Fs 203 and 503.
一方、パソコン500では、その視差画像データに基づく視差画像が表示部に表示され、操作者は、入力部を操作して、視差画像中において有効視差値の数をカウントする指定画像部分を設定する(S14)。このようにして設定される指定画像部分の設定情報は、視差点数算出部501に受け渡される。指定画像部分は、例えば、対象物であるワークを収容する箱の内縁に沿うように設定された矩形状の画像部分とする。有効視差値の数をカウントする指定画像部分は、対象物が映し出される画像部分を含むように設定され、対象物が映し出されていない画像部分をできるだけ排除したものであるのが好ましい。これは、認識処理部300によって認識する対象物(ワーク)以外の画像部分が含まれていると、本来必要としない視差値の数がカウントされてしまい、各パターン画像部分のパターン条件の最適化の妨げになるからである。 On the other hand, in the personal computer 500, a parallax image based on the parallax image data is displayed on the display unit, and the operator operates the input unit to set a designated image portion that counts the number of effective parallax values in the parallax image. (S14). The setting information of the designated image portion set in this way is passed to the parallax point calculation unit 501. The designated image portion is, for example, a rectangular image portion that is set along the inner edge of a box that accommodates a workpiece that is the object. The designated image portion for counting the number of effective parallax values is preferably set so as to include an image portion on which the target object is projected, and the image portion on which the target object is not projected is excluded as much as possible. This is because, when an image part other than the object (work) recognized by the recognition processing unit 300 is included, the number of parallax values that are not originally required is counted, and the pattern conditions of each pattern image part are optimized. It is because it becomes an obstacle.
なお、この指定画像部分の形状は、矩形に限らず、円形などの他の形状であってもよい。また、ここでは、パソコン500の操作者が手動で指定画像部分を設定する場合について説明するが、取得した視差画像データに基づいて対象物が映し出されている画像部分を特定して自動的に指定画像部分を設定するようにしてもよい。また、指定画像部分の設定は必須ではなく、視差画像全体について有効視差値の数をカウントするようにしてもよい。 Note that the shape of the designated image portion is not limited to a rectangle, and may be another shape such as a circle. In addition, here, a case where the operator of the personal computer 500 manually sets the designated image portion will be described. However, the image portion on which the object is projected is identified and automatically designated based on the acquired parallax image data. An image part may be set. The setting of the designated image portion is not essential, and the number of effective parallax values may be counted for the entire parallax image.
パソコン500の視差点数算出部501は、外部I/F203,503を介して受け取った視差画像データと、処理ステップS14で設定された指定画像部分の設定情報とに基づき、視差画像上の当該指定画像部分内における有効な視差値の画素数(視差点数)を計測する(S15)。計測した視差点数は、当該視差点数の計測に用いられたパターン画像(処理ステップS11で投射したパターン画像)に対応づけた状態で、記憶部に保持しておく(S16)。 Based on the parallax image data received via the external I / Fs 203 and 503 and the setting information of the designated image part set in the processing step S14, the parallax score calculation unit 501 of the personal computer 500 performs the designated image on the parallax image. The number of pixels (number of parallax points) of effective parallax values in the portion is measured (S15). The measured number of parallax points is stored in the storage unit in a state associated with the pattern image (pattern image projected in processing step S11) used for the measurement of the number of parallax points (S16).
次に、パソコン500の視差点数算出部501は、計測した視差点数が所定の条件を満たすか否かを判断する。具体的には、本実施形態では、指定画像部分の総画素数が作業者の指定で変動するため、指定画像部分の総画素数に対する視差点数の比率(以下「視差点数の占有率」という。)が閾値以上であるか否かを判断する(S17)。この視差点数の占有率が閾値以上であれば(S17のYes)、当該視差点数の計測に用いられたパターン画像(処理ステップS11で投射したパターン画像)を、以後のロボットピッキングシステムの稼働時に用いるパターン画像として決定する(S20)。 Next, the parallax score calculation unit 501 of the personal computer 500 determines whether or not the measured parallax score satisfies a predetermined condition. Specifically, in this embodiment, since the total number of pixels of the designated image portion varies depending on the designation of the operator, the ratio of the number of parallax points to the total number of pixels of the designated image portion (hereinafter referred to as “disparity of the number of parallax points”). ) Is greater than or equal to a threshold value (S17). If the occupancy rate of the number of parallax points is equal to or greater than the threshold (Yes in S17), the pattern image (pattern image projected in processing step S11) used for the measurement of the number of parallax points is used when the robot picking system is subsequently operated. The pattern image is determined (S20).
一方、この視差点数の占有率が閾値未満である場合(S17のNo)、当該視差点数の計測に用いられたパターン画像(処理ステップS11で投射したパターン画像)とは別のパターン条件で各パターン画像部分を作成した別のパターン画像を生成し(S19)、再び、処理ステップS11〜S17を実行する。 On the other hand, when the occupancy ratio of the number of parallax points is less than the threshold (No in S17), each pattern has a pattern condition different from that of the pattern image (pattern image projected in processing step S11) used for the measurement of the number of parallax points. Another pattern image in which the image portion is created is generated (S19), and the processing steps S11 to S17 are executed again.
本実施形態において、処理ステップS19で生成される別のパターン画像は以下のように生成する。
まず、本パターン画像変更処理で最初に投射したパターン画像の各パターン画像部分における粒度を決定している空間周波数f1(w,h)を基準にして、例えば、その空間周波数f1(w,h)を中央値とする9段階の空間周波数f2(w,h),f3(w,h),f4(w,h),f5(w,h),f1(w,h),f6(w,h),f7(w,h),f8(w,h),f9(w,h)を設定する。具体的には、下記の式(4)により、比例定数Kの値を0.5≦K1≦2の範囲で変更して、空間周波数f2(w,h)〜f9(w,h)を設定する。
f2(w、h)〜f9(w、h) = f1(w,h)×K ・・・(4)
In the present embodiment, another pattern image generated in the processing step S19 is generated as follows.
First, for example, the spatial frequency f1 (w, h) is determined with reference to the spatial frequency f1 (w, h) that determines the granularity in each pattern image portion of the pattern image initially projected in the pattern image change process. 9 levels of spatial frequencies f2 (w, h), f3 (w, h), f4 (w, h), f5 (w, h), f1 (w, h), f6 (w, h) ), F7 (w, h), f8 (w, h), and f9 (w, h) are set. Specifically, the value of the proportionality constant K is changed within the range of 0.5 ≦ K1 ≦ 2 by the following equation (4), and the spatial frequencies f2 (w, h) to f9 (w, h) are set. To do.
f2 (w, h) to f9 (w, h) = f1 (w, h) × K (4)
これらの空間周波数f2(w,h)〜f9(w,h)を用いることで、パソコン500のパターン画像生成部502は、各パターン画像部分の粒度が最初に投射したパターン画像のものよりも粗い4種類のパターン画像と、各パターン画像部分の粒度が最初に投射したパターン画像のものよりも細かい4種類のパターン画像とを生成することが可能となる。 By using these spatial frequencies f2 (w, h) to f9 (w, h), the pattern image generation unit 502 of the personal computer 500 has a coarser grain size than that of the pattern image projected first. It is possible to generate four types of pattern images and four types of pattern images in which the granularity of each pattern image portion is finer than that of the pattern image projected first.
処理ステップS19では、このようにして設定される空間周波数f2(w,h)〜f9(w,h)のうち、所定の順序(例えば最初に投射したパターン画像の空間周波数に近い順)に従って、パソコン500のパターン画像生成部502が別のパターン画像を生成する。そして、処理ステップS11〜S17を実行し、処理ステップS17において、視差点数の占有率が閾値以上になれば(S17のYes)、当該視差点数の計測に用いられたパターン画像が、以後のロボットピッキングシステムの稼働時に用いるパターン画像として決定される(S20)。 In the processing step S19, among the spatial frequencies f2 (w, h) to f9 (w, h) set in this way, according to a predetermined order (for example, an order close to the spatial frequency of the pattern image projected first). The pattern image generation unit 502 of the personal computer 500 generates another pattern image. Then, the processing steps S11 to S17 are executed, and if the occupancy rate of the number of parallax points is equal to or greater than the threshold value in the processing step S17 (Yes in S17), the pattern image used for the measurement of the number of parallax points is the robot picking thereafter It is determined as a pattern image to be used during system operation (S20).
一方、このようにして生成される別のパターン画像(ここでは8種類)のいずれのパターン画像でも、視差点数の占有率が閾値以上にならない場合(S17のNo)、パターン生成回数が規定値(ここでは8回)に達する(S18のYes)。この場合、合計9種類のパターン画像についての視差点数が、処理ステップS16において、それぞれのパターン画像に対応づけた状態で記憶部に保存されている。よって、当該9種類のパターン画像のうち、視差点数が最も高いパターン画像を特定し、そのパターン画像を以後のロボットピッキングシステムの稼働時に用いるパターン画像として決定する(S20)。 On the other hand, in any of the other pattern images generated in this manner (eight types here), if the occupancy rate of the number of parallax points does not exceed the threshold value (No in S17), the number of pattern generations is the specified value ( Here, it reaches 8 times (Yes in S18). In this case, the number of parallax points for a total of nine types of pattern images is stored in the storage unit in a state of being associated with each pattern image in processing step S16. Therefore, a pattern image having the highest number of parallax points is specified from the nine types of pattern images, and the pattern image is determined as a pattern image to be used when the robot picking system is subsequently operated (S20).
〔変形例〕
次に、本実施形態における初期パターン画像生成処理の一変形例について説明する。
上述した実施形態では、プロジェクタ600から作業台面601までの距離と、作業台面601からカメラ部100までの距離は、ほぼ等しくなるように配置されていたが、本変形例では、プロジェクタ600から作業台面601までの距離が変動して、図10に示すように、これらの距離が異なっている例である。
[Modification]
Next, a modification of the initial pattern image generation process in the present embodiment will be described.
In the above-described embodiment, the distance from the projector 600 to the work table surface 601 and the distance from the work table surface 601 to the camera unit 100 are arranged to be substantially equal to each other. In this example, the distance up to 601 varies and these distances are different as shown in FIG.
図11に示すように、プロジェクタ600から作業台面601までの距離が近いほど、作業台面601上に投射されるパターン画像の大きさが小さく(倍率が小さく)、当該距離が遠いほど、作業台面601上に投射されるパターン画像の大きさが大きく(倍率が大きく)なる。そのため、作業台面601上に投射されるパターン画像において、プロジェクタ600から作業台面601までの距離が近いほど単位面積当たりのパターンは密になり、当該距離が遠いほど単位面積当たりのパターンが粗になる。そして、作業台面601からカメラ部100までの距離に対して、プロジェクタ600から作業台面601までの距離が相対的に変動すると、パターン画像に対する撮像領域の面積比率が変化する。このとき、単位面積あたりのパターン(白黒)の割合(密度)はほとんど変わらないが、パターンの粒度は変わることになる。 As shown in FIG. 11, the closer the distance from the projector 600 to the work table surface 601, the smaller the size of the pattern image projected on the work table surface 601 (the smaller the magnification), and the farther the distance, the work table surface 601. The size of the pattern image projected on the screen is increased (the magnification is increased). Therefore, in the pattern image projected on the work table surface 601, the pattern per unit area becomes denser as the distance from the projector 600 to the work table surface 601 is shorter, and the pattern per unit area becomes rougher as the distance is longer. . When the distance from the projector 600 to the work table surface 601 changes relative to the distance from the work table surface 601 to the camera unit 100, the area ratio of the imaging region to the pattern image changes. At this time, the ratio (density) of the pattern (monochrome) per unit area hardly changes, but the pattern granularity changes.
パターンの粒度は、視差値算出の際のマッチング精度に影響する。具体的には、作業台面601からカメラ部100までの距離が一定である場合、プロジェクタ600から作業台面601までの距離が近いほど粒度を全体的に高く、遠いほど粒度を全体的に低くした方が、マッチング精度が高まり、有効な視差値の数(視差点数)を増える結果、認識処理部300での認識処理精度が高まる。よって、作業台面601からカメラ部100までの距離に対して、プロジェクタ600から作業台面601までの距離が相対的に変動する場合には、その距離に応じて新たなパターン画像を生成することが望ましい。 The granularity of the pattern affects the matching accuracy when calculating the parallax value. Specifically, when the distance from the work table surface 601 to the camera unit 100 is constant, the particle size is generally higher as the distance from the projector 600 to the work table surface 601 is closer, and the particle size is lower as the distance is longer. However, matching accuracy increases and the number of effective parallax values (number of parallax points) increases, and as a result, recognition processing accuracy in the recognition processing unit 300 increases. Therefore, when the distance from the projector 600 to the work table surface 601 varies relative to the distance from the work table surface 601 to the camera unit 100, it is desirable to generate a new pattern image according to the distance. .
そこで、本変形例における初期画像パターン生成処理では、パターン画像生成部502が最初に処理ステップS1で生成するパターン条件の均一な基準パターン画像の当該パターン条件である空間周波数f0(w,h)を、作業台面601からカメラ部100までの距離に対するプロジェクタ600から作業台面601までの相対的な距離に応じて補正する。 Therefore, in the initial image pattern generation process in the present modification, the spatial frequency f0 (w, h) that is the pattern condition of the reference pattern image having the uniform pattern condition generated first in the processing step S1 by the pattern image generation unit 502 is set. The correction is made according to the relative distance from the projector 600 to the work table surface 601 with respect to the distance from the work table surface 601 to the camera unit 100.
図12は、本変形例における初期画像パターン生成処理の流れを示すフローチャートである。
本変形例でも、まずは、パターン条件が均一な基準パターン画像を生成して、作業台面601からカメラ部100までの距離や、カメラ部100の設置位置を基準としたプロジェクタ600の相対位置情報を算出する(S1〜S5)。その後、本変形例では、プロジェクタ600の投射最長距離Zmaxと、処理ステップS5で算出されたプロジェクタ600の相対位置情報に基づくプロジェクタ600から作業台面601までの距離Zと、予め決められたパターン生成係数(定数)であるH0とから、下記の式(5)より、補正係数Hを算出する(S21)。
H = (Zmax−Z)/H0 ・・・(5)
FIG. 12 is a flowchart showing a flow of initial image pattern generation processing in the present modification.
Also in this modified example, first, a reference pattern image with uniform pattern conditions is generated, and the relative position information of the projector 600 based on the distance from the work table surface 601 to the camera unit 100 and the installation position of the camera unit 100 is calculated. (S1 to S5). Thereafter, in the present modification, the maximum projection distance Zmax of the projector 600, the distance Z from the projector 600 to the work table surface 601 based on the relative position information of the projector 600 calculated in processing step S5, and a predetermined pattern generation coefficient The correction coefficient H is calculated from the following equation (5) from H0, which is a (constant) (S21).
H = (Zmax−Z) / H0 (5)
そして、このようにして求められた補正係数Hを用いて、下記の式(6)より、処理ステップS1で投射した基準パターン画像の空間周波数f0(w,h)を補正して、補正後の空間周波数f’0(w,h)を算出する(S22)。これにより、作業台面601からカメラ部100までの距離に対するプロジェクタ600から作業台面601までの相対的な距離の変動を考慮して補正された基準パターン画像の空間周波数f’0(w,h)を得ることができる。
f’0(w,h) = f0(w,h)×H ・・・(6)
Then, using the correction coefficient H obtained in this way, the spatial frequency f0 (w, h) of the reference pattern image projected in the processing step S1 is corrected by the following equation (6), and the corrected The spatial frequency f′0 (w, h) is calculated (S22). Thus, the spatial frequency f′0 (w, h) of the reference pattern image corrected in consideration of the relative distance variation from the projector 600 to the work table surface 601 with respect to the distance from the work table surface 601 to the camera unit 100 is obtained. Can be obtained.
f′0 (w, h) = f0 (w, h) × H (6)
その後、上述した実施形態と同様、プロジェクタ600の周辺光量係数Qp(w,h)やカメラ101A,101Bの周辺光量係数Qc(w,h)を算出した後(S6,S7)、本実施形態の初期パターン画像における各パターン画像部分(w,h)の粒度を決定する空間周波数f1(w,h)を、下記の式(3’)より求める(S8’)。
f1(w,h) = f’0(w,h)/Qp(w,h)/Qc(w+(x−x0),h+(y−y0)) ・・・(3’)
Thereafter, similar to the above-described embodiment, the peripheral light amount coefficient Qp (w, h) of the projector 600 and the peripheral light amount coefficient Qc (w, h) of the cameras 101A and 101B are calculated (S6, S7), and then the present embodiment. The spatial frequency f1 (w, h) for determining the granularity of each pattern image portion (w, h) in the initial pattern image is obtained from the following equation (3 ′) (S8 ′).
f1 (w, h) = f′0 (w, h) / Qp (w, h) / Qc (w + (x−x0), h + (y−y0)) (3 ′)
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
(態様A)
撮像領域内のワーク等の対象物を異なる視点からカメラ101A,101B等の複数の撮像手段により撮像した撮像画像に基づいて視差情報算出部202等の視差情報生成手段により該対象物の視差情報を生成するときに、撮像領域に向けてパターン画像を投射するプロジェクタ600等の画像投射手段を有するパターン画像投射装置において、前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分(w,h)が異なることを特徴とする。
視差情報を生成するときのマッチング精度を高められる最適なパターン画像は、画像投射手段や撮像手段の光学的特性に応じて異なる。そのため、画像投射手段や撮像手段の光学的特性が撮像領域内の撮像領域箇所に応じて異なる場合、その撮像領域箇所の違いを考慮せずに、撮像領域に投射されるパターン画像の全体を不規則あるいは非周期的な模様からなるパターン画像で構成しても、マッチング精度が相対的に低い地点が局所的に存在してしまう。
本態様においては、画像投射手段及び撮像手段の少なくとも一方についての光学的特性が異なる各撮像領域箇所に応じて異なるパターン画像部分で構成されるパターン画像を、撮像領域に向けて投射することができる。よって、撮像領域内の各撮像領域箇所に対し、それぞれの撮像領域箇所ごとに異なる画像投射手段や撮像手段の光学的特性に適したパターン画像部分を投射することができる。例えば、一部の撮像領域箇所については当該一部の撮像領域箇所に適したパターン画像部分を投射するとともに、他の撮像領域箇所については、当該一部の撮像領域箇所に適したパターン画像部分よりも当該他の撮像領域箇所に適したパターン画像部分を投射することができる。よって、撮像領域内においてマッチング精度の相対的に低い撮像領域箇所を減らす又は無くすことができ、撮像領域内のどの箇所に存在する対象物でも適切な視差情報を得ることが可能となる。
What was demonstrated above is an example, and there exists an effect peculiar for every following aspect.
(Aspect A)
The disparity information of the object is obtained by the disparity information generating means such as the disparity information calculating unit 202 based on the captured images obtained by capturing the object such as the workpiece in the imaging region from the different viewpoints by the plurality of imaging means such as the cameras 101A and 101B. In a pattern image projection apparatus having an image projection unit such as a projector 600 that projects a pattern image toward an imaging region when generating the pattern image, the pattern image is an optical component for at least one of the image projection unit and the imaging unit. The pattern image portion (w, h) projected on each imaging region location differs depending on the imaging region location having different characteristics.
The optimum pattern image that can improve the matching accuracy when generating the parallax information varies depending on the optical characteristics of the image projection unit and the imaging unit. Therefore, when the optical characteristics of the image projecting means and the imaging means differ depending on the location of the imaging area in the imaging area, the entire pattern image projected on the imaging area is not considered without considering the difference of the imaging area location. Even if the pattern image is composed of a regular or non-periodic pattern, a point with relatively low matching accuracy locally exists.
In this aspect, it is possible to project a pattern image composed of different pattern image portions in accordance with each imaging region portion having different optical characteristics with respect to at least one of the image projecting unit and the imaging unit toward the imaging region. . Therefore, it is possible to project a pattern image portion suitable for the optical characteristics of the image projecting means and the image capturing means that are different for each image capturing area location to each image capturing area location in the image capturing area. For example, a pattern image portion suitable for the part of the imaging region part is projected for a part of the imaging region part, and a pattern image part suitable for the part of the imaging region part is projected for the other imaging region part. Also, it is possible to project a pattern image portion suitable for the other imaging region portion. Therefore, it is possible to reduce or eliminate imaging region locations with relatively low matching accuracy in the imaging region, and it is possible to obtain appropriate parallax information for an object present at any location in the imaging region.
(態様B)
前記態様Aにおいて、前記パターン画像を生成するパターン画像生成部502等のパターン画像生成手段を有することを特徴とする。
これによれば、当該パターン画像投射装置の使用環境や使用条件などに応じて各パターン画像部分を設定することが可能となり、使用環境や使用条件などに適したパターン画像を生成することができる。
(Aspect B)
The aspect A is characterized by having pattern image generation means such as a pattern image generation unit 502 for generating the pattern image.
According to this, it becomes possible to set each pattern image part according to the use environment, use conditions, etc. of the said pattern image projection apparatus, and the pattern image suitable for the use environment, use conditions, etc. can be produced | generated.
(態様C)
前記態様Bにおいて、前記パターン画像生成手段は、前記視差情報生成手段が生成した視差情報に含まれる視差値の数(視差点数)に基づいて前記パターン画像を生成することを特徴とする。
これによれば、視差情報を直接的に評価した結果から各パターン画像部分を設定することが可能となり、対象物において適切な視差情報が得られない部分の発生を有効に低減できるパターン画像を生成することができる。
(Aspect C)
In the aspect B, the pattern image generation unit generates the pattern image based on the number of parallax values (number of parallax points) included in the parallax information generated by the parallax information generation unit.
According to this, it becomes possible to set each pattern image part from the result of directly evaluating the parallax information, and generate a pattern image that can effectively reduce the occurrence of a part where the appropriate parallax information cannot be obtained in the object can do.
(態様D)
前記態様B又はCにおいて、前記パターン画像生成手段は、前記撮像手段と前記対象物との距離に対する前記画像投射手段と前記対象物との相対距離Zに応じて、各パターン画像部分を変更したパターン画像を生成することを特徴とする。
上述した変形例で説明したとおり、撮像手段と対象物との距離に対する画像投射手段と前記対象物との相対距離Zが変動する場合でも、適切なパターン画像を生成することができる。
(Aspect D)
In the aspect B or C, the pattern image generation unit changes the pattern image portion according to the relative distance Z between the image projection unit and the object with respect to the distance between the imaging unit and the object. An image is generated.
As described in the above-described modification, an appropriate pattern image can be generated even when the relative distance Z between the image projection unit and the object varies with respect to the distance between the imaging unit and the object.
(態様E)
前記態様A〜Dのいずれかの態様において、前記各撮像領域箇所に投射されるパターン画像部分は、パターンの粒度及びコントラストの少なくとも一方が異なることを特徴とする。
これによれば、マッチング精度に対する影響が大きい粒度やコントラストが各パターン画像部分で異なっているパターン画像を撮像領域に向けて投射することができる。
(Aspect E)
In any one of the aspects A to D, the pattern image portion projected on each of the imaging region portions is different in at least one of pattern granularity and contrast.
According to this, it is possible to project a pattern image whose grain size and contrast having a great influence on the matching accuracy are different in each pattern image portion toward the imaging region.
(態様F)
前記態様A〜Eのいずれかの態様において、前記画像投射手段についての光学的特性は、該画像投射手段が投射するパターン画像の輝度を含むことを特徴とする。
これによれば、画像投射手段が投射するパターン画像の輝度が撮像領域箇所に応じて異なることにより、撮像領域内にマッチング精度の相対的に低い撮像領域箇所が存在する場合に、対象物において適切な視差情報が得られない部分の発生を低減することができる。
(Aspect F)
In any one of the aspects A to E, the optical characteristic of the image projecting unit includes the brightness of a pattern image projected by the image projecting unit.
According to this, the brightness of the pattern image projected by the image projecting means is different depending on the imaging region location, so that it is appropriate for the object when there is an imaging region location with relatively low matching accuracy in the imaging region. It is possible to reduce the occurrence of portions where no disparity information can be obtained.
(態様G)
前記態様A〜Fのいずれかの態様において、前記撮像手段についての光学的特性は、該撮像手段が撮像領域から受光する受光量を含むことを特徴とする。
これによれば、撮像手段が撮像領域から受光する受光量が撮像領域箇所に応じて異なることにより、撮像領域内にマッチング精度の相対的に低い撮像領域箇所が存在する場合に、対象物において適切な視差情報が得られない部分の発生を低減することができる。
(Aspect G)
In any one of the aspects A to F, the optical characteristic of the imaging unit includes a light reception amount received from the imaging region by the imaging unit.
According to this, when the amount of light received by the imaging unit from the imaging area varies depending on the imaging area location, it is appropriate for the object when there is an imaging area location with relatively low matching accuracy in the imaging area. It is possible to reduce the occurrence of portions where no disparity information can be obtained.
(態様H)
撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて該対象物の視差情報を生成する視差情報算出部202等の視差情報生成手段と、撮像領域に向けてパターン画像を投射するパソコン500やプロジェクタ600等のパターン画像投射手段とを有する視差情報生成装置において、前記パターン画像投射手段として、前記態様A〜Gのいずれかの態様に係るパターン画像投射装置を用いることを特徴とする。
これによれば、対象物において適切な視差情報が得られない部分の発生を低減することができる。
(Aspect H)
A disparity information generating unit such as a disparity information calculating unit 202 that generates disparity information of the target object based on captured images obtained by capturing the target object in the imaging region from different viewpoints by a plurality of image capturing units, and a pattern toward the imaging region In a parallax information generating device having a pattern image projecting unit such as a personal computer 500 or a projector 600 that projects an image, the pattern image projecting device according to any one of the modes A to G is used as the pattern image projecting unit. It is characterized by.
According to this, generation | occurrence | production of the part from which suitable parallax information cannot be obtained in a target object can be reduced.
(態様I)
撮像領域内の対象物を異なる視点から複数の撮像手段により撮像した撮像画像に基づいて視差情報生成手段により該対象物の視差情報を生成するときに画像投射手段が撮像領域に向けて投射するパターン画像を生成するパターン画像生成手段として、コンピュータを機能させるパターン画像生成プログラムであって、前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とする。
本態様においては、画像投射手段及び撮像手段の少なくとも一方についての光学的特性が異なる各撮像領域箇所に応じて異なるパターン画像部分で構成されるパターン画像を、撮像領域に向けて投射することができる。よって、撮像領域内の各撮像領域箇所に対し、それぞれの撮像領域箇所ごとに異なる画像投射手段や撮像手段の光学的特性に適したパターン画像部分を投射することができる。例えば、一部の撮像領域箇所については当該一部の撮像領域箇所に適したパターン画像部分を投射するとともに、他の撮像領域箇所については、当該一部の撮像領域箇所に適したパターン画像部分よりも当該他の撮像領域箇所に適したパターン画像部分を投射することができる。よって、撮像領域内においてマッチング精度の相対的に低い撮像領域箇所を減らす又は無くすことができ、撮像領域内のどの箇所に存在する対象物でも適切な視差情報を得ることが可能となる。
(Aspect I)
A pattern projected by the image projecting unit toward the imaging region when the parallax information generating unit generates the parallax information of the target object based on the captured images captured by the plurality of imaging units from the different viewpoints. A pattern image generation program that causes a computer to function as a pattern image generation unit that generates an image, wherein the pattern image corresponds to an imaging region where optical characteristics of at least one of the image projection unit and the imaging unit are different. Thus, the pattern image portions projected on the respective imaging region portions are different.
In this aspect, it is possible to project a pattern image composed of different pattern image portions in accordance with each imaging region portion having different optical characteristics with respect to at least one of the image projecting unit and the imaging unit toward the imaging region. . Therefore, it is possible to project a pattern image portion suitable for the optical characteristics of the image projecting means and the image capturing means that are different for each image capturing area location to each image capturing area location in the image capturing area. For example, a pattern image portion suitable for the part of the imaging region part is projected for a part of the imaging region part, and a pattern image part suitable for the part of the imaging region part is projected for the other imaging region part. Also, it is possible to project a pattern image portion suitable for the other imaging region portion. Therefore, it is possible to reduce or eliminate imaging region locations with relatively low matching accuracy in the imaging region, and it is possible to obtain appropriate parallax information for an object present at any location in the imaging region.
なお、このプログラムは、CD−ROM等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。 This program can be distributed or obtained in a state of being recorded on a recording medium such as a CD-ROM. It is also possible to distribute and obtain signals by placing this program and distributing or receiving signals transmitted by a predetermined transmission device via transmission media such as public telephone lines, dedicated lines, and other communication networks. Is possible. At the time of distribution, it is sufficient that at least a part of the computer program is transmitted in the transmission medium. That is, it is not necessary for all data constituting the computer program to exist on the transmission medium at one time. The signal carrying the program is a computer data signal embodied on a predetermined carrier wave including the computer program. Further, the transmission method for transmitting a computer program from a predetermined transmission device includes a case where data constituting the program is transmitted continuously and a case where it is transmitted intermittently.
100 カメラ部
101A,101B カメラ
200 画像処理部
201A,201B 画像補正部
202 視差情報算出部
300 認識処理部
400 ロボットアーム制御部
500 パソコン
501 視差点数算出部
502 パターン画像生成部
600 プロジェクタ
601 作業台面
DESCRIPTION OF SYMBOLS 100 Camera part 101A, 101B Camera 200 Image processing part 201A, 201B Image correction part 202 Parallax information calculation part 300 Recognition processing part 400 Robot arm control part 500 Personal computer 501 Parallax point calculation part 502 Pattern image generation part 600 Projector 601 Work surface
Claims (9)
前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とするパターン画像投射装置。 An image in which a pattern image is projected toward an imaging region when the parallax information generating unit generates parallax information of the target based on captured images obtained by imaging the target in the imaging region from different viewpoints by a plurality of imaging units. In the pattern image projection apparatus having the projection means,
The pattern image is characterized in that a pattern image portion projected on each imaging area location differs according to an imaging area location having different optical characteristics for at least one of the image projection means and the imaging means. Projection device.
前記パターン画像を生成するパターン画像生成手段を有することを特徴とするパターン画像投射装置。 The pattern image projection apparatus according to claim 1,
A pattern image projection apparatus comprising pattern image generation means for generating the pattern image.
前記パターン画像生成手段は、前記視差情報生成手段が生成した視差情報に含まれる視差値の数に基づいて前記パターン画像を生成することを特徴とするパターン画像投射装置。 The pattern image projection device according to claim 2,
The pattern image projection device, wherein the pattern image generation unit generates the pattern image based on the number of parallax values included in the parallax information generated by the parallax information generation unit.
前記パターン画像生成手段は、前記撮像手段と前記対象物との距離に対する前記画像投射手段と前記対象物との相対距離に応じて、各パターン画像部分を変更したパターン画像を生成することを特徴とするパターン画像投射装置。 In the pattern image projector of Claim 2 or 3,
The pattern image generation unit generates a pattern image in which each pattern image portion is changed according to a relative distance between the image projection unit and the object with respect to a distance between the imaging unit and the object. Pattern image projection device.
前記各撮像領域箇所に投射されるパターン画像部分は、パターンの粒度及びコントラストの少なくとも一方が異なることを特徴とするパターン画像投射装置。 In the pattern image projector of any one of Claims 1 thru | or 4,
The pattern image projection device, wherein the pattern image portion projected on each of the imaging region portions is different in at least one of pattern granularity and contrast.
前記画像投射手段についての光学的特性は、該画像投射手段が投射するパターン画像の輝度を含むことを特徴とするパターン画像投射装置。 The pattern image projection device according to any one of claims 1 to 5,
An optical characteristic of the image projecting unit includes a brightness of a pattern image projected by the image projecting unit.
前記撮像手段についての光学的特性は、該撮像手段が撮像領域から受光する受光量を含むことを特徴とするパターン画像投射装置。 In the pattern image projector of any one of Claims 1 thru | or 6,
The pattern image projection apparatus according to claim 1, wherein the optical characteristic of the imaging unit includes a received light amount received by the imaging unit from an imaging region.
撮像領域に向けてパターン画像を投射するパターン画像投射手段とを有する視差情報生成装置において、
前記パターン画像投射手段として、請求項1乃至7のいずれか1項に記載のパターン画像投射装置を用いることを特徴とする視差情報生成装置。 Disparity information generating means for generating disparity information of the object based on captured images obtained by capturing the object in the imaging area from a plurality of image capturing means from different viewpoints;
In a parallax information generation device having pattern image projection means for projecting a pattern image toward an imaging region,
A parallax information generation device using the pattern image projection device according to claim 1 as the pattern image projection unit.
前記パターン画像は、前記画像投射手段及び前記撮像手段の少なくとも一方についての光学的特性が異なる撮像領域箇所に応じて、各撮像領域箇所に投射されるパターン画像部分が異なることを特徴とするパターン画像生成プログラム。 A pattern projected by the image projecting unit toward the imaging region when the parallax information generating unit generates the parallax information of the target object based on the captured images captured by the plurality of imaging units from the different viewpoints. A pattern image generation program for causing a computer to function as a pattern image generation means for generating an image,
The pattern image is characterized in that a pattern image portion projected on each imaging area location differs according to an imaging area location having different optical characteristics for at least one of the image projection means and the imaging means. Generation program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015140571A JP6548076B2 (en) | 2015-07-14 | 2015-07-14 | Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015140571A JP6548076B2 (en) | 2015-07-14 | 2015-07-14 | Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017020971A true JP2017020971A (en) | 2017-01-26 |
JP6548076B2 JP6548076B2 (en) | 2019-07-24 |
Family
ID=57888572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015140571A Expired - Fee Related JP6548076B2 (en) | 2015-07-14 | 2015-07-14 | Pattern image projection apparatus, parallax information generation apparatus, pattern image generation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6548076B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019058729A1 (en) * | 2017-09-20 | 2019-03-28 | 日立オートモティブシステムズ株式会社 | Stereo camera |
WO2020262389A1 (en) * | 2019-06-28 | 2020-12-30 | キヤノン株式会社 | Measurement apparatus, imaging apparatus, measurement system, control method, and program |
JP2021056234A (en) * | 2020-12-08 | 2021-04-08 | 日立Astemo株式会社 | Stereo camera |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001091232A (en) * | 1999-09-24 | 2001-04-06 | Sony Corp | Three-dimensional shape measuring device and method, and recording medium |
JP2011137697A (en) * | 2009-12-28 | 2011-07-14 | Canon Inc | Illumination apparatus, and measuring system using the illumination system |
WO2012144339A1 (en) * | 2011-04-19 | 2012-10-26 | 三洋電機株式会社 | Information acquisition device and object detection device |
-
2015
- 2015-07-14 JP JP2015140571A patent/JP6548076B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001091232A (en) * | 1999-09-24 | 2001-04-06 | Sony Corp | Three-dimensional shape measuring device and method, and recording medium |
JP2011137697A (en) * | 2009-12-28 | 2011-07-14 | Canon Inc | Illumination apparatus, and measuring system using the illumination system |
WO2012144339A1 (en) * | 2011-04-19 | 2012-10-26 | 三洋電機株式会社 | Information acquisition device and object detection device |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019058729A1 (en) * | 2017-09-20 | 2019-03-28 | 日立オートモティブシステムズ株式会社 | Stereo camera |
JP2019056606A (en) * | 2017-09-20 | 2019-04-11 | 日立オートモティブシステムズ株式会社 | Stereo camera |
US11346663B2 (en) | 2017-09-20 | 2022-05-31 | Hitachi Astemo, Ltd. | Stereo camera |
WO2020262389A1 (en) * | 2019-06-28 | 2020-12-30 | キヤノン株式会社 | Measurement apparatus, imaging apparatus, measurement system, control method, and program |
US20220113131A1 (en) * | 2019-06-28 | 2022-04-14 | Canon Kabushiki Kaisha | Measurement apparatus, image capturing apparatus, measurement system, control method, and storage medium |
JP2021056234A (en) * | 2020-12-08 | 2021-04-08 | 日立Astemo株式会社 | Stereo camera |
JP7083014B2 (en) | 2020-12-08 | 2022-06-09 | 日立Astemo株式会社 | Stereo camera |
Also Published As
Publication number | Publication date |
---|---|
JP6548076B2 (en) | 2019-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10262230B1 (en) | Object detection and identification | |
US9799118B2 (en) | Image processing apparatus, imaging apparatus and distance correction method | |
US9819872B2 (en) | Image processing apparatus and image processing method that adjust, based on a target object distance, at least one of brightness of emitted pattern light and an exposure amount | |
US10378877B2 (en) | Image processing device, image processing method, and program | |
JP5075757B2 (en) | Image processing apparatus, image processing program, image processing method, and electronic apparatus | |
JP6260891B2 (en) | Image processing apparatus and image processing method | |
JP2012177676A (en) | Information processor and method, and program | |
JP6544257B2 (en) | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM | |
JP6493787B2 (en) | Imaging apparatus, imaging method, and imaging operation control program | |
US20210004947A1 (en) | Evaluation system, evaluation device, evaluation method, evaluation program, and recording medium | |
WO2014108976A1 (en) | Object detecting device | |
JP2017020971A (en) | Pattern image projection device, parallax information creating device, and pattern image creating program | |
JP5633719B2 (en) | 3D information measuring apparatus and 3D information measuring method | |
US9576402B2 (en) | Image processing device and image processing method | |
TWI571099B (en) | Device and method for depth estimation | |
JP2019020839A (en) | Image processing apparatus, image processing method and program | |
JP6720358B2 (en) | 3D scanning system | |
US20230162442A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20210156677A1 (en) | Three-dimensional measurement apparatus and method | |
CN112529943B (en) | Object detection method, object detection device and intelligent equipment | |
CN113108919B (en) | Human body temperature detection method, device and storage medium | |
KR20150000911A (en) | Auto mapping method and apparatus of screen and image | |
EP2953096B1 (en) | Information processing device, information processing method, system and carrier means | |
JP2019164837A (en) | Information processing system, information processing method and information processing program | |
JP2015216542A (en) | Information processing apparatus, information processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190510 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190613 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6548076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |