JP4998711B2 - Apparatus and method for measuring surface distortion - Google Patents
Apparatus and method for measuring surface distortion Download PDFInfo
- Publication number
- JP4998711B2 JP4998711B2 JP2007061242A JP2007061242A JP4998711B2 JP 4998711 B2 JP4998711 B2 JP 4998711B2 JP 2007061242 A JP2007061242 A JP 2007061242A JP 2007061242 A JP2007061242 A JP 2007061242A JP 4998711 B2 JP4998711 B2 JP 4998711B2
- Authority
- JP
- Japan
- Prior art keywords
- distortion
- measuring
- mirror surface
- macro
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000009826 distribution Methods 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000005259 measurement Methods 0.000 claims description 102
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 20
- 239000002184 metal Substances 0.000 claims description 17
- 229910052751 metal Inorganic materials 0.000 claims description 17
- 238000000465 moulding Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 238000000691 measurement method Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 6
- 238000010422 painting Methods 0.000 claims description 6
- 230000007547 defect Effects 0.000 claims description 4
- 238000010438 heat treatment Methods 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 239000012761 high-performance material Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、面歪の測定装置及び方法に関し、詳しくは、鏡面乃至半鏡面の測定対象表面上の、観察可能なあらゆる場所における、面歪の分布を、測定対象の3次元形状の影響を受けることなく、光学的手段を用いて定量的に測定および評価する、面歪の測定装置及び方法に関するものである。 The present invention relates to an apparatus and a method for measuring surface distortion, and more particularly, the distribution of surface distortion at any observable location on a mirror surface or semi-mirror surface to be measured is affected by the three-dimensional shape of the object to be measured. The present invention relates to an apparatus and a method for measuring surface distortion, which are quantitatively measured and evaluated using optical means.
プレス成形・塗装後の自動車外板や塗装された建築用壁面パネル、あるいは平面ガラス鏡など、その表面が鏡面乃至半鏡面をなす工業製品は、表面に所謂「面歪」と呼ばれる波打ち状の歪みがあると、その歪量がたとえ微小であっても、写る背景像が「光てこ」の原理で大きく歪んで見えることにより、外観を著しく損い、品質上大きなダメージとなる。 Industrial products such as automotive outer panels after press molding and painting, painted architectural wall panels, and flat glass mirrors have a mirror surface or semi-mirror surface, and the surface is wavy distortion called “surface distortion”. If the amount of distortion is small, the appearance of the background image appears to be greatly distorted by the principle of “light lever” even if the amount of distortion is very small.
上述の歪は、金属板をプレス成形‐組み立て‐塗装する等、一連の処理を行う途中のあらゆる段階で発生する。プレス成形においては、離型後の弾性変形によりプレス成形の対象となった成品の表面が変形し、歪が発生する危険性がある。また、プレス金型に鉄粉等の異物が付着した場合にも、プレス成形の対象となった成品に歪が発生する。また、プレス成形の途中でプレス成形の対象となった成品の一部に亀裂やシワが発生すると、同成品の張りが変化するため、歪が誘発される。組み立てにおいては、カシメや溶接により歪が発生する場合がある。塗装においては、焼付けによる熱変形や塗装ムラ、異物付着により、歪が発生する場合がある。 The above-described distortion occurs at any stage during a series of processes such as press forming-assembling-painting a metal plate. In press molding, there is a risk that distortion occurs due to deformation of the surface of the product that is the object of press molding due to elastic deformation after mold release. In addition, even when foreign matter such as iron powder adheres to the press die, distortion occurs in the product that is the object of press molding. In addition, if cracks or wrinkles occur in a part of the product that is the object of press molding during press molding, the tension of the product changes, so that distortion is induced. In assembly, distortion may occur due to caulking or welding. In painting, distortion may occur due to thermal deformation due to baking, coating unevenness, and foreign matter adhesion.
したがって、これら工業製品の材料の評価・品質作りこみ・品質検査など製品開発・製造の現場では、かねてより面歪分布の定量測定技術が望まれていた。 Therefore, in the field of product development and manufacturing such as evaluation, quality creation and quality inspection of materials of these industrial products, a quantitative measurement technique for surface strain distribution has been desired for some time.
しかしながら、数100mmから数mのサイズの対象表面上の10μmから100μm程度の凹凸を、対象表面全面に亘って定量的に形状測定することは極めて難しい。敢えて言えば、従来、レーザ変位計に代表される非接触距離計を用いて、対象表面上をxy走査して微小な形状歪み分布を求める方法が知られてはいるが、あまりに測定時間がかかりすぎ、実用的な方法とはなりえていない。 However, it is extremely difficult to quantitatively measure the unevenness of about 10 μm to 100 μm on the target surface having a size of several hundred mm to several meters over the entire target surface. Speaking daringly, there has been known a method for obtaining a small geometric distortion distribution by xy scanning on the target surface using a non-contact distance meter represented by a laser displacement meter, but it takes too much measurement time. It is not too practical.
これに対して、面歪を定性的にパタン観察する方法としては、従来より、対象表面上に写る、背景のストライプパタンやチェッカボードパタンの鏡像が、面歪によって歪んで見える現象を利用して、その歪みの程度から面歪を評価する方法が知られていた。 On the other hand, as a method for qualitatively observing the pattern of surface distortion, conventionally, the mirror image of the background stripe pattern or checkerboard pattern that appears on the target surface is distorted by the surface distortion. A method for evaluating surface strain from the degree of strain has been known.
特許文献１に開示されている方法は、主に表面が鏡面塗装された建築用の大型パネルを対象とした定性的な面歪観察方法の一つであり、パネルに写った、線幅及び線間隔の異なる数種類のストライプパタンの内、所定の線幅・線間隔の閾値に対しての大小から、面歪の大小を判定しようとするものである。 The method disclosed in Patent Document 1 is one of the qualitative surface distortion observation methods mainly for large-sized panels for construction whose surfaces are mirror-finished. Among several types of stripe patterns having different intervals, the size of the surface distortion is determined from the size of the predetermined line width / line interval threshold.
また、特許文献２、特許文献３、特許文献４、または特許文献５などに開示された方法は、主にガラスの表面や内部の歪の観察方法として提案されたものであり、ストライプパタン乃至は格子パタンの、測定対象ガラス表面の反射像乃至はガラス内部の透過像を観察し、その歪み量・曲率・線幅・線間隔から歪を評価しようとするものである。 Further, the methods disclosed in Patent Document 2, Patent Document 3, Patent Document 4, or Patent Document 5 are mainly proposed as methods for observing the surface of the glass and internal distortion. The reflection pattern of the surface of the glass to be measured or the transmission image inside the glass of the lattice pattern is observed, and distortion is evaluated from the distortion amount, curvature, line width, and line interval.
一方、特許文献６、特許文献７、または特許文献８では、上記の観察方法を一歩推し進めて、これを定量化しようとする試みが開示されている。これらの方式は、ストライプパタンやチェッカボードパタンのコントラストや位相ずれ乃至は生成されたモアレ縞が歪量によって変化することに着目して、これを定量化しようとするものである。 On the other hand, Patent Document 6, Patent Document 7, or Patent Document 8 discloses an attempt to move forward the observation method and quantify it. These methods are intended to quantify by focusing on the contrast of the stripe pattern or the checkerboard pattern, the phase shift or the generated moire fringes depending on the amount of distortion.
そして、特許文献９には、面歪測定とは多少目的を異にはするが、自動車ボディの半鏡面性の塗装面上の凹凸状の微小欠陥を感度良く検出する方法が開示されている。この方式は、スリット状の拡散照明光を走査し、測定対象表面に写ったスリットの鏡像が、対象表面上の各点を通過するタイミングを画像合成によって求め、その凹凸微小欠陥に起因するタイミングパタンの部分的な歪から、欠陥を検出しようとするものである。この方式は、面歪の観察にもトランスファ可能であり、対象の形状に対してロバストな観察方式を提供する。 Patent Document 9 discloses a method of detecting uneven microdefects on a semi-specular painted surface of an automobile body with high sensitivity, although the purpose is somewhat different from that of surface strain measurement. This method scans slit-shaped diffuse illumination light, obtains the timing when the mirror image of the slit reflected on the measurement target surface passes through each point on the target surface by image synthesis, and determines the timing pattern caused by the uneven microdefects. The defect is to be detected from the partial distortion. This method can also be used to observe surface distortion, and provides a robust observation method for the target shape.
特許文献１０には、点光源から、２値コードパタン投影法用の複数種のストライプ配列パタンを順次投影して、それを撮影し、画像処理して、粗い凹凸分布を求めるとともに、先のストライプ配列パタンのうちの、１つのストライプ配列パタンの中の、１組のストライプの明暗のカバーする範囲について、その１組のストライプと平行なスリットを、ストライプの延びる方向と直交する方向に走査させる処理を、全組のストライプについて同時に行って、しかも、スリットの走査中、各画素が最大輝度を示すタイミングにおけるそのスリット走査方向位置の座標の値を、画像全体にわたって捉え、最終的に、先述のストライプ配列パタンを順次表示して求めた粗い凹凸分布を、スリットを走査して求めた精細な凹凸分布で補完し、全体として精細な凹凸分布を求める技術が開示されている。 In Patent Document 10, a plurality of types of stripe arrangement patterns for binary code pattern projection are sequentially projected from a point light source, photographed and image-processed to obtain a rough uneven distribution, and the previous stripes Processing for scanning a slit parallel to the set of stripes in a direction perpendicular to the direction in which the stripes extend with respect to the range covered by the light and dark of the set of stripes in one stripe arrangement pattern of the arrangement patterns Are simultaneously performed for all sets of stripes, and during scanning of the slit, the coordinate value of the position in the slit scanning direction at the timing when each pixel exhibits the maximum luminance is captured over the entire image, and finally the above-described stripe is obtained. The rough uneven distribution obtained by sequentially displaying the array pattern is complemented by the fine uneven distribution obtained by scanning the slit, and as a whole Technique to determine the fine unevenness distribution is disclosed.
図１２は、特許文献１０に開示された全体概念を、さらに図１３は、同じく特許文献１０に開示された信号処理部を、それぞれ示す図である。 FIG. 12 is a diagram showing the overall concept disclosed in Patent Document 10, and FIG. 13 is a diagram showing the signal processing unit disclosed in Patent Document 10 as well.
ここで、２値コードパタン投影法とは、図１５に示すように、複数種のストライプ配列パタン、例えば、全体を２のｎ乗等分して明暗交互に配列したストライプ配列パタンを順次投影し、位置に応じた、明暗の反転するパタンから、その位置を、対応する２進数として一時的に認識し、それを最終的に十進数に換算して認識する、位置認識法のことである。 Here, as shown in FIG. 15, the binary code pattern projection method sequentially projects a plurality of types of stripe arrangement patterns, for example, stripe arrangement patterns in which the whole is divided into 2 to the nth power and arranged alternately in light and dark. This is a position recognition method in which the position is temporarily recognized as a corresponding binary number from the pattern of inversion of brightness according to the position, and finally converted into a decimal number and recognized.
例えば、図１５では、点光源１５から基準面２０へ、３次パタンまで順次投影したときのようすを示しているが、一番下の区分の左からｎ番目に対応した１０進数位置のうち、一番左の「７」に対応するものは、その上に表示されている明暗パタンのうち、１次パタンでは明「１」、２次パタンでは明「１」、３次パタンでも明「１」と対応する２進数として認識し、２２×１＋２２−１×１＋２２−２×１＝７、同様に、一番下の区分に対応した１０進数位置のうち、一番左から２番目の「６」に対応するものは、その上に表示されている明暗パタンのうち、１次パタンでは明「１」、２次パタンでも明「１」、３次パタンでは暗「０」と対応する２進数として認識し、２２×１＋２２−１×１＋２２−２×０＝６、同様に、一番下の区分に対応した１０進数位置のうち、一番左から３番目の「５」に対応するものは、その上に表示されている明暗パタンのうち、１次パタンでは明「１」、２次パタンでは暗「０」、３次パタンでは明「１」と対応する２進数として認識し、２２×１＋２２−１×０＋２２−２×１＝５、‥‥という具合である。
しかしながら、特許文献２〜５に開示の技術では、歪の可視化がやっとできる程度であり、測定の定量性を保証するまでには至っていなかった。 However, with the techniques disclosed in Patent Documents 2 to 5, the strain can only be visualized, and the measurement quantitativeness has not been guaranteed.
また、特許文献６〜８に開示の技術では、その測定結果は、投影したストライプパタンやチェッカボードパタンの明暗の影響を受けやすく、また観察可能領域がパタンの明暗のエッジ近傍に限定されていたり、平均化によって空間分解能の限界があったりと、その性能には自ずと限界があった。 In the techniques disclosed in Patent Documents 6 to 8, the measurement results are easily affected by the brightness of the projected stripe pattern or checkerboard pattern, and the observable area is limited to the vicinity of the bright and dark edges of the pattern. There was a limit to the spatial resolution due to averaging, and the performance was naturally limited.
そして、特許文献９に開示の技術では、１本のスリットの鏡像の走査であるために、測定時間が長く、また、タイミングのずれと面歪量との定量評価式が確立していないという点において、課題を残していた。 In the technique disclosed in Patent Document 9, since the scanning is a mirror image of one slit, the measurement time is long, and the quantitative evaluation formula between the timing shift and the surface distortion amount is not established. However, the problem was left.
さらに、特許文献１０に開示の技術では、最大輝度を示すタイミングにおけるスリット走査方向の座標の値を、図１２中に示す角度θ内のどこかをとらえて割り出すようにしているので、角度θの分解能の限界上、例えば人の顔面の起伏のような数mm程度以上の凹凸の定量的測定は容易に行い得るものの、例えば自動車の外板表面のような鏡面乃至半鏡面の数十μm程度のわずかな凹凸に相当する面歪分布の定量的測定は不可能であった。 Furthermore, in the technique disclosed in Patent Document 10, the coordinate value in the slit scanning direction at the timing indicating the maximum luminance is determined by capturing somewhere within the angle θ shown in FIG. On the limit of resolution, for example, quantitative measurement of unevenness of several millimeters or more such as undulation of a human face can be easily performed, but for example, a mirror surface or a half mirror surface such as the outer surface of an automobile is about several tens of μm. It was impossible to quantitatively measure the surface strain distribution corresponding to slight irregularities.
しかも、プレス成形、部品取付、組み立て、塗装、熱処理、完成品検査のいずれか少なくとも一つを行う金属板の各処理において、面歪に由来した表面品質不具合の検査を行う場合、製造ラインを流れる成品を高速で検査する必要があるが、従来の技術では製造ラインを流れる成品の速度に対応できず、インラインでの検査が不可能であった。 In addition, in each processing of a metal plate that performs at least one of press molding, component mounting, assembly, painting, heat treatment, and finished product inspection, when a surface quality defect due to surface distortion is inspected, it flows through the production line. Although it is necessary to inspect the product at high speed, the conventional technology cannot cope with the speed of the product flowing through the production line, and inline inspection is impossible.
すなわち、上記の面ひずみ測定方法すべてにおける問題点は、対象物の形状を平面に限定あるいは曲面形状においても平面と仮定している点にある。測定対象物が３次元的な形状を有する場合、面ひずみの評価は３次元形状を考慮して測定・解析することが必要であり、自動車部品等の３次元曲面をもつ対象物に対しては測定精度の低下が不可避であった。さらに、上記の方法によって測定された面ひずみ測定値は、３次元の位置情報が不明確であるため、実際に面ひずみが発生している個所を特定することが困難であった。 That is, the problem in all the above-described surface strain measurement methods is that the shape of the object is limited to a plane or is assumed to be a plane even in a curved surface shape. When the measurement object has a three-dimensional shape, the evaluation of surface strain requires measurement and analysis in consideration of the three-dimensional shape. For objects having a three-dimensional curved surface such as automobile parts, etc. A decrease in measurement accuracy was inevitable. Furthermore, since the surface strain measurement value measured by the above method is unclear in the three-dimensional position information, it is difficult to specify the location where the surface strain is actually generated.
本発明では、これら従来技術の問題点に鑑み、鏡面乃至半鏡面状の測定対象表面上の、観察可能なあらゆる場所における、面歪の分布を、測定対象の3次元形状の影響を受けることなく、光学的手段を用いて定量的に、また高速・高精度に測定および評価できる、面歪の測定装置及び方法を提供することを課題とする。 In the present invention, in view of these problems of the prior art, the distribution of surface distortion at any observable location on the mirror surface or semi-mirror surface of the measurement target surface is not affected by the three-dimensional shape of the measurement target. It is an object of the present invention to provide an apparatus and a method for measuring surface strain, which can be measured and evaluated quantitatively and at high speed and with high accuracy using optical means.
本発明の請求項１に係る発明は、複数種の明暗パタンを切替えて表示することが可能なパタン表示手段と、鏡面乃至半鏡面状の測定対象表面上に写る前記パタン表示手段に表示された複数の明暗パタンの鏡像を、撮影する撮影手段と、撮影された複数の明暗パタンの鏡像画像を画像処理して前記測定対象表面の面歪分布を演算する面歪分布演算手段とを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定装置において、前記測定対象のマクロ3次元形状を測定するマクロ形状測定手段と、測定されたマクロ3次元形状に基づいて、演算された面歪分布を補正するマクロ形状補正手段とを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定装置である。 The invention according to claim 1 of the present invention is displayed on the pattern display means capable of switching and displaying a plurality of types of light and dark patterns, and on the pattern display means reflected on the mirror surface or semi-mirror surface of the measurement target surface. Image capturing means for capturing a mirror image of a plurality of light and dark patterns, and surface distortion distribution calculating means for calculating a surface strain distribution of the measurement target surface by performing image processing on the captured mirror image of the light and dark patterns. In the apparatus for measuring surface distortion on a mirror surface or a half mirror surface, characterized by: a macro shape measuring means for measuring a macro three-dimensional shape of the measurement object; and a surface distortion calculated based on the measured macro three-dimensional shape A measuring apparatus for measuring a surface distortion on a mirror surface or a half mirror surface, comprising a macro shape correcting means for correcting the distribution.
また本発明の請求項２に係る発明は、請求項１に記載の鏡面乃至半鏡面上の面歪の測定装置において、前記マクロ形状補正手段は、前記マクロ3次元形状の面歪量への影響を補正する面歪量補正手段と、演算された面歪分布を任意の方向の視点に合せてマッピングし直して、歪みのない面歪分布パタンを得るゆがみ補正手段との、少なくとも一つを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定装置である。
また本発明の請求項３に係る発明は、請求項１又は請求項２に記載の鏡面乃至半鏡面上の面歪の測定装置において、補正された前記面歪分布を微分処理することで表面傾きの変化率分布を算出する曲率演算手段を備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定装置である。
The invention according to claim 2 of the present invention is the apparatus for measuring surface distortion on the mirror surface or semi-mirror surface according to claim 1, wherein the macro shape correcting means influences the surface distortion amount of the macro three-dimensional shape. At least one of a surface distortion amount correcting means for correcting the distortion and a distortion correcting means for re-mapping the calculated surface distortion distribution in accordance with a viewpoint in an arbitrary direction to obtain a distortion- free surface distortion distribution pattern. This is an apparatus for measuring surface distortion on a mirror surface or a half mirror surface.
Further, the invention according to claim 3 of the present invention is the apparatus for measuring surface strain on the mirror surface or half mirror surface according to claim 1 or claim 2, wherein the surface inclination distribution is obtained by differentiating the corrected surface strain distribution. A device for measuring surface distortion on a mirror surface or a half mirror surface, comprising curvature calculating means for calculating a change rate distribution of the mirror surface.
また本発明の請求項４に係る発明は、請求項１乃至請求項３のいずれか１項に記載の鏡面乃至半鏡面上の面歪の測定装置において、前記パタン表示手段は、２値コードパタン投影法用の複数種のストライプ配列パタンと、最小ストライプ幅以上の範囲を走査する、１本のスリット複数本とで明暗パタンを表示できるものであることを特徴とする鏡面乃至半鏡面上の面歪の測定装置である。 According to a fourth aspect of the present invention, in the apparatus for measuring surface distortion on a mirror surface or a half mirror surface according to any one of the first to third aspects, the pattern display means is a binary code pattern. A surface on a mirror surface or half mirror surface characterized in that a light and dark pattern can be displayed with a plurality of types of stripe arrangement patterns for projection and a plurality of slits that scan a range of the minimum stripe width or more. This is a strain measuring device.
また本発明の請求項５に係る発明は、請求項１乃至請求項４のいずれか１項に記載の鏡面乃至半鏡面上の面歪の測定装置において、前記マクロ形状測定手段は、テレビカメラを撮像手段とすることを特徴とする鏡面乃至半鏡面上の面歪の測定装置である。 The invention according to claim 5 of the present invention is the surface distortion measuring device on the mirror surface or semi-mirror surface according to any one of claims 1 to 4, wherein the macro shape measuring means is a television camera. An apparatus for measuring surface distortion on a mirror surface or a half mirror surface, characterized by being an imaging means.
また本発明の請求項６に係る発明は、請求項５に記載の鏡面乃至半鏡面上の面歪の測定装置において、前記テレビカメラは、面歪観察用の撮影手段とマクロ形状測定用の撮像手段とを1台のテレビカメラで共用する構成とし、測定対象表面の各点ごとにそれぞれ対応づいて得られる面歪情報とマクロ形状情報とからマクロ形状補正面歪演算を行うことを特徴とする鏡面乃至半鏡面上の面歪の測定装置である。 Further, the invention according to claim 6 of the present invention is the apparatus for measuring surface distortion on the mirror surface or half mirror surface according to claim 5, wherein the television camera includes imaging means for observing surface distortion and imaging for macro shape measurement. The means is shared by a single TV camera, and macro shape correction surface distortion calculation is performed from surface distortion information and macro shape information obtained for each point on the surface to be measured. This is a device for measuring surface distortion on a mirror surface or a half mirror surface.
また本発明の請求項７に係る発明は、請求項５に記載の鏡面乃至半鏡面上の面歪の測定装置において、前記テレビカメラは、面歪観察用の撮影手段とマクロ形状測定用の撮像手段とを異なるテレビカメラで構成し、マクロ形状補正において必要とされる測定対象表面各点ごとの面歪情報とマクロ形状情報との対応づけには、測定対象表面の各点の面歪観察用テレビカメラ画面上の位置とマクロ形状測定用テレビカメラ画面上の位置との対応づけを行う画面間位置対応づけ手段を備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定である。 According to a seventh aspect of the present invention, in the apparatus for measuring a surface distortion on a mirror surface or a half mirror surface according to the fifth aspect, the television camera includes an imaging means for observing surface distortion and an image for macro shape measurement. For the correspondence between the surface distortion information for each point on the measurement target surface and the macro shape information required for macro shape correction, the method is to observe the surface distortion at each point on the measurement target surface. This is a measurement of surface distortion on a mirror surface or a half mirror surface, characterized by comprising an inter-screen position correspondence means for associating a position on the television camera screen with a position on the macro shape measurement television camera screen.
また本発明の請求項８に係る発明は、複数種の明暗パタンを切替えて表示することが可能なパタン表示工程と、鏡面乃至半鏡面状の測定対象表面上に写る前記パタン表示工程に表示された複数の明暗パタンの鏡像を、撮影する撮影工程と、撮影された複数の明暗パタンの鏡像画像を画像処理して前記測定対象表面の面歪分布を演算する面歪分布演算工程とを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定方法において、前記測定対象のマクロ3次元形状を測定するマクロ形状測定工程と、測定されたマクロ3次元形状に基づいて、演算された面歪分布を補正するマクロ形状補正工程とを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定方法である。 The invention according to claim 8 of the present invention is displayed in the pattern display step capable of switching and displaying a plurality of types of light and dark patterns, and in the pattern display step reflected on the mirror surface or semi-mirror surface of the measurement target surface. A photographing step for photographing a mirror image of a plurality of light and dark patterns, and a surface strain distribution calculating step for calculating a surface strain distribution on the surface to be measured by performing image processing on the mirror image of the plurality of light and dark patterns photographed. In the method of measuring surface distortion on a mirror surface or a half mirror surface, characterized in that a macro shape measurement step for measuring the macro three-dimensional shape of the measurement object, and a surface calculated based on the measured macro three-dimensional shape A method of measuring surface distortion on a mirror surface or a half mirror surface, comprising a macro shape correction step for correcting a strain distribution.
また本発明の請求項９に係る発明は、請求項８に記載の鏡面乃至半鏡面上の面歪の測定方法において、前記マクロ形状補正工程は、前記マクロ3次元形状の面歪量への影響を補正する面歪量補正工程と、演算された面歪分布を任意の方向の視点に合せてマッピングし直して、歪みのない面歪分布パタンを得るゆがみ補正工程との、少なくとも一つを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定方法である。 The invention according to claim 9 of the present invention is the method of measuring surface distortion on a mirror surface or half mirror surface according to claim 8, wherein the macro shape correction step affects the amount of surface distortion of the macro three-dimensional shape. And at least one of a distortion correction step of re-mapping the calculated surface strain distribution according to a viewpoint in an arbitrary direction to obtain a distortion- free surface strain distribution pattern. This is a method for measuring surface distortion on a mirror surface or a half mirror surface.
また本発明の請求項１０に係る発明は、請求項８又は請求項９に記載の鏡面乃至半鏡面上の面歪の測定方法において、補正された前記面歪分布を微分処理することで表面傾きの変化率分布を算出する曲率演算工程を備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定方法である。 The invention according to claim 10 of the present invention is the method of measuring surface strain on the mirror surface or half mirror surface according to claim 8 or claim 9, wherein the surface inclination distribution is obtained by differentiating the corrected surface strain distribution. And a curvature calculation step for calculating a change rate distribution of the mirror surface.
また本発明の請求項１１に係る発明は、請求項８乃至請求項１０のいずれか１項に記載の鏡面乃至半鏡面上の面歪の測定方法において、前記マクロ形状測定工程は、任意のパタンが投影可能なプロジェクタを用いて被測定対象物表面に複数本のスリット光からなるスリットパタンをスリット方向と直交する方向にシフトさせて複数回投影する工程と、前記プロジェクタを用いてストライプの明暗の組み合わせによりパタン内の位置をコード化するための複数のストライプパタンを投影する工程と、被測定物表面に投影された光パタンを投影方向とは異なる方向から撮影する工程と、スリットパタンの複数の投影画像の中から各画素ごとに最大輝度を示す投影画像を選択し、その投影画像に対応するスリットの相対的投光角度を前記各画素の値とする相対投光角度画像を合成し、相対投光角度画像の各画素の値、パタン投影手段および撮像手段の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求める工程と、ストライプパタンの複数枚の投影画像の各画素ごとに前記複数枚の投影画像における明暗変化をコード化してその画素の値とする絶対投光角度画像を合成し、絶対投光角度画像の各画素の値、パタン投影手段および撮像手段の幾何学的関係から、三角測量の原理に基づいて概略の全体形状を求める工程と、前記精密な部分形状の演算結果と前記概略の全体形状の演算結果とを組み合わせて、被測定対象全体の精密な形状を演算する工程とからなることを特徴とする鏡面乃至半鏡面上の面歪の測定方法である。 An eleventh aspect of the present invention is the method for measuring a surface strain on a mirror surface or a half mirror surface according to any one of the eighth to tenth aspects, wherein the macro shape measurement step includes an arbitrary pattern. Using a projector capable of projecting a projection, shifting a slit pattern made of a plurality of slit lights onto the surface of the object to be measured in a direction orthogonal to the slit direction, and projecting a plurality of times using the projector. A step of projecting a plurality of stripe patterns for encoding a position in the pattern by combination, a step of photographing the light pattern projected on the surface of the object to be measured from a direction different from the projection direction, and a plurality of slit patterns A projection image showing the maximum luminance is selected for each pixel from the projection image, and the relative light projection angle of the slit corresponding to the projection image is the value of each pixel. Relative projection angle images are synthesized, and the minimum width of the stripe pattern is determined based on the principle of triangulation based on the value of each pixel of the relative projection angle image and the geometric relationship between the pattern projection means and the imaging means. A step of obtaining a precise partial shape of the region and an absolute projection angle image obtained by encoding the change in light and darkness of the plurality of projection images for each pixel of the plurality of projection images of the stripe pattern and using the pixel value as a value. And calculating a rough overall shape based on the principle of triangulation from the value of each pixel of the absolute projection angle image and the geometric relationship between the pattern projection means and the imaging means, and the calculation result of the precise partial shape And a process for calculating a precise shape of the entire object to be measured by combining the calculation result of the overall shape and the outline.
また本発明の請求項１２に係る発明は、金属板のプレス成形方法において、プレス成形後の金属板の面歪分布を、請求項１乃至請求項７のいずれか１項に記載の鏡面乃至半鏡面上の面歪の測定装置又は請求項８乃至請求項１１のいずれか１項に記載の鏡面乃至半鏡面上の面歪の測定方法を用いて測定することを特徴とする金属板のプレス成形方法である。 According to a twelfth aspect of the present invention, in the press forming method of a metal plate, the surface strain distribution of the metal plate after press forming is determined from the mirror surface to the half of any one of the first to seventh aspects. press forming a metal plate and measuring using the measuring method of specular or surface distortion on semispecular according to any one of the measuring apparatus or claims 8 to 11 of the surface distortion on a specular Is the method.
さらに本発明の請求項１３に係る発明は、プレス成形、部品取付、組み立て、塗装、熱処理、完成品検査のいずれか少なくとも１つの金属板の処理による面歪に由来した表面品質不具合を、請求項１乃至請求項７のいずれか１項に記載の鏡面乃至半鏡面上の面歪の測定装置又は請求項８乃至請求項１１のいずれか１項に記載の鏡面乃至半鏡面上の面歪の測定方法を用いて検査することを特徴とする金属成品の表面品質検査方法である。 Further, the invention according to claim 13 of the present invention claims a surface quality defect caused by surface distortion caused by processing of at least one metal plate in any one of press molding, component mounting, assembly, painting, heat treatment, and finished product inspection. 1 to a mirror to measure the surface strain on the half mirror surface according to any one of the specular or semi-specular on a surface strain of the measuring device or claims 8 to 11 according to any one of claims 7 A method for inspecting the surface quality of a metal product, characterized in that the method is used for inspection.
本発明によれば、鏡面乃至半鏡面状の測定対象表面上の、観察可能なあらゆる点での面歪分布を、3次元形状を考慮して、定量的に、また高速・高精度に測定することが可能となり、プレス加工に供する素材金属板の開発などにおいて、素材金属板の加工性の評価、プレス成形用金型の劣化状況の評価、製品金属板の検査などを精度よく行うことができる。これにより、例えば、高性能の素材金属板や、その加工法の開発を行う上で、効率が上がるとともに、製品金属板の歩留り、品質の向上にも寄与する。 According to the present invention, the surface strain distribution at any observable point on the mirror surface or semi-mirror surface of the measurement target surface is quantitatively measured at high speed and with high accuracy in consideration of the three-dimensional shape. This makes it possible to accurately evaluate the workability of the material metal plate, evaluate the deterioration of the press molding die, and inspect the product metal plate in the development of the material metal plate for press working. . As a result, for example, in developing a high performance material metal plate and its processing method, the efficiency is increased, and the yield and quality of the product metal plate are also improved.
本発明は、鏡面乃至半鏡面状の測定対象表面に写った明暗パタンが面歪によって歪む現象を利用し、パタン表示手段（例えばスクリーン）に表示した複数の明暗パタンが測定対象表面で正反射したパタン、すなわち測定対象表面上に写った前記複数の明暗パタンの鏡像を、撮影手段（例えばテレビカメラ）を用いて撮影し、撮影した画像を画像処理して、測定対象表面の各点に対応するパタン表示手段（の表示面）上の点の座標を求め、さらに、別途測定する測定対象表面の各点でのマクロ3次元形状の情報とから、以下に述べる測定原理に基いて面歪量を演算する。さらに、この演算を測定対象表面の、観察可能なあらゆる点について行うことにより、面歪分布を求めるものである。 The present invention utilizes a phenomenon in which a bright and dark pattern reflected on a mirror surface or semi-mirror surface of a measurement target surface is distorted by surface distortion, and a plurality of light and dark patterns displayed on a pattern display means (for example, a screen) are regularly reflected on the measurement target surface. Patterns, that is, mirror images of the plurality of light and dark patterns reflected on the surface of the measurement object are photographed using photographing means (for example, a television camera), and the photographed image is subjected to image processing to correspond to each point on the surface of the measurement object. Obtain the coordinates of the points on the pattern display means (the display surface), and further calculate the surface distortion amount based on the measurement principle described below from the macro 3D shape information at each point on the surface to be measured separately. Calculate. Further, this calculation is performed for every observable point on the surface to be measured to obtain a surface strain distribution.
図２は、本発明の測定原理を説明するための図である。先ずこの図を用いて本発明の測定原理を説明する。 FIG. 2 is a diagram for explaining the measurement principle of the present invention. First, the measurement principle of the present invention will be described with reference to FIG.
本発明では、測定対象１の鏡面乃至半鏡面状の測定対象表面に対し、片側に明暗パタンを表示可能なパタン表示手段として例えばスクリーン２を配置し、もう片側に、スクリーン２上の明暗パタンの、測定対象表面上の鏡像を観察可能な位置に、撮影手段として、例えばテレビカメラ３を配置して、その鏡像を観察する。 In the present invention, for example, a screen 2 is arranged as a pattern display means capable of displaying a light / dark pattern on one side of the mirror surface or semi-mirror surface of the measurement target surface of the measurement object 1, and the light / dark pattern on the screen 2 is disposed on the other side. For example, a television camera 3 is arranged as a photographing means at a position where a mirror image on the measurement target surface can be observed, and the mirror image is observed.
図２において、測定対象１の座標系を(x,y,z)とする。スクリーン２は、測定対象１の基準点Oから−y方向に距離l（Lの小文字）だけ離れた位置に垂直に立っているものとする。テレビカメラ３は、基準点Oに対して＋y方向に、投影距離にしてL離して配置されている。x−y面を水平面とみなして基準点Oからテレビカメラ３を見上げた仰角をαとし、基準点Oをテレビカメラ３で見たときのスクリーン２上の対応点をPとする。スクリーン２上の座標系は、P点を原点として(X,Z)で表すものとする。 In FIG. 2, the coordinate system of the measuring object 1 is (x, y, z). It is assumed that the screen 2 stands vertically at a position separated from the reference point O of the measuring object 1 by a distance l (lower case L) in the −y direction. The television camera 3 is arranged at a projection distance L in the + y direction with respect to the reference point O. Assuming that the x-y plane is a horizontal plane, the elevation angle when looking up the television camera 3 from the reference point O is α, and the corresponding point on the screen 2 when the reference point O is seen by the television camera 3 is P. The coordinate system on the screen 2 is represented by (X, Z) with the point P as the origin.
このとき、測定対象表面上のA点の座標を(x,y,z)とし、A点における面歪の方向を示す単位ベクトル（正確には、面歪を生じている測定対象表面の法線方向の単位ベクトル、以下、面歪単位ベクトルという）ベクトルｕを、図１内の［A点拡大図］に示すようにとったy軸に対する角度φ及びz軸に対する角度ξを用いて、ベクトルｕ(sinξsinφ,sinξcosφ,cosξ)とすると、A点をテレビカメラ３で観察したときのスクリーン２上の対応点B点の座標(X,Z)は、幾何学的関係から、近似的に(1),(2)式の形に求まる。 At this time, the coordinates of point A on the surface to be measured are (x, y, z), and the unit vector indicating the direction of surface distortion at point A (more precisely, the normal of the surface to be measured causing surface distortion) A vector u is obtained by using an angle φ with respect to the y-axis and an angle ξ with respect to the z-axis, as shown in [A point enlarged view] in FIG. Assuming that (sinξsinφ, sinξcosφ, cosξ), the coordinates (X, Z) of the corresponding point B on the screen 2 when the point A is observed with the TV camera 3 are approximately (1) , (2)
測定対象表面上の各点について、その点のスクリーン上の対応点の座標が求められれば、(1),(2)式を変形して、面歪単位ベクトルのx方向の傾き（正確には、面歪単位ベクトルのx−z面への正射影がz軸となす角のタンジェント）sinφtanξ及びy方向の傾き（正確には、面歪単位ベクトルのy−z面への正射影がz軸となす角のタンジェント）cosφtanξは、それぞれ(3),(4)式の形で求められる。 For each point on the surface to be measured, if the coordinates of the corresponding point on the screen are obtained, the equations (1) and (2) are modified to obtain the slope of the surface strain unit vector in the x direction (more precisely, , The tangent of the angle that the orthographic projection of the surface strain unit vector onto the xz plane makes with the z axis) sinφtanξ and the tilt in the y direction (more precisely, the orthographic projection of the surface strain unit vector onto the yz plane is the z axis The cotangent angle tangent) cosφtanξ is obtained in the form of equations (3) and (4), respectively.
図２において、M＝l／L＝1、すなわち、基準点O‐スクリーン間距離（l）＝基準点O‐テレビカメラ間投影距離（L）、となる配置形態を採用すると、(4)式右辺に含まれるzの係数(1−M)が０となって、測定対象表面の凹凸形状の影響が見かけ上キャンセルされ、より簡略化された面歪演算式(5),(6)式が得られる。 In FIG. 2, when the arrangement form M = 1 / L = 1, that is, the reference point O-distance between the screens (l) = reference point O-projection distance between the TV cameras (L), The z coefficient (1-M) included in the right-hand side becomes 0, and the influence of the uneven shape of the surface to be measured is apparently canceled, and the simplified surface distortion calculation formulas (5) and (6) are obtained. can get.
次に、本発明の面歪測定における測定対象のマクロな凹凸形状すなわちマクロ3次元形状の影響について考察する。 Next, the influence of the macro uneven shape, that is, the macro three-dimensional shape, to be measured in the surface strain measurement of the present invention will be considered.
(1) 面歪量への影響
上記(5),(6)式を見ると、測定対象の凹凸形状であるzが露わには現れていないため、一見、対象の凹凸形状の影響を受けない面歪測定が可能なように見える。しかしながら、測定対象をテレビカメラで斜めから観察しているため、ｚの影響を受けずに測定対象の（x,y）座標を特定することができない。
(1) Influence on surface distortion amount Looking at the above formulas (5) and (6), z, which is the uneven shape of the measurement target, does not appear in the exposure, and at first glance it is affected by the uneven shape of the target. It seems that no surface distortion measurement is possible. However, since the measurement object is observed obliquely with a television camera, the (x, y) coordinates of the measurement object cannot be specified without being affected by z.
たとえば、図４のA, A’，A”はテレビカメラで見ると同じ点にしか見えないが、高さzが異なるためにそれぞれ（x,y）座標が異なる。すなわち、上記(5),(6)式のx,yは、実はzの関数となっており、測定対象の凹凸が大きい場合には、(5),(6)式によって測定対象の面歪分布を厳密に求めようとすると、測定対象のマクロ3次元形状の補正が不可欠である。 For example, A, A ′, A ″ in FIG. 4 can only be seen at the same point when viewed with a television camera, but have different (x, y) coordinates due to different heights z. X and y in Equation (6) are actually functions of z, and when the measurement object has large irregularities, the surface strain distribution of the measurement object should be strictly determined by Equations (5) and (6). Then, it is indispensable to correct the macro 3D shape to be measured.
(2) 幾何学的ゆがみへの影響
面歪測定結果の利用形態を考えると、面歪情報の座標系は、テレビカメラで観察している斜め方向からの座標系よりも、測定対象を正面から見たときの座標系で表した方が都合の良い場合が多い。この視点変更の幾何学的変換において、ゆがみのない変換を行うためには、やはり測定対象のマクロ3次元形状の情報が必要である。
(2) Influence on geometric distortion Considering the form of use of surface distortion measurement results, the coordinate system for surface distortion information is the object to be measured from the front rather than the coordinate system from an oblique direction observed with a TV camera. In many cases, it is more convenient to use the coordinate system when viewed. In order to perform distortion-free conversion in this geometric conversion for changing the viewpoint, information on the macro three-dimensional shape to be measured is still necessary.
図５は、本発明に係る面歪測定における測定対象のマクロ形状の補正方法を説明する図である。図５に示すように、テレビカメラ光学系の配置（仰角α，光軸長a，L=a×cosα）、測定点Aの視野内位置（x’，y’）（x’およびy’は、A点の画面内アドレスと視野サイズとから求める）および測定点Aの基準面からの高さzが判れば、以下に示す(7)〜(9)式を用いて、測定点Aの見掛けのxy座標から、真のxy座標を導くことができる。 FIG. 5 is a diagram for explaining a method of correcting the macro shape of the measurement object in the surface strain measurement according to the present invention. As shown in FIG. 5, the arrangement of the television camera optical system (elevation angle α, optical axis length a, L = a × cos α), position in the field of view at measurement point A (x ′, y ′) (x ′ and y ′ are If the height z from the reference plane of the measurement point A is known, the apparent value of the measurement point A can be obtained using the following formulas (7) to (9). From the xy coordinates, the true xy coordinates can be derived.
面歪演算におけるマクロ3次元形状の面歪量への影響は、 (5),(6)式の演算で、この真のxy座標（x,y）を用いることにより補正することができる。また、マクロ3次元形状の幾何学的ゆがみへの影響は、測定対象上の各点の真のxyz座標（x,y,z）を用いて、求めた面歪分布を任意の方向の視点に合せてマッピングし直せば、歪みのない面歪分布パタンが得られる。 The influence on the surface distortion amount of the macro three-dimensional shape in the surface distortion calculation can be corrected by using the true xy coordinates (x, y) in the calculations of the equations (5) and (6). In addition, the effect of geometric distortion on the macro 3D shape can be determined by using the true xyz coordinates (x, y, z) of each point on the measurement object and using the obtained surface strain distribution as a viewpoint in any direction. If mapping is performed again, a plane strain distribution pattern without distortion can be obtained.
一方、上述の測定原理を実際に適用して測定対象表面上の面歪分布を求めるためには、テレビカメラで撮影可能な測定対象表面上の各点について、その点のスクリーン上の対応点の座標を求める手段が必要である。 On the other hand, in order to obtain the surface strain distribution on the measurement target surface by actually applying the above measurement principle, for each point on the measurement target surface that can be photographed with a television camera, the corresponding point on the screen of that point A means for determining the coordinates is required.
この手段は、複数種の明暗パタンを切替えて表示することが可能なパタン表示手段と、鏡面乃至半鏡面状の測定対象表面上に写る、前記パタン表示手段に表示された複数の明暗パタンの鏡像を、撮影する撮影手段と、撮影された、複数の明暗パタンの、鏡像画像を、画像処理して、測定対象表面の面歪分布を演算する面歪分布演算手段と、を備えた測定装置により実現される。 This means includes a pattern display means capable of switching and displaying a plurality of types of light / dark patterns, and a mirror image of the plurality of light / dark patterns displayed on the pattern display means, which is reflected on a mirror surface or a semi-specular surface. A measuring device comprising imaging means for photographing, and surface distortion distribution calculating means for calculating a surface distortion distribution of the surface to be measured by subjecting the captured mirror image of a plurality of light and dark patterns to image processing. Realized.
図１は、本発明を実施するための最良の形態を示す図である。パタン表示手段は、プロジェクタ６からスクリーン２へ明暗パタン５を投影するよう構成されている。スクリーン２上に投影された明暗パタン５は、そこから発して測定対象１の鏡面又は半鏡面状の表面で正反射することによって、その鏡像が測定対象１の表面に写される。この鏡像は、これを観察可能な位置に配置された撮像手段としてのテレビカメラ３で撮影される。プロジェクタ６及びテレビカメラ３は、パソコン（パーソナルコンピュータ）１０と接続されている。 FIG. 1 is a diagram showing the best mode for carrying out the present invention. The pattern display means is configured to project the light / dark pattern 5 from the projector 6 onto the screen 2. The bright / dark pattern 5 projected on the screen 2 is reflected from the specular or semi-specular surface of the measurement object 1 and is reflected from the mirror pattern on the surface of the measurement object 1. This mirror image is taken by a television camera 3 as an imaging means arranged at a position where it can be observed. The projector 6 and the television camera 3 are connected to a personal computer (personal computer) 10.
さらに、対象表面のマクロ3次元形状を測定するマクロ形状測定手段７がパソコン１０と接続されている。パソコン１０は、プロジェクタ６に複数種の明暗パタンを順次送るパタン投影部１０４と、テレビカメラ３による撮影画像を一時記憶する画像バッファ部１０３と、画像バッファ部１０３に一時記憶された撮影画像を画像処理し、マクロ形状測定手段７から得られるマクロ形状で補正して面歪分布を演算する面歪演算部１０２と、パタン投影部１０４、画像バッファ部１０３及び面歪演算部１０２の動作順序乃至動作時間を制御するシーケンスコントロール部１０１とを有する。 Further, a macro shape measuring means 7 for measuring the macro three-dimensional shape of the target surface is connected to the personal computer 10. The personal computer 10 includes a pattern projection unit 104 that sequentially transmits a plurality of types of light and dark patterns to the projector 6, an image buffer unit 103 that temporarily stores images captured by the television camera 3, and a captured image that is temporarily stored in the image buffer unit 103. An operation sequence or an operation of the surface distortion calculation unit 102 that calculates and calculates the surface distortion distribution by correcting the macro shape obtained from the macro shape measurement unit 7, the pattern projection unit 104, the image buffer unit 103, and the surface distortion calculation unit 102. And a sequence control unit 101 for controlling time.
よって、シーケンスコントロール部１０１の制御動作により、プロジェクタ６はスクリーン２へ複数種の明暗パタンを切替えて投影し、表示することが可能であり、マクロ形状測定手段７は対象の形状を測定するとともに形状情報をパソコンに転送し、また、面歪演算部１０２が面歪分布演算手段として動作することが可能である。 Therefore, by the control operation of the sequence control unit 101, the projector 6 can switch and project a plurality of types of light and dark patterns on the screen 2, and can display them. The macro shape measuring means 7 measures the shape of the object and the shape. The information can be transferred to a personal computer, and the surface strain calculation unit 102 can operate as a surface strain distribution calculation means.
なお、図１に示すパタン表示手段としては、プロジェクタ６およびスクリーン２に替えて、フラットディスプレイを用いて、明暗パタンを直接表示するよう構成してもよい。また、図１および図２では、パタン表示手段の表示面をy軸に対して直交させた配置形態とした場合を例に挙げて説明したが、例えば図１４に示したように、前記表示面は必ずしもy軸に対して直交させる必要はなく、適宜の配置形態とした場合においても、それぞれの配置形態に対応した幾何学的関係から、前記(1)〜(6)式と類似した形の面歪演算式（画像表示手段、撮影手段、測定対象を置く基準面、の幾何学的関係式）を導くことができ、それらを用いて面歪を演算することが可能である。 The pattern display means shown in FIG. 1 may be configured to directly display the light / dark pattern using a flat display instead of the projector 6 and the screen 2. 1 and 2, the case where the display surface of the pattern display unit is arranged to be orthogonal to the y-axis has been described as an example. However, for example, as shown in FIG. Is not necessarily orthogonal to the y-axis, and even in the case of an appropriate arrangement form, from the geometrical relationship corresponding to each arrangement form, the shape similar to the above formulas (1) to (6) A surface distortion calculation formula (geometric relational expression of an image display means, a photographing means, and a reference plane on which a measurement target is placed) can be derived, and the surface distortion can be calculated using them.
本発明の面歪演算におけるマクロ3次元形状補正の内容につき、さらに詳細に説明する。 図３は、図２に示した面歪演算部102の内部の構成例を示す図である。 The details of the macro three-dimensional shape correction in the surface distortion calculation of the present invention will be described in more detail. FIG. 3 is a diagram illustrating an internal configuration example of the surface distortion calculation unit 102 illustrated in FIG.
マクロ形状補正機能を備えた面歪演算部102は、マクロ形状データバッファ301、面歪量補正手段302およびゆがみ補正手段303とからなるマクロ形状補正手段300と、面歪分布演算手段201と、視点変更マッピング手段202と、曲率演算手段203とを備える。 A surface distortion calculation unit 102 having a macro shape correction function includes a macro shape correction unit 300 including a macro shape data buffer 301, a surface distortion amount correction unit 302, and a distortion correction unit 303, a surface distortion distribution calculation unit 201, and a viewpoint. Change mapping means 202 and curvature calculation means 203 are provided.
マクロ形状測定手段7によって測定されたマクロ形状データは、マクロ形状データバッファ301に転送され一旦記憶される。面歪演算にあたって、面歪分布演算手段201は、画像バッファ部103に一時記憶されている複数の明暗パタンの鏡像画像をもとに、測定対象表面の各点ごとにスクリーン上の対応点のアドレス（X,Z）を求め、(5),(6)式に基づいて測定対象表面の各点の面歪量すなわち面歪分布を演算する。 The macro shape data measured by the macro shape measuring means 7 is transferred to the macro shape data buffer 301 and temporarily stored. In calculating the surface distortion, the surface distortion distribution calculating means 201 uses the mirror image of a plurality of light and dark patterns temporarily stored in the image buffer unit 103 for each point on the surface to be measured and the address of the corresponding point on the screen. (X, Z) is obtained, and the surface strain amount, that is, the surface strain distribution, of each point on the measurement target surface is calculated based on the equations (5) and (6).
このとき、面歪量補正手段302は、マクロ形状zを用いて画面内の見かけのxy座標を真のxy座標に変換して面歪分布演算手段201に与えることにより、マクロ3次元形状の影響を補正した面歪量の演算を可能とする。求められた面歪分布は視点変更マッピング手段202に送られ、測定対象を斜めから見たテレビカメラ座標系での面歪分布を、測定対象を正面から見た座標系での面歪分布にマッピングする。 At this time, the surface distortion amount correction unit 302 converts the apparent xy coordinate in the screen into a true xy coordinate using the macro shape z and gives it to the surface strain distribution calculation unit 201, thereby affecting the influence of the macro three-dimensional shape. This makes it possible to calculate the amount of surface distortion corrected. The obtained surface distortion distribution is sent to the viewpoint changing mapping means 202, and the surface distortion distribution in the TV camera coordinate system when the measurement object is viewed from an oblique direction is mapped to the surface distortion distribution in the coordinate system when the measurement object is viewed from the front. To do.
このとき、ゆがみ補正手段303は、マクロ形状zを用いて画面内の見かけのxy座標を真のxy座標に変換して視点変更マッピング手段202に与えることにより、マクロ3次元形状の影響を補正したマッピングを可能とする。求めた面歪分布は、測定対象表面の歪み形状のgradient分布を表しており、gradient面歪分布として出力される。さらに、曲率演算手段203は、求めたgradient面歪分布を、さらに測定方向に微分処理を行うことにより、歪形状の曲率分布を演算し、曲率面歪として出力する。 At this time, the distortion correction unit 303 corrects the influence of the macro three-dimensional shape by converting the apparent xy coordinate in the screen into the true xy coordinate using the macro shape z and giving it to the viewpoint change mapping unit 202. Enable mapping. The obtained surface strain distribution represents a gradient distribution of the strain shape on the surface to be measured, and is output as a gradient surface strain distribution. Further, the curvature calculation means 203 performs a differentiation process on the obtained gradient surface strain distribution in the measurement direction, thereby calculating a distortion distribution of the curvature shape and outputs it as a curvature surface strain.
次に、本発明のマクロ3次元形状補正におけるマクロ形状と面歪分布との対応づけにつき、以下に補足する。 Next, the correspondence between the macro shape and the surface strain distribution in the macro three-dimensional shape correction of the present invention will be supplemented below.
本発明におけるマクロ形状測定手段は、測定対象表面上の明暗パタンの鏡像を撮影する撮影手段（以降、「面歪観察用撮影手段」または「面歪観察用テレビカメラ」と記す）によって得られる画像の各画素に対応する測定対象上のすべての点の凹凸形状が求められる手段であれば、測定方式は問わない。 The macro shape measuring means in the present invention is an image obtained by a photographing means for photographing a mirror image of a light and dark pattern on the surface to be measured (hereinafter referred to as “surface distortion observation photographing means” or “surface distortion observation television camera”). Any measurement method may be used as long as it is a means by which the concavo-convex shape of all points on the measurement object corresponding to each of the pixels is obtained.
ただ、面歪観察用テレビカメラの各画素との対応づけの便に配慮すると、面歪観察と同様のテレビカメラを用いた方式、すなわち、いわゆる光切断法・空間コード化法・位相シフト法などとして知られる測定方式が「なじみ」がよい。これらの方式は、測定対象表面に斜めからスリット光やストライプパタンを照射し、測定対象の凹凸形状に起因するパタンのゆがみをテレビカメラで撮影し、三角測量原理に基づいて画像解析して形状を求める。 However, considering the convenience of mapping with each pixel of the TV camera for surface distortion observation, a method using a TV camera similar to surface distortion observation, that is, the so-called light cutting method, spatial coding method, phase shift method, etc. The measurement method known as “Good” is good. In these methods, the surface of the object to be measured is irradiated with slit light or a stripe pattern from an angle, the distortion of the pattern due to the uneven shape of the object to be measured is photographed with a TV camera, and the shape is analyzed by image analysis based on the triangulation principle. Ask.
図１０は、面歪観察光学系とマクロ形状測定光学系の第1の構成例を示す図である。この構成例では、面歪観察用の撮影手段とマクロ形状測定用の撮像手段として、1台のテレビカメラを共用する。この構成を用いれば、測定対象表面の各点に対応するそれぞれの画素ごとに、面歪情報とマクロ形状情報とが完全に対応づけて得られるので、そのまま面歪情報のマクロ形状補正が可能である。 FIG. 10 is a diagram illustrating a first configuration example of the surface distortion observation optical system and the macro shape measurement optical system. In this configuration example, one television camera is shared as an imaging unit for surface distortion observation and an imaging unit for macro shape measurement. By using this configuration, the surface distortion information and the macro shape information can be obtained by completely associating each pixel corresponding to each point on the surface to be measured. is there.
図１１は、面歪観察光学系とマクロ形状測定光学系の第２の構成例を示す図である。この構成例では、面歪観察用の撮影手段とマクロ形状測定用の撮像手段とはそれぞれ異なるテレビカメラを備え、プロジェクタ#2から投影した同一の明暗パタンを、面歪観察用テレビカメラ#1とマクロ形状測定用テレビカメラ#2とでそれぞれ撮影することにより、測定対象表面各点ごとの面歪情報とマクロ形状情報との対応づけを行う。 FIG. 11 is a diagram illustrating a second configuration example of the surface distortion observation optical system and the macro shape measurement optical system. In this configuration example, the imaging means for surface distortion observation and the imaging means for macro shape measurement are provided with different TV cameras, and the same light and dark pattern projected from the projector # 2 is combined with the surface distortion observation TV camera # 1. Each of the surface distortion information and the macro shape information is associated with each point on the measurement target surface by shooting with the macro shape measurement television camera # 2.
上述した第1の構成と第２の構成とを比較する。先ず、第１の構成は、面歪情報とマクロ形状情報との特段の位置対応づけ手段が本質的に必要なくシステムの構成が簡便であるが、一方で、マクロ形状測定用テレビカメラが測定対象を斜めから見ているため、形状測定における較正がやや難しい。そして、第２の構成は、マクロ形状測定手段として、テレビカメラ#2とプロジェクタ#2とからなる予め較正された測定装置をそのまま組み込む場合に有利であるが、面歪情報とマクロ形状情報との位置の対応づけは、やや面倒である。 The first configuration and the second configuration described above are compared. First, the first configuration essentially requires no special means for associating surface distortion information with macro shape information, and the system configuration is simple. On the other hand, a TV camera for macro shape measurement is a measurement target. Since it is seen from diagonally, calibration in shape measurement is somewhat difficult. The second configuration is advantageous when a pre-calibrated measuring device including the television camera # 2 and the projector # 2 is incorporated as it is as the macro shape measuring means. Position mapping is a little cumbersome.
なお、テレビカメラを用いたマクロ形状測定方式の中でも、特に、特許文献１０に開示されているマクロ形状測定方式（図１２，図１３）は、投影パタン・投影方法が本発明と同一であり、パタン生成・画像合成のソフトウェアの共用が可能であることから、本発明の面歪測定方式と極めて「なじみ」のよい方式である。 Among the macro shape measurement methods using a television camera, in particular, the macro shape measurement method (FIGS. 12 and 13) disclosed in Patent Document 10 has the same projection pattern and projection method as the present invention. Since it is possible to share software for pattern generation and image synthesis, this is a method that is extremely “familiar” with the surface distortion measurement method of the present invention.
次に、本発明におけるパタン表示手段で表示する明暗パタンにつき、いま少し詳説する。 パタン表示手段で表示する明暗パタンとしては、例えば前述の簡略化された(5),(6)式による面歪分布演算を可能とするために、スクリーン上（あるいはフラットディスプレイ画面上）の原像位置座標(X,Z)と、測定対象表面上の座標(x,y,z)と、テレビカメラで撮影した鏡像位置座標(x',y')との対応付けが幾何学的関係から可能なようにコード化されたものであれば何でもよい。 Next, the light and dark patterns displayed by the pattern display means in the present invention will be described in detail. The light / dark pattern displayed by the pattern display means is, for example, an original image on the screen (or on the flat display screen) in order to enable the surface distortion distribution calculation according to the simplified equations (5) and (6) described above. Correspondence between position coordinates (X, Z), coordinates (x, y, z) on the surface to be measured, and mirror image position coordinates (x ', y') taken with a TV camera is possible from a geometric relationship Anything is possible as long as it is coded.
たとえば、２値コードパタン投影法用の複数種のストライプ配列パタンを、前記マルチスリット走査と組み合わせた明暗パタンも知られている（特許文献１０参照）。これによれば、複数種のストライプ配列パタンのうちの最小ストライプ幅の各区分を、マルチスリット内のスリットの１本ずつで同時に走査することにより、各区分内でのさらに精細な位置を短時間で認識することができ、原像位置座標(X,Z)と鏡像位置座標(x',y')とのさらに精細な対応付けが可能である。 For example, a light / dark pattern in which a plurality of types of stripe arrangement patterns for binary code pattern projection is combined with the multi-slit scanning is also known (see Patent Document 10). According to this, by scanning each section of the minimum stripe width among the plurality of types of stripe arrangement patterns simultaneously by one of the slits in the multi-slit, a finer position in each section can be scanned in a short time. The original image position coordinates (X, Z) and the mirror image position coordinates (x ′, y ′) can be associated more finely.
そこで、本発明では、複数種の明暗パタンとして、２値コードパタン投影法用の複数種のストライプ配列パタンと、最小ストライプ幅以上の範囲を走査する複数本のスリットとを用いることが好ましい。 Therefore, in the present invention, it is preferable to use a plurality of types of stripe arrangement patterns for the binary code pattern projection method and a plurality of slits that scan a range equal to or greater than the minimum stripe width as the plurality of types of light and dark patterns.
この場合、画像処理の簡便さの観点から、複数種のストライプ配列パタンは、ストライプ配列パタン全体を２ｎ等分して明暗交互に配列したものが好ましい。また、複数本のスリット（マルチスリット）は、スリットの延びる方向と直交する方向に走査されることが好ましい。 In this case, from the viewpoint of simplicity of image processing, it is preferable that the plurality of types of stripe arrangement patterns are divided into 2n equal parts and arranged alternately in light and dark. The plurality of slits (multi slits) are preferably scanned in a direction orthogonal to the direction in which the slits extend.
このような明暗パタンの一例として、左右方向（X方向）に延びる、５種類のストライプ配列パタン及び１種類のマルチスリットを、図６に示す。ストライプ配列パタンは、ストライプ配列パタン全体を２ｎ等分して明暗交互に配列したものであり、この例ではｎ＝１〜５としている。すなわち、ｎ＝１，２，３，４，５がそれぞれ図６中の左側の1/2,1/4,1/8,1/16,1/32と記した５種類のパタンに対応する。これら５種類のストライプ配列パタンは順次切替えて表示されるので、鏡像画像上のy座標（鏡像位置座標y）とパタン表示手段上のZ座標（原像位置座標Z）との粗い対応付け（２値コード区分間での対応付け）が可能である。 As an example of such a light / dark pattern, FIG. 6 shows five types of stripe arrangement patterns and one type of multi-slit extending in the left-right direction (X direction). The stripe arrangement pattern is obtained by equally dividing the entire stripe arrangement pattern by 2n and arranging it alternately in light and dark. In this example, n = 1 to 5. That is, n = 1, 2, 3, 4, and 5 correspond to the five types of patterns denoted as 1/2, 1/4, 1/8, 1/16, and 1/32 on the left side in FIG. . Since these five types of stripe arrangement patterns are sequentially switched and displayed, a rough association (2) between the y coordinate (mirror image position coordinate y) on the mirror image and the Z coordinate (original image position coordinate Z) on the pattern display means. Association between value code categories) is possible.
一方、マルチスリットは、図６中の右端に示されるように、複数本のスリットが、そのスリット間隔を前記最小ストライプ幅（1/32のストライプ配列パタンのストライプ幅）のピッチで配列されてなる。なお、1/32のストライプ配列パタンまでを投影するのは、一義的なものではなく、面歪が大きい場合、それ以前に鏡像上のどのストライプが原像上のどのストライプに対応するのかわからなくなってしまう場合もあるので、何処まで最小ストライプ幅を小さくしたものを表示して投影するかは、人為判断などで適宜調整してよい。 On the other hand, as shown at the right end in FIG. 6, the multi-slit is formed by arranging a plurality of slits at a pitch of the minimum stripe width (the stripe width of the 1/32 stripe arrangement pattern). . Note that projecting up to 1/32 stripe arrangement pattern is not unique, and if the surface distortion is large, it is impossible to know which stripe on the mirror image corresponds to which stripe on the original image before that. Therefore, it is possible to appropriately adjust to what extent the minimum stripe width is reduced to be displayed and projected by human judgment or the like.
このマルチスリットは、スリットの延びる方向と直交する方向に最小ストライプ幅のピッチを維持しつつ、最小ストライプ幅以上、好ましくは最小ストライプ幅よりもやや大きく、最小ストライプ幅の１．３倍以下、で走査する。最小ストライプ幅よりもやや大きく走査するのが好ましい理由は、境界が確実に走査され、同部の面歪の測定が確実に行えるからである。この例では、スリットの１本ずつが前記最小ストライプ幅の各区分を走査するので、前記最小ストライプ幅の各区分に対応する同一２値コード区分内での、鏡像位置座標yと原像位置座標Zとの精細な対応付けが可能である。 The multi-slit is not less than the minimum stripe width, preferably slightly larger than the minimum stripe width and not more than 1.3 times the minimum stripe width, while maintaining the minimum stripe width pitch in the direction orthogonal to the slit extending direction. Scan. The reason why it is preferable to scan slightly larger than the minimum stripe width is that the boundary is surely scanned and the surface distortion of the same portion can be reliably measured. In this example, since each slit scans each section of the minimum stripe width, the mirror image position coordinate y and the original image position coordinates in the same binary code section corresponding to each section of the minimum stripe width. Fine association with Z is possible.
なお、面歪分布の測定方向を、互いに直交する二方向にとる場合、後で行う一方向の測定では、先に行った他方向の測定に用いた複数種のストライプ配列パタン、及びマルチスリットに替えて、延びる方向が前記複数種のストライプパタン及び前記複数本のスリットと直交する方向の複数種のストライプパタン及び複数本のスリットを用いると好ましい。 In addition, when the measurement direction of the surface strain distribution is taken in two directions orthogonal to each other, in the one-direction measurement performed later, a plurality of types of stripe arrangement patterns and multi-slits used for the measurement in the other direction performed earlier are used. Instead, it is preferable to use a plurality of types of stripe patterns and a plurality of slits whose extending directions are orthogonal to the plurality of types of stripe patterns and the plurality of slits.
図７〜図９に、本発明を適用して、複数の明暗パタンの鏡像から面歪分布を演算した例を示す。 FIGS. 7 to 9 show examples in which the present invention is applied and the surface strain distribution is calculated from mirror images of a plurality of light and dark patterns.
図７は、図６の明暗パタンを用いたストライプ配列パタン切替に対応するコードパタン投影の各段階、及びマルチスリット走査の各段階での、測定対象表面上に写った明暗パタンの鏡像の撮影画像を示す図である。 FIG. 7 is a photographed image of a mirror image of the light and dark pattern reflected on the measurement target surface at each stage of code pattern projection corresponding to the stripe arrangement pattern switching using the light and dark pattern of FIG. 6 and at each stage of multi-slit scanning. FIG.
図８の（ａ）は図７のコードパタン投影の各段階での撮影画像を画像処理して得られた画素のもつデータ（Z方向の粗い位置座標に対応）を明暗で表した表示画像を示す図、（ｂ）は図７のマルチスリット走査の各段階での撮影画像を画像処理して得られた画素のもつデータ（Z方向の粗い位置座標の区分内での精細な位置座標に対応）を明暗で表した表示画像を示す図、（ｃ）は（ａ）及び（ｂ）の画素のもつデータを合成してなる画素のもつデータ（Z方向の精細な位置に対応）を明暗で表した表示画像を示す図である。さらに、 図９は、図８（ｃ）からy方向の面歪分布を演算した結果を明暗で表した表示画像を示す図である。 FIG. 8A shows a display image in which the data (corresponding to the coarse position coordinates in the Z direction) of pixels obtained by image processing of the captured image at each stage of the code pattern projection of FIG. FIG. 7B shows data of pixels obtained by performing image processing on the captured image at each stage of multi-slit scanning in FIG. 7 (corresponding to fine position coordinates in a coarse position coordinate section in the Z direction). ) Is a diagram showing a display image in light and dark, and (c) is data in pixels (corresponding to fine positions in the Z direction) formed by combining the data of the pixels in (a) and (b). It is a figure which shows the displayed display image. Further, FIG. 9 is a diagram showing a display image in which the result of calculating the surface strain distribution in the y direction from FIG.
上記本発明によれば、特許文献１０のように、角度θの分解能の限界からくる制約が解消され、パタン表示手段と撮影手段の画素の精細さ次第で、例えば自動車の外板表面のような鏡面乃至反鏡面の数十μm程度のわずかな凹凸に相当する面歪分布の定量的測定および評価が可能になる。 According to the present invention, as in Patent Document 10, the restriction due to the resolution limit of the angle θ is eliminated, and depending on the fineness of the pixels of the pattern display means and the imaging means, for example, the surface of the outer plate of an automobile It is possible to quantitatively measure and evaluate the surface strain distribution corresponding to slight unevenness of about several tens of μm on the mirror surface or anti-mirror surface.
次に、本発明の実施例の一つを示す。本実施例では、図１に示した測定装置を用い、自動車用鋼板をプレス成形後、塗装したサンプルを測定対象として、２次微分処理することで表面傾きの変化率(＝曲率)を算出し、面歪発生位置および発生量を定量的に評価した。 Next, one embodiment of the present invention will be described. In the present embodiment, the rate of change in surface inclination (= curvature) is calculated by subjecting a coated sample to press measurement after a press forming of a steel plate for an automobile and subjecting it to a second derivative process. The surface distortion generation position and generation amount were quantitatively evaluated.
図１７および図１８は、本実施例における全体処理フローを示す図である。図１７は、全体処理フロー（その１）として先ず３次元形状処理を行うものであり、その後図１８全体処理フロー（その２）として面ひずみ測定処理を順に行う。 17 and 18 are diagrams showing an overall processing flow in the present embodiment. In FIG. 17, first, the three-dimensional shape processing is performed as the entire processing flow (part 1), and then the surface strain measurement processing is sequentially performed as the entire processing flow (part 2) in FIG.
図１７から順に説明していくと、先ずStep100で直接投影手段の準備を行う。測定サンプルに投影されたパタンをカメラで撮影し、その反射パタンをパソコンに画像として取り込む。図２０は、直接投影パタン記録画像(投影された明暗パタン)の例を示す図である。 To explain in order from FIG. 17, first, in step 100, direct projection means are prepared. The pattern projected on the measurement sample is photographed with a camera, and the reflection pattern is captured as an image on a personal computer. FIG. 20 is a diagram showing an example of a direct projection pattern recording image (projected light / dark pattern).
そして、図６に示したようにストライプパタン配列を切替え、
Step101〜Step106の処理は前述の粗い対応付けを、Step107〜Step112の処理は、前述の精細な対応付けをそれぞれ行い、Step113およびStep114により、プロジェクタとテレビカメラの位置関係から３次元形状を算出し、画像各点の３次元座標x,y,zを３次元データとして保存する。図２１は、このようにして計算した３次元形状データのX座標分布を濃淡画像として表示した図である。この測定の場合では、X座標を図の左から右の方向に定義しており，濃淡が薄くなるほどX座標値が大きいことを示している。
Then, the stripe pattern arrangement is switched as shown in FIG.
The processing from Step 101 to Step 106 performs the above-described rough association, the processing from Step 107 to Step 112 performs the above-described fine association, and Step 113 and Step 114 calculate a three-dimensional shape from the positional relationship between the projector and the TV camera. The three-dimensional coordinates x, y, z of each point of the image are stored as three-dimensional data. FIG. 21 is a diagram in which the X coordinate distribution of the three-dimensional shape data calculated in this way is displayed as a grayscale image. In the case of this measurement, the X coordinate is defined in the direction from the left to the right in the figure, and the X coordinate value increases as the shading decreases.
図２２も同様に、計算された３次元形状のY座標を濃淡画像として表示したものである。この測定の場合では、Y座標を手前から奥行きに向かって定義している。図２３は同じように３次元座標のZ座標を濃淡画像として表示したものである。Z座標はサンプルの高さ方向を示しており、濃淡が薄くなるほど高さが高いことを示している。図２１、２２、および２３の濃淡分布が示すように、パネル形状に則してX,Y,Z座標とも連続的に変化しており、測定誤差が少ない測定が実現できていることが分かる。 Similarly in FIG. 22, the calculated Y coordinate of the three-dimensional shape is displayed as a grayscale image. In this measurement, the Y coordinate is defined from the near side to the depth. FIG. 23 similarly shows the three-dimensional Z coordinate as a grayscale image. The Z coordinate indicates the height direction of the sample, and the height is higher as the shading is thinner. As shown in the light and shade distributions of FIGS. 21, 22, and 23, it can be seen that the X, Y, and Z coordinates change continuously according to the panel shape, and measurement with a small measurement error can be realized.
次に、図１８の面ひずみ測定処理に移る。先ず、Step200でスクリーン反射投影手段の準備を行う。スクリーンに投影されたパタンがサンプル表面に映り込む画像をカメラで撮影し、その反射パタンをパソコンに画像として取り込む。図２４は、スクリーンから反射された明暗パタンの例を示す図である。図２０に示した直接投影パタン画像と比較すると、図２４はよりパネル表面の歪みが強調されて表示されていることが分かる。 Next, the process proceeds to the surface strain measurement process of FIG. First, in step 200, a screen reflection projection unit is prepared. An image in which the pattern projected on the screen is reflected on the sample surface is photographed with a camera, and the reflection pattern is captured as an image on a personal computer. FIG. 24 is a diagram illustrating an example of the light / dark pattern reflected from the screen. Compared with the direct projection pattern image shown in FIG. 20, it can be seen that FIG. 24 is displayed with the panel surface distortion more emphasized.
そして、図６に示したようにストライプパタン配列を切替え、図１７に示した処理と同様に、
Step201〜Step206の処理は前述の粗い対応付けを、Step207〜Step212の処理は、前述の精細な対応付けをそれぞれ行う。その後、Step213およびStep214により、記憶させておいた
３次元形状データとスクリーン投影位置の関係から、面の傾きすなわち断面形状の一次微分値(以下、TRiDY値とも称する)を算出し、断面ごとに面の傾き分布を曲線近似する。
Then, the stripe pattern arrangement is switched as shown in FIG. 6 and, similarly to the processing shown in FIG.
The processing from Step 201 to Step 206 performs the above-described rough association, and the processing from Step 207 to Step 212 performs the above-described fine association. After that, in Step 213 and Step 214, a first-order differential value (hereinafter also referred to as TRiDY value) of the slope of the surface, that is, the cross-sectional shape is calculated from the relationship between the stored three-dimensional shape data and the screen projection position. Approximate the slope distribution of.
図２５は、本手法により計算されたTRiDY値の分布を示すものである。さらに図１９は、断面形状の一次微分値についての近似曲線の例を示す図である。(a)は、ドア取手部周辺の面傾き分布を、(b)は、断面Ａ−ＡＡでのTRiDY値と近似曲線を示す図である。 FIG. 25 shows the distribution of TRiDY values calculated by this method. Further, FIG. 19 is a diagram showing an example of an approximate curve for the first-order differential value of the cross-sectional shape. (a) is a surface inclination distribution around a door handle part, (b) is a figure which shows the TRiDY value and the approximate curve in the cross section A-AA.
この例では、TRiDY値の近似曲線f’(x)として、以下の(10)式を最小２乗法を用いて求めている。近似範囲を、面ひずみ官能評価結果と最も合う50mmにとれば、図１９(b)に示すように良い近似ができていることが分る。なお、近似曲線の例として、最小２乗法を用いた多項式の例を示したが、本発明はこれに限られるものでない。 In this example, the following equation (10) is obtained as an approximate curve f ′ (x) of the TRiDY value using the least square method. If the approximate range is 50 mm which best matches the surface strain sensory evaluation result, it can be seen that good approximation is achieved as shown in FIG. In addition, although the example of the polynomial using the least square method was shown as an example of an approximated curve, this invention is not limited to this.
Step215では、(10)式で求めたTRiDY値の近似曲線f’(x)をさらに、以下の(11)式のよう微分して、２次微分値(曲率) f''(x)を求める。この処理をすべての断面に対して繰り返し、面の２次微分値分布を求める。 In Step 215, the approximated curve f ′ (x) of the TRiDY value obtained by equation (10) is further differentiated as in the following equation (11) to obtain the second derivative (curvature) f ″ (x). . This process is repeated for all cross sections to obtain the second derivative distribution of the surface.
図１６は、断面形状と二次微分値を対応させた例を示す図である。二次微分値が負の値で極小値になっている部分(図中、実線の丸で囲った位置)では、断面形状が凸曲面であり、反対に、二次微分値が正の値で極大値になっている部分(図中、破線の丸で囲った位置)では、断面形状が凹曲面であることが判る。このように二次微分値を求めることによって、面の凹凸変化すなわち面歪発生位置および発生量を定量的に評価できる。なお、近似曲線を用いるのは、デジタル値をそのまま用いてデジタル微分を行うことも可能であるが、その際生ずるデジタルノイズの低減を図るためである。 FIG. 16 is a diagram illustrating an example in which a cross-sectional shape and a secondary differential value are associated with each other. In the portion where the secondary differential value is negative and minimal (the position surrounded by the solid circle in the figure), the cross-sectional shape is a convex curved surface, and conversely, the secondary differential value is positive. It can be seen that the cross-sectional shape is a concave curved surface at the portion having the maximum value (the position surrounded by a broken-line circle in the figure). Thus, by calculating | requiring a secondary differential value, the uneven | corrugated change of a surface, ie, a surface distortion generation | occurrence | production position, and generation amount can be evaluated quantitatively. The approximate curve is used for digital differentiation using the digital value as it is, but in order to reduce the digital noise generated at that time.
そして、最終的に２次微分値のカラー(または濃淡)マップを表示(Step216)して処理を終了する。 図２６は、本発明に測定・解析された３次元形状情報を有する面ひずみ２次微分解析結果を示す図である。取手周囲に二次微分値が大きい領域が表示されているが、この領域は、熟練者の官能評価において面ひずみ発生位置と特定された位置と一致している。 Finally, a color (or shade) map of the secondary differential value is displayed (Step 216), and the process is terminated. FIG. 26 is a diagram showing a second-order surface strain analysis result having three-dimensional shape information measured and analyzed according to the present invention. An area having a large second derivative value is displayed around the handle, and this area coincides with the position specified as the surface strain generation position in the sensory evaluation of the expert.
本発明では、２次微分値のカラー(または濃淡)マップにより、面歪発生位置および発生量を定量的に評価できており、その位置も３次元形状データを利用することで容易に解析可能である。 In the present invention, the position and amount of surface distortion can be quantitatively evaluated by the color (or light and shade) map of the secondary differential value, and the position can be easily analyzed by using the three-dimensional shape data. is there.
以上の実施例からもわかるように、本発明によれば、鏡面乃至半鏡面状の測定対象表面上の、観察可能なあらゆる点での面歪分布を、３次元形状を考慮して、定量的に、また、高速・高精度に測定することができるとともに、測定対象表面の傾きを2次微分処理することで表面傾きの変化率を算出し、面ひずみ発生位置および発生量を定量的に評価することが可能である。 As can be seen from the above embodiments, according to the present invention, the surface strain distribution at any observable point on the specular or semi-specular surface to be measured is quantitatively considered in consideration of the three-dimensional shape. In addition, high-speed and high-accuracy measurement is possible, and the rate of change in surface tilt is calculated by second-order differential processing of the tilt of the surface to be measured to quantitatively evaluate the position and amount of surface distortion. Is possible.
１ 測定対象
２ スクリーン（パタン表示手段）
３ テレビカメラ（撮影手段）
５ 明暗パタン
６ プロジェクタ（パタン表示手段）
７ マクロ形状測定手段
１０ パソコン（面歪分布演算手段）
１５ 点光源
２０ 基準面
１０１ シーケンスコントロール部
１０２ 面歪演算部
１０３ 画像バッファ部
１０４ パタン投影部
２０１ 面歪分布演算手段
２０２ 視点変更マッピング手段
２０３ 曲率演算手段
３００ マクロ形状補正手段
３０１ マクロ形状データバッファ
３０２ 面歪量補正手段
３０３ ゆがみ補正手段
1 Measurement object 2 Screen (pattern display means)
3 TV camera (photographing means)
5 Light / dark pattern 6 Projector (pattern display means)
7 Macro shape measuring means 10 Personal computer (surface strain distribution calculating means)
15 point light source 20 reference surface 101 sequence control unit 102 surface distortion calculation unit 103 image buffer unit 104 pattern projection unit 201 surface distortion distribution calculation unit 202 viewpoint change mapping unit 203 curvature calculation unit 300 macro shape correction unit 301 macro shape data buffer 302 surface Distortion correction means 303 Distortion correction means
Claims (13)
前記測定対象のマクロ3次元形状を測定するマクロ形状測定手段と、
測定されたマクロ3次元形状に基づいて、演算された面歪分布を補正するマクロ形状補正手段とを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定装置。 Photographing that captures a mirror image of a plurality of light and dark patterns displayed on the pattern display means that can be displayed by switching between a plurality of types of light and dark patterns and a mirror surface or a semi-specular surface to be measured And a surface on a mirror surface or a half mirror surface, characterized in that the surface distortion distribution calculating means for calculating the surface distortion distribution of the surface to be measured by performing image processing on a mirror image of a plurality of captured light and dark patterns In the strain measurement device,
Macro shape measuring means for measuring the macro three-dimensional shape of the measurement object;
An apparatus for measuring surface distortion on a mirror surface or a half mirror surface, comprising macro shape correction means for correcting the calculated surface distortion distribution based on the measured macro three-dimensional shape.
前記マクロ形状補正手段は、
前記マクロ3次元形状の面歪量への影響を補正する面歪量補正手段と、演算された面歪分布を任意の方向の視点に合せてマッピングし直して、歪みのない面歪分布パタンを得るゆがみ補正手段との、少なくとも一つを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定装置。 The apparatus for measuring surface distortion on a mirror surface or a half mirror surface according to claim 1,
The macro shape correcting means includes
Surface distortion amount correction means for correcting the influence of the macro three-dimensional shape on the surface distortion amount, and re-mapping the calculated surface distortion distribution according to the viewpoint in an arbitrary direction, thereby generating a surface distortion distribution pattern without distortion. An apparatus for measuring surface distortion on a mirror surface or a half mirror surface, comprising at least one of the obtained distortion correction means.
補正された前記面歪分布を微分処理することで表面傾きの変化率分布を算出する曲率演算手段を備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定装置。 The apparatus for measuring surface distortion on a mirror surface or a half mirror surface according to claim 1 or 2,
An apparatus for measuring surface distortion on a mirror surface or a half mirror surface, comprising curvature calculating means for calculating a change rate distribution of surface inclination by differentiating the corrected surface strain distribution.
前記パタン表示手段は、２値コードパタン投影法用の複数種のストライプ配列パタンと、最小ストライプ幅以上の範囲を走査する、１本のスリット複数本とで明暗パタンを表示できるものであることを特徴とする鏡面乃至半鏡面上の面歪の測定装置。 The apparatus for measuring surface strain on a mirror surface or half mirror surface according to any one of claims 1 to 3,
The pattern display means is capable of displaying a light / dark pattern with a plurality of types of stripe arrangement patterns for binary code pattern projection and a single slit for scanning a range of at least the minimum stripe width. An apparatus for measuring surface distortion on a specular or semi-specular surface.
前記マクロ形状測定手段は、テレビカメラを撮像手段とすることを特徴とする鏡面乃至半鏡面上の面歪の測定装置。 The apparatus for measuring surface strain on a mirror surface or half mirror surface according to any one of claims 1 to 4,
The apparatus for measuring surface distortion on a mirror surface or a half mirror surface, wherein the macro shape measurement means uses a television camera as an imaging means.
前記テレビカメラは、
面歪観察用の撮影手段とマクロ形状測定用の撮像手段とを1台のテレビカメラで共用する構成とし、測定対象表面の各点ごとにそれぞれ対応づいて得られる面歪情報とマクロ形状情報とからマクロ形状補正面歪演算を行うことを特徴とする鏡面乃至半鏡面上の面歪の測定装置。 The apparatus for measuring surface distortion on a mirror surface or a half mirror surface according to claim 5,
The TV camera is
The surface distortion observation and macro shape information are obtained by using a single TV camera for sharing the imaging means for observing the surface distortion and the imaging means for measuring the macro shape. An apparatus for measuring surface distortion on a mirror surface or a semi-mirror surface, which performs macro shape correction surface distortion calculation from
前記テレビカメラは、
面歪観察用の撮影手段とマクロ形状測定用の撮像手段とを異なるテレビカメラで構成し、マクロ形状補正において必要とされる測定対象表面各点ごとの面歪情報とマクロ形状情報との対応づけには、測定対象表面の各点の面歪観察用テレビカメラ画面上の位置とマクロ形状測定用テレビカメラ画面上の位置との対応づけを行う画面間位置対応づけ手段を備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定装置。 The apparatus for measuring surface distortion on a mirror surface or a half mirror surface according to claim 5,
The TV camera is
The imaging means for surface distortion observation and the imaging means for macro shape measurement are configured with different television cameras, and the correspondence between the surface distortion information and the macro shape information for each point on the measurement target surface required for macro shape correction. Is provided with an inter-screen position correspondence means for associating the position of each point on the measurement target surface on the television camera screen for surface distortion observation with the position on the television camera screen for macro shape measurement. Measuring device for surface distortion on mirror surface or half mirror surface.
前記測定対象のマクロ3次元形状を測定するマクロ形状測定工程と、
測定されたマクロ3次元形状に基づいて、演算された面歪分布を補正するマクロ形状補正工程とを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定方法。 Photographing that captures a mirror image of a plurality of light and dark patterns displayed in the pattern display process in which a plurality of types of light and dark patterns can be switched and displayed, and the pattern display process that appears on a mirror surface or a semi-specular surface to be measured And a surface distortion distribution calculating step of calculating a surface distortion distribution of the measurement target surface by performing image processing on a mirror image of a plurality of captured light and dark patterns In the strain measurement method,
A macro shape measurement step of measuring the macro three-dimensional shape of the measurement object;
A method of measuring surface distortion on a mirror surface or a half mirror surface, comprising a macro shape correction step of correcting the calculated surface strain distribution based on the measured macro three-dimensional shape.
前記マクロ形状補正工程は、
前記マクロ3次元形状の面歪量への影響を補正する面歪量補正工程と、演算された面歪分布を任意の方向の視点に合せてマッピングし直して、歪みのない面歪分布パタンを得るゆがみ補正工程との、少なくとも一つを備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定方法。 In the measuring method of the surface distortion on the mirror surface or half mirror surface according to claim 8,
The macro shape correction step includes
A surface distortion amount correcting step for correcting the influence of the macro three-dimensional shape on the surface distortion amount, and re-mapping the calculated surface strain distribution in accordance with a viewpoint in an arbitrary direction, thereby generating an undistorted surface strain distribution pattern. A method for measuring surface distortion on a mirror surface or a half mirror surface, comprising at least one of a distortion correction step to be obtained .
補正された前記面歪分布を微分処理することで表面傾きの変化率分布を算出する曲率演算工程を備えたことを特徴とする鏡面乃至半鏡面上の面歪の測定方法。 In the method for measuring surface strain on the mirror surface or half mirror surface according to claim 8 or 9,
A method of measuring surface strain on a mirror surface or a half mirror surface, comprising a curvature calculation step of calculating a change rate distribution of surface inclination by differentiating the corrected surface strain distribution.
前記マクロ形状測定工程は、
任意のパタンが投影可能なプロジェクタを用いて被測定対象物表面に複数本のスリット光からなるスリットパタンをスリット方向と直交する方向にシフトさせて複数回投影する工程と、
前記プロジェクタを用いてストライプの明暗の組み合わせによりパタン内の位置をコード化するための複数のストライプパタンを投影する工程と、
被測定物表面に投影された光パタンを投影方向とは異なる方向から撮影する工程と、
スリットパタンの複数の投影画像の中から各画素ごとに最大輝度を示す投影画像を選択し、その投影画像に対応するスリットの相対的投光角度を前記各画素の値とする相対投光角度画像を合成し、相対投光角度画像の各画素の値、パタン投影手段および撮像手段の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求める工程と、
ストライプパタンの複数枚の投影画像の各画素ごとに前記複数枚の投影画像における明暗変化をコード化してその画素の値とする絶対投光角度画像を合成し、絶対投光角度画像の各画素の値、パタン投影手段および撮像手段の幾何学的関係から、三角測量の原理に基づいて概略の全体形状を求める工程と、
前記精密な部分形状の演算結果と前記概略の全体形状の演算結果とを組み合わせて、被測定対象全体の精密な形状を演算する工程とからなることを特徴とする鏡面乃至半鏡面上の面歪の測定方法。 The method for measuring surface strain on a mirror surface or a half mirror surface according to any one of claims 8 to 10,
The macro shape measurement step includes
A process of projecting a plurality of times by shifting a slit pattern made of a plurality of slit lights on the surface of the measurement object using a projector capable of projecting an arbitrary pattern in a direction perpendicular to the slit direction,
Projecting a plurality of stripe patterns for encoding a position in the pattern by a combination of light and dark stripes using the projector;
Photographing the light pattern projected on the surface of the object to be measured from a direction different from the projection direction;
Relative projection angle image in which a projection image showing the maximum brightness is selected for each pixel from a plurality of projection images of the slit pattern, and the relative projection angle of the slit corresponding to the projection image is the value of each pixel Based on the triangulation principle, the precise partial shape of the region corresponding to the minimum width of the stripe pattern based on the value of each pixel of the relative projection angle image and the geometric relationship between the pattern projection means and the imaging means The process of seeking
For each pixel of the plurality of projected images of the stripe pattern, an absolute projection angle image is synthesized by encoding the change in brightness in the plurality of projected images and setting the value of the pixel, and each pixel of the absolute projection angle image is synthesized. Obtaining a rough overall shape based on the principle of triangulation from the geometric relationship between values, pattern projection means and imaging means;
A process of calculating a precise shape of the entire object to be measured by combining the calculation result of the precise partial shape and the calculation result of the general overall shape, and a surface distortion on a mirror surface or a half mirror surface, Measuring method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007061242A JP4998711B2 (en) | 2007-03-12 | 2007-03-12 | Apparatus and method for measuring surface distortion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007061242A JP4998711B2 (en) | 2007-03-12 | 2007-03-12 | Apparatus and method for measuring surface distortion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008224341A JP2008224341A (en) | 2008-09-25 |
| JP4998711B2 true JP4998711B2 (en) | 2012-08-15 |
Family
ID=39843154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007061242A Active JP4998711B2 (en) | 2007-03-12 | 2007-03-12 | Apparatus and method for measuring surface distortion |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4998711B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110763157A (en) * | 2019-10-09 | 2020-02-07 | 天津大学 | Mirror image H-shaped steel contour dimension measuring method |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010164350A (en) * | 2009-01-14 | 2010-07-29 | Ckd Corp | Three-dimensional measuring device |
| JP5453352B2 (en) * | 2011-06-30 | 2014-03-26 | 株式会社東芝 | Video display device, video display method and program |
| CN103175851B (en) * | 2011-12-21 | 2015-01-07 | 北京兆维电子(集团)有限责任公司 | Calibrating tool and calibrating method for multi-camera scanning system |
| DE102014108643B3 (en) * | 2014-06-19 | 2015-06-25 | Lavision Gmbh | Method for determining a spatial displacement vector field |
| US10289895B2 (en) | 2014-10-21 | 2019-05-14 | Isra Surface Vision Gmbh | Method and device for determining a three-dimensional distortion |
| DE102014115331A1 (en) * | 2014-10-21 | 2016-04-21 | Isra Surface Vision Gmbh | Method and device for determining a three-dimensional distortion |
| CN105387819B (en) * | 2015-12-27 | 2017-10-13 | 河北工业大学 | Reflective object 3 D measuring method and device based on streak reflex method |
| CN106023234B (en) * | 2016-06-08 | 2019-01-08 | 南京航空航天大学 | A kind of linear array CCD camera alignment adjusting method |
| CN113109346A (en) * | 2021-03-08 | 2021-07-13 | 中国第一汽车股份有限公司 | Automatic surface quality detection system and method for automobile panel plate |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0797024B2 (en) * | 1987-12-22 | 1995-10-18 | 旭硝子株式会社 | Reflection image distortion measurement method |
| JP3015615B2 (en) * | 1993-02-24 | 2000-03-06 | トヨタ自動車株式会社 | Surface strain quantitative evaluation device |
| JP4347614B2 (en) * | 2003-06-10 | 2009-10-21 | Ｊｆｅテクノリサーチ株式会社 | Measuring apparatus and measuring method for three-dimensional curved surface shape |
| JP4730836B2 (en) * | 2005-09-15 | 2011-07-20 | Ｊｆｅスチール株式会社 | Apparatus and method for measuring surface distortion |
-
2007
- 2007-03-12 JP JP2007061242A patent/JP4998711B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110763157A (en) * | 2019-10-09 | 2020-02-07 | 天津大学 | Mirror image H-shaped steel contour dimension measuring method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008224341A (en) | 2008-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4998711B2 (en) | Apparatus and method for measuring surface distortion | |
| JP4730836B2 (en) | Apparatus and method for measuring surface distortion | |
| JP4957291B2 (en) | Apparatus and method for measuring surface distortion | |
| JP5252820B2 (en) | 3D measurement method and 3D shape measurement apparatus using the same | |
| JP5375201B2 (en) | 3D shape measuring method and 3D shape measuring apparatus | |
| JP2004109106A (en) | Method and apparatus for inspecting surface defect | |
| KR20100015475A (en) | Geometry measurement instrument and method for measuring geometry | |
| CN112815843B (en) | On-line monitoring method for printing deviation of workpiece surface in 3D printing process | |
| KR20190124452A (en) | Apparatus for weld bead detecting and method for detecting welding defects of the same | |
| JP6937642B2 (en) | Surface evaluation method and surface evaluation device | |
| JP5385703B2 (en) | Inspection device, inspection method, and inspection program | |
| JP2007322162A (en) | Three-dimensional shape measuring apparatus and three-dimensional shape measuring method | |
| JP2010216870A (en) | Apparatus and method for measuring surface strain | |
| CN102889864A (en) | Detection system for tower shape of object with strip coil edge and detection method thereof | |
| JP2012013592A (en) | Calibration method for three-dimensional shape measuring machine, and three-dimensional shape measuring machine | |
| JP2012237613A (en) | Shape measuring device and shape measuring method | |
| JPH0875542A (en) | Method for measuring quantity of light for display pixel, and method and apparatus for inspecting display screen | |
| JP5136108B2 (en) | 3D shape measuring method and 3D shape measuring apparatus | |
| JP2009204382A (en) | Mtf measuring method and mtf measuring instrument | |
| JP2017194380A (en) | Inspection device, recording medium and program | |
| KR101833245B1 (en) | METHOD AND SYSTEM FOR CALIBRATION OF SURFACE MEASUREMENT DEVICE USING Phase measuring deflectometry | |
| Schoenleber et al. | Fast and flexible shape control with adaptive LCD fringe masks | |
| JP2005152255A (en) | Human body posture measuring apparatus | |
| JP6486010B2 (en) | Shape measuring apparatus and shape measuring method | |
| JP6247191B2 (en) | Perspective distortion measuring apparatus and perspective distortion measuring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100125 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20120321 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120418 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120501 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4998711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150525 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |