JP2016224485A - Marker analysis method - Google Patents
Marker analysis method Download PDFInfo
- Publication number
- JP2016224485A JP2016224485A JP2015106891A JP2015106891A JP2016224485A JP 2016224485 A JP2016224485 A JP 2016224485A JP 2015106891 A JP2015106891 A JP 2015106891A JP 2015106891 A JP2015106891 A JP 2015106891A JP 2016224485 A JP2016224485 A JP 2016224485A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- point
- pair
- analysis method
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、マーカーの解析方法に関する。より具体的には、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカーの解析方法に好適なものである。 The present invention relates to a marker analysis method. More specifically, it is suitable for an AR (Augmented Reality) marker analysis method.
現実世界に計算機で生成した仮想情報を付与するための拡張現実感技術において、ＡＲマーカーを用いた手法が提案されてきている。この技術では、カメラ等の撮像装置でＡＲマーカーが付された物体を写して画像を取得し、この画像からマーカーの位置を認識し、この取得した画像と、予め作成した画像等の情報とを組み合わせて新たな画像として表示し、使用者にあたかもこの情報が現実世界に存在するかのように画像として表示する技術である。 In augmented reality technology for assigning virtual information generated by a computer to the real world, a method using an AR marker has been proposed. In this technology, an image with an AR marker attached is captured by an imaging device such as a camera, an image is acquired, the position of the marker is recognized from this image, and the acquired image and information such as an image created in advance are obtained. This is a technique for displaying as a new image in combination and displaying this information as an image to the user as if it exists in the real world.
ＡＲマーカーの公知の技術としては、例えば非特許文献１に記載がある。本文献１には、四角形の各頂点を含め各辺に４点ずつを配置したマーカーを提案しており、点間の距離の比率を用いて情報を埋め込み、かつ、４つの頂点のうち３つ以上が観測された場合、正しく認識できるものとなっている。 As a known technique of the AR marker, there is a description in Non-Patent Document 1, for example. This document 1 proposes a marker in which four points are arranged on each side including each vertex of a quadrangle, information is embedded using the ratio of the distance between the points, and three of the four vertices are used. When the above is observed, it can be recognized correctly.
また、曲面に貼付されるＡＲマーカー、そのマーカーの解析方法について例えば下記特許文献１に記載がある。 Further, for example, Patent Document 1 below describes an AR marker attached to a curved surface and a method of analyzing the marker.
しかしながら、上記非特許文献１に記載の技術で提案されるようなＡＲマーカーは、マーカーが平面に置かれていることを前提としており、平面に置かれた場合の解析には未だ課題が残る。 However, the AR marker as proposed by the technique described in Non-Patent Document 1 is based on the premise that the marker is placed on a flat surface, and problems still remain in the analysis when the marker is placed on a flat surface.
また、上記特許文献１に記載の技術は曲面を想定したものであり、平面に貼付された場合における判定、更には折り曲げられた平面への貼付の場合の解析には未だ課題が残る。 In addition, the technique described in Patent Document 1 assumes a curved surface, and there are still problems in the determination when affixed to a flat surface, and the analysis when applied to a bent flat surface.
そこで、本発明は上記課題に鑑み、平面及び曲面を判定し、更に、折り曲げられた平面である場合の新規解析方法を提案することを目的とする。 Therefore, in view of the above problems, the present invention has an object to determine a plane and a curved surface, and to propose a new analysis method for a folded plane.
本発明の一観点に係るマーカーの解析方法は、一列に配置される複数の点からなり略平行に配置される一対の第一の点群と、第一の点群の列に対し略垂直な方向に一列に配置され複数の点からなり略平行に配置される一対の点群と、を備えたマーカーを面に貼付した場合の解析方法であって、画像データに基づき一対の第一の点群データの少なくともいずれか、及び、一対の第二の点群データの少なくともいずれかを取得し、第一の点群データ及び第二の点群データの少なくともいずれかに基づき、マーカーの貼付された面が平面であるか曲面であるかを判定することを特徴とする。 A marker analysis method according to an aspect of the present invention includes a pair of first point groups each including a plurality of points arranged in a row and substantially parallel to the first point group row. An analysis method in a case where a marker having a pair of points arranged in a row in a direction and including a plurality of points arranged in parallel is attached to a surface, and a pair of first points based on image data Acquire at least one of the group data and at least one of the pair of second point cloud data, and a marker is affixed based on at least one of the first point cloud data and the second point cloud data It is characterized by determining whether a surface is a flat surface or a curved surface.
また、本観点において、限定されるわけではないが、マーカーが平面に貼付されていると判定した場合、前記平面が平坦面か折り曲げられた平面であるかを判定することが好ましい。 Moreover, although not necessarily limited in this aspect, when it is determined that the marker is attached to a flat surface, it is preferable to determine whether the flat surface is a flat surface or a bent flat surface.
さらに、本観点においては、マーカーが折り曲げられた平面に貼付されていると判定した場合、折り曲げられた平面における二つの平面及び境界線を推定することが好ましい。 Furthermore, in this aspect, when it is determined that the marker is attached to the folded plane, it is preferable to estimate the two planes and the boundary line in the folded plane.
さらに、本観点においては、二つの平面のそれぞれに対し挿入画像データを作成し、挿入画像データを前記画像データと合成することが好ましい。 Furthermore, in this aspect, it is preferable that insertion image data is created for each of the two planes, and the insertion image data is combined with the image data.
以上、本発明により、平面及び曲面を判定し、更に、折り曲げられた平面である場合の新規解析方法を提案することが可能となる。 As described above, according to the present invention, it is possible to determine a plane and a curved surface, and to propose a new analysis method in the case of a folded plane.
以下、本発明を実施するための形態について図面を用いて詳細に検討する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態の例示にのみ限定されるわけではない。 Hereinafter, embodiments for carrying out the present invention will be examined in detail with reference to the drawings. However, the present invention can be implemented in many different forms, and is not limited only to the following exemplary embodiments.
図１に、本実施形態において解析されるマーカーの一例を示し、図２に、このマーカーが曲面に貼付された場合の一例を、図３に、このマーカーが折り曲げられた平面に貼付された場合の一例を示しておく（なお、マーカーが付された物体を「本物体」と表現する。）。 FIG. 1 shows an example of a marker to be analyzed in the present embodiment, FIG. 2 shows an example of a case where this marker is attached to a curved surface, and FIG. 3 shows a case where this marker is attached to a folded plane. (An object with a marker is expressed as “this object”).
これらの図で示す通り、本物体１は、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３と、一対の第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなりかつ略平行に配置される一対の第二の点群４と、を備えたマーカー２が付されている。 As shown in these drawings, the object 1 is composed of a plurality of points 31 arranged in a row and a pair of first point groups 3 arranged substantially in parallel, and a pair of first point groups 3 in a row. On the other hand, a marker 2 including a pair of second point groups 4 arranged in a line in a substantially vertical direction and including a plurality of points 41 and arranged substantially in parallel is attached.
本物体１は、本マーカー２を付することができる限りにおいて限定されず、曲面を有する柱状の物体表面、平面、折れ曲がった平面であることが好ましい。ここで「曲面を有する柱状の物体」とは、一方向の直線軸に沿って伸びる柱状の部分を有し、かつ、その軸方向に沿って切断した場合における断面形状の少なくとも一部が曲線を有するものをいい、その断面形状が略円形状となっているものを「円柱形状」という。なおその物体が中空であるものも、「曲面を有する柱状の物体」に含まれるものとする。 The main object 1 is not limited as long as the marker 2 can be attached, and is preferably a columnar object surface having a curved surface, a plane, or a bent plane. Here, a “columnar object having a curved surface” has a columnar portion extending along a linear axis in one direction, and at least a part of the cross-sectional shape when cut along the axial direction is a curved line. The one having a cross-sectional shape that is substantially circular is called a “cylindrical shape”. A hollow object is included in the “columnar object having a curved surface”.
曲面を有する柱状の物体の具体的な例については、限定されるわけではないが、例えば建築物における円柱、電柱、飲料を入れておくためのマグカップ等、大きさを問わず多種多様な対象を挙げることができる。 A specific example of a columnar object having a curved surface is not limited, but a wide variety of objects such as a column in a building, a utility pole, a mug for storing beverages, etc. can be used. Can be mentioned.
また、平面である場合、折れ曲がった平面であることもできる。ここで「折れ曲がった平面」とは、一つの境界線を介して接続された二つの平面をいい、上記した図面がイメージの一例である。 Moreover, when it is a plane, it can also be a bent plane. Here, the “bent plane” refers to two planes connected via one boundary line, and the above-described drawing is an example of an image.
また上記のとおり、本マーカー２は、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３と、第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなり略平行に配置される一対の第二の点群４と、を備えている。 Further, as described above, the marker 2 includes a pair of first point groups 3 composed of a plurality of points 31 arranged in a row and arranged substantially in parallel, and a direction substantially perpendicular to the row of the first point groups 3. And a pair of second point groups 4 which are arranged in a row in a certain direction and are composed of a plurality of points 41 and arranged substantially in parallel.
本マーカー２は、まず、一列に配列される複数の点３１からなり略平行に配置される一対の第一の点群３を備えている。ここで「略平行」とは、完全な平行を含むことはもちろんであるが、実質的に平行とみなすことができる程度の誤差を含むことを意味する。より具体的には、例えばプラスマイナス５度程度の誤差は許容できる。なお「略平行」の用語については、本明細書の他の要素において用いられる場合も同様である。 First, the marker 2 includes a pair of first point groups 3 that are composed of a plurality of points 31 arranged in a line and are arranged substantially in parallel. Here, “substantially parallel” means not only that it is completely parallel, but also that it includes an error that can be regarded as substantially parallel. More specifically, for example, an error of about plus or minus 5 degrees is acceptable. The term “substantially parallel” is the same when used in other elements of the present specification.
また本マーカー２において「点」とは、解析段階において認識できるものであることが必要であり、そのため所定の面積を有しているものであることが好ましい。また、その「点」の形状は円、楕円、三角形状、四角形状、その他の形状どのような形状も採用することができるが、その中心位置を定めやすくするためには円であることは好ましい一例である。また、後述の例でも示しているが、点は認識できる限りにおいて内部まで同一色で塗られている必要はなく、内部が異なる色となっていてもよい。 In addition, the “point” in the marker 2 needs to be recognizable at the analysis stage, and therefore preferably has a predetermined area. In addition, the shape of the “point” may be any shape such as a circle, an ellipse, a triangle, a quadrangle, or any other shape, but a circle is preferable for easy determination of the center position. It is an example. Further, as shown in the example described later, as long as the point can be recognized, it is not necessary that the point is painted in the same color, and the inside may be a different color.
本マーカー２では、後述の記載から明らかとなるが、第一の点群３が略平行で一対となっていることにより、一方の第一の点群３における点と他方の第一の点群３における点との関係を精度よく把握することが可能となり、本マーカーが付される物体の傾きや曲率を容易に推測できるようになる。 In the marker 2, as will be apparent from the description below, the first point group 3 is substantially parallel and paired, so that the point in one first point group 3 and the other first point group 3 can be accurately grasped, and the inclination and curvature of the object to which the marker is attached can be easily estimated.
また本実施形態において、第一の点群３の各点間距離は、添付された面（曲面に付された場合は当該曲面）に沿って測定した距離が略等しくなっていることが好ましく、更には、一対の第一の点群双方においても等しいことが好ましく、特に、一対の第一の点群の同様な位置にある点同士を結んだ場合に、当該直線が物体の軸に略並行となっていることが好ましい。なお上記のとおり本マーカー２の点が所定の面積を有している場合、「点間距離」は、各点内の中心位置の一座標を基準点３１１として定め、その基準点間の距離を意味することになる。 In the present embodiment, the distance between the points of the first point group 3 is preferably substantially equal to the distance measured along the attached surface (the curved surface when attached to a curved surface), Furthermore, it is preferable that both of the pair of first point groups are equal. In particular, when connecting points at similar positions of the pair of first point groups, the straight line is substantially parallel to the axis of the object. It is preferable that When the points of the marker 2 have a predetermined area as described above, the “distance between points” is defined as one coordinate of the center position within each point as the reference point 311 and the distance between the reference points is Will mean.
このようにしておくことで、本マーカーが付される物体の傾きや曲率等の方向に関する情報の計算をより容易に行うことができるようになる。ここで「略等しく」とは、完全に等しい状態を含むことはもちろんであるが、実質的に等しいとみなすことができる程度の誤差を含むことを意味する。より具体的には、例えば５％程度の誤差は許容できることを意味する。 By doing in this way, it becomes possible to more easily calculate information relating to the direction of the inclination, curvature, etc. of the object to which this marker is attached. Here, “substantially equal” means not only that the state is completely equal, but also includes an error that can be regarded as substantially equal. More specifically, for example, it means that an error of about 5% is acceptable.
また本実施形態において、本マーカー２の第一の点群３が円柱形状の物体に付される場合、第一の点群３は曲面に沿って配置されていること、より具体的には、円柱形状の物体の軸方向に対して垂直な面上に配置されていることが好ましい。このようにすることで、本マーカーの解析処理がより精度よくなるといった効果がある。 Moreover, in this embodiment, when the 1st point group 3 of this marker 2 is attached | subjected to a cylindrical object, the 1st point group 3 is arrange | positioned along a curved surface, More specifically, It is preferable to arrange on a plane perpendicular to the axial direction of the cylindrical object. By doing in this way, there exists an effect that the analysis process of this marker becomes more accurate.
また本実施形態において、本マーカー２の第一の点群３が折れ曲がった物体に付されている場合、第一の点群３は、二つの平面にまたがって配置されていること、より具体的には、境界線に垂直な方向に配置されていることが好ましい。このようにすると本マーカーの解析処理がより精度がよくなるといった効果がある。ただし、折れ曲った物体に対して第一の点群３の延伸する方向がずれていても平面であれば計算による推定は容易であるため、問題は少ない。なおこの場合においても、一対の第二の点群の少なくとも一方全てが一方の平面上に全て配置されていることが好ましい。 In the present embodiment, when the first point group 3 of the marker 2 is attached to a bent object, the first point group 3 is arranged across two planes, more specifically. Is preferably arranged in a direction perpendicular to the boundary line. This has the effect of improving the accuracy of the marker analysis process. However, even if the extending direction of the first point group 3 is deviated from the bent object, there are few problems because it is easy to estimate by calculation if it is a plane. Even in this case, it is preferable that at least one of the pair of second point groups is all arranged on one plane.
また本マーカー２では、第一の点群３の列に対し略垂直方向な方向に一列に配置され複数の点４１からなり略平行に配置される一対の第二の点群４を備えている。ここで「略垂直」とは、完全な垂直を含むことはもちろんであるが、実質的に垂直とみなすことができる程度の誤差を含むことを意味する。より具体的には、例えばプラスマイナス５度程度の誤差は許容できる。なお「略垂直」の用語については、本明細書の他の要素において用いられる場合も同様である。 In addition, the marker 2 includes a pair of second point groups 4 that are arranged in a row in a direction substantially perpendicular to the row of the first point group 3 and that are composed of a plurality of points 41 and are arranged substantially in parallel. . Here, “substantially vertical” means that it includes not only complete vertical but also an error that can be regarded as substantially vertical. More specifically, for example, an error of about plus or minus 5 degrees is acceptable. The term “substantially vertical” is the same when used in other elements of the present specification.
本マーカー２は、後述の記載から明らかとなるが、第一の点群３の列に対し略垂直方向な方向に一列に配置される複数の点４１を設けることで、本マーカー２に対する認識をより精度よく行うことができるようになる。 As will be apparent from the description below, the marker 2 can be recognized by providing a plurality of points 41 arranged in a line in a direction substantially perpendicular to the line of the first point group 3. It becomes possible to carry out more accurately.
また本マーカー２の第二の点群４は、第一の点群３の列に対し略垂直方向な方向であれば位置は特に限定されるわけではないが、第一の点群３の両端を共有していることが好ましい。このようにすることで、本マーカー２に対する認識をより精度よく行うことができるようになるだけでなく、第一の点群３及び第二の点群４により囲まれた領域、より具体的には四角形状とすることができ、本マーカー２の領域を明確にすることができるようになる。 The position of the second point group 4 of the marker 2 is not particularly limited as long as it is in a direction substantially perpendicular to the row of the first point group 3, but both ends of the first point group 3 are not limited. Is preferably shared. In this way, not only can the marker 2 be recognized more accurately, but also a region surrounded by the first point group 3 and the second point group 4, more specifically, Can have a rectangular shape, and the area of the marker 2 can be clarified.
また、本マーカーの第二の点群における複数の点４１間の距離は、マーカーとして認識できるよう特定の関係を保つことができ、必要に応じて情報を含ませることができる範囲において配置適宜調整可能である。 In addition, the distance between the plurality of points 41 in the second point group of this marker can maintain a specific relationship so that it can be recognized as a marker, and is appropriately adjusted within a range in which information can be included as necessary. Is possible.
また、限定されるわけではないが、本マーカーの第一の点群及び第二の点群は、これらの図で示すように枠内５に設けられていることが好ましい。このようにすることで、枠をマーカーの認識基準とすることができ、より認識精度が高くなる。この構成について、より具体的には四角形状の太枠内に枠と異なる色の点を設けておくことが好ましい。なお、枠のないマーカーについては、例えば図４で示すようなマーカーを例示することができる。なおこのような場合においては、各点の周囲はマーカーの点であることを背景と区別するためにマーカーの色と明確に区別することができる色となっていることが好ましい。また、各点の内部は点であることが認識できる限りにおいて限定されず、輪郭だけ明確にし、内部を異なる色で塗っていてもよい。 Moreover, although not necessarily limited, it is preferable that the first point group and the second point group of the marker are provided in the frame 5 as shown in these drawings. By doing so, the frame can be used as a marker recognition reference, and the recognition accuracy is further improved. More specifically, in this configuration, it is preferable to provide a point of a color different from that of the frame in a rectangular thick frame. In addition, about a marker without a frame, a marker as shown, for example in FIG. 4 can be illustrated. In such a case, it is preferable that the color around each point is a color that can be clearly distinguished from the color of the marker in order to distinguish the point of the marker from the background. Further, the inside of each point is not limited as long as it can be recognized that it is a point, only the outline may be clarified, and the inside may be painted with a different color.
次にここで、本実施形態に係るマーカー解析方法（以下「本解析方法」という。）について具体的に説明する。 Next, a marker analysis method according to the present embodiment (hereinafter referred to as “the present analysis method”) will be specifically described.
本解析方法は、一列に配置される複数の点からなり略平行に配置される一対の第一の点群と、前記第一の点群の列に対し略垂直な方向に一列に配置され複数の点からなり略平行に配置される一対の点群と、を備えたマーカーを面に貼付した場合の解析方法であって、（１）画像データに基づき一対の第一の点群データの少なくともいずれか、及び、一対の第二の点群データの少なくともいずれかを取得し、（２）第一の点群データ及び第二の点群データの少なくともいずれかに基づき、マーカーの貼付された面が平面であるか曲面であるかを判定する。 The analysis method includes a plurality of points arranged in a row, a pair of first point groups arranged substantially in parallel, and a plurality of arranged in a direction substantially perpendicular to the row of the first point groups. And a pair of point groups that are arranged substantially parallel to each other, and (1) at least one of a pair of first point group data based on image data. Any one and at least one of a pair of second point cloud data are acquired, and (2) a surface to which a marker is attached based on at least one of the first point cloud data and the second point cloud data Is a plane or a curved surface.
本解析方法は、実現できる限りにおいて限定されるわけではないが、例えば、デジタルカメラ等の撮像装置と、この撮像装置に接続されるコンピュータ等の情報処理装置を用いて行うことができる。 This analysis method is not limited as long as it can be realized. For example, the analysis method can be performed using an imaging apparatus such as a digital camera and an information processing apparatus such as a computer connected to the imaging apparatus.
この場合において、情報処理装置は、撮像装置によって作成される画像データに対しマーカー解析及び画像作成を実現できる限りにおいて限定されるわけではないが、例えば、いわゆるＣＰＵ、ハードディスク、メモリ等の記録媒体等を備え、ハードディスク等にマーカー解析、画像作成を行うためのプログラムを格納し、使用者の要求に応じてメモリに一時的に読み込ませ、当該プログラムを実行して上記各処理を実現させるようにすることが好ましい。 In this case, the information processing device is not limited as long as marker analysis and image creation can be realized for image data created by the imaging device. For example, a recording medium such as a so-called CPU, hard disk, or memory A program for performing marker analysis and image creation is stored in a hard disk or the like, temporarily loaded into a memory in response to a user request, and executed by executing the program. It is preferable.
まず、本解析方法は、上記のように（１）画像データに基づき画像データに基づき一対の第一の点群データの少なくともいずれか、及び、一対の第二の点群データの少なくともいずれかを取得する。 First, as described above, in this analysis method, (1) based on image data, at least one of a pair of first point cloud data and at least one of a pair of second point cloud data is calculated. get.
画像データに基づき第一の点群及び第二の点群データを取得するに際し、まず、画像データから点群中の点を抽出する。画像データから点を抽出する方法としては限定されることなく様々な手法を採用することができるが、マーカーの点とその背景との色の境界を検出する手法等公知の手法を採用すること好適である。 When acquiring the first point cloud and the second point cloud data based on the image data, first, the points in the point cloud are extracted from the image data. Various methods can be adopted as a method for extracting points from image data, but it is preferable to adopt a known method such as a method for detecting a color boundary between a marker point and its background. It is.
なお、この場合において、枠内に点群を備えるマーカーである場合は、マーカーとその背景をより明確に区別することが可能となり、また、第二の点群を特定した後、その点群が存在する枠内で第一の点群の抽出を行うこともできるようになり、より精度よく点群の抽出が可能となる。 In this case, in the case of a marker having a point cloud in the frame, it becomes possible to more clearly distinguish the marker and its background, and after specifying the second point cloud, the point cloud The first point cloud can be extracted within the existing frame, and the point cloud can be extracted with higher accuracy.
また、枠を用いる場合、限定されるわけではないが、この枠の輪郭を楕円近似することは、点群の抽出をより容易になるため好ましい。具体的には、枠の輪郭を認識した後、当該輪郭を覆うよう楕円近似を行い、この楕円近似内に存在する点を上記方法等を用いて抽出すれば、この点が点群を構成する点であると確実に認識できるため、後述の点群認識の手順の少なくとも一部を省略することができる。 Moreover, when using a frame, although not necessarily limited, it is preferable to approximate the outline of the frame to an ellipse because it becomes easier to extract a point group. Specifically, after recognizing the outline of the frame, an ellipse approximation is performed so as to cover the outline, and if a point existing in this ellipse approximation is extracted using the above method or the like, this point constitutes a point cloud. Since it can be surely recognized as a point, at least a part of the point cloud recognition procedure described later can be omitted.
次に、点を抽出した後、計算のため各点の基準点の座標を特定する。基準点については、点の位置との所定の関係があれば特に限定されるわけではないが、例えば、点が丸形状である場合は中心を、三角形状である場合は重心を、四角形状である場合は対角線の交点等を例示することができる。 Next, after extracting the points, the coordinates of the reference point of each point are specified for calculation. The reference point is not particularly limited as long as it has a predetermined relationship with the position of the point. For example, if the point has a round shape, the center has a center, if the point has a triangular shape, the center has a square shape. In some cases, the intersection of diagonal lines can be exemplified.
次に、各基準点の座標を特定した後、第一の点群及び第二の点群をそれぞれ特定する。より具体的には、抽出した各基準点の座標間の距離や直線関係を求め、その距離の関係、直線関係が、あらかじめ定めてある第一の点群及び第二の点群の距離関係のいずれかに対応したと判断した場合、当該基準点の集合は点群を形成していると判断する。 Next, after specifying the coordinates of each reference point, the first point group and the second point group are specified. More specifically, the distance or linear relationship between the coordinates of each extracted reference point is obtained, and the relationship between the distance and the linear relationship is the distance relationship between the first point group and the second point group that are determined in advance. If it is determined that it corresponds to any one, it is determined that the set of reference points forms a point cloud.
具体的に説明すると、本実施形態においては、第二の点群は一方から他方に至るまで物体の面に沿って所定の間隔で点間距離が離れて配置されているため、第二の点群は常時直線関係にあると考えることができ、更に、この直線関係にある複数の点の間の距離があらかじめ定めてある第二の点群の距離の関係と相当の関係にあると判断されれば、第二の点群であると特定できる。ここで「相当の関係」とは、その点間距離があらかじめ定めてある点間距離と一致することを含むのはもちろんであるが、物体自体の回転や傾きによって点間距離が変調されている場合でも、直線であって、その点間距離が上記回転や傾きによって変調された範囲であると把握できる場合を含む関係をいう。もちろん、第二の点群の点間距離を調整することにより情報を含ませている場合は、取得した点の直線関係に基づいて第二の点群であると認識し、更に点間距離を読み取ることで含まれた情報を取得することも好ましい。 Specifically, in the present embodiment, the second point group is arranged at a predetermined interval along the surface of the object from one side to the other at a predetermined interval. The group can be considered to always have a linear relationship, and it is further determined that the distance between a plurality of points having this linear relationship is substantially equivalent to the predetermined distance relationship of the second point group. If so, it can be identified as the second point group. Here, the “substantial relationship” includes, of course, that the distance between the points coincides with the predetermined distance between the points, but the distance between the points is modulated by the rotation and inclination of the object itself. Even in this case, the relationship includes a case where the distance is a straight line and the distance between the points can be grasped as a range modulated by the rotation or inclination. Of course, when information is included by adjusting the distance between the points of the second point group, it is recognized as the second point group based on the straight line relationship of the acquired points, and the distance between the points is further determined. It is also preferable to acquire information contained by reading.
またこの場合において、限定されるわけではないが、本マーカー２の第二の点群の距離（点間距離の合計）は予め求めておき、実際に特定した第二の点群の距離と比較し、縮尺比を求めておくことが好ましい。 In this case, although not limited, the distance of the second point cloud of the marker 2 (the sum of the distances between points) is obtained in advance and compared with the distance of the actually specified second point cloud. It is preferable to obtain the scale ratio.
なお、本実施形態では、第二の点群は一対、より具体的には略平行に二本設けているが、本マーカーが付される物体は曲面又は折れ曲った平面に配置されることがあるため、撮影の角度によっては第二の点群のうちの一方だけしか見えない場合も多い。このため、第二の点群は一方のみ検出できれば十分であるようにするため、そのため第二の点群は同一の構成となっていることが好ましい。このようにすることで、本マーカーの半分程度が隠れていてもマーカーとして認識できるようになる。 In the present embodiment, the second point group is provided as a pair, more specifically, two substantially parallel, but the object to which the marker is attached may be arranged on a curved surface or a bent plane. For this reason, depending on the shooting angle, only one of the second point groups is often visible. For this reason, it is sufficient that only one of the second point groups can be detected. Therefore, the second point group preferably has the same configuration. In this way, even if about half of the marker is hidden, it can be recognized as a marker.
ところで本実施形態では、（２）第一の点群データ及び第二の点群データの少なくともいずれかに基づき、マーカーの貼付された面が平面であるか曲面であるかを判定する。この結果、マーカーの添付された面に応じた挿入画像データを作成することが可能となる。 By the way, in the present embodiment, (2) based on at least one of the first point cloud data and the second point cloud data, it is determined whether the surface to which the marker is attached is a flat surface or a curved surface. As a result, it is possible to create insertion image data corresponding to the surface to which the marker is attached.
マーカーの貼付された面が平面であるか曲面であるかを判定する方法としては、特に限定されるわけではないが、各基準点の座標を特定し、第二の点群を特定した後、残りの点群から一対の第一の点群を把握し、一対の第一の点群データに基づき方向データを求めることで実現できる。 As a method for determining whether the surface on which the marker is affixed is a flat surface or a curved surface, it is not particularly limited, but after specifying the coordinates of each reference point and specifying the second point group, This can be realized by grasping a pair of first point groups from the remaining point groups and obtaining direction data based on the pair of first point group data.
第一の点群は、第二の点群の近傍に配置しているため、第二の点群を特定できれば容易に推測することができる。具体的には、第二の点群の端点から所定の方向、範囲にある点を第一の点群と認識することで特定できる。また、枠５を用いて点を認識している場合は、第二の点群と認識されなかった点を第一の点群として認識できる。 Since the first point group is arranged in the vicinity of the second point group, it can be easily estimated if the second point group can be identified. Specifically, it can be specified by recognizing a point in a predetermined direction and range from the end point of the second point group as the first point group. Moreover, when the point is recognized using the frame 5, the point not recognized as the second point group can be recognized as the first point group.
ここで「方向データ」とは、添付された物体の傾きや向き（回転方向）がどの方向にどの程度となっているか、面がどのような方向を向いているのかといった、物体の軸の傾き量や回転量等を示すデータを含む。本マーカーが添付される物体は、まず、一定の曲率を有しているものとして考え、その曲率がどの程度あるかによって、貼付されたのが平面であるか、曲面であるかを判定することとしてもよいし、予め平面であると仮定し、平面であると解釈できない関係にある場合に曲面であると判定することとしてもよい。 Here, “direction data” means the inclination of the axis of the object, such as which direction the inclination or direction (rotation direction) of the attached object is, and what direction the surface is facing. Includes data indicating the amount, amount of rotation, etc. The object to which this marker is attached is first considered to have a certain curvature, and it is determined whether the affixed is a flat surface or a curved surface depending on how much the curvature is. Alternatively, it may be preliminarily assumed to be a plane, and may be determined to be a curved surface when there is a relationship that cannot be interpreted as a plane.
本マーカーは、撮影する角度や距離によって見える曲面上のマーカーの形状は異なってくる（例えば本マーカーを正面から見た場合は四角形状に近く、本マーカーを斜めから見ると第一の点群は曲がって見える）。したがって、第一の点群がどの程度直線から曲がっているのかを把握することで、貼付されたのが平面であるか、曲面であるかを判定すること、曲面の場合はどの程度物体に対して傾いて撮影したものであるのか、平面の場合は一様な平面か、折れ曲った平面であるか、を特定することができる。より具体的には、第一の点群が直線を維持している場合は平面に添付されていると判定し、直線を維持していない場合は、曲面であると判断することが可能である。なお曲面であると判断された場合の解析手法については、上記特許文献１に記載の方法を採用することができるため、以下は直線として判断された場合の解析方法についてのみ説明しておく。 The shape of the marker on the curved surface varies depending on the shooting angle and distance (for example, when the marker is viewed from the front, it is close to a square shape. It looks bent.) Therefore, by grasping how much the first point cloud is bent from a straight line, it is possible to determine whether the pasted point is a flat surface or a curved surface. It is possible to specify whether the image was taken with an inclination, or in the case of a plane, a uniform plane or a bent plane. More specifically, when the first point group maintains a straight line, it can be determined that the first point group is attached to the plane, and when it does not maintain the straight line, it can be determined that the first point group is a curved surface. . As the analysis method when it is determined that the surface is a curved surface, the method described in Patent Document 1 can be adopted. Therefore, only the analysis method when it is determined as a straight line will be described below.
本解析方法では、（３）マーカーが平面に貼付されていると判定した場合、平面が一様な平坦面上か折り曲げられた平面であるかを判定する。 In this analysis method, (3) when it is determined that the marker is attached to a plane, it is determined whether the plane is a uniform flat surface or a folded plane.
本マーカーが一様に平坦な面上に貼付されている場合、マーカーの一部が認識できるということは、そのマーカーにおける一対の第一の点群、第二の点群はほぼ全て確認することができることを意味する。しかも、この場合において、各点群の点が一直線上に並んでいることが確認できる。この結果、そのすべての点群が存在する一様な平面を回転や傾き等を考慮した変換計算によって求めることができる。 When this marker is affixed on a flat surface, the fact that a part of the marker can be recognized means that almost all of the pair of first and second point groups in the marker are confirmed. Means you can. In addition, in this case, it can be confirmed that the points of each point group are aligned on a straight line. As a result, a uniform plane on which all the point groups exist can be obtained by conversion calculation considering rotation, inclination, and the like.
一方、本マーカーが折り曲げられた平面上に貼付されている場合、第一の点群又は第二の点群が一直線上にない状態となっている。より具体的には、一つの点群において二つの直線が接続された状態になっている。このような状態である場合、マーカーが折り曲げられた平面上に貼付されていると判断できる。なお、本マーカーが折り曲げられた平面上に貼付されている場合、マーカーの一部は認識されているものの、他の一部については影となり認識されない場合がある。この場合も、本マーカー自体が折り曲げられた平面上に貼付されていると判定することとしてもよい。 On the other hand, when this marker is stuck on the folded plane, the first point group or the second point group is not in a straight line. More specifically, two straight lines are connected in one point group. In such a state, it can be determined that the marker is stuck on the folded plane. In addition, when this marker is affixed on the folded plane, a part of the marker may be recognized, but the other part may not be recognized as a shadow. Also in this case, it may be determined that the marker itself is stuck on a folded plane.
また、本解析方法は、（４）マーカーが折り曲げられた平面に貼付されていると判定した場合、折り曲げられた平面における二つの平面及び境界線を推定する。 In addition, in this analysis method, when it is determined that (4) the marker is attached to the folded plane, the two planes and the boundary line in the folded plane are estimated.
具体的には、本マーカーの第一の点群及び第二の点群のすべてが認識できる方向から撮影して画像データを入手し、それらの各点群に対し直線を近似し二つの平面を推定する。更に具体的には、第一の点群又は第二の点群のうち、一直線で並んでいる点群を特定し、その点群を挟む折れ曲った第二の点群又は第一の点群のうち、接続している側の二つの直線を同一平面上の直線として平面を推定する。そしてこの推定と同様の推定を他方の第一の点群又は第二の点群に対しても行い、他方の平面を推定する。この結果、二つの平面を求めることができる。そして、この二つの平面の交差を計算し、本マーカーが貼付された面の境界線を推定することができる。 Specifically, the image data is obtained by photographing from the direction in which all of the first point cloud and the second point cloud of this marker can be recognized, and a straight line is approximated to each of these point groups to obtain two planes. presume. More specifically, among the first point group or the second point group, the point group arranged in a straight line is specified, and the bent second point group or the first point group sandwiching the point group Among them, the plane is estimated with the two connected straight lines as straight lines on the same plane. Then, the same estimation as this estimation is performed for the other first point group or the second point group, and the other plane is estimated. As a result, two planes can be obtained. And the intersection of these two planes can be calculated and the boundary line of the surface where this marker was affixed can be estimated.
そして、この二つの平面の交差角度は一度求めてしまえば改めて求める必要がなくなるため、交差角度データとして保持しておくことで、第一の点群又は第二の点群の一部に基づき一つの平面を求めることで、他方の平面の方向を特定することができる。もちろん、二つの平面の交差角が変化するような場合は、上記二つの平面の推定及び境界線の推定を随時行うこととすればよい。なお、二つの平面の交差角度はさまざまな方法によって求めることができるが、例えば、各平面の法線ベクトルの内積を求めることによって得ることも可能である。 Then, once the intersection angle between these two planes is obtained, it is not necessary to obtain it again. Therefore, by keeping the intersection angle data, the intersection angle data is based on a part of the first point group or the second point group. By obtaining one plane, the direction of the other plane can be specified. Of course, when the crossing angle between the two planes changes, the estimation of the two planes and the boundary line may be performed as needed. The intersecting angle between the two planes can be obtained by various methods. For example, it can be obtained by obtaining the inner product of the normal vectors of the respective planes.
また、本解析方法は、（５）二つの平面のそれぞれに対し挿入画像データを作成し、挿入画像データを前記画像データと合成することが好ましい。 In this analysis method, it is preferable that (5) insertion image data is created for each of the two planes, and the insertion image data is combined with the image data.
ここで「挿入画像」とは、上述の撮像装置によって作成された画像に対し挿入処理を行う画像であって、特に限定されるものではなく、疑似的な三次元的な形状を表示する画像であっても、二次元画像であってもよい。また、この挿入画像に対して行う変換処理は、公知の拡大縮小の処理、曲面化処理、回転処理を行うことができ、特に限定されず、公知の画像処理技術があればそれを適用することが可能である。 Here, the “inserted image” is an image that performs an insertion process on the image created by the above-described imaging device, and is not particularly limited, and is an image that displays a pseudo three-dimensional shape. Or a two-dimensional image. In addition, the conversion process performed on the inserted image can be a known enlargement / reduction process, curved surface process, and rotation process, and is not particularly limited. If there is a known image processing technique, it can be applied. Is possible.
次に、本実施形態では、上記曲面挿入画像データを作成した後、画像データと合成処理を行う。これにより、使用者は、あたかも撮影した画像データに挿入画像が存在しているかのように認識することができる。 Next, in the present embodiment, after the curved surface insertion image data is created, the image data and the synthesis process are performed. Thereby, the user can recognize as if the inserted image exists in the captured image data.
以上、本実施形態によって、平面及び曲面を判定し、更に、折り曲げられた平面である場合の新規解析方法を提案することが可能となる。 As described above, according to the present embodiment, it is possible to determine a plane and a curved surface, and further propose a new analysis method in the case of a folded plane.
本発明は、マーカーの解析方法として産業上利用可能性がある。
The present invention has industrial applicability as a marker analysis method.
Claims (4)
画像データに基づき一対の第一の点群データの少なくともいずれか、及び、一対の第二の点群データの少なくともいずれかを取得し、
前記第一の点群データ及び前記第二の点群データの少なくともいずれかに基づき、前記マーカーの貼付された面が平面であるか曲面であるかを判定する、マーカーの解析方法。 A pair of first point groups consisting of a plurality of points arranged in a row, and a plurality of points arranged in a row in a direction substantially perpendicular to the row of the first point groups. A pair of point groups arranged in parallel, and an analysis method when a marker provided with a surface is attached,
Acquiring at least one of a pair of first point cloud data and at least one of a pair of second point cloud data based on image data;
A marker analysis method for determining whether a surface to which the marker is attached is a flat surface or a curved surface based on at least one of the first point cloud data and the second point cloud data.
前記折り曲げられた平面における二つの平面のなす角度及び境界線を推定する、請求項２記載のマーカーの解析方法。 If it is determined that the marker is affixed to the folded plane,
The marker analysis method according to claim 2, wherein an angle and a boundary line formed by two planes in the bent plane are estimated.
前記挿入画像データを前記画像データと合成する請求項３記載のマーカーの解析方法。 Create insert image data for each of the two planes,
The marker analysis method according to claim 3, wherein the insertion image data is combined with the image data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015106891A JP6635679B2 (en) | 2015-05-26 | 2015-05-26 | Analysis method of marker |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015106891A JP6635679B2 (en) | 2015-05-26 | 2015-05-26 | Analysis method of marker |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016224485A true JP2016224485A (en) | 2016-12-28 |
| JP6635679B2 JP6635679B2 (en) | 2020-01-29 |
Family
ID=57746677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015106891A Active JP6635679B2 (en) | 2015-05-26 | 2015-05-26 | Analysis method of marker |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6635679B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019151182A1 (en) * | 2018-02-02 | 2019-08-08 | 株式会社エンプラス | Marker |
| JP2020119219A (en) * | 2019-01-23 | 2020-08-06 | キヤノン株式会社 | Information generation device, control method thereof, and program |
| WO2023080016A1 (en) | 2021-11-04 | 2023-05-11 | 日東電工株式会社 | Optical multilayer body and system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009022659A1 (en) * | 2007-08-10 | 2009-02-19 | Panasonic Electric Works Co., Ltd. | Image display device |
| WO2012049795A1 (en) * | 2010-10-12 | 2012-04-19 | パナソニック株式会社 | Display processing device, display method and program |
| JP2012103134A (en) * | 2010-11-10 | 2012-05-31 | Topcon Corp | Structure model creation apparatus and method thereof |
| JP2014229274A (en) * | 2013-05-27 | 2014-12-08 | 国立大学法人 千葉大学 | Marker, object with marker, marker analysis method, and image creation method |
-
2015
- 2015-05-26 JP JP2015106891A patent/JP6635679B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009022659A1 (en) * | 2007-08-10 | 2009-02-19 | Panasonic Electric Works Co., Ltd. | Image display device |
| WO2012049795A1 (en) * | 2010-10-12 | 2012-04-19 | パナソニック株式会社 | Display processing device, display method and program |
| JP2012103134A (en) * | 2010-11-10 | 2012-05-31 | Topcon Corp | Structure model creation apparatus and method thereof |
| JP2014229274A (en) * | 2013-05-27 | 2014-12-08 | 国立大学法人 千葉大学 | Marker, object with marker, marker analysis method, and image creation method |
Non-Patent Citations (2)
| Title |
|---|
| ASAHI SUZUKI ET AL.: "Design of an AR Marker for Cylindrical Surface", 2013 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY, JPN6019024415, 2013, pages 293 - 294, XP032534739, ISSN: 0004066103, DOI: 10.1109/ISMAR.2013.6671811 * |
| 鈴木 朝日 外2名: "円筒面で利用可能なＡＲマーカの提案", 映像情報メディア学会 ２０１２年冬季大会講演予稿集 ［ＣＤ−ＲＯＭ］, JPN6019024414, 27 November 2012 (2012-11-27), JP, ISSN: 0004066102 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019151182A1 (en) * | 2018-02-02 | 2019-08-08 | 株式会社エンプラス | Marker |
| JP2020119219A (en) * | 2019-01-23 | 2020-08-06 | キヤノン株式会社 | Information generation device, control method thereof, and program |
| JP7271202B2 (en) | 2019-01-23 | 2023-05-11 | キヤノン株式会社 | INFORMATION GENERATING DEVICE, CONTROL METHOD AND PROGRAM THEREOF |
| WO2023080016A1 (en) | 2021-11-04 | 2023-05-11 | 日東電工株式会社 | Optical multilayer body and system |
| KR20240089130A (en) | 2021-11-04 | 2024-06-20 | 닛토덴코 가부시키가이샤 | Optical Laminates and Systems |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6635679B2 (en) | 2020-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2015224418B2 (en) | Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and non-transitory computer readable recording medium having therein program for three-dimensional coordinate computing | |
| US9325969B2 (en) | Image capture environment calibration method and information processing apparatus | |
| US20170132806A1 (en) | System and method for augmented reality and virtual reality applications | |
| US10424078B2 (en) | Height measuring system and method | |
| EP3239931A1 (en) | Image processing apparatus and image processing method | |
| KR101733116B1 (en) | System and method for measuring flight information of a spheric object with a high-speed stereo camera | |
| KR20110080097A (en) | Feature registration apparatus for image based localization and method the same | |
| KR102001636B1 (en) | Apparatus and method of processing a depth image using a relative angle between an image sensor and a target object | |
| JP6213949B2 (en) | Marker, object with marker, marker analysis method, and image creation method. | |
| TW201531868A (en) | Multiview pruning of feature database for object recognition system | |
| JP2014526736A (en) | Resolving ambiguity of homography decomposition based on orientation sensor | |
| JP6635679B2 (en) | Analysis method of marker | |
| JP2005107965A (en) | Index identification method and device | |
| JP4694624B2 (en) | Image correction apparatus and method, and computer program | |
| JP5447002B2 (en) | Magnetic field measuring device | |
| WO2016084142A1 (en) | Work assistance system and work assistance method | |
| KR101310405B1 (en) | Apparatus and method of estimating pulsation position and controlling position of pulsation sensor | |
| WO2019087404A1 (en) | Calculation method, calculation program, and information processing device | |
| KR101575934B1 (en) | Apparatus and method for motion capture using inertial sensor and optical sensor | |
| KR20200064421A (en) | Automated system for detecting 3D pipeline | |
| KR102425270B1 (en) | Method for estimating position in three-dimensional space | |
| KR100991570B1 (en) | A remote sensing method of diverse signboards' Size and Apparatus using thereof | |
| JP6576177B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| WO2017006577A1 (en) | Device for selecting three-dimensional point group, and method for selecting three-dimensional point group | |
| JP5620741B2 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20150617 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20170913 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191217 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6635679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |