JP2019080768A - Method of determining nails, device for determining nails, and program - Google Patents
Method of determining nails, device for determining nails, and program Download PDFInfo
- Publication number
- JP2019080768A JP2019080768A JP2017210016A JP2017210016A JP2019080768A JP 2019080768 A JP2019080768 A JP 2019080768A JP 2017210016 A JP2017210016 A JP 2017210016A JP 2017210016 A JP2017210016 A JP 2017210016A JP 2019080768 A JP2019080768 A JP 2019080768A
- Authority
- JP
- Japan
- Prior art keywords
- nail
- head
- image
- acquired
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Pinball Game Machines (AREA)
Abstract
Description
本発明は、釘判定方法、釘判定装置及びプログラムに関し、より具体的には、遊技機に配置された釘の状態を判定する釘判定方法、釘判定装置及びプログラムに関する。 The present invention relates to a nail determination method, a nail determination device, and a program, and more specifically, to a nail determination method, a nail determination device, and a program for determining the state of a nail disposed in a game machine.
遊技機における遊技において遊技釘の状態（例えば、位置、角度）は重要な要素であり、適正に保持する必要があるため、釘の状態管理に関する技術が種々提案されている。例えば、遊技機の釘調整作業のために用いられる端末であって、釘調整支援データを表示するウェアラブル・ディスプレイと、釘調整結果データを音声入力するウェアラブル・マイクを備えており、作業者の身体に装着可能に構成されている端末の技術が開示されている（特許文献１）。 The state (for example, position, angle) of the game nail in the game in the game machine is an important factor, and it is necessary to hold it properly, so various techniques related to state management of the nail have been proposed. For example, a terminal used for nail adjustment work of a gaming machine, comprising a wearable display for displaying nail adjustment support data, and a wearable microphone for voice input of nail adjustment result data, the worker's body Patent Document 1 discloses the technology of a terminal that is configured to be attachable.
しかし、特許文献１に開示された技術は、単に釘調整支援データを作業者に提供するものである。この技術では、遊技釘の状態の良否はあくまで作業者が判断しているため、釘を適切に調整できたか否かの判断は作業者のスキルに依拠しており、安定して判定することができないという問題がある。 However, the technology disclosed in Patent Document 1 merely provides nail adjustment support data to the worker. In this technology, since the quality of the state of the game nail is determined by the operator, the determination as to whether or not the nail has been properly adjusted depends on the skill of the operator, and it can be determined stably. There is a problem that it can not do.
本発明は、遊技釘の状態を安定して判定可能な釘判定方法、釘判定装置及びプログラムを提供することを目的とする。 An object of the present invention is to provide a nail judging method, a nail judging device and a program capable of stably judging the state of a game nail.
本発明の釘判定方法は、遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像との間で類似度を算出し、最大の類似度となるテンプレート画像を取得するテンプレート画像取得ステップと、取得したテンプレート画像を用い、テンプレートマッチングを実行して複数の釘の頭部の位置を判定する位置判定ステップとを備えることを特徴とする。ここで、この釘判定方法は、判定した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する設定位置と重ねたときの、その他の位置と対応する設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する設定位置に重なるように、判定された釘の頭部の位置を補正する位置補正ステップをさらに備えることができる。また、釘の遊技盤上の設定位置を含む釘設定データと、判定された釘の頭部の位置とにより釘設定データに合致しない釘を判定する異常釘判定ステップとをさらに備えることもできる。 The nail determination method of the present invention is similar between an image of a head of a predetermined nail among images obtained by imaging the heads of a plurality of nails disposed on a game board and an image of the heads of other nails. Calculating a degree and acquiring a template image with the highest degree of similarity; and using the acquired template image, performing a template matching to determine the positions of the heads of a plurality of nails; And the like. Here, in the nail determining method, a combination of a predetermined number of positions of the determined head positions of the nail is selected, and each position of the selected combination is overlapped with the corresponding setting position. The nails determined so that the difference between the other position and the corresponding setting position is calculated and summed, and each position of the combination when selecting the combination with the smallest total difference overlaps the corresponding setting position. The method may further include a position correction step of correcting the position of the head of the patient. In addition, it is possible to further include an abnormal nail determination step of determining a nail which does not match the nail setting data based on the nail setting data including the setting position of the nail on the game board and the determined head position of the nail.
ここで、釘設定データとは、例えば遊技釘を管理するデータであって、釘の設定位置、盤面に対して垂直な軸からの傾き角度（例えば、４°等）および傾く方向（１２時の方向など）を含んでもよい。 Here, the nail setting data is, for example, data for managing a game nail, and the setting position of the nail, an inclination angle (for example, 4 ° etc.) from an axis perpendicular to the board surface, and an inclination direction (12 o'clock) Direction etc. may be included.
また、釘判定装置は、遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像との間で類似度を算出し、最大の類似度となるテンプレート画像を取得するテンプレート画像取得手段と、取得したテンプレート画像を用い、テンプレートマッチングを実行して複数の釘の頭部の位置を判定する位置判定手段と、釘の遊技盤上の設定位置を含む釘設定データとを備えることができる。 In addition, the nail determination apparatus is configured to measure the similarity between an image of a predetermined nail head among images obtained by imaging the heads of a plurality of nails disposed on the game board and an image of the head of another nail. Calculating a template image for obtaining a template image with the highest degree of similarity; position determining means for performing template matching using the obtained template image to determine the positions of the heads of a plurality of nails; And a nail setting data including a setting position of the nail on the game board.
さらに、別の釘判定装置によると、遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる釘の遊技盤上の設定位置と対応付けて取得する位置取得手段と、取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する設定位置と重ねたときの、その他の位置と対応する設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する設定位置に重なるように、取得された釘の頭部の位置を補正する位置補正手段とを備えることもできる。 Furthermore, according to another nail determination device, the position of the head of the nail in the image obtained by imaging the heads of the plurality of nails arranged on the game board is the setting position on the game board of the nail included in the nail setting data. And a combination of a predetermined number of positions among the acquired positions of the head of the nail, and each position of the selected combination is overlapped with the corresponding set position. When the difference between the other position and the corresponding setting position is calculated and summed, each position of the combination when selecting the combination with the smallest difference total is acquired so that each position of the combination overlaps the corresponding setting position. It is also possible to provide position correction means for correcting the position of the head of the nail.
さらに以上の釘判定方法を、プログラムを用いてコンピュータに実行させることができる。 Furthermore, the above-described nail determination method can be executed by a computer using a program.
本発明によると、遊技釘の状態を安定して判定することが可能となる。 According to the present invention, it is possible to stably determine the state of the game nail.
以下本発明の釘判定方法、釘判定装置及びプログラムの一実施形態について図面を参照して説明する。なお、異なる図面でも、同一の処理、構成を示すときは同一の符号を用いる。 Hereinafter, an embodiment of a nail judging method, a nail judging device and a program according to the present invention will be described with reference to the drawings. The same reference numerals are used to indicate the same processing and configuration in different drawings.
本実施形態は、例えば、図１に示すように、スマートフォンなど撮影が可能な装置１１１を用いて遊技機１０１の盤面を撮影し、得られた全体の画像から釘の頭部の画像を抽出し、盤面上の配置から各釘の角度を算出するというものである。図２に示すように、一般に遊技機１０１は、上部に遊技盤２０２が設けられており、透明なガラス板により盤面を保護されている。遊技盤２０２の下方部には、入賞すると賞球を受ける大入賞口２０４が設けられている。遊技機１０１の右下には遊技球の発射を調整する発射ハンドル２０５が設けられている。遊技盤２０２の前面には、ガイドレールで囲まれた略円形の遊技領域が形成されており、遊技球の流下方向を変化させる複数の釘２０１や役物（図示していない）等が、遊技機１０１の機種に固有のパターンで設けられている。遊技領域の中央には、表示装置２０３が配設されており、遊技の状態により、様々な図柄が表示されるようになっている。 In the present embodiment, for example, as shown in FIG. 1, the board of the gaming machine 101 is photographed using an apparatus 111 capable of photographing such as a smartphone, and an image of the head of a nail is extracted from the obtained entire image. The angle of each nail is calculated from the arrangement on the board. As shown in FIG. 2, generally, the gaming machine 101 is provided with a gaming board 202 at the top, and the board surface is protected by a transparent glass plate. In the lower part of the game board 202, there is provided a special winning opening 204 for receiving a winning ball when winning. At the lower right of the gaming machine 101, a launch handle 205 is provided for adjusting the launch of the gaming ball. A substantially circular game area surrounded by a guide rail is formed on the front of the game board 202, and a plurality of nails 201 and special effects (not shown) or the like that change the flow direction of the game ball are played It is provided in a pattern unique to the model of the machine 101. A display device 203 is disposed at the center of the game area, and various symbols are displayed depending on the state of the game.
図３ないし５を参照して、本実施形態の釘の状態の判定処理の概要を説明する。図３は、本実施形態の盤面上に打ち付けられた釘の状態を模式的に示す図であり、図４は、釘の設定位置、すなわち盤面上の遊技釘が打ち付けられる位置を模式的に示す図である。例えば、図３に示す頭部３０２と胴部３０３とからなる釘２０１ａは、図４に示す盤面３０１上の釘の設定位置４０１ａに打ち付けられている。すなわち、本実施形態では図３に示す釘２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ、２０１ｅは、予め定められた図４に示す設定位置４０１ａ、４０１ｂ、４０１ｃ、４０１ｄ、４０１ｅにそれぞれ打ち付けられている。通常、遊技釘の各々には釘ＩＤが設定されており、図示しない管理装置により釘の設定位置４０１、盤面に対して垂直な軸からの傾き角度（例えば、４°等）および傾く方向（例えば、上方から見て１２時の方向など）などの釘設定データが定められ、管理されている。 The outline of the determination processing of the state of the nail of this embodiment will be described with reference to FIGS. 3 to 5. FIG. 3 is a view schematically showing the state of the nail nailed onto the board of this embodiment, and FIG. 4 schematically shows the setting position of the nail, that is, the position on the board where the game nail is nailed. FIG. For example, a nail 201a composed of a head 302 and a body 303 shown in FIG. 3 is stamped on the setting position 401a of the nail on the board 301 shown in FIG. That is, in the present embodiment, the nails 201a, 201b, 201c, 201d, and 201e shown in FIG. 3 are respectively hammered onto predetermined positions 401a, 401b, 401c, 401d, and 401e shown in FIG. Normally, a nail ID is set for each of the game nails, and the management apparatus (not shown) sets the nail at a set position 401, an inclination angle (eg, 4 °, etc.) from an axis perpendicular to the board surface and an inclination direction (eg, The nail setting data such as the direction of 12 o'clock as viewed from above is defined and managed.
図５は、本実施形態の釘の遊技盤に打ち付けた状態を上面から撮影した画像５０１と釘の設定位置との関係を示す図である。 FIG. 5 is a view showing the relationship between an image 501 taken from the top and a state where the nail is set on the game board of the nail of the present embodiment.
釘２０１は、上述の様に釘設定データに基づいて通常盤面３０１の垂直軸に対し一定方向に一定角度（例えば４度など小さい所定の角度）で傾くように打ち付けられており、出荷時や調整後等は所定の角度に保たれている。このような状態では、各釘の傾きと方向の設定値に基づいて胴部３０３が、その上にあるべき線である基準線３０４（図３参照）とほぼ重なっている。すなわち、出荷時や調整後等では釘の角度は適正に保たれているが、遊技機として使用されている間に遊技球が釘に衝突する等のため各々角度がずれてくる。例えば、図３に示す釘２０１ａで例示するように遊技球の衝突等により胴部３０３が傾いて基準線３０４から角度θだけずれる。ここで、各釘はその位置により遊技球の衝突速度や方向が異なるから、釘の配置される位置により角度も様々な値を取る。なお、図３に示す釘２０１ａの状態は基準線３０４から角度θだけずれており、上面から見たときは図５に示す画像５０１のように見えるが、基準線３０４の垂直な軸からの傾きが４°程度の場合、正しく設定され、ずれていないときはこれと異なり、釘の頭部３０２で設定位置４０１ａに対応する釘の根元５０４が隠れる状態となっている。 As described above, the nail 201 is hammered so as to be inclined at a fixed angle (for example, a small predetermined angle such as 4 degrees) in a fixed direction with respect to the vertical axis of the surface 301 normally based on the nail setting data. The rear is kept at a predetermined angle. In such a state, the torso portion 303 substantially overlaps the reference line 304 (see FIG. 3), which is a line to be above, based on the set values of the inclination and direction of each nail. That is, although the angle of the nail is maintained properly at the time of shipment, after adjustment, etc., the angle is shifted respectively because the game ball collides with the nail while being used as a game machine. For example, as exemplified by the nail 201a shown in FIG. 3, the torso portion 303 is inclined by a collision of gaming balls or the like and deviates from the reference line 304 by an angle θ. Here, since each nail differs in the collision speed and direction of the game ball depending on its position, the angle also takes various values depending on the position where the nail is arranged. The state of the nail 201a shown in FIG. 3 deviates from the reference line 304 by the angle θ, and when viewed from the top, it looks like the image 501 shown in FIG. 5, but the inclination from the vertical axis of the reference line 304 If the angle is about 4 °, the setting is correct. If not, the base of the nail 504 corresponding to the setting position 401 a is hidden by the head 302 of the nail.
本実施形態では、このように角度がずれた釘を検出してその後の調整に用いるものであり、下記に詳述する方法により釘の頭部の盤面上の位置を取得し、図４に示すような釘の設定位置を用いることにより角度を算出する。 In this embodiment, a nail whose angle is shifted in this way is detected and used for subsequent adjustment, and the position on the disc surface of the head of the nail is acquired by the method described in detail below, and is shown in FIG. The angle is calculated by using such a set position of the nail.
ここで図５に示す画像５０１は、図３に示す釘の盤面３０１を正面から撮影したときに得られる画像であり、釘の頭部３０２は略円形として示される。設定位置４０１ａからの投射線５０３が盤面の画像５０１と交差する位置５０４が釘２０１ａの胴部３０３の根元となる。一般に、遊技機１０１の正面、すなわち盤面３０１の上面から釘を撮影すると、釘が所定の角度から大きくずれていない場合は、設定された所定の角度は垂直から４度程度傾いているだけだから、基本的に設定位置４０１ａの根元は頭部３０２で隠れて写らない。しかし、画像５０１上の釘２０１ａについては角度が本来の角度からずれているので位置５０４にある根元も写っている。例えば、釘の設定データが上から見て１２時の方向に垂直線から４度傾くという設定であり、図５に示す角度がずれた釘２０１ａの傾きが、本来の角度より６度だけ１２時の方向にずれている、すなわち角度θが６度とすると、釘２０１ａは垂直線から１０度傾いていることとなり、この程度の角度になると釘の長さにもよるが根元が写ってしまうこともある。ただし、正しい設定角度の釘でも、カメラ画像の中心から離れたところに釘がある場合は、同じく釘の根元が映ることがある。 Here, the image 501 shown in FIG. 5 is an image obtained when the board surface 301 of the nail shown in FIG. 3 is photographed from the front, and the head 302 of the nail is shown as substantially circular. The position 504 where the projection line 503 from the setting position 401a intersects with the image 501 of the board becomes the root of the body 303 of the nail 201a. Generally, when the nail is photographed from the front of the gaming machine 101, that is, the upper surface of the board 301, if the nail is not largely deviated from the predetermined angle, the set predetermined angle is only about 4 degrees from the vertical. Basically, the root of the set position 401 a is hidden by the head 302 and not photographed. However, since the angle of the nail 201 a on the image 501 is deviated from the original angle, the root at the position 504 is also shown. For example, the setting data of the nail is set to be inclined 4 degrees from the vertical line in the direction of 12 o'clock as viewed from above, and the inclination of the nail 201a deviated in angle shown in FIG. When the angle θ is 6 degrees, the nail 201a is inclined 10 degrees from the vertical line, and at this angle, the root is projected depending on the length of the nail. There is also. However, even if the nail is at the correct setting angle, if the nail is away from the center of the camera image, the root of the nail may also be seen.
一般に本来の釘の状態から使用により角度がずれてくる場合釘２０１ａを例にとると、本来設定された角度で傾いているときの釘の頭部３０２の頂点と、実際に撮影された釘の頭部３０２の頂点とが一定距離だけ離れる。そこで、この距離が特定できれば本来の角度からどの程度ずれているかを算出することができる。本実施形態では、胴部３０３の長さは分かっているので、釘の頭部３０２の頂点と設定位置４０１ａとの距離により、釘の垂直線からの傾斜角度を計算し、釘設定データの傾き方向および角度と比較することにより角度のずれを取得することができる。その他の釘２０１ａ以外の釘の各々についても同様に傾き角と傾きの方向が算出できる。なお、本実施形態の算出手法は、釘の頭部の頂点の位置をきわめて正確に取得することを目指して開発されたものであり、設定位置と頭部の頂点とにより角度を計算する手法は本技術分野で知られた方法により得ることができるので、本実施形態では詳述しない。また、本実施形態では、釘の垂直線からの傾斜角度を求めて、釘設定データと比較するように説明したが、これに限られず釘設定データから本来あるべき頂点の位置を取得しておいて、その位置と撮影された画像から取得した位置とで、本来の角度からどの程度ずれているか、すなわち基準線３０４（図３参照）からのずれを算出して判定することもできる。 Generally, when the angle is shifted due to use from the original nail condition, taking the nail 201a as an example, the apex of the head 302 of the nail when it is inclined at the originally set angle, and the nail actually taken The apex of the head 302 is separated by a fixed distance. Therefore, if this distance can be specified, it can be calculated how much it deviates from the original angle. In the present embodiment, since the length of the torso portion 303 is known, the inclination angle from the vertical line of the nail is calculated by the distance between the apex of the head 302 of the nail and the setting position 401a. The angular deviation can be obtained by comparison with the direction and the angle. The tilt angle and the direction of tilt can be similarly calculated for each of the nails other than the other nails 201a. The calculation method of the present embodiment is developed aiming to obtain the position of the apex of the head of the nail very accurately, and the method of calculating the angle by the set position and the apex of the head is As it can be obtained by methods known in the art, it will not be described in detail in this embodiment. Further, in the present embodiment, it has been described that the inclination angle from the vertical line of the nail is obtained and compared with the nail setting data, but the present invention is not limited to this. It is also possible to determine the degree of deviation from the original angle between the position and the position acquired from the photographed image, that is, by calculating the deviation from the reference line 304 (see FIG. 3).
以上、本実施形態では、遊技釘が使用により本来設定されている角度からずれていることを釘頭部の画像から判定して、釘の打ち付け位置が設計通りであることを前提にずれた角度を求めるものであり、設計に基づく釘の遊技盤上の設定位置を含む釘設定データと、得られた釘の角度とにより釘設定データに合致しない釘を判定する。ここで、釘設定データに合致しないとは、誤差の範囲内であれば、厳密には合致しない場合も含んでもよく、閾値の範囲内であれば正常と判定してもよい。なお、角度に基づいて異常な釘を判定するとしたが、後述する本実施形態の釘頭部位置取得方法は元々、頭部があると想定される位置から外れた釘を検出するためのものであるから、角度自体を判定しなくても、異常な釘を検出するためにも用いることができる。すなわち、一般には想定位置よりずれた釘は何らかの想定外の状態にあると言えるので、それを検出できれば十分実用性がある場合もあり、本実施形態をそのような例に適用することもできる。また、例えば、工場出荷時等、釘の角度が設定からずれていないことを想定することができる場合に、異常な釘を検出したときは打ち付け位置が間違っていると推定することもできる。 As described above, in this embodiment, it is determined from the image of the nail head that the game nail is deviated from the originally set angle by use, and the angle deviated on the assumption that the nailing position of the nail is as designed. A nail which does not match the nail setting data is determined by the nail setting data including the setting position of the nail based on the design on the basis of the design and the obtained nail angle. Here, not meeting the nail setting data may include the case where it does not strictly match if it is within the range of an error, and it may be determined as normal if it is within the range of the threshold. Although an abnormal nail is determined based on the angle, the nail head position acquiring method according to the present embodiment described later is for detecting a nail which is originally deviated from a position assumed to be the head. Because of this, it can also be used to detect abnormal nails without determining the angle itself. That is, in general, it can be said that the nail shifted from the assumed position is in an unexpected state, so there may be cases where it can be practically useful if it can be detected, and the present embodiment can be applied to such an example. Also, for example, when it is possible to assume that the angle of the nail does not deviate from the setting, such as at the time of factory shipment, it is possible to estimate that the striking position is incorrect when an abnormal nail is detected.
本実施形態では、以上の通り上面から遊技盤を撮影したときの釘の頭部のわずかなずれに基づいて釘の角度を求めるため、頭部の頂点位置を正確に判定しなければならない。このような一定以上の精度で位置を判定する目的で画像を撮影により取得するためには、遊技盤と撮影装置とが確実に所定の距離と角度で固定されていなければならないこと、および撮影した画像と釘の設定位置とを正確に位置合わせすることの、少なくとも２つの要件を満足させる必要がある。ここで、遊技盤に適当なマークを付して画像上でマークを合わせることにより、位置合わせをすることもできるが、位置合わせができても、撮影装置を固定するための大がかりな判定装置を用意しなければ所望の精度で釘頭部の頂点の位置判定はできない。また、遊技盤にマークを設けるといっても、日々さまざまな遊技機が開発され、生産されている現状ですべてに共通するマークを釘状態判定のために付すことは現実的ではない。 In the present embodiment, since the angle of the nail is obtained based on the slight displacement of the head of the nail when shooting the game board from the upper surface as described above, the position of the apex of the head must be accurately determined. In order to acquire an image by photographing for the purpose of determining the position with such a certain accuracy or more, the gaming board and the photographing device must be securely fixed at a predetermined distance and angle, and photographing There is a need to satisfy at least two requirements of accurate alignment of the image with the setting position of the nail. Here, although it is possible to align the game board by attaching appropriate marks to the game board and aligning the marks on the image, a large-scale determination device for fixing the photographing device even if the alignment can be performed Without preparation, the position of the apex of the nail head can not be determined with the desired accuracy. Also, even if a mark is provided on the game board, it is not realistic to attach a mark common to all currently being produced and various types of game machines developed for production.
本発明者は、所望の精度で釘頭部の頂点の位置を判定するため様々な検討、試行錯誤を行った結果、後述するような位置取得方法を想到した。本実施形態の方法によると、位置合わせのマーク等も不要であり、かつスマートフォンなどの簡易な撮影装置で撮影した画像からも高精度で位置判定ができる。 As a result of various studies, trial and error, in order to determine the position of the apex of the nail head with desired accuracy, the inventor has conceived a position acquisition method as described later. According to the method of the present embodiment, alignment marks and the like are unnecessary, and position determination can be performed with high accuracy even from an image captured by a simple imaging device such as a smartphone.
（本実施形態の釘頭部位置取得）
本実施形態では、いくつかの段階に分けて正確な釘頭部の位置の取得を行う。その前提として、本実施形態ではスマートフォン等の撮影装置で盤面上の釘を撮影し、その画像から釘頭部の位置を求めるが、通常の撮影装置で撮った場合１枚の写真で遊技盤全体が収まるような画角で撮影しようとすると、遊技盤からかなり遠くから撮影しなければならず、解像度の問題で釘１つ１つが鮮明に撮影できない。また、適切な距離で撮影したとしても、画像の辺縁部の釘はレンズの歪誤差の影響を受けやすくなるため、遊技盤を複数、例えば６セグメントまたは７セグメントに分割して近接撮影し、なるべく画面中心に釘が映り込むようにして得られた各々の画像について、そこに含まれる釘の状態を判定する処理を行うことができる。もちろん、遊技機によってはさらに多数に分割したり少ない分割数で対応したりする方が効率的な場合は、そのような任意の数で分割して処理することができる。
(Acquisition of nail head position in this embodiment)
In this embodiment, accurate nail head position acquisition is performed in several stages. As the premise, in this embodiment, the nail on the board is photographed with a photographing device such as a smartphone, and the position of the nail head is determined from the image, but the entire game board is a single picture when photographed with a normal photographing device If you try to shoot at an angle of view that fits, you have to shoot from a great distance from the game board, and the nails can not be shot clearly because of the resolution problem. Also, even if shooting at an appropriate distance, the nail on the edge of the image is susceptible to lens distortion errors, so the game board is divided into a plurality of segments, for example, 6 segments or 7 segments for close-up shooting, It is possible to perform processing to determine the state of the nail included in each image obtained as the nail is reflected as much as possible on the screen center. Of course, depending on the gaming machine, if it is more efficient to divide into more or less with a smaller number of divisions, it is possible to divide and process by any such number.
以下、図６及び７を参照して本実施形態の釘頭部位置取得の大まかな処理を説明し、各処理についてはその後詳述する。図６は、本実施形態の釘判定装置の機能ブロック図であり、図７は、本実施形態の釘判定処理のフローチャートである。 Hereinafter, a rough process of nail head position acquisition according to the present embodiment will be described with reference to FIGS. 6 and 7, and each process will be described in detail later. FIG. 6 is a functional block diagram of the nail determining apparatus of the present embodiment, and FIG. 7 is a flowchart of the nail determining process of the present embodiment.
なお、本実施形態では、スマートフォン１１１で遊技盤を撮影して、画像を解析し、釘頭部の各頂点の位置を取得（し、最終的に釘の角度を算出）するが、スマートフォンでは撮影だけを行って、画像をパソコンやサーバに送信して解析処理させることもできる。また、逆にデジタルカメラなどの他の撮影手段で画像を取得して、スマートフォンで解析することもでき、いずれの処理をいずれの装置が分担するか、データの受け渡しはネットワークを用いるかなど、装置・システム構成は、本技術分野で知られたいずれのものも使用することができる。ここで、釘判定装置１１１は、スマートフォンのほか、タブレット端末、あるいはモバイルパソコン等とすることができるが、基本的に遊技盤の画像を表示、カメラ等を内蔵あるいは外付け可能、およびタッチパネル、マウスまたはキーボードで一定の入力操作をすることができれば、モバイルあるいはデスクトップのパソコン、専用端末などいずれの装置を用いることができる。また、例えば、撮像手段を備えているウエアラブル端末は好適である。ＡＲ機能搭載のスマートグラスであれば、盤面を見た際に異常な釘を示唆する機能があってもよい。さらに、釘判定装置は、画像を取得できればよく、釘判定装置自体が撮像手段を備えていなくても良い。 In the present embodiment, the game board is photographed with the smartphone 111, the image is analyzed, and the positions of the apexes of the nail head are acquired (and finally the angle of the nail is calculated). It is also possible to send the image to a personal computer or server for analysis processing. Also, conversely, an image can be acquired by another photographing means such as a digital camera and analyzed by a smartphone, and which device shares which processing, or whether it uses a network to transfer data, etc. The system configuration can be any known in the art. Here, the nail determination device 111 may be a tablet terminal or a mobile personal computer in addition to a smartphone, but basically an image of a game board is displayed, a camera etc. can be built in or externally attached, a touch panel, a mouse Alternatively, any device such as a mobile or desktop personal computer or a dedicated terminal can be used as long as certain input operations can be performed with the keyboard. Also, for example, a wearable terminal provided with an imaging means is suitable. If it is a smart glass equipped with an AR function, it may have a function to indicate an abnormal nail when looking at the board. Furthermore, the nail determination device need only be able to acquire an image, and the nail determination device itself does not have to be provided with an imaging means.
まず、遊技盤画像取得モジュール６０１により、スマートフォン１１１で遊技機１０１を正面から、遊技盤を６又は７分割して撮影する（ステップ７０１）。この際、撮影対象の遊技機の設計仕様をもとに、釘の設定位置に基づいて釘の頭部を配置した、例えば図８に示す釘のガイド画像を表示させたような、設定値に基づき釘の頭部があるべき場所を示したガイド画像を予めスマートフォン１１１内に用意しておく。実際の撮影時に用意しておいたガイド画像を遊技盤の映像と重ね合わせて表示するようにすることにより、位置や大きさを合わせて撮影することができる。本実施形態では、画像上の釘頭部のずれに基づいて角度を算出するという前提だから、釘頭部の位置は当然大なり小なり本来の位置からずれている。しかし、通常はほとんどの釘の頭部が重なる程度のズレであり、ガイド画像を画面に表示してこれを基準にして撮影すれば、撮影者によらず一定レベルで位置合わせされた画像を取得することができる。このように画像を取得することにより、その後の処理で釘のガイド画像の位置を利用して処理を軽減することができる。もちろん、このような手法を用いなくても本発明の判定処理によれば、高精度の釘頭部位置の判定は可能であるが、システム構成によってはこのような手法も採用することができる。 First, the gaming board 101 is divided by six or seven from the front of the gaming machine 101 with the smartphone 111 by the gaming board image acquisition module 601 (step 701). At this time, based on the design specification of the game machine to be photographed, the head of the nail is arranged based on the setting position of the nail, for example, a setting value as shown in FIG. Based on this, a guide image indicating the location where the nail head should be located is prepared in advance in the smartphone 111. By superimposing the guide image prepared at the time of actual shooting on the image of the game board and displaying it, it is possible to match the position and the size and shoot. In this embodiment, since the angle is calculated based on the deviation of the nail head on the image, the position of the nail head is naturally deviated from the original position by more or less. However, usually, the head of most nails is offset to the extent that they overlap, and if a guide image is displayed on the screen and photographed based on this, an image aligned at a certain level regardless of the photographer is acquired can do. By acquiring the image in this manner, the processing can be reduced by using the position of the guide image of the nail in the subsequent processing. Of course, according to the determination process of the present invention, it is possible to determine the nail head position with high accuracy without using such a method, but such a method may also be adopted depending on the system configuration.
画像が取得されると、前処理モジュール６０２により、予め複数の釘頂点画像から生成した学習データに基づきニューラルネットワークを用いた機械学習で、対象となる釘頭部の頂点の候補を検出し（ステップ７０２）、アフィン変換の推定を行う（ステップ７０３）。下記で詳述するが、以上の処理により釘の頭部が存在すると思われる大まかな位置を取得できるので、続くテンプレートマッチングの処理を効率的に実行でき、処理を軽減することができるが、このような処理をせずにテンプレートマッチングにより位置を特定することもできる。また、このような大まかな位置の取得は、本実施例のような機械学習以外のいずれの方法も用いることができる。 When an image is acquired, the preprocessing module 602 detects candidate vertexes of the target nail head by machine learning using a neural network based on learning data generated in advance from a plurality of nail vertex images (step 702), estimate the affine transformation (step 703). As described in detail below, since the rough position where the head of the nail seems to be present can be obtained by the above processing, the subsequent processing of template matching can be executed efficiently and the processing can be reduced. It is also possible to specify the position by template matching without performing such processing. Moreover, acquisition of such a rough position can use any methods other than machine learning like a present Example.
続いて、アフィン変換を求める際に用いた基準釘を用いてテンプレートマッチングのためのテンプレート画像をテンプレート画像取得モジュール６０３により作成する（ステップ７０４）。テンプレート画像作成の詳細は後述するが、本処理の目的は、釘の頭部の画像の正確なパターンを抽出し、続くテンプレートマッチングの処理においてピクセル単位で釘の頭部またはその頂点の位置を特定することである。本発明はこのようにテンプレート画像を用いてテンプレートマッチングをすることにより所望の精度を得ようとするものであり、上述の前処理は必須要件ではなく、上述以外の方法で事前の処理をしてもいいし、前処理が不要な場合は処理しない場合もある。 Subsequently, a template image for template matching is created by the template image acquisition module 603 using the reference nail used when obtaining the affine transformation (step 704). Although the details of template image creation will be described later, the purpose of this processing is to extract the exact pattern of the image of the head of the nail and to specify the position of the nail head or its vertex in pixel units in the subsequent processing of template matching. It is to be. Thus, the present invention is intended to obtain a desired accuracy by performing template matching using a template image, and the above-mentioned pre-processing is not an essential requirement, and pre-processing is performed by a method other than the above. You may not, if you don't need pre-processing.
一般に、一台の遊技機に使用される釘は全て同じ形状、サイズのものであり、頭部の形状、色、材質も同一である。したがって、本実施形態のように正面から遊技機を撮影する場合、釘の頭部としては上部から撮影した円形の画像が得られる。この際、全ての釘は頭部も含め同じ形状であり、金属製であることから一定の光沢を有し、同じ遊技盤に打ち付けられた釘の頭部を撮影すると、一緒に撮影された釘の頭部にあたる背景光や反射光はほぼ同一になる。すなわち、画像としてみた場合同じ映り込みが頭部表面上に現れることとなる。例えば図１３に示すような映り込み１３０１がすべての釘の頭部に出現することとなる。この映り込み１３０１は、撮影の角度、背景光などの条件で決まるが、上述の様に使用されている遊技機の釘は多少角度がずれていたとしても、釘頭部が球状になっていることから、正面から撮影して得られる画像は、どの釘も基本的には円状に映ることになる。また、そこに映り込む反射光もほぼ同じ位置に現れることになることから、後述する球面補正で考慮する差異を除けばほぼ同じ態様となる。本実施形態では、この原理を用いて、映り込みも含む頭部の画像をテンプレート画像として抽出して、テンプレートマッチングを行うことにより高精度の位置特定が可能となる。 Generally, the nails used in one game machine are all of the same shape and size, and the shape, color and material of the head are also the same. Therefore, when the gaming machine is photographed from the front as in the present embodiment, a circular image photographed from the top can be obtained as the head of the nail. At this time, all the nails have the same shape including the head and are made of metal, so they have a certain luster, and when the head of the nail nailed to the same game board is photographed, the nails taken together The background light and the reflected light that hit the head of are almost identical. That is, when viewed as an image, the same reflection appears on the surface of the head. For example, a reflection 1301 as shown in FIG. 13 will appear at the head of all nails. Although this reflection 1301 is determined by conditions such as shooting angle and background light, the nail head of the gaming machine used as described above is spherical even though the angle of the nail of the gaming machine used is somewhat different. From this, the image obtained by shooting from the front basically looks like any nail in a circle. In addition, since the reflected light that is reflected there will also appear at approximately the same position, the aspect will be approximately the same except for the differences considered in the spherical correction described later. In this embodiment, by using this principle, an image of the head including reflection is extracted as a template image, and template matching is performed, whereby position specification with high accuracy becomes possible.
その後、釘頭部位置判定モジュール６０４により、テンプレートマッチング処理を行い（ステップ７０５）、全体の画像の中で特に端の方の釘について球面補正を後処理モジュール６０５により行う（ステップ７０６）。以上により、スマートフォン１１１で撮影した画像に含まれる釘の頭部の画像の位置は正確に特定することができるが、実際の遊技盤上の位置との対応がとれているわけではない。すなわち、各釘の頭部の位置関係は正確に算出されるが、遊技盤上のどの位置に対応するかが分からない。したがって、釘の設定位置との関係を正確に定められないので、このままでは角度を算出することができない。そこで本実施形態では、三次元位置の推定処理を実行する（ステップ７０７）ことにより、最も確からしい遊技盤との位置関係を推定する。以上の処理により、遊技盤に対する釘頭部の頂点の正確な位置が取得できるので、釘角度算出モジュール６０６により設定値と各々比較して角度を算出することができる。角度を算出した後は、そのズレの値に応じてスマートフォンの画面上の釘の画像に適切な角度の範囲にあるか否か等を付して、いずれの釘が異常な角度かを示して釘調整の作業を支援することができる。 After that, template matching processing is performed by the nail head position determination module 604 (step 705), and spherical correction is performed by the post-processing module 605 on the nail at the end of the entire image (step 706). As described above, although the position of the image of the head of the nail included in the image captured by the smartphone 111 can be identified accurately, it does not necessarily correspond to the actual position on the game board. That is, although the positional relationship of the head of each nail is calculated correctly, it does not know which position on the game board corresponds. Therefore, since the relationship with the setting position of the nail can not be accurately determined, the angle can not be calculated as it is. Therefore, in the present embodiment, the positional relationship with the most probable game board is estimated by executing the estimation process of the three-dimensional position (step 707). By the above processing, the exact position of the top of the nail head relative to the game board can be acquired, so that the angle can be calculated by the nail angle calculation module 606 in comparison with the set value. After calculating the angle, it is added to the image of the nail on the screen of the smartphone whether or not it is within the range of an appropriate angle according to the value of the deviation, and it is indicated which nail is the abnormal angle Can support the work of nail adjustment.
このように、本実施例によれば作業者によらず正確な釘の位置状態を判定することができる。 As described above, according to this embodiment, it is possible to determine the correct nail position state regardless of the worker.
（ニューラルネットワークによる釘候補検出）
次に、図８および９を参照してニューラルネットワークによる釘候補検出を説明する。図８は、本実施形態の釘を撮影して得られた画像の一例を示す図であり、実際の釘８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０１ｅ、８０１ｆの付近に釘のガイド画像８０２ａ、８０２ｂ、８０２ｃ、８０２ｄ、８０２ｅ、８０２ｆがある程度重なるようにそれぞれ撮影されているのが理解できる。セグメント中心釘８０３の付近にも対応する釘のガイド画像８０４が存在する。図９は、本実施形態のニューラルネットワークによる釘候補検出を説明するための図である。スマートフォン１１１等で撮影した遊技盤３０１の画像から釘頂点候補を探索する。基本的には、特に優先順位なく任意の釘のガイド画像の近傍を探索して釘候補点を探し、これを画像に含まれる全ての釘のガイド画像で行なう。具体的には、図９に示すように、探索範囲９０１は釘のガイド画像８０２ｂの表示位置を中心に一定距離の円内とするが、これに限らず矩形等任意の形状の領域とすることができる。図９に示すように実際の釘８０１ｂの付近に釘のガイド画像８０２ｂがある程度重なるように撮影されていれば探索範囲９０１を狭くすることができるので、処理速度の向上に影響することが理解できる。
(Detection of nail candidate by neural network)
Next, nail candidate detection by a neural network will be described with reference to FIGS. 8 and 9. FIG. 8 is a view showing an example of an image obtained by photographing the nail of this embodiment, and guide images 802a, 802b of nails near the actual nails 801a, 801b, 801c, 801d, 801e, 801f. It can be understood that the images 802c, 802d, 802e, and 802f are photographed so as to overlap to some extent. A corresponding nail guide image 804 also exists near the segment center nail 803. FIG. 9 is a diagram for explaining nail candidate detection by the neural network of the present embodiment. A nail vertex candidate is searched from the image of the game board 301 photographed by the smartphone 111 or the like. Basically, the vicinity of the guide image of any nail is searched without particular priority to search for nail candidate points, and this is performed on the guide images of all nails included in the image. Specifically, as shown in FIG. 9, the search range 901 is within a circle of a fixed distance centered on the display position of the guide image 802b of the nail, but it is not limited to this and is an area of any shape such as a rectangle Can. As shown in FIG. 9, if the guide image 802b of the nail is photographed so as to be overlapped to some extent in the vicinity of the actual nail 801b, the search range 901 can be narrowed, so it can be understood that the processing speed is improved. .
１つの釘、例えば８０１ｂについて説明すると。釘８０１ｂの釘のガイド画像８０２ｂを中心に一定距離の円内９０１にてニューラルネットワークを利用して釘頂点候補を探索する。具体的には正解画像として、釘の頭部の様々な画像を学習させ特徴量を予め算出しておき、図９に示すようにこの特徴量に合致する画像を探索範囲９０１から特定し、釘頂点候補９０２を検出する。以上の処理を全ての釘のガイド画像で行なう。この段階では正確な位置は求めず、後続の処理で正確な位置の特定を行うので、この段階では個々の釘候補はそれぞれがどの釘という対応は取らない。 If one nail, for example 801b, is explained. A nail vertex candidate is searched using a neural network in a circle 901 having a fixed distance centered on the nail guide image 802b of the nail 801b. Specifically, various images of the head of the nail are learned as feature images, and feature amounts are calculated in advance, and as shown in FIG. A vertex candidate 902 is detected. The above processing is performed for all nail guide images. The exact position is not determined at this stage, and the precise positioning is determined in the subsequent processing, so that the individual nail candidates do not correspond to which nail at this stage.
なお、上記では、ニューラルネットで特徴量を算出するように記載したが、これに限られず、多数の釘頭部画像を投入して、有意な特徴量を取得できる手法であればいずれの学習手法を用いることもできるし、与えられた画像を釘であるかどうかを判別するために、その他の機械学習や、これに準ずる手法を用いることもできる。 In the above description, the feature amount is calculated using a neural network. However, the present invention is not limited thereto, and any learning method can be used as long as a significant feature amount can be acquired by inputting a large number of nail head images. Other machine learning methods or similar methods can be used to determine whether a given image is a nail or not.
（アフィン変換の推定）
以上の処理により、多数の釘の頂点候補が検出されるが、釘の頂点候補群には実際の釘の頂点ではないものや、位置がずれたものが含まれるため、実際の釘の頂点がどこなのかを確定させる必要がある。以下、図１０を参照してアフィン変換の推定を説明する。図１０は、本実施形態のアフィン変換の推定を説明するための図である。一般に、撮影した盤面画像で得られる釘頂点の位置関係は、厳密には一定角度の傾きが入った状態で撮影されることが殆どであるため、盤面と厳密に並行な状態で撮影した時に得られる釘頂点の位置関係と比較すると、釘同士の位置関係はある程度歪んだ状態にあると考えられる。本処理では、この歪みの関係をアフィン変換を用いて求めることで、撮影画像内の釘の本来の位置関係を推定する。
(Estimate of affine transformation)
By the above processing, a large number of nail vertex candidates are detected, but since the nail vertex candidate group includes those which are not the actual nail vertices and those whose positions are shifted, the actual nail vertices are It is necessary to determine where it is. Hereinafter, estimation of the affine transformation will be described with reference to FIG. FIG. 10 is a diagram for explaining estimation of affine transformation according to the present embodiment. Generally, the positional relationship of the nail apex obtained in the photographed board image is strictly obtained when taken in a state strictly parallel to the board, since in most cases the picture is taken with a certain angle of inclination. The positional relationship between the nails is considered to be in a distorted state to some extent, as compared with the positional relationship between the nail tips. In this processing, the relationship of distortion is obtained using affine transformation to estimate the original positional relationship of the nail in the captured image.
具体的には、図１０に示すように、まずアフィン変換の基準釘として３本を選択する。基準釘の選び方は画面中央に近い釘にすることもできるし、これに限られずランダムに選択することもできる。基準釘候補となる３本の釘についての、３つの釘のガイド画像８０２ａ、８０２ｂ、８０２ｃによって形成される基準となる三角形１００３に着目する。 Specifically, as shown in FIG. 10, first, three nails are selected as reference nails for affine transformation. The method of selecting the reference nail can be a nail close to the center of the screen, or can be randomly selected. Attention is focused on a reference triangle 1003 formed by the three nail guide images 802a, 802b, and 802c for the three nails serving as the reference nail candidates.
次に、三角形１００３をアフィン変換させて求められる基準釘候補となる３点を求めるため、上記の処理で検出した釘頂点候補の中から３点を選んで三角形を形成し、この三角形に対するアフィン変換と同じ変換を他の釘群にも適用し、変換後の各釘の位置が釘候補近くにあるとそのアフィン変換がもっともらしいといえるので、これをスコアとしてスコアの高いアフィン変換を求める。 Next, in order to obtain three points serving as reference nail candidates obtained by affine transforming the triangle 1003, three points are selected from among the nail vertex candidates detected by the above processing to form a triangle, and the affine transformation to this triangle is performed. The same transformation is applied to other nail groups, and if the position of each nail after transformation is close to the nail candidate, it can be said that the affine transformation is plausible, and this is used as a score to obtain a high affine transformation with high score.
例えば、図１０に示すように、釘頂点ではない釘候補点を２点選んだ三角形１００２について、基準となる三角形１００３をアフィン変換してもこの三角形を得られない。このため、このような場合は不適切な釘候補点の組み合わせであると判定し、別の組み合わせを探索する。一定の誤差値内であるアフィン変換に適合する３点の釘候補が見つかるまで、この処理を繰り返すことにより釘の候補１００１を探索して、アフィン変換を特定する。その結果、図１０の例で説明すると、三角形１００７を形成する３点１００１、１００５および１００６が、一定の誤差値内であるアフィン変換に適合する３点の釘候補と判定される。判定された際のアフィン変換結果をこの後の釘の三次元位置推定に利用する。 For example, as shown in FIG. 10, this triangle can not be obtained by affine transforming the reference triangle 1003 with respect to the triangle 1002 in which two nail candidate points that are not nail peaks are selected. For this reason, in such a case, it is determined that the combination is an inappropriate nail candidate point, and another combination is searched. A nail candidate 1001 is searched to identify an affine transformation by repeating this process until three nail candidates matching the affine transformation that are within a certain error value are found. As a result, in the example of FIG. 10, the three points 1001, 1005 and 1006 forming the triangle 1007 are determined as the nail candidates of the three points conforming to the affine transformation within the constant error value. The affine transformation result at the time of determination is used for the subsequent three-dimensional position estimation of the nail.
（テンプレートマッチング）
図１１および１２を参照してテンプレート画像の作成について説明する。図１１は、本実施形態のテンプレート作成時の釘の選択を示す図であり、図１２は、本実施形態のテンプレートの作成を説明するための図である。テンプレートマッチングの処理に当たっては、まずマッチングに使用するテンプレート画像を作成するが、本実施形態ではセグメント中心釘８０３と、前出のアフィン変換の基準釘３本１００１、１００５および１００６のうちの、例えば基準釘１００１の周辺１１０１をｘｙ方向で画像サイズについて走査し、もっともスコアの高い画像をテンプレートとして用いる。すなわち、図１１に示すように、セグメント中心釘８０３の釘のガイド画像８０４付近の特定領域１１０２をクロップした画像と、例えば基準釘１００１周辺領域をクロップした画像とを比較する。ここで、セグメント中心釘８０３は、基本的に画面中心付近に存在する釘を設定するが、これに限られずいずれかの釘を選択して処理することもできる。
(Template matching)
The creation of a template image will be described with reference to FIGS. 11 and 12. FIG. 11 is a diagram showing the selection of nails at the time of template creation of the present embodiment, and FIG. 12 is a diagram for describing the creation of the template of the present embodiment. In the template matching process, first, a template image to be used for matching is created. In this embodiment, for example, among the three segment nails 1001, 1005 and 1006 of the segment center nail 803 and the affine transformation mentioned above. The periphery 1101 of the nail 1001 is scanned in the xy direction for the image size, and the image with the highest score is used as a template. That is, as shown in FIG. 11, the image obtained by cropping the specific area 1102 in the vicinity of the guide image 804 of the nail of the segment center nail 803 is compared with the image obtained by cropping the peripheral nail 1001, for example. Here, the segment center nail 803 basically sets a nail existing near the screen center, but the invention is not limited to this and any nail can be selected and processed.
具体的には、図１２に示すように、セグメント中心釘８０３について、特定領域１１０２をラスタ走査１２０２しながら画像１２０１をクロップし、その画像１２０１と、基準釘１００１それぞれについても同様に特定領域１１０１を走査１２０３しながらクロップした画像１２０４を取り出し、これらを比較していき、最も相関の高い画像をテンプレートとして用いる。実際には、釘の背景がそれぞれ異なるため、最終的に釘が中心に来るようなクロップ画像が、最も相関が高い画像としてテンプレート画像に選択される。なお、テンプレート画像の探索については、移動（ラスタ）走査だけでなく画像のサイズも変更して探索することにより、より精度の高い走査が可能となる。 Specifically, as shown in FIG. 12, for the segment center nail 803, the image 1201 is cropped while raster scanning 1202 for the specific area 1102, and the specific area 1101 is similarly obtained for the image 1201 and the reference nail 1001 respectively. While scanning 1203, cropped images 1204 are taken out and compared, and the image with the highest correlation is used as a template. In practice, since the backgrounds of the nails are different from each other, a cropped image in which the nail is finally centered is selected as the highest correlation image in the template image. As for the search for the template image, scanning can be performed with higher accuracy by searching not only for movement (raster) scanning but also for changing the size of the image.
このようにして得られたテンプレート画像を用いてテンプレートマッチングを行う。図１３を参照してテンプレートマッチングの処理を説明する。図１３は、本実施形態のテンプレートマッチングを説明するための図である。図１３に示すように、釘の頭部の鏡面特性により釘の頭部１３０２には反射模様１３０１が映り込むが、上述したように全ての釘についてこの模様は同様であり、得られたテンプレート画像は主にこの映り込んだ模様となる。アフィン変換によって導出した釘の頂点位置１００１を中心に、ピクセル単位でテンプレートマッチングを行い、さらにスコアを元に補正をかけてサブピクセル単位での位置を求める。 Template matching is performed using the template image obtained in this manner. The process of template matching will be described with reference to FIG. FIG. 13 is a diagram for explaining template matching according to the present embodiment. As shown in FIG. 13, although the reflective pattern 1301 is reflected on the nail head 1302 due to the mirror surface characteristic of the nail head, the pattern is similar for all nails as described above, and the obtained template image The pattern is mainly reflected in this. Template matching is performed on a pixel basis centering on the vertex position 1001 of the nail derived by affine transformation, and correction is further performed based on the score to determine a position on a subpixel basis.
図１３に示すように、３本の基準釘１００１、１００５および１００６によって得られたアフィン変換を適用して求められる他の釘の頂点候補１３０３付近を中心に、作成したテンプレート画像でテンプレートマッチングを行ない、正確な釘頂点の座標を求めることができる。ここで、テンプレートマッチングの具体的な処理については、本技術分野で知られたいずれかの方法を用いることができるので、詳述しない。 As shown in FIG. 13, template matching is performed on the template image created around the vertex candidate 1303 of another nail obtained by applying the affine transformation obtained by the three reference nails 1001, 1005 and 1006. , You can determine the exact nail apex coordinates. Here, the specific process of template matching is not described in detail because any method known in the art can be used.
以上により、基本的には釘頭部の頂点の位置が高い精度で求められるから、対応する釘の設定位置および釘の長さを用いて釘の頭部の三次元位置を算出することができ、これにより、実際の釘の角度を求めることができる。 From the above, basically, the position of the apex of the nail head can be obtained with high accuracy, so it is possible to calculate the three-dimensional position of the nail head using the corresponding setting position of the nail and the length of the nail. This makes it possible to determine the actual nail angle.
（球面補正）
本実施形態では、テンプレートマッチングにより、基本的には高い精度で釘頭部の頂点の位置を特定することができるが、実際には図１４に示すように、釘頭部１４０２は球面なのでテンプレートマッチングによる照合では画像端の釘ほど頂点からの誤差が大きくなる。すなわち、図１５に示すように、画面の中心付近１５０１から離れた位置の釘の頭部１５０２の画像は映り込みの模様が他の釘の頭部に比べると若干異なる位置に出現することとなるため、特定される釘頭部の頂点の位置も実際の位置よりもずれることとなる。
(Spherical correction)
In the present embodiment, basically, the position of the apex of the nail head can be specified with high accuracy by template matching. However, as shown in FIG. In the case of matching by using a nail at the edge of the image, the error from the vertex increases. That is, as shown in FIG. 15, the image of the head 1502 of the nail at a position away from the center 1501 of the screen appears in a slightly different position compared to the heads of other nails in the image of the reflection Therefore, the position of the top of the nail head to be identified is also shifted from the actual position.
このため、球面であることを考慮して、テンプレート画像と釘サイズから求められる推定撮影距離を用いて位置の補正を行う。すなわち、視点１４０１から見る場合のように角度をつけて釘表面１４０２を見た場合は、釘表面１４０２に現れる鏡面模様は、正面から視点１４０３で見た場合とは異なり釘頂点とはずれた位置１４０４に映る。そのため、鏡面模様を元にテンプレートマッチングで求めた釘の頂点位置をその分補正する必要がある。 Therefore, in consideration of being spherical, the position is corrected using the estimated imaging distance obtained from the template image and the nail size. That is, when the nail surface 1402 is viewed at an angle as viewed from the viewpoint 1401, the mirror surface pattern appearing on the nail surface 1402 is a position 1404 that deviates from the nail apex unlike in the viewpoint 1403 viewed from the front. It looks like Therefore, it is necessary to correct the vertex position of the nail obtained by template matching based on the mirror surface pattern.
具体的には例えば、図１４及び１５に示すように、撮影画像の中心から、注目している釘までの距離１５０３、および遊技盤からの撮影距離から、視線方向の角度を推定する。３本の基準釘について、実際に撮影されたピクセル単位の釘間の距離と、本来の遊技機の仕様で設定されている距離（ｍｍ）を元に、画像内の距離をピクセルからミリ単位に換算するためのスケールを求め、遊技盤面から撮影装置の撮影位置までの距離を求める。 Specifically, for example, as shown in FIGS. 14 and 15, the angle of the sight line direction is estimated from the distance 1503 from the center of the photographed image to the focused nail and the photographing distance from the game board. The distance in the image from pixel to millimeter based on the distance between the nails in pixels actually taken and the distance (mm) set in the original specifications of the game machine for the three reference nails The scale for conversion is obtained, and the distance from the game board surface to the shooting position of the shooting device is obtained.
以上により、角度φ１４０５が求められるから、釘頭部の球面１４０２上の対応する距離も求められ、その距離分釘頭部の頂点位置が中心１５０１方向にずれていると判定できるので、逆に中心１５０１と反対の方向に得られた距離分離すことにより球面補正されたより正確な位置を取得することができる。 As described above, the angle φ 1405 can be obtained, so that the corresponding distance on the spherical surface 1402 of the nail head can also be obtained, and it can be determined that the vertex position of the nail head is shifted toward the center 1501 by the distance. By separating the distances obtained in the direction opposite to 1501, it is possible to obtain spherical-corrected more accurate positions.
（三次元位置推定）
以上により釘の頂点の画像の位置が取得できる。これらをもとに釘が存在するであろう位置を求め、それから各釘が本来あるべき位置（釘の胴部が設定位置の上方垂直軸から所定の角度傾いたときの頂点の位置）からどれほどずれているかを取得する。この段階ではどの釘がどの場所かという一対一対応ができているので、上述のアフィン変換より高精度な位置合わせができる。各釘の理想的な実寸の相対位置情報は正解釘データで与えられているので、それとテンプレートマッチングで求めた画像中の釘頭位置を用いて画像中での理想的な位置を計算する。カメラパラメータ等の値は与えられているので、実寸の理想位置に対して適切な変換行列を掛け合わせることで画像中でのピクセル位置を求めることができるが、それがテンプレートマッチングの結果にできるだけ近くなるような行列を求め、その位置を理想的な位置とする。この位置とテンプレートマッチングとによって求められた測定座標の差から、釘頂点のずれをｘｙ方向の移動量や、釘の傾斜角として求めることができる。
(Three-dimensional position estimation)
From the above, the position of the image of the apex of the nail can be acquired. Based on these, the position where the nail will exist is determined, and then how far from the position where each nail should be (the position of the apex when the body of the nail is inclined by a predetermined angle from the upper vertical axis of the set position) Get out of sync. At this stage, since there is a one-to-one correspondence as to which nail is at which place, alignment can be performed with higher accuracy than the affine transformation described above. Since the ideal actual relative position information of each nail is given by the correct nail data, the ideal position in the image is calculated using the nail head position in the image obtained by template matching. Since values such as camera parameters are given, the pixel position in the image can be determined by multiplying the ideal position of the actual size by an appropriate conversion matrix, but it is as close as possible to the template matching result Find a matrix that is such that the position is the ideal position. From the difference between the position and the measurement coordinates obtained by template matching, the displacement of the nail tip can be obtained as the movement amount in the xy direction or the tilt angle of the nail.
なお、この手法はほとんどの釘が正常な位置にあり、ごく少数の釘だけが異常な位置にあることを前提としており、極端な場合例えば全ての釘が所定位置よりも同一方向に同一量移動している場合においてはその異常を検出できない。ただし、通常店舗で行われるような釘の調整時は、実はほとんどの釘の傾きが正常であると仮定することができるので、このような極端なケースを考慮する必用はない。実際の遊技機による実験でも、高い精度で実際の釘の位置との一致を確認することができた。 Note that this method assumes that most of the nails are in the normal position and only a few nails are in the abnormal position. In extreme cases, for example, all the nails move the same amount in the same direction than the predetermined position. If it does, the anomaly can not be detected. However, it is not necessary to consider such an extreme case, since it can be assumed that the inclination of most nails is actually normal when adjusting nails as usually performed in a store. The experiment with the actual gaming machine also confirmed the correspondence with the actual nail position with high accuracy.
また、以上のような遊技機の釘調整といった状況に類似する状況、すなわちほとんどが正常で一部の異常な釘を特定するといった目的のために採用するのであれば、本実施形態の三次元位置推定の処理は、上述した本実施形態で用いた釘の頭部から頂点の位置を特定する各処理を用いなくても、画像上の位置関係から実際の遊技盤上の位置関係を特定するために使用することができる。 In addition, if employed for the purpose of identifying the nails of the gaming machine similar to the situation described above, that is, a situation in which most of the nails are normal and some abnormal nails are identified, the three-dimensional position of this embodiment In order to identify the actual positional relationship on the game board from the positional relationship on the image, the estimation processing does not use each processing for identifying the position from the head of the nail used in the present embodiment described above. It can be used for
さらに、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。 Furthermore, the technical elements described in the present specification or the drawings exhibit technical usefulness singly or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the techniques illustrated in the present specification or the drawings simultaneously achieve a plurality of purposes, and achieving one of the purposes itself has technical utility.
Claims (22)
前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記複数の釘の頭部の位置を判定する位置判定ステップと
を備えることを特徴とする釘判定方法。 The degree of similarity is calculated between the image of the head of a given nail among images obtained by imaging the head of a plurality of nails arranged on the game board and the image of the head of another nail, and the maximum similarity A template image acquisition step of acquiring a template image that is
A position determining step of determining the positions of the heads of the plurality of nails by executing template matching using the acquired template image.
前記取得した画像中の前記釘の頭部の画像を含む所定の領域および該位置を取得する判定準備ステップとをさらに備え、
前記テンプレート画像取得ステップは、前記判定準備ステップで取得した所定の領域を含むテンプレートを設定し、前記釘の頭部の画像のうちの所定の画像と、その他の釘の頭部の画像との間で走査し、２つの前記釘の頭部のテンプレート内の画像間の類似度を算出することを特徴とする請求項１ないし３のいずれかに記載の釘判定方法。 An imaging step of acquiring images of the heads of the plurality of nails;
It further comprises a predetermined area including an image of the head of the nail in the acquired image and a determination preparation step of acquiring the position.
The template image acquisition step sets a template including the predetermined area acquired in the determination preparation step, and between the predetermined image of the head of the nail and the image of the head of the other nail. The nail determination method according to any one of claims 1 to 3, wherein scanning is performed to calculate the similarity between the images in the template of the head of the two nails.
分割して撮像された画像ごとに前記釘設定データに合致しない釘を判定することを特徴とする請求項１ないし１５のいずれかに記載の釘判定方法。 The imaging of the head of the nail is performed by dividing the gaming board into a predetermined number,
The nail determination method according to any one of claims 1 to 15, wherein a nail not matching the nail setting data is determined for each of the divided and captured images.
前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記釘の頭部の位置を判定する位置判定手段と
を備えることを特徴とする釘判定装置。 The degree of similarity is calculated between the image of the head of a given nail among images obtained by imaging the head of a plurality of nails arranged on the game board and the image of the head of another nail, and the maximum similarity Template image acquisition means for acquiring a template image that is
And a position determination unit that executes template matching using the acquired template image to determine the position of the head of the nail.
遊技盤に配された複数の釘の頭部を撮像した画像のうちの所定の釘の頭部の画像と、その他の釘の頭部の画像との間で類似度を算出し、最大の類似度となるテンプレート画像を取得するテンプレート画像取得ステップと、
前記取得したテンプレート画像を用い、テンプレートマッチングを実行して前記釘の頭部の位置を判定する位置判定ステップと
を備えることを特徴とするプログラム。 A program for causing a computer to execute a nail determination method, the nail determination method comprising
The degree of similarity is calculated between the image of the head of a given nail among images obtained by imaging the head of a plurality of nails arranged on the game board and the image of the head of another nail, and the maximum similarity A template image acquisition step of acquiring a template image that is
A position determination step of performing template matching using the acquired template image to determine the position of the head of the nail.
前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位置を補正する位置補正ステップと
を備えることを特徴とする釘判定方法。 A position acquisition step of acquiring the position of the head of a nail in an image obtained by imaging the head of a plurality of nails arranged on the game board in association with the setting position of the nail on the game board included in the nail setting data When,
A combination of a predetermined number of positions among the acquired positions of the head of the nail is selected, and each position of the selected combination corresponds to the other position when overlapping with the corresponding set position. The differences from the setting position are calculated and summed, and each position of the combination when the combination having the smallest total difference is selected overlaps the corresponding setting position, so that each position of the head of the acquired nail And a position correcting step of correcting the position.
前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位置を補正する位置補正手段と
を備えることを特徴とする釘判定装置。 Position acquisition means for acquiring the position of the head of a nail in an image obtained by imaging the heads of a plurality of nails arranged on the game board in association with the setting position of the nail on the game board included in the nail setting data When,
A combination of a predetermined number of positions among the acquired positions of the head of the nail is selected, and each position of the selected combination corresponds to the other position when overlapping with the corresponding set position. The differences from the setting position are calculated and summed, and each position of the combination when the combination having the smallest total difference is selected overlaps the corresponding setting position, so that each position of the head of the acquired nail And a position correcting means for correcting the position.
遊技盤に配された複数の釘の頭部を撮像した画像中の釘の頭部の位置を、釘設定データに含まれる前記釘の遊技盤上の設定位置と対応付けて取得する位置取得ステップと、
前記取得した釘の頭部の位置のうちの所定の数の位置の組合せを選択し、当該選択された組合せの各位置を、対応する前記設定位置と重ねたときの、その他の位置と対応する前記設定位置との差異を算出して合計し、差異の合計が最も少ない組合せを選択したときの組合せの各位置が、対応する前記設定位置に重なるように、前記取得された釘の頭部の位置を補正する位置補正ステップと
を備えることを特徴とするプログラム。 A program for causing a computer to execute a nail determination method, the nail determination method comprising
A position acquisition step of acquiring the position of the head of a nail in an image obtained by imaging the head of a plurality of nails arranged on the game board in association with the setting position of the nail on the game board included in the nail setting data When,
A combination of a predetermined number of positions among the acquired positions of the head of the nail is selected, and each position of the selected combination corresponds to the other position when overlapping with the corresponding set position. The differences from the setting position are calculated and summed, and each position of the combination when the combination having the smallest total difference is selected overlaps the corresponding setting position, so that each position of the head of the acquired nail And a position correction step of correcting the position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017210016A JP7129667B2 (en) | 2017-10-31 | 2017-10-31 | NAIL DETERMINATION METHOD, NAIL DETERMINATION DEVICE, AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017210016A JP7129667B2 (en) | 2017-10-31 | 2017-10-31 | NAIL DETERMINATION METHOD, NAIL DETERMINATION DEVICE, AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019080768A true JP2019080768A (en) | 2019-05-30 |
| JP7129667B2 JP7129667B2 (en) | 2022-09-02 |
Family
ID=66669729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017210016A Active JP7129667B2 (en) | 2017-10-31 | 2017-10-31 | NAIL DETERMINATION METHOD, NAIL DETERMINATION DEVICE, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7129667B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004159817A (en) * | 2002-11-12 | 2004-06-10 | Shigemichi Ishizaki | Barrier nail position comparison and detection method of game machine |
| JP2009093412A (en) * | 2007-10-09 | 2009-04-30 | Fujitsu Ltd | Image measurement method and image measurement device |
-
2017
- 2017-10-31 JP JP2017210016A patent/JP7129667B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004159817A (en) * | 2002-11-12 | 2004-06-10 | Shigemichi Ishizaki | Barrier nail position comparison and detection method of game machine |
| JP2009093412A (en) * | 2007-10-09 | 2009-04-30 | Fujitsu Ltd | Image measurement method and image measurement device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7129667B2 (en) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6507730B2 (en) | Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination | |
| US10309770B2 (en) | Three-dimensional sensor system and three-dimensional data acquisition method | |
| TWI419081B (en) | Method and system for providing augmented reality based on marker tracing, and computer program product thereof | |
| US8295588B2 (en) | Three-dimensional vision sensor | |
| CN106650682B (en) | Face tracking method and device | |
| JP4245963B2 (en) | Method and system for calibrating multiple cameras using a calibration object | |
| EP3115741A1 (en) | Position measurement device and position measurement method | |
| EP3839610A1 (en) | Machine vision system and method with steerable mirror | |
| CN103501688A (en) | Method and apparatus for gaze point mapping | |
| CN109345597B (en) | Camera calibration image acquisition method and device based on augmented reality | |
| JP2017146938A (en) | Book detection device, book detection method, and computer program for book detection | |
| JP2007256091A (en) | Method and apparatus for calibrating range finder | |
| JP2001101429A (en) | Method and device for observing face, and recording medium for face observing processing | |
| JP2019113393A (en) | Optical tracking system and optical tracking method | |
| CN111872544A (en) | Calibration method and device for laser light-emitting indication point and galvanometer coaxial vision system | |
| CN110087049A (en) | Automatic focusing system, method and projector | |
| CN106341956B (en) | A kind of fixed camera bearing calibration | |
| TWI388797B (en) | Three - dimensional model reconstruction method and its system | |
| US10157475B2 (en) | Component handling assembly and method of adjusting a component handling assembly | |
| CN102831388B (en) | Based on real-time characteristic point detecting method and the system of the moving shape model of expansion | |
| JPWO2008084523A1 (en) | POSITION INFORMATION DETECTING DEVICE, POSITION INFORMATION DETECTING METHOD, AND POSITION INFORMATION DETECTING PROGRAM | |
| CN111199533B (en) | Image processing apparatus and method | |
| JP2019080768A (en) | Method of determining nails, device for determining nails, and program | |
| TWI504859B (en) | Method for photographing and piecing together the images of an object | |
| KR100698535B1 (en) | Position recognition device and method of mobile robot with tilt correction function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201019 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201019 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20201023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220120 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7129667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |