JP2005275568A - Pointed position detection method and apparatus for imaging apparatus, and program for detecting pointed position of imaging apparatus - Google Patents
Pointed position detection method and apparatus for imaging apparatus, and program for detecting pointed position of imaging apparatus Download PDFInfo
- Publication number
- JP2005275568A JP2005275568A JP2004084842A JP2004084842A JP2005275568A JP 2005275568 A JP2005275568 A JP 2005275568A JP 2004084842 A JP2004084842 A JP 2004084842A JP 2004084842 A JP2004084842 A JP 2004084842A JP 2005275568 A JP2005275568 A JP 2005275568A
- Authority
- JP
- Japan
- Prior art keywords
- display
- mark
- marks
- imaging device
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮像装置によってディスプレイを撮影した場合において、撮像装置の光軸（又は、指示方向）とディスプレイ平面との交点におけるディスプレイ上の相対座標を検出するための撮像装置の指示位置検出方法および装置に関するものであって、特に、射撃ゲーム用のガンやポインティングデバイスに内蔵された撮像装置を用いて、ディスプレイ側に用意された複数のマークを撮影することにより、撮像装置の光軸がディスプレイ上のどの位置を指示しているかを検出するための方法および装置に係る。
また、本発明は、前記位置検出方法および装置をコンピュータ上で実現するための撮像装置の指示位置検出用プログラムに関する。
The present invention relates to a method for detecting an indicated position of an imaging apparatus for detecting a relative coordinate on the display at an intersection between an optical axis (or an indicated direction) of the imaging apparatus and a display plane when the display is photographed by the imaging apparatus. In particular, an image pickup device built in a shooting game gun or a pointing device is used to photograph a plurality of marks prepared on the display side, so that the optical axis of the image pickup device is displayed on the display. The present invention relates to a method and an apparatus for detecting which position of an object is indicated.
The present invention also relates to an instruction position detection program for an imaging apparatus for realizing the position detection method and apparatus on a computer.
従来から、ＣＲＴや液晶ディスプレイを利用した射撃ゲームにおいて、標的をねらうガンなどの発射装置の照準位置を検出したり、スクリーン型のディスプレイ上に投影された画像上の所定の位置を指示するためのポインティングデバイスの使用時に、ポインティングデバイスの指示するディスプレイ上の位置を検出するための装置として、撮像装置を利用したものが知られている（特許文献１−３参照）。 Conventionally, in a shooting game using a CRT or a liquid crystal display, for detecting the aiming position of a launching device such as a gun aiming at a target or instructing a predetermined position on an image projected on a screen-type display A device using an imaging device is known as a device for detecting a position on a display instructed by the pointing device when the pointing device is used (see Patent Documents 1-3).
この装置は、被写体となるディスプレイの四隅に設けられたマークを撮影し、ディスプレイと撮像装置の距離、角度等に応じて、撮影された四隅のマークの画像平面上における相対位置が変化することを利用して、ディスプレイに対する撮像装置の光軸の向き、すなわちディスプレイ上におけるガンの照準位置やポインティングデバイスの指示位置を検出するものである。 This device photographs the marks provided at the four corners of the display as the subject, and the relative positions of the captured four corner marks on the image plane change according to the distance, angle, etc. between the display and the imaging device. This is used to detect the direction of the optical axis of the imaging apparatus relative to the display, that is, the aiming position of the gun on the display and the pointing position of the pointing device.
この装置は、撮像装置によって撮影された四隅のマークの画像平面上での位置情報を用いて撮像装置の光軸が指示するディスプレイ平面上の相対位置を検出するものであるため、射影歪みを考慮した精度の良い位置検出を行う場合、必ず、ディスプレイ上の規定された四隅のマークの位置情報が必要となる。なお、マークの位置は、必ずしも特許文献１−３のようなディスプレイの四隅でなくても良いが、少なくとも４つ設けられていることが検出精度上不可欠である。 This device detects the relative position on the display plane indicated by the optical axis of the imaging device using position information on the image plane of the four corner marks photographed by the imaging device. When performing highly accurate position detection, information on the positions of the four corner marks specified on the display is always required. Note that the positions of the marks do not necessarily have to be the four corners of the display as in Patent Documents 1-3, but at least four marks are essential for detection accuracy.
このような従来技術において、撮像装置の照準や指示位置をディスプレイの周辺領域に定めると、その反対側に設けられたマークが撮影範囲から外れてしまい、４つのマークを画像平面上に映し出すことができなくなり、撮像装置の位置決めが不可能となる。そのため、これら４つのマークを必ず画像平面範囲内に撮像するためには、ディスプレイと撮像装置の距離はディスプレイ全体が写るくらい十分に離れている必要がある。 In such a conventional technique, when the aiming or pointing position of the imaging device is determined in the peripheral area of the display, the mark provided on the opposite side is out of the shooting range, and four marks can be projected on the image plane. As a result, the imaging apparatus cannot be positioned. Therefore, in order to make sure that these four marks are captured within the image plane range, the distance between the display and the imaging device needs to be sufficiently large so that the entire display can be seen.
しかし、撮像装置とディスプレイの距離を大きくすることは、これを利用したゲーム機などの大型化に繋がり、特に、設置スペースの小型化が求められているアーケードゲーム機などにおいては大きな不都合であった。また、大型のディスプレイを使用した場合は、撮像装置とディスプレイの距離がより大きくなり、離れた位置から撮像装置を内蔵したガンやポインタを操作することになり、ディスプレイの希望する位置に照準を合わせることが困難になったり、表示内容を確認することが不可能になる問題が生じる欠点があった。 However, increasing the distance between the imaging device and the display leads to an increase in the size of a game machine or the like using the image pickup device, and is particularly inconvenient for an arcade game machine or the like that requires a smaller installation space. . In addition, when a large display is used, the distance between the imaging device and the display becomes larger, and the gun or pointer with the built-in imaging device is operated from a distant position, and the aim is aimed at the desired position on the display. There is a drawback that it becomes difficult to confirm the display contents.
また、従来技術は、ディスプレイ側にマークを必ず４つ設ける必要があり、マーク自体をディスプレイと別体に設けた場合には、その設置作業が面倒であるとか、マーク数を用意するためのコストがかかるといった欠点があった。また、マークをディスプレイの映像として表示した場合には、４つのマークを常時表示しなければならず、ゲームなどの表示内容の邪魔になる欠点があった。 In addition, in the conventional technology, it is necessary to always provide four marks on the display side, and when the mark itself is provided separately from the display, the installation work is troublesome or the cost for preparing the number of marks There was a fault that it took. Further, when the mark is displayed as an image on the display, the four marks must be displayed at all times, and there is a drawback that the display contents of the game and the like are disturbed.
本発明は前記のような従来技術の問題点を解決するために提案されたものであって、その目的は、マークの形状にディスプレイ隅部の位置を推測させる情報を盛り込み、ディスプレイの四隅がすべて撮影されない状況であっても、ディスプレイ四隅の位置情報を取得可能とし、その位置情報に基づいて、撮像装置の指示位置検出を精度良く実施することができるようにした位置検出方法および装置を提供することにある。 The present invention has been proposed in order to solve the problems of the prior art as described above, and its purpose is to include information for inferring the position of the display corner in the shape of the mark so that all four corners of the display are included. Provided is a position detection method and apparatus capable of acquiring the position information of the four corners of the display even in a situation where no image is taken, and capable of accurately performing the indicated position detection of the imaging device based on the position information. There is.
本発明の他の目的は、ディスプレイに２つのマークを設け、この２つのマークを撮像するだけで、ディスプレイの四隅をすべてを撮影しなくても撮像装置の指示位置検出を可能とすることにより、マーク個数の削減と、撮像装置とディスプレイの距離の短縮化を可能とした位置検出方法および装置を提供することにある。 Another object of the present invention is to provide two marks on a display and to detect the indicated position of the image pickup apparatus without imaging all four corners of the display by only imaging the two marks. An object of the present invention is to provide a position detection method and apparatus capable of reducing the number of marks and shortening the distance between an imaging apparatus and a display.
請求項１の発明は、撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための方法において、ディスプレイの上辺と下辺の中央部にそれぞれマークを配置し、各マークには、ディスプレイの四隅の配置方向を示す直線状の指標線分を設けておき、撮像装置の指示位置検出時においては、撮像装置により撮影された画像平面上における前記２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、前記２つのマークに含まれている各指標線分をディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をディスプレイの隅部の画像平面上における位置とする処理と、これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする。 According to a first aspect of the present invention, there is provided a method for detecting a relative coordinate of an intersection of an optical axis of an imaging device on a display and a display plane when the display is photographed by the imaging device. Each mark is provided with a linear index line segment indicating the arrangement direction of the four corners of the display, and when the indicated position of the imaging device is detected, on the image plane photographed by the imaging device The process of determining the position of the two marks in FIG. 3 and the index line segments included in the two marks, extending each index line segment included in the two marks in the direction of the corner of the display, The intersection point of the extended line segment is calculated, the process of setting the intersection point on the image plane at the corner of the display, and the display Based on the position information on the image plane position of the four corners, characterized in that it comprises a process of detecting a coordinate position where the optical axis is designated by the imaging device on a display plane.
請求項７の発明は、前記請求項１の発明を装置の観点からとらえたものであって、撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するための装置において、ディスプレイと、前記ディスプレイの上辺と可変の中央部にそれぞれ設けられたマークであって、しかも、前記各マークにはディスプレイの四隅の配置方向を示す直線状の指標線分を含むマークと、前記２つのマークを撮影する撮像装置と、前記撮像装置によって撮影された画像平面上から前記２つのマークを抽出するマーク検出部と、前記撮影された各マークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部と、撮像された各マークに含まれる前記指標線分を選定する指標線分選定部と、前記指標線分選定部により検出された２つのマーク中の指標線分をディスプレイの隅部の方向に延長すると共に、各マークから延長された線分の交点を求め、この交点を画像平面上におけるディスプレイの四隅の位置とするディスプレイ隅部位置演算部と、前記隅部位置演算部により求められたディスプレイ四隅の画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算する演算部を備えていることを特徴とする。
The invention of
請求項８の発明は、前記請求項１の発明をコンピュータソフトウェアの観点から捉えたものであって、撮像装置によってディスプレイを撮影した場合において、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出するためのプログラムにおいて、コンピュータに対して、撮像装置によって撮像されたディスプレイの画像中から、ディスプレイの上辺と下辺の中央部にそれぞれ配置された２つのマークを判別する処理と、前記画像中から判別された前記２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、前記２つのマークに含まれている各指標線分をディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をディスプレイの隅部の画像平面上における位置とする処理と、これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、を実行させることを特徴とする。
The invention of claim 8 captures the invention of
このような構成を有する請求項１、請求項７または請求項８の発明によれば、ディスプレイの上下に設けられた各マークにディスプレイの四隅の位置を示す情報、すなわち指標線分を包含させることにより、撮影された前記２つのマークに包含されている指標線分を検出し、この指標線分を延長することにより、ディスプレイ四隅の画像平面上の位置を算出することができる。その結果、ディスプレイ四隅の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出することが可能である。
According to the invention of
請求項２の発明は、前記請求項１の発明において、前記複数のマークが、ディスプレイの上辺または下辺と平行な指標線分と、マークが設けられている位置からディスプレイの隅部の方向に沿った指標線分を有する三角形の枠状をなすものであることを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the plurality of marks are arranged along an index line segment parallel to the upper side or the lower side of the display and a direction from the position where the mark is provided to the corner of the display. It has a triangular frame shape having an index line segment.
このような構成を有する請求項２の発明は、三角形の一辺がそれぞれディスプレイの四隅の方向を指し示す指標線分を備え、しかも、枠状の三角形という他の図形に比較して単純でしかも特徴的な輪郭追跡による形状の判定が容易なマークを使用することにより、撮像装置によって撮影された画像平面上の複数の図形中から、指標線分を含むマークを容易に判別することが可能になる。
The invention of
請求項３の発明は、前記請求項１または請求項２の発明において、撮像装置によって撮影された図形の輪郭追跡を行い、撮像された図形に含まれる直線の方向変化のサイクルを検出することにより、撮像された図形中から凸塊状図形を判別し、この凸塊状図形に直線成分が３つ含まれている場合に三角形のマークであると判定することを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the contour of the graphic photographed by the imaging device is traced, and a cycle of a change in direction of a straight line included in the photographed graphic is detected. A convex block graphic is discriminated from the captured graphic, and when the convex block graphic includes three linear components, it is determined that the mark is a triangular mark.
このような構成を有する請求項３の発明によれば、撮影された画像中にある程度の長さの直線を含む画像があった場合でも、３本の直線が無端状に連結されしかもその輪郭部分に凹部を有することのないという三角形の特徴を捉えて、マークと他の図形との判別を行うことができる。
According to the invention of
請求項４の発明は、前記請求項１、請求項２または請求項３の発明において、前記撮像された各マークに含まれる指標線分を判別して、その指標線分をディスプレイの隅部の方向に延長する処理が、相対するマークから遠い位置にある頂点を判別し、この遠い位置にある頂点を基準として各マークの他の頂点を識別し、ついで識別された３つの頂点に基づいて、一方のマークにおけるもっとも遠い頂点を通る２本の指標線分の延長線と、相対するマークにおけるもっとも遠い頂点を通らない１本の指標線分の延長線との２つの交点を、ディスプレイの隅部の位置と決定する処理を含むことを特徴とする。 According to a fourth aspect of the present invention, in the first, second, or third aspect of the invention, an index line segment included in each of the captured marks is determined, and the index line segment is displayed at a corner of the display. The process of extending in the direction discriminates vertices far from the opposite mark, identifies the other vertices of each mark with reference to the far vertices, and then based on the three vertices identified, At the corner of the display, the two intersections of the extension line of the two index lines that pass through the farthest vertex in one mark and the extension line of one index line that does not pass through the farthest vertex in the opposite mark And a process for determining the position of the.
このような構成を有する請求項４の発明によれば、撮像された２つのマークの各頂点の中で互いにもっとも離れた頂点は１カ所しか存在しないという性質を利用することにより、各マークの頂点位置の識別と、２つのマークのどの指標線分同士の交点をディスプレイの隅部の位置と推定するかが容易に判別できる。
According to the invention of
請求項５の発明は、請求項１、請求項２、請求項３または請求項４の発明において、前記２つのマークのうち、少なくとも一方のマークに、他のマークの方向を示す指標線分を設けたことを特徴とする。
The invention of
このような構成を有する請求項５の発明によれば、一方のマークに設けられた指標線分上に存在しない図形は、たとえ、他の条件を満足していてもマークでないことが判定できるので、撮像された画像中からのマークの検出精度が向上する。
According to the invention of
請求項６の発明は、前記請求項２、請求項３、請求項４の発明において、前記２つのマークが、内部が空白となった枠状のマークと、枠の内部に塗りつぶし部分を有するマークとから構成されていることを特徴とする。 According to a sixth aspect of the present invention, in the inventions of the second, third, and fourth aspects, the two marks are a frame-shaped mark having a blank inside and a mark having a filled portion inside the frame. It is comprised from these.
このような構成を有する請求項６の発明によれば、ディスプレイの上下に設けたマークを容易に区別することができ、撮像された画像中からマークを確実に判別できるとともに、ディスプレイのどの位置に設けられたマークであるかの判別も可能となり、ディスプレイの隅部がどの方向にあるかの判別も容易となる。
According to the invention of
本発明によれば、ディスプレイの上辺及び下辺の中央部にある２つのマークを撮像することにより、これら２つのマークに含まれる指標線分の情報からディスプレイの四隅の位置を予測でき、予測されたディスプレイ四隅の位置に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出することが可能になる。その結果、マークを４カ所設ける場合と比較して、マーク設置個数の低減が可能となる。また、２つのマークを撮像するのみで、ディスプレイの四隅の位置が予測できるため、ディスプレイ四隅をすべて撮像する従来技術に比較すると、撮像装置の撮像範囲が広がり、装置をディスプレイに近づけたり、ディスプレイの周辺部に照準やポインタを合わせることが可能になり、指示範囲も拡大する。さらに、２つのマークをディスプレイの中央部分に設けることにより、ディスプレイの左右いずれかの端部に２つのマークを設けた場合に比較して、撮像範囲をより拡大することができる。 According to the present invention, the positions of the four corners of the display can be predicted from the information of the index line segments included in these two marks by imaging the two marks in the center of the upper and lower sides of the display. Based on the positions of the four corners of the display, it is possible to detect the coordinate position indicated by the optical axis of the imaging device on the display plane. As a result, the number of marks installed can be reduced as compared with the case where four marks are provided. In addition, since the positions of the four corners of the display can be predicted only by imaging the two marks, the imaging range of the imaging device is broadened compared to the conventional technology that images all the four corners of the display. Aiming and pointer can be adjusted to the peripheral part, and the indication range is expanded. Furthermore, by providing the two marks in the central portion of the display, the imaging range can be further expanded as compared with the case where the two marks are provided at either the left or right end of the display.
本発明のように、射影変換を利用して、被写体であるとディスプレイと撮像装置によって撮影された画像平面との相対的な位置関係を把握する場合、被写体および画像平面上における直線性は位相不変量であり、射影変換では直線は直線に変換されることがわかっている。そこで、２つの直線Ａ，Ｂの交点をＣとし、また、直線Ａ，Ｂの射影変換後の直線をそれぞれＡ’，Ｂ’、交点Ｃの射影変換後の位置をＣ’とすると、Ｃ’はＡ’、Ｂ’の交点となる。今、線分の延長線上の交点が、ディスプレイ四隅の位置になるような線分情報を各マークに盛り込めば、被写体（ディスプレイ）上で２点のマークが撮像されていれば、ディスプレイ四隅の位置を、線分の延長線上の交点として推測できる。 As in the present invention, when projective transformation is used to grasp the relative positional relationship between a display and an image plane photographed by an imaging device as a subject, linearity on the subject and the image plane is out of phase. It is known that a straight line is converted to a straight line by projective transformation. Therefore, if the intersection of the two straight lines A and B is C, the straight line after the projective transformation of the straight lines A and B is A ′ and B ′, and the position of the intersection C after the projective transformation is C ′, then C ′ Is the intersection of A 'and B'. Now, if line information is included in each mark so that the intersection point on the extended line is the position of the four corners of the display, if two marks are imaged on the subject (display), the positions of the four corners of the display Can be inferred as an intersection on the extension line of the line segment.
この場合、ディスプレイに設ける各マークは、直線情報を含む形状となるため、それに応じた認識処理が必要となり、且つ追加される処理として、ディスプレイ四隅の座標位置を推定する処理が必要となる。以下に、どのような形状のマークが考えられるか、それらの認識手法、認識後の交点の推測方法を下記に示す。なお、以下の説明において、簡単化のためマークに付加する直線情報を以下「指標線分」と称す。 In this case, since each mark provided on the display has a shape including straight line information, a recognition process corresponding to the shape is required, and a process for estimating the coordinate positions of the four corners of the display is necessary as an additional process. The following shows the shape of the mark that can be considered, the recognition method thereof, and the method of estimating the intersection after recognition. In the following description, the straight line information added to the mark for simplification is hereinafter referred to as “index segment”.
今、図３に示すように、ディスプレイの上下両辺の中央部に設置されるマークをそれぞれ、マークＭ１，Ｍ２とする。このとき、マークＭ１，Ｍ２に、指標線分１−３または指標線分４−６を含ませておくことにより、マークＭ１，Ｍ２が撮像された場合にディスプレイの四隅が存在する方向が判断できるようにする。
すなわち、図４に示すように、２つのマークＭ１，Ｍ２をディスプレイの上辺と下辺の中央部に配置し、マークＭ１の斜め方向の指標線分１，２とマークＭ２の水平方向の指標線分６の延長線の交点を求めれば、それがディスプレイの下方の隅部１，２の位置となる。また、マークＭ１の水平方向の指標線分３とマークＭ２の斜め方向の指標線分４，５の交点が、ディスプレイの上方の隅部１，３の位置となる。このように、本実施形態によれば、２つのマークＭ１，Ｍ２が撮像されていれば、マークに含まれた指標線分を延長して交点を求めることにより、撮像画面上におけるディスプレイの四隅の位置を検出することができる。
Now, as shown in FIG. 3, the marks installed at the center of the upper and lower sides of the display are referred to as marks M1 and M2, respectively. At this time, by including the index line segment 1-3 or the index line segment 4-6 in the marks M1 and M2, it is possible to determine the direction in which the four corners of the display exist when the marks M1 and M2 are captured. Like that.
That is, as shown in FIG. 4, two marks M1 and M2 are arranged at the center of the upper and lower sides of the display, the
この場合、撮像画像平面におけるディスプレイの四隅の座標を決定するには、２つのマークの識別と、各マークに含まれ指標線分の識別との処理が必要となる。そこで、本実施形態において、ディスプレイ上部のマークＭ１は、図３のように、１つの円形部（塗りつぶし部）を内部に持ち、その周りを三角形の枠で囲まれている形状とし、下部のマークＭ２は、内部に塗りつぶし部がない三角形の枠で囲まれている形状とする。また、画像においてマークの抽出を助長させるために、マークの周囲を低輝度な素材で構成し、マーク自身を構成する指標線分１〜６および内側の円形部を高輝度な領域で構成する。この構成にすることにより、撮像された画像においてマーク図形部分が高コントラストになり、濃度変化情報で他の図形と区別しやすくできる。これらは透過照明による面光源や再帰反射板等によって実現できる。
In this case, in order to determine the coordinates of the four corners of the display on the captured image plane, it is necessary to identify two marks and identify an index line segment included in each mark. Therefore, in the present embodiment, the mark M1 at the top of the display has a circular portion (filled portion) inside and is surrounded by a triangular frame as shown in FIG. M2 is assumed to be a shape surrounded by a triangular frame having no filled portion inside. In order to facilitate the extraction of the mark in the image, the periphery of the mark is made of a low-luminance material, and the
また、撮像された図形中には、マークＭ１，Ｍ２以外にも、前記のような三角形状や濃度変化上方を有するものが存在する可能性がある。そこで、図５のように、一方のマークＭ１に、他方のマークの方向を示す指標線分７を設けておくことにより、撮像された図形中からマークを判別するに当たり、この指標線分７の延長線上に無い図形はマークでないと判定することもできる。すなわち、図６に示すように、画像平面中に複数のマーク候補の図形が存在しても、この指標線分７上に位置しない図形は、マークでないと判定することができ、マーク判定の精度をより向上することができる。
In addition to the marks M1 and M2, there may be a figure having a triangular shape or an upper density change as described above. Therefore, as shown in FIG. 5, by providing an
また、図７（Ａ）のように、マークを枠状とせずに、マークに含める３本の直線線分の情報が一点で交わる放射状の構成とすることもできる。なお、この放射状のマークは、各マークに含まれる３本の直線の相対的な位置を異ならせたり、図７（Ｂ）のように、一方の放射状マークの外周にリング状のマークを組み合わせたりすることにより、各マークがディスプレイのどの位置に設けられているかを判別できる。 Further, as shown in FIG. 7A, the mark may not have a frame shape, but may have a radial configuration in which information of three straight line segments included in the mark intersect at one point. This radial mark has a different relative position of the three straight lines included in each mark, or a ring-shaped mark is combined on the outer periphery of one radial mark as shown in FIG. 7B. By doing so, it is possible to determine at which position of the display each mark is provided.
なお、指標線分の情報においては、実際に線分の形状を入れる必要は無く、マークの形状よりそれらの情報が引き出せれば良い。たとえば、図８（Ａ）のように、指標線分を三角形の頂点を結ぶことによって作成することも可能である。例えば、マークＭ１については、
(a) ある範囲内において存在する４つの点の集合。
(b) 凸包図形は、内部に点を有する三角形となる。
(c) 他の図形に比較して高輝度。
等の情報から、撮像された他の図形とマークＭ１とを区別することができる。また、図８（Ｂ）のように、外側に枠を設けることで、他の図形や他のマークと区別しても良い。
In addition, in the information of the index line segment, it is not necessary to actually enter the shape of the line segment, and it is sufficient that such information can be extracted from the shape of the mark. For example, as shown in FIG. 8A, the index line segment can be created by connecting the vertices of a triangle. For example, for mark M1,
(a) A set of four points that exist within a certain range.
(b) The convex hull figure is a triangle having a point inside.
(c) High brightness compared to other figures.
It is possible to distinguish other captured images from the mark M1 from the information such as the above. Further, as shown in FIG. 8B, a frame may be provided on the outside to distinguish from other figures and other marks.
Ａ．第１の実施の形態
１．実施の形態の構成
以下、本発明の第１の実施の形態を図面に基づいて、具体的に説明する。
本実施の形態の位置検出装置は、図１に示す通り、撮影対象となる画像表示面を有するディスプレイ１と、このディスプレイ１の画像表示面を撮影する撮像装置２とを備えている。この撮像装置２としては、ＣＣＤ撮像素子を備えたビデオカメラやデジタルカメラが使用される。
A. First Embodiment Configuration of Embodiment Hereinafter, a first embodiment of the present invention will be specifically described with reference to the drawings.
As shown in FIG. 1, the position detection device of the present embodiment includes a
前記ディスプレイ１の上辺及び下辺の中央部には異なった形状の２つのマークＭ１，Ｍ２が設けられている。図４は、マークＭ１，Ｍ２の一例を示すものであって、各マークは全体として直角三角形状をなし、各マークのそれぞれには、ディスプレイの四隅の方向を示す３本の直線状の線分が含まれている。これら各マークは、ディスプレイ１上における配置箇所が判別できるように、それぞれ異なった形状をなすものであり、本実施形態においては、ディスプレイの上辺側のマークＭ１の内部には円形の塗りつぶし部が設けられ、下辺側のマークＭ２には塗りつぶし部がないことで判別できる。また、ディスプレイ１上部のマークＭ１は水平な直線が三角形の下辺に位置し、下部のマークＭ２は水平な直線が三角形の上辺に位置している。
Two marks M1 and M2 having different shapes are provided at the center of the upper and lower sides of the
これらのマークＭ１，Ｍ２は、ディスプレイ１の枠部などに貼り付け、印刷等の手段で設けることも可能であるし、ディスプレイ１の表示画面中の映像として映し出すことによって表示することもできる。また、撮像装置２によるマークの抽出を助長させるために、マークの周囲を低輝度な素材で構成し、マーク自身を高輝度な領域で構成することが好ましい。この構成にすることにより、撮像装置２によって撮影された画像中においてマーク図形部分が高コントラストになり、濃度変化情報で他の図形と区別しやすくできる。これらは透過照明による面光源や再帰反射板等によって実現できる。
These marks M1 and M2 can be attached to the frame portion of the
前記撮像装置２には、これによって撮影された画像データをデジタル画像データとするＡ／Ｄ変換器３が接続され、このＡ／Ｄ変換器３の出力がフレームメモリ４に出力される。このフレームメモリ４は、Ａ／Ｄ変換されたデジタル画像データを、撮像装置２のＣＣＤ撮像素子の撮像平面の各画素に対応したアドレス毎に一時的に記憶するものである。前記フレームメモリ４には、フレームメモリ４上に一時記憶された画像データを解析して、ディスプレイ１の画像表示面に対する撮像装置２の光軸が指示しているディスプレイ平面上における座標を検出するための位置検出部５が設けられている。
The
前記位置検出部５は、撮像装置２によって撮影され画像平面上に存在する図形中からマークに該当する可能性の低い図形を排除するフィルタ処理部５０と、前記フィルタ処理部５０を通過した図形中からマークの画像を判別するマーク検出部５１とを備えている。また、前記マーク検出部５１によって判定されたマークが、ディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部５２と、撮像された各マークに含まれる３本の指標線分の中から、他のマークに含まれる指標線分と組み合わせてその交点を得るための指標線分を選定する指標線分選定部５３を備えている。さらに、前記指標線分選定部５３により選定された各マーク中の指標線分をディスプレイ隅部の存在する方向に延長すると共に、各マークから延長された指標線分の交点を求め、この交点上を画像平面上におけるディスプレイ隅部の位置とするための演算を行うディスプレイ四隅位置演算部５４と、画像平面上におけるディスプレイの四隅の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を演算する相対座標検出部５５を備えている。
The
前記位置検出部５の出力側はゲーム機やディスプレイ表示装置に設けられたディスプレイ制御装置６に接続され、このディスプレイ制御装置６に前記相対座標検出部５５で算出された撮像装置のディスプレイ表面に対する相対的な位置情報が出力されるようになっている。この場合、ディスプレイ制御装置６は、入力された撮像装置の位置情報に基づいて、例えば、撮像装置の中心が指示するディスプレイ上の座標を算出し、その座標上に射撃ゲームの照準点を表示したり、ポインティングデバイスの指示ポイントを表示する。
The output side of the
２．各部の動作の詳細
次に、前記のような構成を有する本実施の形態における各部の動作を、より詳細に説明する。
（１）フィルタ処理部５０
前記フィルタ処理部５０は、前記のようにマーク図形を高コントラストとしておくことにより、撮影された画像中の濃度変化情報で他の図形と区別するものであって、判定対象となる図形の濃淡情報を検出し、一定の閾値を超えたコントラストの高い図形をマーク候補として判定する。この場合、撮像装置２にあらかじめ赤外線透過フィルタを使用することで、可視光線領域の画像と比較してある程度判別対象となる図形数を制限することにより、よりフィルタ処理を効果的に行なうように構成することも可能である。
このように本実施形態においては、マークと他の部分とのコントラストを強調した鮮鋭化処理や赤外線フィルタを利用したノイズ除去処理などにより、判定対象となる図形数を制限しておく。これらの処理は、後の処理の効率を上げ、演算装置の負担を軽減する意味でも有効である。
2. Details of Operations of Each Unit Next, operations of each unit in the present embodiment having the above-described configuration will be described in more detail.
(1)
As described above, the
As described above, in the present embodiment, the number of figures to be determined is limited by a sharpening process that enhances the contrast between the mark and other parts, a noise removal process that uses an infrared filter, or the like. These processes are also effective in increasing the efficiency of subsequent processes and reducing the burden on the arithmetic device.
（２）マーク検出部５１
前記マーク検出部５１は、撮像装置によって撮影された１フレーム分の画像データ中に、各マークに相当する画像が存在するか否かを判別し、その撮影画像平面上における位置（座標）を取得するものである。すなわち、撮像装置によって撮影された画像中には、マーク以外のものが種々含まれているので、それらの画像中からマークに相当するものを抽出する。
(2)
The
このようなマーク検出部５１の処理は、次のような判定処理を順次実行することにより、撮像された図形中からマークを抽出する。。
(1) 規定矩形の範囲内の連結成分である。
(2) 各マークは、３つの直線で囲まれている図形であるので、撮影された画像を構成する画素を連結処理し、その中から枠状の図形のみを抽出する。
(3) ３つの直線から構成されている枠である。
以下、これらの処理について、順次説明する。
Such processing of the
(1) Connected component within the specified rectangle.
(2) Since each mark is a figure surrounded by three straight lines, the pixels constituting the photographed image are connected and only a frame-like figure is extracted from them.
(3) A frame composed of three straight lines.
Hereinafter, these processes will be sequentially described.
（２−１）寸法、画素数による判定処理
前記のようなフィルタ処理によって選別された判定対象の図形に対して、その図形が規定矩形（画像平面の垂直、水平方向の矩形）範囲内の領域に含まれるか否かを判定する。すなわち、この判定は、判定対称となる図形の大きさ（図形の面積、図形の領域に外接する矩形の幅・高さ）による判定であって、この判定は、次の２つの処理の少なくとも一方を実施する。
(2-1) Judgment process based on size and number of pixels For a figure to be judged selected by the filter process as described above, the figure falls within a specified rectangle (vertical and horizontal rectangles on the image plane). It is determined whether it is included in. In other words, this determination is based on the size of the figure that is symmetrical to the determination (the area of the figure, the width / height of the rectangle that circumscribes the area of the figure), and this determination is at least one of the following two processes: To implement.
(a) 領域が、有する画素数の総計による判定
この処理は、マークは３本の直線を含みしかも一定の大きさを有することから、一定の領域内における画素数の割合が決まっている。すなわち、画素数が多くほとんど塗りつぶされているような図形や、逆に画素数が少なすぎる図形は、たとえ寸法的にマーク候補であったとしても、３本の直線を判別できないので、マーク候補から除外することができる。
(a) Determination by the total number of pixels that the area has In this processing, since the mark includes three straight lines and has a certain size, the ratio of the number of pixels in the certain area is determined. In other words, a figure that has many pixels and is almost filled, or a figure that has too few pixels, on the other hand, cannot detect three lines even if it is a mark candidate in terms of dimensions. Can be excluded.
(b) 判定対象となる図形の領域と外接する画像平面における水平、垂直方向の辺を有する矩形の幅、高さによる判定を行う。すなわち、図９の例で言えば、垂直方向矩形幅ｍｉｎと垂直方向矩形幅ｍａｘ、および水平方向矩形幅ｍｉｎと水平方向矩形幅ｍａｘにより規定された矩形の範囲内にある領域のみを対称図形と判断する。図９において、図形Ａ，Ｂ，Ｃ，Ｄは、前記の条件を満たすものであるからマーク候補として判定し、図形Ｅ，Ｆは、前記領域よりも小さいかあるいは大きい図形であるためマークではないと判定する。 (b) The determination is made based on the width and height of a rectangle having horizontal and vertical sides on the image plane circumscribing the area of the graphic to be determined. That is, in the example of FIG. 9, only a region within the rectangular range defined by the vertical rectangular width min and the vertical rectangular width max, and the horizontal rectangular width min and the horizontal rectangular width max is defined as a symmetrical figure. to decide. In FIG. 9, since figures A, B, C, and D satisfy the above conditions, they are determined as mark candidates, and figures E and F are not marks because they are figures smaller or larger than the area. Is determined.
（２−２）輪郭追跡による直線検出
前記の寸法、画素数による判定処理後、対象となった図形に対して、枠のエッジ部分に直線の要素がどの程度含まれているかを下記の通りに判定する。
図１０において符号Ａは、対称図形の所定の一点から選定された検査開始位置（現在位置）である。この現在位置Ａを中心として、上下、左右、斜めの８方向をそれぞれ図１０の表に示すように４つの方向カテゴリに分類する。すなわち、現在位置Ａを中心として、時計回りに、
２，３，４方向…方向カテゴリＡ
４，５，６方向…方向カテゴリＢ
６，７，０方向…方向カテゴリＣ
０，１，２方向…方向カテゴリＤ
とする。また、現在位置Ａから判定対象図形の輪郭を追跡した場合に、方向変化が生じるごとに、１つ前の方向コード変化の場所をＸ１，Ｙ１、今回の方向コードの変化の場所をＸ２，Ｙ２とする。
(2-2) Straight line detection by contour tracking After the determination processing based on the above dimensions and the number of pixels, the extent to which a linear element is included in the edge portion of the frame with respect to the target figure is as follows. judge.
In FIG. 10, symbol A is an inspection start position (current position) selected from a predetermined point of the symmetric figure. Centering on the current position A, the eight directions of up, down, left and right and diagonal are classified into four direction categories as shown in the table of FIG. That is, around the current position A in the clockwise direction,
2, 3, 4 directions ... Direction category A
4, 5, 6 directions ... Direction category B
6, 7, 0 direction ... Direction category C
0, 1, 2 directions ... Direction category D
And Further, when the outline of the determination target figure is traced from the current position A, every time a direction change occurs, the previous direction code change location is X1, Y1, and the current direction code change location is X2, Y2. And
ところで、「ディジタル直線の定義」として次のことが知られている。
[定理]
単純弧αが連続画像上の線分のディジタルかであるための必要十分条件は、αがコード特性を持つことである。このときの図形をディジタル線分またはディジタル直線と呼ぶ。
By the way, the following is known as “definition of digital line”.
[theorem]
A necessary and sufficient condition for the simple arc α to be a digital line segment on a continuous image is that α has a code characteristic. The figure at this time is called a digital line segment or a digital straight line.
[性質]
単純弧がディジタル直線であるための必要条件は、この単純弧を方向コードで表したとき、次の(1) 〜(3) がすべて成り立つことである。但し、方向コードはある画素から隣の画素に向かう方向を４５°を単位として表したものであり、チェインコード、フリーマンコードと呼ばれる。
(1) 方向コードは２種類以内であり、しかもそれらは互いに４５度異なる。
(2) このコードの少なくとも一方は長さ１の連でしか生じない。
(3) もう一方のコードは高々２種類の長さの連を作る。そして、この２種類の連の長さは１しか違わない。
[nature]
A necessary condition for a simple arc to be a digital straight line is that the following (1) to (3) hold when this simple arc is represented by a direction code. However, the direction code represents the direction from one pixel to the next pixel in units of 45 °, and is called a chain code or a freeman code.
(1) There are no more than two types of direction codes, and they are 45 degrees different from each other.
(2) At least one of these codes can only occur in a series of
(3) The other cord creates a series of at most two different lengths. The lengths of the two types of reams differ only by 1.
なお、これらの点については、非特許文献１に詳しい。
ここで、輪郭追跡において上記の条件を満たさない時を、頂点予測点と呼ぶことにし、その数により、図形の縁に直線成分がどの程度含まれているかを判断する。例えば、図１１（Ａ）のような画像においては、長い３本の直線と、その各頂点部分における短い線分が存在するが、このうち、各頂点部分の短い線分は前記(1) 〜(3) の条件を満たすことがないので、デジタル直線とはカウントせず、この図形では３本の長い線分のみが直線として検出される。 Here, when the above condition is not satisfied in the contour tracking, it is called a vertex prediction point, and it is determined how much a linear component is included in the edge of the figure based on the number. For example, in the image as shown in FIG. 11A, there are three long straight lines and short line segments at the respective vertex portions. Of these, the short line segments at the respective vertex portions are the above (1) to Since the condition of (3) is not satisfied, it is not counted as a digital straight line, and only three long line segments are detected as straight lines in this figure.
（２−３）三角形の検出
但し、前記(1) 〜(3) の判定だけでは、円のように、一つ一つの小さな辺でできている場合、それらの辺はカウントされないため下記の条件も追加する必要がある。すなわち、図１１（Ｂ）のように短い線分が組み合わされた凹部が形成されている図形においては、凹部を形成する短い線分は前記(1) 〜(3) の条件を満たさないために直線とはカウントされず、凹部以外の残るコ字型の３本の直線が検出され、辺の数が３の図形として認識されてしまう。しかし、たとえ３本の直線が検出されたとしても、このような凹部を含む形状の図形は本発明の検出対象である三角形のマークではないので、このような図形がマーク候補としては排除される必要がある。そこで、本実施形態では、次のような条件を追加することにより、マーク候補であるか否かを判定する。
(2-3) Detection of triangle However, if only the above determinations (1) to (3) are made of individual small sides such as a circle, those sides are not counted. Also need to be added. That is, in the figure in which the concave portion formed by combining the short line segments is formed as shown in FIG. 11B, the short line segments forming the concave portions do not satisfy the conditions (1) to (3). It is not counted as a straight line, and the remaining three U-shaped straight lines other than the recesses are detected and recognized as a figure with three sides. However, even if three straight lines are detected, such a figure including a concave portion is not a triangular mark that is a detection target of the present invention, and such a figure is excluded as a mark candidate. There is a need. Therefore, in this embodiment, it is determined whether or not it is a mark candidate by adding the following condition.
［追加条件］
輪郭追跡において、必ず、同じ方向変化カテゴリを取りつつ一回だけサイクルする。
すなわち、輪郭追跡時に、方向変化が生じる毎に、変化する方向の判定を行ない、たとえば、追跡開始位置からの方向変化カテゴリＡを開始カテゴリとした場合に、方向変化カテゴリＡ−方向変化カテゴリＢ−方向変化カテゴリＣ−方向変化カテゴリＤ−方向変化カテゴリＡまたは方向変化カテゴリＡ−方向変化カテゴリＤ−方向変化カテゴリＣ−方向変化カテゴリＢ−方向変化カテゴリＡのように、同一の方向変化カテゴリが一回だけサイクルして、元の追跡開始位置に戻ることを、検出対象であるマーク判定の条件とする。なお、このとき、開始カテゴリは規定せず、どの方向変化カテゴリから追跡が開始されても良い。
このようにすると、図１１（Ｂ）のように、凹部を含む図形においては、サイクルの途中で異なる方向変化カテゴリを含むことになるので、この異なる方向変化カテゴリの存在により、凹部を含む図形はマークでないと判別できる。
[Additional conditions]
In contour tracking, always cycle once, taking the same direction change category.
That is, whenever a direction change occurs during contour tracking, the direction of change is determined. For example, when the direction change category A from the tracking start position is set as the start category, the direction change category A-direction change category B- Direction change category C-Direction change category D-Direction change category A or Direction change category A-Direction change category D-Direction change category C-Direction change category B-Direction change category A The condition for determining the mark to be detected is to cycle the number of times and return to the original tracking start position. At this time, the start category is not defined, and tracking may be started from any direction change category.
In this way, as shown in FIG. 11B, in a graphic including a recess, a different direction change category is included in the middle of the cycle. It can be determined that it is not a mark.
前記のようなデジタル直線の定義および追加条件に従って、判定対象とした図形について、直線抽出処理を行う場合のアルゴリズムは、次の通りである。
まず、判定対象とした図形の輪郭追跡を行うに当たり、輪郭追跡開始点を開始頂点予測点とし、前記の条件（デジタル直線の定義）を、満たさないときの位置を終了頂点予測点として、下記の判定を行う。
In accordance with the above-described definition of digital straight lines and additional conditions, an algorithm for performing straight line extraction processing on a graphic to be determined is as follows.
First, in performing contour tracking of a figure to be determined, the contour tracking start point is a start vertex prediction point, and the position when the above condition (definition of digital line) is not satisfied is the end vertex prediction point. Make a decision.
(1) 開始頂点予測点と終了頂点予測点間の距離を抽出した辺の大きさとし、以下の判定・処理を行う。なお、ここで、辺の大きさの判定距離は、水平方向の差分と垂直方向の差分の各絶対値の和（シティブロックの距離）とする。
(a) 辺の大きさがあらかじめ定めたある規定の大きさであれば、開始頂点予測点と終了頂点予測点の位置（座標）を記憶し、辺の数をインクリメントし、終了頂点予測点を次の辺の開始頂点予測点とするための更新処理を行う。
(b) 辺の大きさがある規定の大きさでなければ、終了頂点予測点を次の辺の開始頂点予測点とする更新処理のみ行う。
(1) The distance between the start vertex prediction point and the end vertex prediction point is set as the extracted edge size, and the following determination and processing are performed. Here, the determination distance of the size of the side is the sum of the absolute values of the difference in the horizontal direction and the difference in the vertical direction (city block distance).
(a) If the size of a side is a predetermined size, store the position (coordinates) of the start vertex prediction point and end vertex prediction point, increment the number of sides, and set the end vertex prediction point An update process is performed to make the next vertex start vertex prediction point.
(b) If the size of the side is not a certain size, only the update process is performed with the end vertex prediction point as the start vertex prediction point of the next side.
(2) カテゴリ変化の判定
前記追加条件の変化サイクルでない場合は、マークでないとして、判定対象とした図形に対する処理を中止する。
(2) Judgment of Category Change If it is not the change cycle of the additional condition, it is determined that the mark is not a mark, and the process for the figure to be judged is stopped.
(3) 辺の数の判定
輪郭追跡終了時において、前記(1) および(2) の条件を満足した図形について、インクリメントした辺の数を検査し、辺の数が３である場合には、その図形をマークであると判定する。この場合、その図形が有する各辺が、求める指標線分に相当する。すなわち、求めた辺は、開始頂点予測点と終了頂点予測点の２点を通る直線となる。一方、その図形の辺の数が３でない場合には、その図形はマークではないと判定する。
(3) Judgment of the number of sides At the end of contour tracking, the figure that satisfies the conditions (1) and (2) above is inspected for the number of sides incremented, and when the number of sides is 3, The figure is determined to be a mark. In this case, each side of the figure corresponds to a desired index line segment. That is, the obtained edge is a straight line passing through two points, the start vertex prediction point and the end vertex prediction point. On the other hand, when the number of sides of the graphic is not 3, it is determined that the graphic is not a mark.
（２−４）枠の頂点の算出
前記のようにして、マークとして判定された図形中から抽出された３直線より、３つの交点（枠の頂点）を算出する。すなわち、前記(1) の(b) の処理によって辺としてはカウントされていない短い直線が認識されている場合のように（図１１（Ａ）参照）、図形中で検出された３直線の開始頂点予測点と終了頂点予測点は、必ずしも枠の頂点に位置するとは限らない。そこで、前記マークの判別処理で、マークとして判定された図形の３直線より、各々各組み合わせの２直線の交点を求め、それらの交点を枠が形成する三角形の頂点とするための算出処理を行う。
(2-4) Calculation of frame vertices Three intersections (frame vertices) are calculated from the three straight lines extracted from the graphic determined as a mark as described above. That is, the start of the three straight lines detected in the figure as in the case where a short straight line not counted as a side is recognized by the processing of (b) in (1) (see FIG. 11A). The vertex prediction point and the end vertex prediction point are not necessarily located at the vertex of the frame. Therefore, in the mark discrimination processing, the intersection of two straight lines of each combination is obtained from the three straight lines of the graphic determined as the mark, and the calculation processing is performed to make those intersections the vertices of the triangle formed by the frame. .
（２−５）マーク数の決定
以下、撮影されたすべての図形に対して、このような処理を行い、撮像平面上にいくつのマークが存在するかを判定していく。この場合、マークと判定された図形が２つの場合は、判定されたマーク数に応じたそれぞれの処理がなされるが、マークが１以下あるいは３以上とあると判定された場合には、焦点や指示位置が判定できないので、再び元の画像入力処理に戻り、撮像された図形中からのマークの判定処理を繰り返す。
(2-5) Determination of number of marks Hereinafter, such a process is performed on all the captured figures to determine how many marks exist on the imaging plane. In this case, when there are two figures determined to be marks, each process is performed according to the determined number of marks, but when it is determined that the number of marks is 1 or less or 3 or more, the focus or Since the designated position cannot be determined, the process returns to the original image input process again, and the mark determination process from the captured figure is repeated.
なお、マークと判定された図形が３以上（マークの設置個数以上）の場合には、さらにマークの判定基準を厳しくすることで、マーク候補図形を絞り込むことも可能である。たとえば、マークを構成する枠の直線性の確か度合いを基準としたり、枠内部に含まれる画像の形状や画素数を絞り込みの基準とすることができる。具体的には、枠の内部に左右判別用の円形部を設けたマークでは、枠中に円形の図形が存在することをマークとしての判定基準としたり、円形部を構成する画素数が一定の範囲内にあることで、その図形をマークとして判定したり、枠内に円形部が存在しない側のマークについては、枠内に他の図形や一定数以上の画素が存在しないことをマークとしての判定基準とする。さらに、前記図図５及び図６に示すようなマーク構成とすることで、指標線分７上に無い図形はマークでないと判別して、マークと判定される図形数を削減できる。
When the number of figures determined to be marks is 3 or more (more than the number of marks installed), it is possible to narrow down the mark candidate figures by further tightening the mark determination criteria. For example, the degree of linearity of the frame constituting the mark can be used as a reference, or the shape of the image and the number of pixels included in the frame can be used as a reference for narrowing down. Specifically, in a mark provided with a circular part for left / right discrimination inside the frame, the presence of a circular figure in the frame is used as a criterion for determination as a mark, or the number of pixels constituting the circular part is constant. If it is within the range, the figure can be determined as a mark, or for a mark on the side where there is no circular part in the frame, it is a mark that there is no other figure or a certain number of pixels in the frame. Judgment criteria. Furthermore, by adopting the mark configuration as shown in FIGS. 5 and 6, it is possible to determine that a graphic not on the
（３）マーク種別判別部５２
前記マーク種別判別部５２は、マークがディスプレイの上下のどちら側に設けられたものであるかを判別するものであって、前記マーク検出部５１の処理によってマークと判定された図形について、枠の内部に塗りつぶし部が存在するか否かを検出し、その有無によって、ディスプレイのいずれの側に設けられたマークであるかの判別を行なう。なお、この処理は、３本の指標線分によって囲まれた領域内に、一定数以上の画素が存在することを検出することで実施できる。
(3) Mark
The mark
（４）指標線分選定部５３
前記のようにして、各マークについて、その頂点の位置（各マークの頂点の座標）が算出され、撮像平面上における各マークの位置が判明した後は、撮像されたマークに含まれるどの指標成分を他のマークのどの指標線分と組み合わせるかどの方向に延長するかによって、ディスプレイ四隅の位置の推測を行う。
この場合、指標線分の組み合わせを判別するには、まず、撮像された２つのマークの頂点が、ディスプレイの上下辺に設けられた２つのマークの頂点のどれと対応しているかを識別する必要がある。本実施の形態では、ディスプレイに設けられた２つのマークにおいて、もっとも離れた位置にあるのが、上下の三角形の頂点にあることを領して、撮像されたマークの頂点の識別を行う。
(4) Index
As described above, for each mark, the position of the vertex (the coordinates of the vertex of each mark) is calculated, and after the position of each mark on the imaging plane is determined, which index component is included in the imaged mark The positions of the four corners of the display are inferred depending on which index line segment of other marks is combined and which direction is extended.
In this case, in order to determine the combination of the index line segments, first, it is necessary to identify which of the two mark vertices provided on the upper and lower sides of the display corresponds to the vertex of the two captured marks. There is. In the present embodiment, the two marks provided on the display identify the vertices of the picked-up marks, except that the farthest positions are the vertices of the upper and lower triangles.
図１２は、頂点の識別の手法を示すものであって、中心に円形の塗りつぶし部があるために上辺のマークＭ１として判別された図形であり、この図形の３つの頂点について、適宜Ａ’，Ｂ’，Ｃ’を割り当て、同様に下辺のマークＭ２として判別された他の図形にも３つの頂点Ｄ’，Ｅ’，Ｆ’を割り当てる。この場合、各マークの頂点は、それぞれ識別されていない状態なので、頂点の符号に「’」をつけて識別後の頂点の符号とは区別している。 FIG. 12 shows a method for identifying a vertex, which is a figure identified as the mark M1 on the upper side because there is a circular filled portion at the center. For three vertices of this figure, A ′, Similarly, B ′ and C ′ are assigned, and similarly three vertices D ′, E ′, and F ′ are assigned to other figures determined as the lower mark M2. In this case, since the vertices of each mark are not identified, “′” is added to the vertex codes to distinguish them from the identified vertex codes.
この状態で、２つのマークのすべての頂点間の距離を計測し、その距離がもっとも遠い頂点の組み合わせを調べる。
ｄＡＤ=｜Ａ’−Ｄ’｜
ｄＢＤ=｜Ｂ’−Ｄ’｜
ｄＣＤ=｜Ｃ’−Ｄ’｜
ｄＡＥ=｜Ａ’−Ｅ’｜
ｄＢＥ=｜Ｂ’−Ｅ’｜
ｄＣＥ=｜Ｃ’−Ｅ’｜
ｄＡＦ=｜Ａ’−Ｆ’｜
ｄＢＦ=｜Ｂ’−Ｆ’｜
ｄＣＦ=｜Ｃ’−Ｆ’｜
図１２（Ａ）の例では、仮の頂点として割り当てた頂点Ｂ’とＦ’の組み合わせがもっとも距離が離れているので、図１２（Ｂ）のように、この頂点Ｂ’をディスプレイに設けたマークの頂点Ａとし、頂点Ｆ’をディスプレイに設けたマークの頂点Ｄとする。
In this state, the distance between all the vertices of the two marks is measured, and the combination of the vertices having the longest distance is examined.
dAD = | A′−D ′ |
dBD = | B′−D ′ |
dCD = | C′−D ′ |
dAE = | A′−E ′ |
dBE = | B′−E ′ |
dCE = | C′−E ′ |
dAF = | A′−F ′ |
dBF = | B′−F ′ |
dCF = | C′−F ′ |
In the example of FIG. 12A, the combination of the vertices B ′ and F ′ assigned as temporary vertices is the farthest away, so this vertex B ′ is provided on the display as shown in FIG. It is assumed that the vertex A of the mark and the vertex F ′ is the vertex D of the mark provided on the display.
このようにして、マークＭ１とマークＭ２の頂点Ａ，Ｄが決定された後は、残りの２つの頂点を決定するが、この場合、２つの頂点に対して、マークＭ１では一方を頂点Ｂ、他方を頂点Ｃと仮に割り当て、マークＭ２では一方を頂点Ｅ、他方を頂点Ｆと仮に割り当てる。その状態で、ベクトルＡＢ×ＡＣの外積と、ベクトルＤＥ×ＤＦの外積を計算し、その符号をディスプレイに設けられている本来のマークＭ１，Ｍ２におけるベクトルＡＢ×ＡＣの外積とベクトルＤＥ×ＤＦの外積の符号と比較する。そして、撮像されたマークの外積の符号と、本来のマークの外積の符号が一致した場合には、仮に割り当てた頂点が正しいものとしてそのまま使用し、符号が異なる場合には、仮に割り当てた頂点を入れ替えて、各マークＭ１，Ｍ２における頂点の識別を確定する。 After the vertices A and D of the mark M1 and the mark M2 are thus determined, the remaining two vertices are determined. In this case, one of the marks M1 is a vertex B, with respect to the two vertices. The other is temporarily assigned as vertex C, and one of the marks M2 is temporarily assigned as vertex E and the other as vertex F. In this state, the cross product of the vector AB × AC and the cross product of the vector DE × DF are calculated, and the sign of the cross product of the vector AB × AC and the vector DE × DF of the original marks M1, M2 provided on the display is calculated. Compare with the sign of the outer product. If the sign of the outer product of the captured mark matches the sign of the original product of the original mark, the temporarily assigned vertex is used as it is, and if the sign is different, the temporarily assigned vertex is used. The identification of the vertices in each of the marks M1 and M2 is confirmed by switching.
このようにして、各マークＭ１，Ｍ２の頂点が識別されると、次のように、どの頂点を通るかによって指標線分の識別が可能となる。
(1) 指標線分１：頂点ＡＢ
(2) 指標線分２：頂点ＡＣ
(3) 指標線分３：頂点ＢＣ
(4) 指標線分４：頂点ＤＥ
(5) 指標線分５：頂点ＤＦ
(6) 指標線分６：頂点ＥＦ
When the vertices of the marks M1 and M2 are identified in this way, the index line segment can be identified depending on which vertex passes as follows.
(1) Index segment 1: Vertex AB
(2) Index line segment 2: vertex AC
(3) Index line segment 3: vertex BC
(4) Index line segment 4: Vertex DE
(5) Index segment 5: Vertex DF
(6) Index segment 6: Vertex EF
各指標線分が識別されると、ディスプレイの四隅の座標を決定するための指標線分の組み合わせが次のように定まる。
(1) 隅部０：指標線分３と指標線分４
(2) 隅部１：指標線分１と指標線分６
(3) 隅部２：指標線分２と指標線分６
(4) 隅部３：指標線分３と指標線分５
When each index line segment is identified, a combination of index line segments for determining the coordinates of the four corners of the display is determined as follows.
(1) Corner 0:
(2) Corner 1:
(3) Corner 2:
(4) Corner 3:
（５）ディスプレイ隅部位置演算部５４
前記のようにして、指標線分選定部５３により、撮像された２つのマークのどの指標線分の組み合わせによりディスプレイ隅部の位置を演算するかが決定された後は、このディスプレイ隅部位置演算部５４により、選定された指標線分の組み合わせに従いその延長線の交点の座標を演算することで、４カ所の隅部の位置（画像平面上における座標）を検出する。ちなみに、ここで検出された４カ所のディスプレイ隅部の位置は、前記指標線分選定部５３で判明した指標線分の組み合わせにより、本来のディスプレイ隅部の位置との対応関係が明確になっている。
(5) Display corner
As described above, after the index line
（６）相対座標検出部５５
この相対座標検出部５５においては、画像平面上における４カ所のディスプレイ隅部の座標と、ディスプレイ表示平面上におけるディスプレイの四隅の座標とに基づいて、撮像画像平面の座標系とディスプレイ表示平面の座標系との透視射影変換処理を行うことにより、両座標系の相対的な位置関係を算出する。そして、両座標系の相対的な位置関係が判明すると、たとえば、撮像装置の中心（光軸上）にある指示部がディスプレイ表示面のどの位置を指示しているかを算出することができるので、その演算結果をディスプレイ制御装置６に出力することにより、ディスプレイ上に撮像装置の中心が指示しているポイントを表示させることが可能になる。
(6) Relative coordinate
In the relative coordinate
なお、撮像画像平面上における４カ所のディスプレイ隅部の座標が算出された後の透視射影変換処理による指示位置の特定は、特開平８−７１２５２号公報、特開昭２００１−１４８０２５号公報、および本出願人の出願にかかる特願２００２−３００４７８号に記載されているように公知の技術であるから、本発明において、この処理の手法はどのようなものを採用しても良い。 The specification of the designated position by the perspective projection transformation process after the coordinates of the four display corners on the captured image plane are calculated is disclosed in JP-A-8-71252, JP-A-2001-148025, and Since it is a known technique as described in Japanese Patent Application No. 2002-300478 relating to the application of the present applicant, any processing method may be adopted in the present invention.
３．装置全体の動作
次に、本実施の形態の位置検出装置の動作について、図２のフローチャートによって説明する。本実施の形態の処理は、大別して、（１）撮像された画像平面上の画素中からマークを判別する処理と、（２）判別されたマークによる撮像されていないマークの位置を判定する処理とからなるが、フローチャートに記載した各ステップの詳細な動作については、既に、本実施の形態のアルゴリズムの欄で説明したので、その詳細は省き、装置がどのような順序で、各処理を実行するかを説明する。
3. Next, the operation of the position detection apparatus according to the present embodiment will be described with reference to the flowchart of FIG. The processing of the present embodiment is broadly divided into (1) processing for determining a mark from pixels on a captured image plane, and (2) processing for determining the position of a mark that has not been captured by the determined mark. However, since the detailed operation of each step described in the flowchart has already been described in the section of the algorithm of the present embodiment, the details are omitted, and the processing is executed by the apparatus in any order. Explain what to do.
また、このフローチャートは、撮像装置によって撮像された画像平面上の図形に対して行なう画像処理を示すものであって、この前段階として、撮像装置としては、あらかじめ赤外線透過フィルタを使用し、なるべく図形が発生しないような構造にしておく。そのようにすることで、可視光領域での画像と比較し、ある程度図形の数は制限できる。 In addition, this flowchart shows image processing performed on a graphic on an image plane imaged by the imaging device. As the previous step, the imaging device uses an infrared transmission filter in advance, and as much as possible the graphics. The structure should not be generated. By doing so, the number of figures can be limited to some extent as compared with an image in the visible light region.
（１）マークの判別処理
（ステップ０１）
赤外線透過フィルタにより、赤外領域の光により画像平面上に結像した画像に対して、鮮鋭化処理、二値化処理による対象領域の抽出を行なう。すなわち、他の図形とマークを区別するために、マーク自身は、近赤外領域の波長を使用する等を行い、撮像装置にフィルタを設置することによってあらかじめ発生する図形の数を抑制する手段をとる。
（ステップ０２）
撮像され画像平面上に表示される図形中から、枠状の図形、すなわち内部に穴を含む形状の図形のみをマークの判断の対象とするために、ステップ０１によって抽出されたすべての画素に対して、連結処理を行なう。
（ステップ０３）
連結処理された画素によって構成される図形が、(1) 枠状のものか、(2) 内部に塗りつぶし部（円形部）が存在するものであるかの判別を行なう。すなわち、(1) の処理において、枠状の図形以外は、マークでないと判別して、マーク候補から除外する。また、(2) の処理において、マーク候補として判定された図形について、枠の内部に塗りつぶし部があるか否かを判定する。なお、この塗りつぶし部の判別は、以下のステップでマークと判定された図形について、それがディスプレイの左右いずれかの側にあるかを判定するために使用される。
(1) Mark discrimination process (step 01)
The target region is extracted by the sharpening process and the binarization process for the image formed on the image plane by the infrared region light by the infrared transmission filter. That is, in order to distinguish the mark from other figures, the mark itself uses a wavelength in the near-infrared region, etc., and a means for suppressing the number of figures generated in advance by installing a filter in the imaging device. Take.
(Step 02)
In order to make only a frame-shaped figure, that is, a figure including a hole inside, from among the figures that are captured and displayed on the image plane, all the pixels extracted in step 01 are subject to the mark determination. Then, the connection process is performed.
(Step 03)
It is determined whether the figure constituted by the connected pixels is (1) a frame shape or (2) a filled portion (circular portion) is present inside. That is, in the process of (1), it is determined that other than the frame-like figure is not a mark, and is excluded from the mark candidates. In the process (2), it is determined whether or not there is a filled portion inside the frame for the graphic determined as the mark candidate. The determination of the filled portion is used to determine whether the figure determined to be a mark in the following steps is on the left or right side of the display.
（ステップ０４）
マーク候補の図形が、規定矩形の範囲内の連結成分であることを検査する。すなわち、マークとなるべき図形は、一定範囲の寸法に収まるはずであるから、範囲外の図形については、マークでないと判定する。
（ステップ０５）
ステップ０４においてマーク候補とされた図形について、それらが３つの直線から構成されている枠であるか否かの判定を行なう。
（ステップ０６）
ステップ０５において検出されたマークは、３本の線分（指標線分）を含むものであるが、判別された線分の端点がそのまま三角形の頂点とは限らない。そこで、検出された３本の直線の交点から枠の頂点座標を検出する。
(Step 04)
It is inspected that the mark candidate graphic is a connected component within the range of the specified rectangle. That is, since the figure to be a mark should fit within a certain range of dimensions, it is determined that a figure outside the range is not a mark.
(Step 05)
It is determined whether or not the graphic set as the mark candidate in step 04 is a frame composed of three straight lines.
(Step 06)
The mark detected in step 05 includes three line segments (index line segments), but the end points of the determined line segments are not always the triangle vertices. Therefore, the vertex coordinates of the frame are detected from the intersection of the detected three straight lines.
以上の通り、前記各ステップを順次実行することにより、撮像された画像中からマークとなる図形を、一例として、次のように判定する。
上辺のマークＭ１：内部に塗りつぶし部が存在し、３つの直線で構成される枠
下辺のマークＭ２：内部に塗りつぶし部が存在せず、３つの直線で構成される枠
この場合、撮像されるマークの数はディスプレイ側に設置したマークの数以下の０〜２の範囲にあるはずである。しかし、（１）のマーク判別処理において、マークの設置数以上に対象となる図形が存在する場合は、内部点の形状もしくは枠の直線性の確か度合いの比較等行うこともできる。
As described above, by sequentially executing the above steps, a figure to be a mark from the captured image is determined as follows as an example.
Upper side mark M1: A frame that is filled with three lines and is composed of three straight lines Lower mark M2: A frame that is not filled with three parts and is composed of three straight lines In this case, a mark to be imaged Should be in the range of 0 to 2 below the number of marks placed on the display side. However, in the mark discrimination process of (1), when there are more figures than the number of marks set, it is possible to compare the shape of the internal points or the certainty of the linearity of the frame.
（２）マーク位置の判定処理
前記のようにしてマークとなる図形の判別がなされた後は、判別されたマーク数に応じて、撮像された各マークの位置と、これら撮像された各マークから推測される撮像されていないマークの位置の判定を行なう。
（ステップ０７）
２つのマークが検出されたか否かを判定し、２つのマークが判定されている場合には、次のステップ０８各マークの頂点の識別処理に進む。一方、マークが２つ検出されなかった場合には、すなわち、撮像されたマークが１つ以下の場合には、ディスプレイ四隅の位置の推測が不可能であるとし、ステップ１２の無限ループ処理を介して、次の撮像画像に対する処理を行なうため、ステップ０１に戻る。なお、前記（１）マーク判別処理において、マークの設置個数以上にマークと判定された図形がある場合、マーク判別処理において、マーク個数を２つに絞り込む代わりに、このステップ０７において、３つ以上のマークがある場合には、ステップ０８のマーク頂点の識別処理を行なわずに、次の撮像画像に対する判定処理を行なうためにステップ０１に戻るように構成することも可能である。
(2) Mark position determination processing After the determination of the figure to be a mark as described above, the position of each captured image and the position of each captured image are determined according to the determined number of marks. The estimated position of the mark that has not been imaged is determined.
(Step 07)
It is determined whether or not two marks have been detected. If two marks have been determined, the process proceeds to the next step 08 to identify the vertex of each mark. On the other hand, if two marks are not detected, that is, if the number of captured images is one or less, it is assumed that the positions of the four corners of the display cannot be estimated, and an infinite loop process in step 12 is performed. Thus, the processing returns to step 01 in order to perform processing for the next captured image. Note that, in the (1) mark discrimination process, if there are more figures than the set number of marks, it is determined in this step 07 that three or more in this step 07 instead of narrowing the number of marks to two. If there is a mark, it is possible to return to step 01 in order to perform a determination process for the next captured image without performing the mark vertex identification process in step 08.
（ステップ０８）
前記ステップ０７において、撮像されたマークが２つであると判定された場合には、このステップ０８において、各マークにおける頂点の識別処理を行う。すなわち、前記指標線分選定部５３において、頂点間の距離を利用して頂点Ａ，Ｄを判定し、次いで、ベクトルの外積を利用することで、残る頂点Ｂ，Ｃ及びＥ，Ｆの識別を行う。
(Step 08)
If it is determined in step 07 that there are two captured images, in this step 08 vertices are identified. That is, the index line
（ステップ０９）
各マークＭ１，Ｍ２における各頂点の識別がなされた後は、この頂点を通る性質を利用して各指標線分を識別し、どの指標線分の組合せによりディスプレイ隅部の位置を推測するかという、指標線分の組合せの選択処理を実行する。
(Step 09)
After each vertex in each of the marks M1 and M2 is identified, each index line segment is identified using the property passing through the vertex, and which index line segment is used to estimate the position of the display corner. Then, the process of selecting the combination of index line segments is executed.
（ステップ１０）
ステップ０９において、２つのマークのどの指標線分を利用するかが決定された後は、それらの指標線分の延長線の交点を求め、それをディスプレイ隅部の位置と推測する。
(Step 10)
After it is determined in step 09 which index line segment of the two marks is to be used, the intersection of the extension lines of the index line segments is obtained, and this is estimated as the position of the display corner.
（ステップ１１）
このステップ１１においては、画像平面上における４カ所の隅部の座標と、ディスプレイ表示平面上におけるディスプレイの四隅の座標とに基づいて、撮像画像平面の座標系とディスプレイ表示平面の座標系との透視射影変換処理を行うことにより、画像平面の中心である撮像装置の光軸がディスプレイ表示平面の座標系のどの座標に位置しているかを算出する。
(Step 11)
In this step 11, based on the coordinates of the four corners on the image plane and the coordinates of the four corners of the display on the display display plane, a perspective view of the coordinate system of the captured image plane and the coordinate system of the display display plane is obtained. By performing the projective transformation process, it is calculated at which coordinate in the coordinate system of the display display plane the optical axis of the imaging device that is the center of the image plane is located.
（ステップ１２）
以上のようにして、撮像装置光軸のディスプレイ平面上における座標位置が判別された後は、中止指令が入力されない限り、撮像装置から入力された次のデータ、すなわち、刻々と移動する撮像装置から入力される画像データの分析を繰り返すことにより、その時点ごとにおける撮像装置の指示位置検出を繰り返す。また、前記のように、マークが３点以上検出された場合や、１点以下しか検出されなかった場合も、次に入力される撮像画像データに対して、新たにマークの検出処理を行い、撮像装置の指示位置検出を実行する。
(Step 12)
As described above, after the coordinate position of the optical axis of the imaging apparatus on the display plane is determined, unless the stop command is input, the next data input from the imaging apparatus, that is, from the imaging apparatus that moves every moment. By repeating the analysis of the input image data, the detection of the designated position of the imaging device at each time point is repeated. In addition, as described above, even when three or more marks are detected, or when only one or less points are detected, a new mark detection process is performed on the next input captured image data, The designated position of the imaging device is detected.
４．実施の形態の効果
以上のように、本実施の形態によれば、画像平面に撮像された２つのマークに基づいてディスプレイ四隅の位置を推測することにより、ディスプレイ上における撮像装置の光軸とディスプレイ平面との交点の相対座標を検出することが可能となる。その結果、従来技術では、撮像装置により指示するディスプレイ上のポイントは、ディスプレイ側の四隅がすべて撮像される範囲に限られており、ディスプレイの周辺近くを指示することが不可能であったが、本実施の形態によれば、２つのマークを撮影できれば良いので、ディスプレイの周辺部近くのポイントを指示することも可能となる。
4). Effects of Embodiment As described above, according to the present embodiment, the positions of the four corners of the display are estimated based on the two marks imaged on the image plane, so that the optical axis of the imaging device on the display and the display It becomes possible to detect the relative coordinates of the intersection with the plane. As a result, in the prior art, the point on the display instructed by the imaging device is limited to the range where all the four corners on the display side are imaged, and it was impossible to instruct the vicinity of the display, According to the present embodiment, it is only necessary to photograph two marks, so it is possible to indicate a point near the periphery of the display.
たとえば、図１３は、撮像装置の画像平面Ｗには、ディスプレイの四隅のうち、隅部０３は画像平面の外に位置するまで撮像装置をディスプレイに近づけて撮像した場合を示すものであって、画像平面Ｗの中心点Ｏが撮像装置の中心点として、ディスプレイ表示面の所定のポイントを指示している。本実施の形態によれば、この２つのマークＭ１，Ｍ２に含まれている指標線分に基づいてディスプレイの４カ所の隅部０〜３の位置を推測することが可能になる。これら４カ所の隅部によって囲まれた範囲がディスプレイの表示平面Ｖに相当し、画像平面Ｗの中心点Ｏがディスプレイ表示平面Ｖにおける指示ポイントとなるので、この中心点Ｏをディスプレイ表示平面Ｖの周辺部近くにまで移動させることができる。
For example, FIG. 13 shows a case where the image plane W of the imaging device captures the imaging device close to the display until the corner portion 03 is located outside the image plane among the four corners of the display. The center point O of the image plane W indicates a predetermined point on the display surface as the center point of the imaging device. According to the present embodiment, the positions of the four
このように、従来技術では、撮像装置をディスプレイに近づけるとディスプレイ四隅の撮像が不可能になって撮像装置の指示位置検出ができなくなるが、本発明では、２つのマークが撮像されていればよいので、従来技術に比較して撮像装置をディスプレイに近接させることが可能となる。その結果、本実施の形態によれば、ディスプレイと撮像装置とからなるゲーム機器などの小型化や、撮像装置の使用者と大型のディスプレイが近接しているプレゼンテーション装置を実現することができる。 As described above, in the related art, when the imaging device is brought close to the display, it is impossible to image the four corners of the display and it is impossible to detect the designated position of the imaging device. However, in the present invention, it is only necessary to capture two marks. Therefore, it is possible to bring the imaging device closer to the display as compared with the prior art. As a result, according to the present embodiment, it is possible to reduce the size of a game machine or the like including a display and an imaging device, and to realize a presentation device in which a user of the imaging device is close to a large display.
また、本実施の形態のように、マークの指標線分からディスプレイの四隅の位置を推測するようにした場合には、マークをディスプレイの中央部に配置することが可能になるので、撮像装置をディスプレイの左右いずれの端に向けた場合でもマークの撮像される範囲が広くなる。例えば、図１４は、マークをディスプレイの左右上下端部に配置し、マークにディスプレイの反対側の隅部の位置を予測するための指標線分を設けた場合であるが、このような技術では、撮像装置をマークと反対側に向けるとマークが撮像範囲からはずれてしまう。そのため、図１４に斜線で示したような死角ができ、特に、最近のディスプレイのようにアスペクト比が１６：９の横長のものでは、死角が大きくなる現象がある。しかし、本実施の形態によれば、図１５のように、撮像装置をいずれの方向に向けても、死角となる部分が少なく、横長の画面でもディスプレイの周辺部まで撮像装置中心を向けることが可能になる。 Further, when the positions of the four corners of the display are estimated from the index line segments of the mark as in the present embodiment, the mark can be arranged at the center of the display, so that the imaging device is displayed on the display. The range in which the mark is imaged becomes wide even when facing either of the left and right ends. For example, FIG. 14 shows a case in which marks are arranged on the upper left and lower ends of the display, and an index line segment for predicting the position of the corner on the opposite side of the display is provided on the mark. If the image pickup device is directed to the opposite side of the mark, the mark will be out of the image pickup range. For this reason, a blind spot as shown by hatching in FIG. 14 is formed, and in particular, in the case of a horizontally long display having an aspect ratio of 16: 9 as in a recent display, there is a phenomenon that the blind spot becomes large. However, according to the present embodiment, as shown in FIG. 15, there are few blind spots regardless of the direction of the imaging device, and the center of the imaging device can be directed to the periphery of the display even on a horizontally long screen. It becomes possible.
Ｂ．第２の実施の形態
前記の第１の実施の形態は、マークとして三角形の枠状のものを使用したものであるが、本発明のマークの形状はそれに限定されるものではない。前記の図７に示すように、１点で交差する３本の指標線分の組み合わせからなるマークを使用することも可能である。その場合には、撮像された図形中からマークを判別するに当たり、輪郭追跡による枠の判定の手法を採用することはできない。そこで、図９に示すように、前記第１の実施の形態に示したマークの寸法が一定の領域に入るという判定手法に加え、３本の直線の一点交差をマークの特徴量として使用する。
B. Second Embodiment In the first embodiment described above, a triangular frame shape is used as a mark, but the shape of the mark of the present invention is not limited thereto. As shown in FIG. 7, it is also possible to use a mark made up of a combination of three index line segments that intersect at one point. In that case, a method for determining a frame by contour tracking cannot be employed to determine a mark from a captured figure. Therefore, as shown in FIG. 9, in addition to the determination method in which the dimension of the mark shown in the first embodiment falls within a certain region, one point intersection of three straight lines is used as the feature amount of the mark.
すなわち、図１６に示すように、判定対象となる３本の直線の中から２本の直線の組み合わせを選びその交点の位置を算出して、算出された３つの交点によって区切られる直線Ｌ１，Ｌ２，Ｌ３がどれだけ短いかが、３本の直線が一点で交わっているかの指標とする。この場合、３交点の各Ｘ，Ｙ座標のうちの最大値、最小値をそれぞれ求める。Ｘ，Ｙ方向の長さＬＸ，ＬＹを求め、ＬＸ＋ＬＹが最小であるものが一番交点に近いと判定する。 That is, as shown in FIG. 16, a combination of two straight lines is selected from the three straight lines to be determined, the positions of the intersections are calculated, and straight lines L1 and L2 that are separated by the calculated three intersections. , L3 is an indicator of how short three lines intersect at one point. In this case, the maximum value and the minimum value of the X and Y coordinates at the three intersections are obtained. The lengths LX and LY in the X and Y directions are obtained, and it is determined that the one with the smallest LX + LY is closest to the intersection.
なお、この場合、３つの交点によって囲まれた部分の面積の大小によって、３本の直線が１点で交わっている度合いを判定することも考えられるが、図１７に示すように、交点Ｂ，Ｃが交点Ａから遠く離れていても交点Ｃが交点Ｂに近づけば面積は０に近くなるため、前記のような各点の位置関係を指標とするものの方が優れている。しかし、この面積による指標を他の指標（検出された２つの指標線分の角度など）と組み合わせることで、１点交差の度合いを判定することも可能であり、本発明は、図１７のような指標を排除するものではない。 In this case, it is conceivable to determine the degree of intersection of the three straight lines at one point based on the size of the area surrounded by the three intersections. However, as shown in FIG. Even if C is far away from the intersection A, the area becomes close to 0 when the intersection C approaches the intersection B. Therefore, the method using the positional relationship of each point as an index is better. However, it is also possible to determine the degree of one-point intersection by combining this area index with other indices (such as the angle of two detected index line segments). The present invention is as shown in FIG. It does not exclude important indicators.
Ｃ．他の実施の形態
なお、本発明において、ディスプレイの上辺と下辺の中央部にそれぞれマークを設けたが、本発明において、中央部とは、必ずしもディスプレイの左右の中心のみを意味するものではなく、中心から一定範囲ずれた位置でも良い。この場合、マークを構成する三角形の斜辺の角度を異ならせることにより、指標線分がディスプレイの隅部を指すようにする。
C. Other Embodiments In the present invention, marks are provided at the center of the upper and lower sides of the display, respectively, but in the present invention, the center does not necessarily mean only the center of the left and right of the display, The position may be shifted from the center by a certain range. In this case, the index line segment points to the corner of the display by changing the angle of the hypotenuse of the triangle constituting the mark.
また、本発明は、上下に長いディスプレイに使用する場合のように、ディスプレイの左右両辺の中央部にそれぞれマークを設けることも包含するものであって、その場合には、本明細書におけるディスプレイの上辺と下辺を、左辺と右辺と読み替えるものとする。 In addition, the present invention also includes providing marks at the center of the left and right sides of the display, as in the case of use for a vertically long display. The upper side and the lower side are read as the left side and the right side.
本発明は、ゲーム機の照準装置、プレゼンテーション用ディスプレイのポインタに加え、撮像装置を利用者の頭部に装着することにより運転シミュレータにおける利用者の視線方向検出装置などの用途にも適用できる。 The present invention can be applied to applications such as a user's gaze direction detection device in a driving simulator by mounting an imaging device on the user's head in addition to a game device aiming device and a presentation display pointer.
１…ディスプレイ
２…撮像装置
３…Ａ／Ｄ変換器
４…フレームメモリ
５…位置検出部
６…ディスプレイ制御部
５０…フィルタ処理部
５１…マーク検出部
５２…マーク種別検出部
５３…指標線分選定部
５４…ディスプレイ四隅位置演算部
５５…相対座標検出部
DESCRIPTION OF
Claims (8)
ディスプレイの上辺と下辺の中央部にそれぞれマークを配置し、各マークには、ディスプレイの四隅の配置方向を示す直線状の指標線分を設けておき、
撮像装置の指示位置検出時においては、撮像装置により撮影された画像平面上における前記２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、
前記２つのマークに含まれている各指標線分をディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をディスプレイの隅部の画像平面上における位置とする処理と、
これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理を含むことを特徴とする撮像装置の指示位置検出方法。 In the case where the display is photographed by the imaging device, in the indicated position detection method of the imaging device for detecting the relative coordinates of the intersection of the optical axis of the imaging device on the display and the display plane,
Marks are placed at the center of the upper and lower sides of the display, and each marker is provided with a linear index line segment indicating the direction of the four corners of the display.
At the time of detection of the designated position of the imaging device, a process of determining the position of the two marks on the image plane photographed by the imaging device and the index line segment included in the two marks;
Each index line segment included in the two marks is extended in the direction of the corner of the display, the intersection of the extended line segment is calculated, and the intersection is calculated as the position on the image plane of the corner of the display. Processing to
An indication position detection method for an image pickup apparatus, comprising: processing for detecting a coordinate position indicated by an optical axis of an image pickup apparatus on a display plane based on position information on the image plane of the four corner positions of the display.
ディスプレイと、
前記ディスプレイの上辺と可変の中央部にそれぞれ設けられたマークであって、しかも、前記各マークにはディスプレイの四隅の配置方向を示す直線状の指標線分を含むマークと、
前記２つのマークを撮影する撮像装置と、
前記撮像装置によって撮影された画像平面上から前記２つのマークを抽出するマーク検出部と、
前記撮影された各マークがディスプレイのどの位置に設けられたものであるかを判別するマーク種別判別部と、
撮像された各マークに含まれる前記指標線分を選定する指標線分選定部と、
前記指標線分選定部により検出された２つのマーク中の指標線分をディスプレイの隅部の方向に延長すると共に、各マークから延長された線分の交点を求め、この交点を画像平面上におけるディスプレイの四隅の位置とするディスプレイ隅部位置演算部と、
前記隅部位置演算部により求められたディスプレイ四隅の画像平面上の位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置をを演算する演算部を備えていることを特徴とする撮像装置の指示位置検出装置。 In the case of photographing the display by the imaging device, in the indicated position detection device of the imaging device for detecting the relative coordinates of the intersection of the optical axis of the imaging device on the display and the display plane,
Display,
A mark provided on each of the upper side and the variable center of the display, and each of the marks includes a linear index line segment indicating the arrangement direction of the four corners of the display;
An imaging device for photographing the two marks;
A mark detection unit that extracts the two marks from an image plane photographed by the imaging device;
A mark type determination unit for determining at which position of the display each photographed mark is provided;
An index line segment selection unit for selecting the index line segment included in each imaged mark;
The index line segment in the two marks detected by the index line segment selection unit is extended in the direction of the corner of the display, the intersection of the line segment extended from each mark is obtained, and this intersection point is determined on the image plane. Display corner position calculation unit as the positions of the four corners of the display,
A calculation unit is provided that calculates a coordinate position indicated by the optical axis of the imaging device on the display plane based on position information on the image plane of the four corners of the display obtained by the corner position calculation unit. An indicated position detection device for an imaging device.
コンピュータに対して、
撮像装置によって撮像されたディスプレイの画像中から、ディスプレイの上辺と下辺の中央部にそれぞれ配置された２つのマークを判別する処理と、
前記画像中から判別された前記２つのマークの位置と、これら２つのマークに含まれる指標線分を判別する処理と、
前記２つのマークに含まれている各指標線分をディスプレイの隅部の方向に延長すると共に、この延長した線分の交点を演算し、この交点をディスプレイの隅部の画像平面上における位置とする処理と、
これらディスプレイの四隅の位置の画像平面上における位置情報に基づいて、ディスプレイ平面上における撮像装置の光軸が指示する座標位置を検出する処理と、
を実行させることを特徴とする撮像装置の指示位置検出用プログラム。 In a program for detecting the relative coordinates of the intersection of the optical axis of the imaging device on the display and the display plane when the display is photographed by the imaging device,
Against the computer,
A process of discriminating two marks respectively arranged at the center of the upper side and the lower side of the display from the image of the display imaged by the imaging device;
Processing for discriminating the positions of the two marks discriminated from the image and index line segments included in the two marks;
Each index line segment included in the two marks is extended in the direction of the corner of the display, the intersection of the extended line segment is calculated, and the intersection is calculated as the position on the image plane of the corner of the display. Processing to
Based on the position information on the image plane of the four corner positions of the display, processing to detect the coordinate position indicated by the optical axis of the imaging device on the display plane;
An instruction position detection program for an image pickup apparatus, characterized in that
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004084842A JP2005275568A (en) | 2004-03-23 | 2004-03-23 | Pointed position detection method and apparatus for imaging apparatus, and program for detecting pointed position of imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004084842A JP2005275568A (en) | 2004-03-23 | 2004-03-23 | Pointed position detection method and apparatus for imaging apparatus, and program for detecting pointed position of imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005275568A true JP2005275568A (en) | 2005-10-06 |
Family
ID=35175211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004084842A Pending JP2005275568A (en) | 2004-03-23 | 2004-03-23 | Pointed position detection method and apparatus for imaging apparatus, and program for detecting pointed position of imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005275568A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3747003A4 (en) * | 2018-01-31 | 2021-12-01 | LG Electronics Inc. | Control device |
-
2004
- 2004-03-23 JP JP2004084842A patent/JP2005275568A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3747003A4 (en) * | 2018-01-31 | 2021-12-01 | LG Electronics Inc. | Control device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI419081B (en) | Method and system for providing augmented reality based on marker tracing, and computer program product thereof | |
| JP3951984B2 (en) | Image projection method and image projection apparatus | |
| KR100499764B1 (en) | Method and system of measuring an object in a digital | |
| JP6239186B2 (en) | Display control apparatus, display control method, and display control program | |
| EP3048555B1 (en) | Image processing device, image processing method, and image processing program | |
| JP4001162B2 (en) | Image processing method, image processing program and storage medium therefor, and image processing apparatus | |
| JP2006071471A (en) | Moving body height discrimination device | |
| US9633450B2 (en) | Image measurement device, and recording medium | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| JP5765026B2 (en) | Image processing apparatus and program | |
| JP6566768B2 (en) | Information processing apparatus, information processing method, and program | |
| US20060067588A1 (en) | Imaging apparatus, image processing method for imaging apparatus and recording medium | |
| JP2008112210A (en) | Automatic tracking method | |
| JPWO2005096129A1 (en) | Method and apparatus for detecting designated position of imaging apparatus, and program for detecting designated position of imaging apparatus | |
| JPWO2005096130A1 (en) | Method and apparatus for detecting designated position of imaging apparatus, and program for detecting designated position of imaging apparatus | |
| JP4198536B2 (en) | Object photographing apparatus, object photographing method and object photographing program | |
| JP6221283B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2006317418A (en) | Image measuring device, image measurement method, measurement processing program, and recording medium | |
| JP2005275568A (en) | Pointed position detection method and apparatus for imaging apparatus, and program for detecting pointed position of imaging apparatus | |
| JP7263983B2 (en) | Photography omission detection device and photography omission detection method | |
| JP4107273B2 (en) | Moving body detection device | |
| JP7119621B2 (en) | Image processing system and image processing method | |
| WO2020234912A1 (en) | Mobile device, position display method, and position display program | |
| JP2003240622A (en) | Liquid level recognition processing device and liquid level monitoring system | |
| JP5001400B2 (en) | Shield removal display device |