JP2012048523A - Association device - Google Patents
Association device Download PDFInfo
- Publication number
- JP2012048523A JP2012048523A JP2010190405A JP2010190405A JP2012048523A JP 2012048523 A JP2012048523 A JP 2012048523A JP 2010190405 A JP2010190405 A JP 2010190405A JP 2010190405 A JP2010190405 A JP 2010190405A JP 2012048523 A JP2012048523 A JP 2012048523A
- Authority
- JP
- Japan
- Prior art keywords
- map
- image
- point
- unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 81
- 238000004891 communication Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 21
- 230000009466 transformation Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004378 air conditioning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明の実施形態は、対応付ける装置に関するものである。 Embodiments of the present invention relate to an associating device.
従来より、航空画像と地図情報をマッチングして、地図情報を編集するシステムがある。 Conventionally, there is a system for editing map information by matching aerial images and map information.
上記のような地図を編集するシステムでは、地図情報を航空画像に投影して地図情報を修正するため、投影図法に準じた地図情報が用意されている必要がある。しかし、これらの取得作成作業は多くの手間がかかるため、システム導入の大きな障害となる。、また射影法や投影図法といった地図の展開法にそった地図情報が得られない場合は変換結果に大きな誤差が生じる。そのため、航空画像にある対象物が地図上で誤った位置に対応づけられてしまうという問題点がある。 In a system for editing a map as described above, map information conforming to the projection projection method must be prepared in order to correct the map information by projecting the map information onto an aerial image. However, these acquisition and creation operations take a lot of time and become a major obstacle to system introduction. In addition, if map information according to a map development method such as a projection method or a projection method cannot be obtained, a large error occurs in the conversion result. Therefore, there is a problem that an object in the aerial image is associated with an incorrect position on the map.
そこで本発明の実施形態は、上記問題点に鑑み、画像情報と地図情報との対応付けを正確に行うことができる対応付け装置を提供することを目的とする。 In view of the above problems, an embodiment of the present invention aims to provide an associating device capable of accurately associating image information with map information.
本発明の実施形態は、画像が入力される画像入力部と、地図が入力される地図入力部と、前記画像上の点と前記地図上の点との対応関係を示す対応点情報を入力する対応入力部と、前記対応点情報に基づいて、前記画像の分割領域毎に変換パラメータを算出する算出部と、前記分割領域毎の前記変換パラメータを用いて、前記画像上の所定の位置を前記地図上の位置に変換する変換部と、を有することを特徴とする対応付け装置である。 According to an embodiment of the present invention, an image input unit to which an image is input, a map input unit to which a map is input, and corresponding point information indicating a correspondence relationship between a point on the image and a point on the map are input. Based on the corresponding input unit, the calculation unit that calculates a conversion parameter for each divided region of the image based on the corresponding point information, and the conversion parameter for each divided region, the predetermined position on the image is And a conversion unit that converts the map to a position on the map.
以下、本発明の一実施形態の対応付け装置100について説明する。この対応付け装置100は、例えば、図1に示すように、図1(a)の画像上で検出された人物の位置が、図1(b)の地図上の格子で表現された机の配置図(図1(b)では大きな机が一個、小さい机が4個)のどの位置に対応するかを決定する。そして、この対応付け装置100によって得られた人物の位置をもとに、人物が存在する領域のみに照明や空調を限定して動作させる省エネ制御システムが実現できるほか、労働者の在席情報を認識する不存在把握システムなどを実現できる。
Hereinafter, the
なお、本明細書において、「地図」とは、地表のみならず、建物内部(例えば、劇場の座席の配置図、美術館や博物館の展示品の配置図、工場内の機械の配置図)、部屋の内部(例えば、室内における机、椅子、ソファーなどの配置図)、乗り物内部(例えば、船、車、列車、飛行機の内部の部屋や座席の配置図)、建物の敷地(例えば、駐車場など)の諸物体(例えば、机、展示物、椅子、座席、ソファー、車など)、又は、現象(温度分布、照明のON/OFFなど)を一定の比率で縮尺し、諸物体や現象を格子状の図、記号、文字を用いて平面上に表現した図を意味する。 In this specification, “map” means not only the ground surface but also the interior of a building (for example, the layout of seats in a theater, the layout of exhibits in museums and museums, the layout of machinery in a factory), a room Interiors (for example, layouts of desks, chairs, sofas, etc. indoors), interiors of vehicles (for example, layouts of rooms and seats inside ships, cars, trains, airplanes), building sites (for example, parking lots, etc.) ) Objects (for example, desks, exhibits, chairs, seats, sofas, cars, etc.) or phenomena (temperature distribution, lighting ON / OFF, etc.) are scaled at a certain ratio, and the objects and phenomena are latticed. This means a figure expressed on a plane using a figure, symbol, and character.
本発明の実施例1に係る対応付け装置100について図1〜図3に基づいて説明する。
An
本実施例の対応付け装置100の構成について、図2のブロック図に基づいて説明する。
The configuration of the associating
図2に示すように、対応付け装置100は、画像入力部101、地図入力部102、対応入力部103、情報記憶部104、算出部105、パラメータ記憶部106、変換部107、表示部108とを有する。
As shown in FIG. 2, the associating
画像入力部101は、図3(a)に示すように、労働者が働く部屋の全体の様子を斜め上からカメラで撮影し、その撮影した静止画像が入力される。カメラは部屋の様子を把握できる位置に設置されていればよく、単に上から撮影した画像であってもよい。また部屋の全体の様子が撮影されていれば、地図との対応が容易になるため好ましいが、一部の様子が撮影されている画像であってもよい。なお、この画像は、ビデオカメラで撮影した動画像の1フレームを用いてもよく、また、後から説明するように、動画像又は静止画像から人物を検出した後の一枚の静止画像を用いても良い。 地図入力部102は、図3(b)に示すように、前記部屋に配置された机の配置状態を表した地図が入力されるものであり、机の各角部が白丸印で示され、机の形状は前記白丸印を直線で結ぶ格子状の図で表現されている。図3(b)では、大きな机が一個、一つに合わさった小さい机が4個が記載されている。この地図の入力方法としては、例えば、図作成ソフトなどで入力する。
As shown in FIG. 3A, the
対応入力部103は、入力した画像と地図との各点の対応関係を示す対応点情報が入力されるものであり、具体的には、画像上での点301が地図上での点311に対応し、点302が点312に対応し、・・・・、点304が点314に対応することを入力する。但し、点301、点302、・・・・、点304、及び、点311、点312、・・・・、点314は、それぞれ同一平面(例えば机の面)にあるとする。なお、これら対応点情報の入力方法としては、例えば、ユーザが画像と地図を並べてマウスによって対応する点をクリックするなどの方法がある。入力されたこれら対応点情報は、情報記憶部104に記憶される。
The
算出部105は、非特許文献1(Richard Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision(Second Edition). Cambridge University Press, 2003.)に記載された処理を用いて、4組の対応点情報から変換行列H及びその逆変換行列H−1を求める。この変換行列Hにより、画像上の任意の点v=(x,y)は、地図上ではv′=(x′,y′)の点に対応することが、次の式(1)から計算できる。
また、逆変換行列H−1により、地図上の任意の点v′=(x′,y′)は、画像上ではv=(x,y)の点に対応することも次の式(2)から計算できる。
さらに、図3における点305と点315の対応や点306と点316の対応の情報も入力されており、n点(n>4)の対応点情報がある場合は、n点のうち様々な4点の組を用いてRANSAC処理を行うことにより、対応点情報の一部に位置誤差があっても、誤差の影響の少ない適切な変換行列Hを求めることもできる。ここでRANSAC処理とは、処理を繰り返して安定化させる一般的な処理の概念であり、前述の非特許文献1などに記載の処理に代表される。
Further, information on the correspondence between the
算出部105が算出する変換パラメータとしては、例えばこれらの変換行列Hの各要素hij、又は、その逆変換行列H−1を用いればよく、パラメータ記憶部106はこれらの各要素hij、又は、各要素h′ijを変換パラメータとして記憶する。
The transformation
変換部107は、パラメータ記憶部106に記憶された変換パラメータに基づいて画像上の情報と地図上の情報を互いに変換する。この変換は、例えば画像上で検出された人物の位置を地図上に変換してもよいし、地図上の情報を変換して画像上に重畳してもよいし、画像を変換して地図上に重畳してもよい。
The
表示部108は、その変換された情報を表示する。
The
なお、図3(a)の矩形320と図3(b)の矩形321のみが網掛けされているが、実際は矩形の外部も含む画像上の全ての点が、同じ変換パラメータによって地図上に変換や対応付けがされる。
Note that only the
対応付け装置100で得られた対応付け情報から、空調や照明制御や在席判定を行うことができる。例えば、図1に示すように、画像上の点(x,y)で人物が検出された場合は、変換部107が式(1)に基づいて地図上での人物位置である点(x′,y′)に変換する。そして変換結果を表示部108が人物の位置として表示したり、又は、別の手段が人物位置をもとに空調や照明制御を行ったり在席判定をしたりする。
From the association information obtained by the
なお、対応付け装置100が、空調や照明制御を直接行う場合は、表示部108は必須の構成要件ではない。
Note that when the associating
なお、画像からの人物検出は、例えば非特許文献2(Tomoki Watanabe, Satosi Ito, and Kentaro Yokoi. Co-occurrence Histograms of Oriented Gradients for Pedestrain Detection. In Transaction on Computer Vision and Apprication, Vol.2,pp.39-47,March 2010.)に記載された方法を用いればよい。 In addition, for example, Non-Patent Document 2 (Tomoki Watanabe, Satosi Ito, and Kentaro Yokoi. Co-occurrence Histograms of Oriented Gradients for Pedestrain Detection. In Transaction on Computer Vision and Apprication, Vol. 39-47, March 2010.).
また、画像上の点301〜点306は同一平面上(例えば机の面)にあると仮定しているため、人物の検出位置の座標についても、これらの点と同一の平面(机の面)に対応する高さでの人物位置座標(x,y)を用いる必要がある。
Further, since it is assumed that the
人物検出を上半身検出によって行う場合は、例えば上半身の下端座標を用いれば、机面とほぼ同一平面上の点の座標となる。 When performing person detection by upper body detection, for example, if the lower end coordinates of the upper body are used, the coordinates of a point on the same plane as the desk surface are obtained.
人物検出を全身検出によって行う場合は、例えば検出矩形の中心の座標を用いれば、腰近辺の座標が得られ、これも机面とほぼ同一平面上の点の座標となる。 When performing human detection by whole body detection, for example, if the coordinates of the center of the detection rectangle are used, the coordinates near the waist can be obtained, which are also the coordinates of points on the same plane as the desk surface.
人物が座っている場合には、例えば上半身領域の下から1/3の座標を用いれば、机面とほぼ同一平面上の点になる。 When a person is sitting, for example, if a coordinate of 1/3 from the lower part of the upper body region is used, the point is almost on the same plane as the desk surface.
立っている人物と座っている人物の識別は、例えば立っている人物と座っている人物に対して個別の検出器を学習することでどちらであるかを識別してもよいし、移動している人物を立っている人物として識別してもよいし、上下方向の動きの履歴から立っているか座っているかを識別してもよい。 For identification of a standing person and a sitting person, for example, it is possible to identify the standing person and the sitting person by learning individual detectors, A person who is standing may be identified as a standing person, or whether the person is standing or sitting may be identified from a history of vertical movement.
なお、人物の検出位置座標の決定方法については、必ずしも上記の方法に限定されるものではない。 Note that the method for determining the detection position coordinates of the person is not necessarily limited to the above method.
本発明の実施例2に係る対応付け装置100について図4〜図8に基づいて説明する。
An
本実施例では、地図入力部102に入力された地図が不正確で、実際とはズレのある地図だった場合でも正確に人物の位置が特定できる対応付け装置100を説明する。
In the present embodiment, a description will be given of an
図4(b)に示すように、地図上では、本来正しくは点420であるべき位置が誤って点421として入力され、点422であるべき位置が誤って点423として入力され、点424であるべき位置が誤って点425として入力され、その結果、図4(a)に示す画像上において右下にある机440が実際よりも長く地図では入力されているとする。
As shown in FIG. 4B, on the map, the position that should be the point 420 is correctly input as the
このとき実施例1と同様に、算出部105が、点301と点311の対応と、点302と点312の対応と、点303と点313の対応と、点304と点314の対応とから変換行列Hを計算する。変換部107が、この変換行列Hの変換パラメータを用いて図4(a)に示す画像上で机440の境界(点線部)特に追加の必要はありませんにいる人物の位置430を変換すると、地図上では、実際の位置431ではなく、ズレた位置432に変換される。したがって、正しい人物の位置が得られなくなる。
At this time, as in the first embodiment, the
これは、点420、点422、点424が地図上で実際よりも右寄りに入力されており、それに伴って対応付け点313、314も右寄りに入力されることになるため、画像上の各点は実際よりも右寄りに変換されるような変換行列Hが算出されるためである。
This is because the
このようにして誤って人物の位置が判定されると、この人物に対してどの位置の照明や空調を制御すべきかを正しく決定できなくなったり、誤った在席判定がされてしまう。これは、正確な地図を与えることによって解決できるが、正確な地図を入力することは手間がかかる場合がある。 If the position of the person is erroneously determined in this way, it may not be possible to correctly determine which position of lighting or air conditioning should be controlled for the person, or erroneous presence determination may be performed. This can be solved by providing an accurate map, but inputting an accurate map can be cumbersome.
そこで、本実施例では、正確な地図を入力することなく、十分に正確な人物位置の判定を行えるよう対応付け装置100を提供する。
Therefore, in this embodiment, the associating
本実施例と実施例1の異なる点は、本実施例の対応付け装置100では、算出部105、パラメータ記憶部106、変換部107が、画像内の部分領域毎、又は、画素毎に変換パラメータの算出、記憶、変換を行う。これによって、不正確な地図を用いた場合の人物の位置のずれを低減し、正確な地図を入力することなく、十分に正確な人物の位置の判定を行える。ここで正確でない地図とは、地図に記載された机の縮尺が誤っている場合や、机の縦横の比率が誤っている場合、机の形状が歪んでいる場合、机の位置がずれている場合をいう。
The difference between the present embodiment and the first embodiment is that, in the associating
本実施例の対応付け装置100の処理について、図5のフローチャートに基づいて説明する。また、このときにパラメータ記憶部106が記憶する情報の例を図6に示す。具体的には、入力された対応点情報(図4(a)の点301〜点306、図4(b)の点311〜点316の対応)をもとに、図4(a)における画像の部分領域毎、又は、画素毎に変換パラメータを求める。以下の説明で、画像上の部分領域、又は、一画素をまとめていう場合は「分割領域」という。
The processing of the
以下では、一画素に対応する点(x,y)毎に変換パラメータを算出する方法について説明する。 Hereinafter, a method for calculating a conversion parameter for each point (x, y) corresponding to one pixel will be described.
まず、ステップS101では、算出部105は、変換パラメータが算出されていない画像上の点(x,y)を選択する。選択の方法は、図6(a)において、変換パラメータへのインデックスがない点(画素)を選択する、すなわち、ある画素について変換パラメータを呼び出すことができる場合はインデックスが付与され、変換パラメータを呼び出すことができない場合はインデックスが付与されていない。例えば、点(x,y)の位置にインデックスCが付与されていれば、変換パラメータH3を呼び出せるので選択されない。なお、このインデックスは、画素毎に付与する必要はなく、部分領域毎に付与してもよい。
First, in step S101, the
次に、ステップS102では、情報記憶部104が、記憶する対応点情報の中から、選択した点(x,y)の近傍のn点(n>=4)の対応点情報を選択する。この近傍の点については、後から詳しく説明する。
Next, in step S102, the
次に、ステップS103では、情報記憶部104が、このn点が過去に選択された組み合わせかどうかチェックする。すなわち、図6(b)に示す変換パラメータの算出に用いた対応点のデータから判断する。そして、過去に選択された点でなかった場合は、ステップS104に進み(NOの場合)、選択された点である場合はステップS105に進む(YESの場合)。
Next, in step S103, the
次に、ステップS104では、算出部105が、実施例1で述べた方法でn点(n>=4)の対応点情報から変換パラメータを算出し、ステップS105に進む。
Next, in step S104, the
次に、ステップS105では、パラメータ記憶部106が変換パラメータを記憶する。記憶するデータは、例えば図6(b)に示すインデックス、変換パラメータの算出に用いた対応点、変換パラメータ(変換行列)である。そして、パラメータ記憶部106は、点(x,y)のインデックスに関して、新たに追加された変換パラメータを指すようにインデックスを追加する。ステップS103において過去に選択された組み合わせだった場合は、パラメータ記憶部106は、図6(a)のようなインデックスをその変換パラメータを指すように修正して記憶する。
Next, in step S105, the
次に、ステップS106では、画像上全ての画素について変換パラメータが算出されたかどうかをチェックし、算出されていたら終了し(YESの場合)、そうでない場合はステップS101に戻る(NOの場合)。 Next, in step S106, it is checked whether or not conversion parameters have been calculated for all pixels on the image, and if calculated, the process ends (in the case of YES), and if not, the process returns to step S101 (in the case of NO).
以上の処理により、図6(a)に示すように画素毎に異なる変換パラメータH1,H2,H3,・・・が得られることになる。なお、異なる変換パラメータを用いることの効果については、後から詳細に説明する。 Through the above processing, conversion parameters H1, H2, H3,... Different for each pixel are obtained as shown in FIG. The effect of using different conversion parameters will be described in detail later.
ステップS102における近傍n点の定義としては、例えば、点(x,y)からn点までの距離の和が最小になるようなn点の集合を選べばよい。また、点(x,y)から距離が近いn点の集合を選んでもよい。 As the definition of the n points in the vicinity in step S102, for example, a set of n points that minimizes the sum of the distances from the point (x, y) to the n point may be selected. A set of n points that are close to the point (x, y) may be selected.
また、変換パラメータの算出においては、n点同士はあまり近すぎない方が好ましいため、近傍n点のうち2点n1,n2を選択したときに、n1とn2の間の距離がある閾値以上になるように選択するという制限を加えてもよい。 In addition, in calculating the conversion parameter, it is preferable that the n points are not too close to each other. Therefore, when two points n1 and n2 are selected from the neighboring n points, the distance between n1 and n2 exceeds a certain threshold value. You may add the restriction | limiting of selecting so that it may become.
また、変換パラメータの算出においては、n点同士は直線上にない方が好ましいため、近傍n点のうち3点n1,n2,n3を選択したときに、これら3点がなす角がある閾値以上になるように選択するという制限を加えてもよい。 In calculating the conversion parameter, it is preferable that the n points are not on a straight line. Therefore, when three points n1, n2, and n3 are selected from the neighboring n points, the angle formed by these three points exceeds a certain threshold value. You may add the restriction of selecting so that it becomes.
上記では、一画素に対応する点(x,y)毎に変換パラメータを算出する方法について説明したが、これに代えて、部分領域毎であっても同様に処理できる。すなわち、中心座標が点(x,y)であるような一定の大きさを有する部分領域(複数の画素の集合)に対して同様の変換パラメータの算出を行い、得られた変換パラメータは、その部分領域内の全ての画素に共通して適用されるものとする。 In the above description, the method of calculating the conversion parameter for each point (x, y) corresponding to one pixel has been described. However, instead, the same processing can be performed for each partial region. That is, the same conversion parameter is calculated for a partial region (a set of a plurality of pixels) having a certain size such that the center coordinate is the point (x, y). It is assumed that it is applied in common to all the pixels in the partial area.
また、部分領域としては、例えば図7に示すように画像を格子状に区切って得られる小領域を用いればよい。 Further, as the partial area, for example, a small area obtained by dividing an image into a lattice shape as shown in FIG. 7 may be used.
また、画像の上方領域には遠方の領域が小さく見えることになるため、上方ほど小さく区切るようにして得られた小領域を用いてもよい。 In addition, since a distant area appears to be small in the upper area of the image, a small area obtained by dividing the upper area smaller may be used.
次に、人物の検出について説明する。 Next, detection of a person will be described.
上記で得られた一つの分割領域の変換パラメータによって、画像上で検出された人物の位置から地図上の位置へ変換を行う。なお、ここの説明では、分割領域として一画素の場合について説明する。 Conversion is performed from the position of the person detected on the image to the position on the map by the conversion parameter of one divided area obtained above. In the description here, the case of one pixel as a divided region will be described.
まず、人物が画像上の点(x,y)で検出されたとする。 First, it is assumed that a person is detected at a point (x, y) on the image.
次に、変換部107は、パラメータ記憶部106が記憶する図6(b)の情報をもとに画像上の点(x,y)の変換パラメータを取得し、式(1)を用いて対応する地図上の点(x′,y′)を算出する。
Next, the
次に、表示部108は、画像、画像上の人物位置である点(x,y)、地図、地図上の人物の位置の点(x′,y′)を表示する。
Next, the
上記のような分割領域毎の変換パラメータを用いる効果について、図8を用いてさらに詳しく説明する。図8(a)は画像を表す図であり、図8(b)は地図を表す図である。 The effect of using the conversion parameter for each divided area as described above will be described in more detail with reference to FIG. FIG. 8A shows an image, and FIG. 8B shows a map.
図8(a)(b)に示すように、点601と点611、点602と点612、・・・、点609と点619が対応付けされているとする。そして地図上では、正しくは点620である位置が点621に、点622が点623に、点624が点625に、・・・、点632が点633に誤って入力されているとする。
As shown in FIGS. 8A and 8B, it is assumed that
ここで実施例1の場合では、RANSAC処理などによって、他の領域の正しい対応点情報や他の領域の正しい地図に基づいて、ある程度正確な変換パラメータが推定される。そして、その変換パラメータで全体を変換することになる。すなわち、全体としてはある程度正確な変換が行われるが、誤った地図が入力されている机630周辺については、地図上の誤った位置に変換されることになる。
Here, in the case of the first embodiment, conversion parameters that are accurate to some extent are estimated by RANSAC processing or the like based on correct corresponding point information of other regions or a correct map of other regions. Then, the whole is converted with the conversion parameter. That is, the conversion is performed to some extent as a whole, but the area around the
例えば、机630の右端にいる人物640は、図8(b)における机630の真の位置である点626、点628、点630、点632が囲む矩形の右端である点641に変換される。しかし地図上では机640は、誤って点627、点629、点631、点633が囲む矩形として入力されているため、人物640は、机630の内部領域である点641に存在するという誤った位置に変換される。
For example, the
しかし、本実施例のように、分割領域毎に異なる変換パラメータで変換する場合は、例えば人物640の位置は、図8(a)における画像上の点608、点606、点607、点602と、図8(b)における地図上の点618、点616、点617、点612の4組(又は、4組以上の点)の対応付けで算出された変換パラメータで地図上に変換する。ここで、地図における机の角部の点629は、真の位置の点628から右上にずれて入力されているが、それに合わせて対応点617も右上にずれて入力されることになる。
However, when converting with different conversion parameters for each divided region as in this embodiment, for example, the position of the
そのため、点608、点606、点607、点602の4点で算出された変換パラメータは、それらの周辺の画像上の点を実際の位置よりも右上にずれた形で地図上に変換することになる。人物640の位置も、正しい地図が入力されていた場合の位置の点641よりも右上にずれた点642に変換される。この結果、人物640は、点627、点619、点631、点633が囲む机630の横に存在すると正しく判定されることになる。
Therefore, the conversion parameters calculated at the four points of
本実施例によれば、地図の位置に様々なずれがあっても、その近傍の対応点で算出される変換パラメータがそのずれに合わせた位置変換を行うため、正しく地図上での位置を確認できる。そして、このような画像上の点608、点606、点607、点602の周辺の点に適用される局所的に歪んだ変換は、画面上の他の点には影響を与えないため、例えば正しく入力されている机650周辺の地図情報は、その歪んだ変換の影響を受けることなく正しい位置に変換される。
According to the present embodiment, even if there are various shifts in the map position, the conversion parameters calculated at corresponding points in the vicinity perform position conversion in accordance with the shift, so the position on the map is correctly confirmed. it can. Such locally distorted transformation applied to points around the
上記説明では、人物の検出については、人物の画像上の点(x,y)のおける一画素の変換パラメータを用いて変換したが、これに限らず次のような方法がある。 In the above description, the person is detected by using the conversion parameter of one pixel at the point (x, y) on the person image. However, the present invention is not limited to this, and there is the following method.
例えば、人物の画像上の点(x,y)の近傍にある点(画素)の変換パラメータを用いてもよい。例えば、点(x,y)において変換パラメータが、近傍にある点における変換パラメータと極端に異なっている場合には、近傍の点における変換パラメータが不正確であると考えられる。この場合、最も近傍にある算出された点(画素)の変換パラメータを用いることが好ましい。 For example, a conversion parameter of a point (pixel) in the vicinity of the point (x, y) on the person image may be used. For example, when the conversion parameter at the point (x, y) is extremely different from the conversion parameter at a nearby point, it is considered that the conversion parameter at the nearby point is inaccurate. In this case, it is preferable to use the conversion parameter of the nearest calculated point (pixel).
上記説明では、人物の検出については、人物の画像上の点(x,y)のおける一画素の変換パラメータを用いて変換したが、部分領域についても同様に用いることができる。 In the above description, the detection of the person is performed using the conversion parameter of one pixel at the point (x, y) on the person image, but the same can be applied to the partial area.
例えば、人物の画像上の点(x,y)を含む部分領域の変換パラメータを用いる。 For example, the conversion parameter of the partial region including the point (x, y) on the person image is used.
また、人物の画像上の点(x,y)と最も近傍にある部分領域の変換パラメータを用いてもよい。この場合は、例えば、点(x,y)を含む部分領域において近傍にある点における変換パラメータと極端に異なっている場合には、最も近傍にある算出された部分領域の変換パラメータを用いる。 Alternatively, the conversion parameter of the partial region closest to the point (x, y) on the person image may be used. In this case, for example, when the conversion parameter is extremely different from the conversion parameter at a nearby point in the partial region including the point (x, y), the conversion parameter of the calculated partial region closest to the point is used.
ところで、このような局所的に歪んだ変換を用いると、分割領域の境界で変換パラメータが異なることから、座標変換が不連続になる。そのため、分割領域の境界においては、その周辺の分割領域の変換パラメータによって算出される座標も考慮し、例えば周辺の分割領域の変換パラメータによって算出された座標の平均値を用いることで、座標変換が不連続になることを防止できる。 By the way, when such locally distorted transformation is used, the transformation parameters are different at the boundaries of the divided regions, so that the coordinate transformation becomes discontinuous. Therefore, at the boundary of the divided area, the coordinates calculated by the conversion parameters of the surrounding divided areas are also taken into consideration, and for example, the coordinate conversion is performed by using the average value of the coordinates calculated by the conversion parameters of the surrounding divided areas. It is possible to prevent discontinuity.
本発明の実施例3の対応付け装置100について図9に基づいて説明する。
A
本実施例と実施例2と異なる構成は、本実施例では、図9に示すように、複数の対応入力部103と表示部108を備え、それらが情報記憶部104と通信部110(例えば、LAN)を介して接続され、それぞれで、個々のユーザが対応点情報を入力する。
As shown in FIG. 9, the configuration different from the present embodiment and the second embodiment is provided with a plurality of
まず、各ユーザは、自分の周辺のみの対応付けを対応入力部103に入力する。
First, each user inputs the association only for his / her surroundings to the
複数のユーザが入力したそれぞれの対応点情報は、対応入力部103から通信部110によって情報記憶部104に集められ、上記実施例1、2と同様の処理が行う。
The corresponding point information input by a plurality of users is collected from the
本実施例によれば、複数のユーザが分散的に対応付け入力を行うことにより、管理者による対応付け入力作業を軽減できる。 According to the present embodiment, the association input work by the administrator can be reduced by a plurality of users performing association input in a distributed manner.
また、複数のユーザによる複数の入力により、他の入力との誤差が大きい入力を誤入力として除外することで処理結果を安定化させ、多数の対応点を用いることでRANSAC処理のを安定化させ、分割領域を細かく設定でき、適切な画像上の情報と地図上の情報の変換が行える。 In addition, a plurality of inputs by a plurality of users can eliminate the input having a large error from other inputs as an erroneous input to stabilize the processing result, and use a large number of corresponding points to stabilize the RANSAC processing. The division area can be set finely, and information on the appropriate image and information on the map can be converted.
本発明の実施例4の対応付け装置100について図10に基づいて説明する。
A
本実施例と実施例3の異なる構成は、図10に示すように、複数の対応入力部103と表示部108に加えて、複数の地図入力部102を備えていることにある。
The difference between the present embodiment and the third embodiment is that a plurality of
表示部108は、地図(机の配置などの情報)を画像上に重畳表示させることもできるため、ユーザは重畳情報をもとに地図のずれを修正できる。
Since the
本実施例によれば、対応点情報だけでなく地図も、複数のユーザが分散的に入力、修正できるため、管理者による地図入力作業を低減できる。 According to the present embodiment, not only corresponding point information but also a map can be input and corrected by a plurality of users in a distributed manner, so that the map input work by the administrator can be reduced.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の主旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
本実施形態の対応付け装置100は、上記各実施例では、室内の机の配置に関する地図で説明したが、これに代えて次のようなものにも適応できる。
The
劇場の座席の配置図を地図として入力し、画像に写った人物の位置を対応付ける。 A map of theater seats is input as a map, and the positions of the people in the image are associated.
美術館や博物館の展示品の配置図を地図として入力し、画像に写った人物の位置を対応付ける。 The layout of museums and museum exhibits is input as a map, and the position of the person in the image is associated.
工場内に設置された機械の配置図を地図として入力し、画像に写った作業員の位置を対応付ける。 The layout of the machines installed in the factory is input as a map, and the positions of workers in the image are associated.
病院の病室にあるベッドの配置図を地図として入力し、画像に写った人物の位置を対応付ける。 The bed layout in the hospital room is input as a map, and the position of the person in the image is associated.
病院の待合室にある椅子やソファーの配置図を地図として入力し、画像に写った人物の位置を対応付ける。 The layout of chairs and sofas in the waiting room of the hospital is input as a map, and the position of the person in the image is associated.
ホテルのロビーにあるソファーの配置図を地図として入力し、画像に写った人物の位置を対応付ける。 Enter the layout of the sofa in the hotel lobby as a map, and associate the positions of the people in the image.
学校、幼稚園、保育園などの部屋の内部にある机、テーブル、椅子、ソファー、玩具などの配置図を地図として入力し、画像に写った児童、園児、先生などの位置を対応付ける。 Input the layout of desks, tables, chairs, sofas, toys, etc. in the room of school, kindergarten, nursery school, etc. as a map, and associate the positions of children, preschoolers, teachers, etc. in the image.
駅の構内の設置物の配置図を地図として入力し、画像に写った人物の位置を対応付ける。 The arrangement map of the installations in the station is input as a map, and the position of the person in the image is associated.
船、車、列車、飛行機の内部の部屋、区画、座席の配置図を地図として入力し、画像に写った乗客や乗員の位置を対応付ける。 The layout of the ship, car, train, airplane interior room, compartments, and seats is input as a map, and the positions of passengers and passengers in the image are associated.
駐車場の各車の止める区画を表す図を地図として入力し、画像に写った車の位置を対応付ける。 A map representing the parking area of each car in the parking lot is input as a map and the position of the car in the image is associated.
100・・・対応付け装置、101・・・画像入力部、102・・・地図入力部、103・・・対応入力部、104・・・情報記憶部、105・・・算出部、106・・・パラメータ記憶部、107・・・変換部、108・・・表示部
DESCRIPTION OF
Claims (6)
地図が入力される地図入力部と、
前記画像上の点と前記地図上の点との対応関係を示す対応点情報を入力する対応入力部と、
前記対応点情報に基づいて、前記画像の分割領域毎に変換パラメータを算出する算出部と、
前記分割領域毎の前記変換パラメータを用いて、前記画像上の所定の位置を前記地図上の位置に変換する変換部と、
を有することを特徴とする対応付け装置。 An image input unit for inputting an image;
A map input unit for inputting a map;
A corresponding input unit that inputs corresponding point information indicating a corresponding relationship between a point on the image and a point on the map;
A calculation unit that calculates a conversion parameter for each divided region of the image based on the corresponding point information;
A conversion unit that converts a predetermined position on the image into a position on the map using the conversion parameter for each divided region;
An associating device characterized by comprising:
ことを特徴とする請求項1に記載の対応付け装置。 When the calculation unit calculates the conversion parameter related to a certain divided area, in addition to the corresponding point information in the divided area, the corresponding point information of the plurality of divided areas existing in the vicinity of the divided area is also used.
The associating device according to claim 1.
ことを特徴とする請求項2に記載の対応付け装置。 The divided area is a single area on the image or a partial area that is a set of a plurality of pixels on the image.
The associating device according to claim 2.
ことを特徴とする請求項3に記載の対応付け装置。 The conversion unit uses the conversion parameter of the partial region including the one pixel corresponding to a predetermined position on the image or the predetermined position on the image,
The associating device according to claim 3.
前記各対応入力部と前記各表示部と、前記算出部とを接続する通信部とをさらに有する、
ことを特徴とする請求項4に記載の対応付け装置。 A plurality of sets of the corresponding input unit and the display unit;
A communication unit that connects the corresponding input units, the display units, and the calculation unit;
The associating device according to claim 4.
前記各対応入力部、前記各表示部及び前記各地図入力部と、前記算出部とを接続する通信部とをさらに有する、
ことを特徴とする請求項4に記載の対応付け装置。 A plurality of sets of the corresponding input unit, the display unit, and the map input unit;
A communication unit that connects the corresponding input unit, the display unit, the map input unit, and the calculation unit;
The associating device according to claim 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010190405A JP2012048523A (en) | 2010-08-27 | 2010-08-27 | Association device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010190405A JP2012048523A (en) | 2010-08-27 | 2010-08-27 | Association device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012198689A Division JP5444431B2 (en) | 2012-09-10 | 2012-09-10 | Control system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012048523A true JP2012048523A (en) | 2012-03-08 |
Family
ID=45903305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010190405A Pending JP2012048523A (en) | 2010-08-27 | 2010-08-27 | Association device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012048523A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020181340A (en) * | 2019-04-24 | 2020-11-05 | 三菱電機株式会社 | Control system |
CN112015839A (en) * | 2020-08-28 | 2020-12-01 | 北京百度网讯科技有限公司 | Map coordinate processing method, map coordinate processing device, electronic device, and storage medium |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05165402A (en) * | 1991-04-25 | 1993-07-02 | Fujiretsukusu Kk | Device and method for generating simplified photographic map |
JPH05181949A (en) * | 1991-12-26 | 1993-07-23 | Toshiba Corp | Image positioning device |
JPH05181411A (en) * | 1991-12-27 | 1993-07-23 | Toshiba Corp | Map information collation and update system |
JP2000215317A (en) * | 1998-11-16 | 2000-08-04 | Sony Corp | Image processing method and image processor |
JP2002150308A (en) * | 2000-04-12 | 2002-05-24 | Jekku:Kk | Drawing compilation system and recording medium |
JP2002251621A (en) * | 2001-02-22 | 2002-09-06 | Fujitsu Ltd | System, method, and program for producing image |
JP2002357419A (en) * | 2001-02-20 | 2002-12-13 | Kyushu Techno Research Kk | Side oblique air photograph and pseudo orthoscopic image |
JP2004070929A (en) * | 2003-06-06 | 2004-03-04 | Canon Inc | Image processing device and method |
JP2005100407A (en) * | 2003-09-24 | 2005-04-14 | Seiko Epson Corp | System and method for creating panorama image from two or more source images |
JP2005134601A (en) * | 2003-10-30 | 2005-05-26 | Zenrin Co Ltd | Analysis system for map image |
JP2007127437A (en) * | 2005-11-01 | 2007-05-24 | Matsushita Electric Ind Co Ltd | Information display device |
JP2008015911A (en) * | 2006-07-07 | 2008-01-24 | Kokudo Joho Kaihatsu Kk | Map positioning device and method |
JP2008186145A (en) * | 2007-01-29 | 2008-08-14 | Mitsubishi Electric Corp | Aerial image processing apparatus and aerial image processing method |
JP2008244946A (en) * | 2007-03-28 | 2008-10-09 | Sony Corp | Image display apparatus, image display control method, program, and monitoring camera system |
JP2009232085A (en) * | 2008-03-21 | 2009-10-08 | Sharp Corp | Image processing method, image processor, image forming apparatus, program, and storage medium |
-
2010
- 2010-08-27 JP JP2010190405A patent/JP2012048523A/en active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05165402A (en) * | 1991-04-25 | 1993-07-02 | Fujiretsukusu Kk | Device and method for generating simplified photographic map |
JPH05181949A (en) * | 1991-12-26 | 1993-07-23 | Toshiba Corp | Image positioning device |
JPH05181411A (en) * | 1991-12-27 | 1993-07-23 | Toshiba Corp | Map information collation and update system |
JP2000215317A (en) * | 1998-11-16 | 2000-08-04 | Sony Corp | Image processing method and image processor |
JP2002150308A (en) * | 2000-04-12 | 2002-05-24 | Jekku:Kk | Drawing compilation system and recording medium |
JP2002357419A (en) * | 2001-02-20 | 2002-12-13 | Kyushu Techno Research Kk | Side oblique air photograph and pseudo orthoscopic image |
JP2002251621A (en) * | 2001-02-22 | 2002-09-06 | Fujitsu Ltd | System, method, and program for producing image |
JP2004070929A (en) * | 2003-06-06 | 2004-03-04 | Canon Inc | Image processing device and method |
JP2005100407A (en) * | 2003-09-24 | 2005-04-14 | Seiko Epson Corp | System and method for creating panorama image from two or more source images |
JP2005134601A (en) * | 2003-10-30 | 2005-05-26 | Zenrin Co Ltd | Analysis system for map image |
JP2007127437A (en) * | 2005-11-01 | 2007-05-24 | Matsushita Electric Ind Co Ltd | Information display device |
JP2008015911A (en) * | 2006-07-07 | 2008-01-24 | Kokudo Joho Kaihatsu Kk | Map positioning device and method |
JP2008186145A (en) * | 2007-01-29 | 2008-08-14 | Mitsubishi Electric Corp | Aerial image processing apparatus and aerial image processing method |
JP2008244946A (en) * | 2007-03-28 | 2008-10-09 | Sony Corp | Image display apparatus, image display control method, program, and monitoring camera system |
JP2009232085A (en) * | 2008-03-21 | 2009-10-08 | Sharp Corp | Image processing method, image processor, image forming apparatus, program, and storage medium |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020181340A (en) * | 2019-04-24 | 2020-11-05 | 三菱電機株式会社 | Control system |
JP7363084B2 (en) | 2019-04-24 | 2023-10-18 | 三菱電機株式会社 | control system |
CN112015839A (en) * | 2020-08-28 | 2020-12-01 | 北京百度网讯科技有限公司 | Map coordinate processing method, map coordinate processing device, electronic device, and storage medium |
KR20210037636A (en) * | 2020-08-28 | 2021-04-06 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Map coordinate processing method, map coordinate processing device, electronic device, and storage medium |
JP2021099527A (en) * | 2020-08-28 | 2021-07-01 | 北京百度網訊科技有限公司 | Map coordinate processing method, map coordinate processing device, electronic device, storage medium, and computer program product |
JP7235788B2 (en) | 2020-08-28 | 2023-03-08 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Map coordinate processing method, map coordinate processing device, electronic device, storage medium and computer program product |
KR102580365B1 (en) * | 2020-08-28 | 2023-09-18 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Map coordinate processing method, map coordinate processing device, electronic device, and storage medium |
CN112015839B (en) * | 2020-08-28 | 2024-03-01 | 北京百度网讯科技有限公司 | Map coordinate processing method, map coordinate processing device, electronic apparatus, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | Support surface prediction in indoor scenes | |
TWI505709B (en) | System and method for determining individualized depth information in augmented reality scene | |
US9703387B2 (en) | System and method of real-time interactive operation of user interface | |
US11367264B2 (en) | Semantic interior mapology: a tool box for indoor scene description from architectural floor plans | |
US10127667B2 (en) | Image-based object location system and process | |
US10373018B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
US20230138762A1 (en) | Automated Building Floor Plan Generation Using Visual Data Of Multiple Building Images | |
JP7024812B2 (en) | Image processing methods, equipment and computer readable storage media | |
US20150220769A1 (en) | Striped pattern image examination support device, striped pattern image examination support method and program | |
CN110032964B (en) | Image processing method, device, equipment and storage medium for identifying visual angle | |
JP5444431B2 (en) | Control system | |
JP2014106597A (en) | Autonomous moving body, object information acquisition device, and object information acquisition method | |
JP2012048523A (en) | Association device | |
JP2015032069A (en) | Monitoring device and control program of monitoring device | |
JP6262610B2 (en) | Information registration device, information continuation registration device, method and program | |
CN115393469A (en) | House type graph generation method, device, equipment and medium | |
JP7392850B2 (en) | Image processing device, image processing method, and program | |
JP6736348B2 (en) | Image processing apparatus, image processing method and program | |
JP6723822B2 (en) | Image processing apparatus, image processing method and program | |
US20220277474A1 (en) | System and method for geo-referencing object on floor | |
JP7201032B2 (en) | Information processing device, information processing method and program | |
TWI639133B (en) | Apparatus and method for constructing indoor map using cloud point | |
US9105073B2 (en) | Method and system of producing an interactive version of a plan or the like | |
Bowen-Biggs et al. | Sketched floor plans versus SLAM maps: A comparison | |
JP7392851B2 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130516 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131217 |