JP5343210B2 - Subject area calculation device, subject area calculation system, and subject area calculation method - Google Patents
Subject area calculation device, subject area calculation system, and subject area calculation method Download PDFInfo
- Publication number
- JP5343210B2 JP5343210B2 JP2009142340A JP2009142340A JP5343210B2 JP 5343210 B2 JP5343210 B2 JP 5343210B2 JP 2009142340 A JP2009142340 A JP 2009142340A JP 2009142340 A JP2009142340 A JP 2009142340A JP 5343210 B2 JP5343210 B2 JP 5343210B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- imaging device
- subject
- image
- sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、撮像装置で撮像された被写体の面積を、画像情報に基づいて算出できる被写体面積算出装置、被写体面積算出システム、被写体面積算出方法に関する。 The present invention relates to a subject area calculation device, a subject area calculation system, and a subject area calculation method that can calculate the area of a subject imaged by an imaging device based on image information.
建物や建造物の壁面に、塗装を施したり看板やポスターを設置したりする際に、予めこれらの建物や建造物の壁面の面積が算出されていることが好ましい。壁面の面積が不明であると、どの程度の塗料や材料が必要となるのか、どの程度の面積の看板やポスターを設置できるのか不明であるからである。壁面の面積が予め分かっている場合には、塗装を施したり、看板やポスターを設置したりする工事の効率が向上する。 It is preferable that the areas of the walls of these buildings and structures are calculated in advance when the walls of the buildings and structures are painted or signboards or posters are installed. This is because if the area of the wall surface is unknown, it is unclear how much paint or material is needed and how much area of signboard or poster can be installed. If the area of the wall surface is known in advance, the efficiency of the construction of painting or installing a signboard or a poster is improved.
このような壁面のある領域の面積を算出するには、危険な作業に基づいて実測を行うか、基準点測量やステレオカメラによる測量を行うのが一般的であった。 In order to calculate the area of a region with such a wall surface, it is common to perform actual measurement based on dangerous work, or to perform survey using a reference point survey or a stereo camera.
しかしながら、実測による測量は、危険を伴う上に、対象となる領域が変更になってしまうと、改めて実測による測量作業を必要とする不便を有する。 However, surveying by actual measurement is dangerous and has the inconvenience of requiring another surveying operation by actual measurement if the target region is changed.
基準点測量やステレオカメラによる作業は、作業時間や作業工数が多くなる上に、測量対象となる建物や建造物を目視できる現場での作業しかできない。 Work with a reference point survey or a stereo camera can only be performed on the spot where the building or building to be surveyed can be seen in addition to the increase in work time and work man-hours.
近年では、様々な場所における建物や建造物の種々の場所に、看板やポスターを設置したい事業者が数多い。これらの事業者は、設置する看板やポスターを決めてから壁面の面積の測量に入るよりも、壁面の面積に基づいて、設置する看板やポスターの種類を事後的に検討したい。事業者は、壁面における看板やポスターによる宣伝効果を高める工夫を追求するからである。 In recent years, many businesses want to install signboards and posters in various places of buildings and buildings in various places. Rather than deciding the signboards and posters to be installed and entering the wall area survey, these companies want to review the types of signboards and posters to be installed based on the wall area. This is because the company seeks to improve the advertising effect by signboards and posters on the wall.
このような看板やポスターを設置する事業者にとっては、設置現場以外で壁面における任意の領域を、事後的に測量したいことが多い。特に、種々の看板やポスターを設置できる面積を有する領域を、壁面の中で任意に探したい場合もある。 In many cases, a business operator who installs such a signboard or poster wants to survey an arbitrary area on the wall surface after the installation outside the installation site. In particular, there may be a case where an area having an area where various signs and posters can be installed is arbitrarily searched for in the wall surface.
このため、撮像装置で撮像された画像を用いて、建物や建造物の壁面を計測する技術が提案されている(例えば、特許文献1参照)。
しかしながら、特許文献1は、複数の角度から撮像された画像に含まれる被写体の視差を、調整する技術を開示するだけである。 However, Patent Document 1 only discloses a technique for adjusting the parallax of a subject included in images captured from a plurality of angles.
このため、特許文献1は、被写体の面積を算出する技術を開示していない。また、特許文献1の標定基準体は、被写体の位置と面積を算出することに適用が難しい。特に、種々の角度から撮像された画像に含まれる標定基準体の任意の点を、高い精度で識別することが困難であり、事後的に撮像された画像を用いて、被写体の面積算出に必要となるデータを得ることが困難である。撮像された写真の角度や位置によっては、標定基準体の写り方が大きく異なって、標定基準体と被写体との関連性を得ることが難しいからである。 For this reason, Patent Document 1 does not disclose a technique for calculating the area of a subject. Also, the orientation reference body of Patent Document 1 is difficult to apply to calculate the position and area of the subject. In particular, it is difficult to identify any point of the orientation reference body included in images taken from various angles with high accuracy, and it is necessary to calculate the area of the subject using the images taken afterwards. It is difficult to obtain data. This is because, depending on the angle and position of the photographed photograph, the way in which the orientation reference body is reflected varies greatly, and it is difficult to obtain the relationship between the orientation reference body and the subject.
本発明は、上記課題に鑑み、簡単な標識を含む画像のみで、被写体における対象領域の面積を算出する被写体面積算出装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a subject area calculation apparatus that calculates the area of a target region in a subject using only an image including a simple sign.
上記課題に鑑み、本発明の被写体面積算出装置は、第1撮像装置により撮像された面積算出の対象となる対象領域を含む被写体と対象領域の範囲中であると共に前面に設置された標識とを含む第1画像と、第2撮像装置により第1撮像装置と異なる角度から撮像された被写体と対象領域の範囲中であると共に前面に設置された標識とを含む第2画像と、を読み出す読み出し手段と、第1撮像装置の第1位置の3次元座標の値と、第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、第1位置および第2位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、複数の特定点のそれぞれの3次元座標の値に基づいて、対象領域の面積を算出する面積算出手段と、を備え、標識は、略球形を有する3以上のポインタを備える2次元形状を有すると共に既知の面積を有し、撮像装置座標推定手段は、第1画像に含まれる標識の3つのポインタのそれぞれで構成される平面の傾きを算出することで、第1撮像装置の標識に対する第1方向を推定し、第2画像に含まれる標識の3つのポインタのそれぞれで構成される平面の傾きを算出することで、第2撮像装置の標識に対する第2方向を推定し、第1画像に含まれる標識の面積と既知の面積との比較に基づいて、第1撮像装置と標識との第1距離を算出し、第2画像に含まれる標識の面積と既知の面積との比較に基づいて、第2撮像装置と標識との第2距離を算出し、第1方向および第1距離に基づいて、第1撮像装置の第1位置の3次元座標の値を推定し、第2方向および第2距離に基づいて、第2撮像装置の第2位置の3次元座標の値を推定し、特定点座標推定手段は、第1位置から複数の特定点の一つの点への方向を示す線と、第2位置から特定点の一つの点への方向を示す線との交点を算出し、交点を、複数の特定点の一つの3次元座標として推定し、複数の特定点の他の点の3次元座標を推定し、面積算出手段は、複数の特定点のそれぞれの3次元座標により囲まれる対象領域の面積を算出する。 In view of the above problems, the subject area calculation device of the present invention includes a subject including a target region that is an area calculation target imaged by the first imaging device, and a marker that is in the range of the target region and is installed on the front surface. Reading means for reading out the first image including the subject and the second image including the subject imaged from the angle different from that of the first imaging device by the second imaging device and the sign placed in the target area and placed in front Imaging device coordinate estimation means for estimating the value of the three-dimensional coordinates of the first position of the first imaging device and the value of the three-dimensional coordinates of the second position of the second imaging device, and the first position and the second position Based on the specific point coordinate estimation means for estimating the value of each of the three-dimensional coordinates of the plurality of specific points included in the subject, and the area of the target region based on the values of the three-dimensional coordinates of the plurality of specific points. Area calculating means for calculating The provided, the label has a Rutotomoni known area having a two-dimensional shape with three or more pointers having a substantially spherical shape, the imaging device coordinate estimating means, the three pointers labels included in the first image By calculating the inclination of the plane constituted by each, the first direction with respect to the sign of the first imaging device is estimated, and the inclination of the plane constituted by each of the three pointers of the sign included in the second image is calculated. Thus, the second direction relative to the sign of the second imaging device is estimated, and the first distance between the first imaging device and the sign is determined based on a comparison between the area of the sign included in the first image and the known area. And calculating a second distance between the second imaging device and the sign based on a comparison between the area of the sign included in the second image and the known area, and calculating the second distance based on the first direction and the first distance. Estimate the value of the three-dimensional coordinates of the first position of one imaging device Based on the second direction and the second distance, the value of the three-dimensional coordinate of the second position of the second imaging device is estimated, and the specific point coordinate estimating means is configured to transfer the specific point from the first position to one of the specific points. The intersection of the line indicating the direction and the line indicating the direction from the second position to one point of the specific point is calculated, the intersection is estimated as one three-dimensional coordinate of the plurality of specific points, and the plurality of specific points The three-dimensional coordinates of the other points are estimated, and the area calculating means calculates the area of the target region surrounded by the three-dimensional coordinates of each of the plurality of specific points.
本発明の被写体面積算出装置は、標識と被写体とを含む複数の画像のみに基づいて、被写体における対象領域の面積を算出できる。特に、画像に基づいて面積を算出できるので、被写体のある現場だけでなく、画像のみがあれば、様々な場所において被写体における対象領域の面積を算出できる。このため、算出される面積が、様々な事業用途に活用できる。 The subject area calculation apparatus of the present invention can calculate the area of the target region in the subject based only on a plurality of images including the sign and the subject. In particular, since the area can be calculated based on the image, the area of the target region in the subject can be calculated in various places as long as there is only the image as well as the site where the subject is located. For this reason, the calculated area can be utilized for various business uses.
更に、撮像される角度が種々であっても、標識の認識と位置特定が容易かつ正確であるので、本発明の被写体面積算出装置は、高い精度で、被写体における対象領域の面積を算出できる。 Furthermore, since the recognition and position identification of the sign is easy and accurate even when the angle of imaging is various, the subject area calculation apparatus of the present invention can calculate the area of the target region in the subject with high accuracy.
更に、本発明の被写体面積算出装置は、算出された面積の誤差率も含めて算出できるので、高いユーザビリティを有する。 Furthermore, the subject area calculation apparatus of the present invention can be calculated including the error rate of the calculated area, and thus has high usability.
本発明の第1の発明に係る被写体面積算出装置は、第1撮像装置により撮像された面積算出の対象となる対象領域を含む被写体と対象領域の範囲中であると共に前面に設置された標識とを含む第1画像と、第2撮像装置により第1撮像装置と異なる角度から撮像された被写体と対象領域の範囲中であると共に前面に設置された標識とを含む第2画像と、を読み出す読み出し手段と、第1撮像装置の第1位置の3次元座標の値と、第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、第1位置および第2位置に基づいて、被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、複数の特定点のそれぞれの3次元座標の値に基づいて、対象領域の面積を算出する面積算出手段と、を備え、標識は、略球形を有する3以上のポインタを備える2次元形状を有すると共に既知の面積を有し、撮像装置座標推定手段は、第1画像に含まれる標識の3つのポインタのそれぞれで構成される平面の傾きを算出することで、第1撮像装置の標識に対する第1方向を推定し、第2画像に含まれる標識の3つのポインタのそれぞれで構成される平面の傾きを算出することで、第2撮像装置の標識に対する第2方向を推定し、第1画像に含まれる標識の面積と既知の面積との比較に基づいて、第1撮像装置と標識との第1距離を算出し、第2画像に含まれる標識の面積と既知の面積との比較に基づいて、第2撮像装置と標識との第2距離を算出し、第1方向および第1距離に基づいて、第1撮像装置の第1位置の3次元座標の値を推定し、第2方向および第2距離に基づいて、第2撮像装置の第2位置の3次元座標の値を推定し、特定点座標推定手段は、第1位置から複数の特定点の一つの点への方向を示す線と、第2位置から特定点の一つの点への方向を示す線との交点を算出し、交点を、複数の特定点の一つの3次元座標として推定し、複数の特定点の他の点の3次元座標を推定し、面積算出手段は、複数の特定点のそれぞれの3次元座標により囲まれる対象領域の面積を算出する。 A subject area calculation device according to a first aspect of the present invention includes a subject including a target region that is a target of area calculation captured by the first imaging device, a marker that is within the target region, and is placed in front of the target region. And a second image including a subject imaged by the second imaging device from a different angle from the first imaging device, and a sign that is in the target area and is placed on the front surface. Means for estimating the three-dimensional coordinate value of the first position of the first image pickup device and the three-dimensional coordinate value of the second position of the second image pickup device, and the first position and the second position. Based on the position, specific point coordinate estimation means for estimating the value of each of the three-dimensional coordinates of the plurality of specific points included in the subject, and based on the value of each of the three-dimensional coordinates of the plurality of specific points, An area calculating means for calculating an area; The provided, the label has a Rutotomoni known area having a two-dimensional shape with three or more pointers having a substantially spherical shape, the imaging device coordinate estimating means, the three pointers labels included in the first image By calculating the inclination of the plane constituted by each, the first direction with respect to the sign of the first imaging device is estimated, and the inclination of the plane constituted by each of the three pointers of the sign included in the second image is calculated. Thus, the second direction relative to the sign of the second imaging device is estimated, and the first distance between the first imaging device and the sign is determined based on a comparison between the area of the sign included in the first image and the known area. And calculating a second distance between the second imaging device and the sign based on a comparison between the area of the sign included in the second image and the known area, and calculating the second distance based on the first direction and the first distance. Estimate the value of the three-dimensional coordinates of the first position of one imaging device Based on the second direction and the second distance, the value of the three-dimensional coordinate of the second position of the second imaging device is estimated, and the specific point coordinate estimating means is configured to transfer the specific point from the first position to one of the specific points. The intersection of the line indicating the direction and the line indicating the direction from the second position to one point of the specific point is calculated, the intersection is estimated as one three-dimensional coordinate of the plurality of specific points, and the plurality of specific points The three-dimensional coordinates of the other points are estimated, and the area calculating means calculates the area of the target region surrounded by the three-dimensional coordinates of each of the plurality of specific points.
この構成により、予め撮像された画像のみで、被写体の面積を、高い精度で算出できる。特に、3以上のポインタを備える標識を用いて被写体の3次元座標の値を算出できるので、算出精度が高まる。 With this configuration, the area of the subject can be calculated with high accuracy using only the pre-captured image. Particularly, since the value of the three-dimensional coordinate of the subject can be calculated using a sign having three or more pointers, the calculation accuracy is improved.
本発明の第2の発明に係る被写体面積算出装置では、第1の発明に加えて、3以上のポインタのそれぞれは、相互に色度が異なる。 In the subject area calculation apparatus according to the second aspect of the present invention, in addition to the first aspect, each of the three or more pointers has a different chromaticity.
この構成により、画像中において、ポインタのそれぞれを区別しやすくなる。結果として、ポインタの選択精度が高まり、撮像装置の位置の推定精度が高まる。 This configuration makes it easy to distinguish each pointer in the image. As a result, the pointer selection accuracy increases, and the position estimation accuracy of the imaging device increases.
本発明の第3の発明に係る被写体面積算出装置では、第1又は第2の発明に加えて、標相は、相互に色度が異なると共に略球形を有する3つのポインタを頂点とする3角形を有する In the subject area calculation device according to the third aspect of the present invention, in addition to the first or second aspect, the phase is a triangle having apexes of three pointers having different chromaticities and having a substantially spherical shape. Have
この構成により、撮像装置から標識までの距離が容易に算出できる。 With this configuration, the distance from the imaging device to the sign can be easily calculated.
本発明の第7の発明に係る被写体面積算出装置では、第1から第4のいずれかの発明に加えて、特定点座標推定手段は、第1位置から複数の特定点の一つの点への方向を示す線(以下、「第1直線」という)と、第2位置から複数の特定点の一つの点への方向を示す線(以下、「第2直線」という)とが交差しない場合において、第1直線および第2直線同士の近接する位置における第1直線および第2直線同士の離隔量を算出し、離隔量を、不一致量として算出し、面積算出手段は、不一致量に基づいて、対象領域の面積の誤差率を算出する。 In the subject area calculation apparatus according to the seventh invention of the present invention, in addition to any of the first to fourth inventions, the specific point coordinate estimation means is configured to apply the specific point coordinate estimation means from the first position to one of a plurality of specific points. When the line indicating the direction (hereinafter referred to as “first straight line”) and the line indicating the direction from the second position to one of the plurality of specific points (hereinafter referred to as “second straight line”) do not intersect. The distance between the first straight line and the second straight line at a position where the first straight line and the second straight line are close to each other is calculated, the distance is calculated as a mismatch amount, and the area calculation means is based on the mismatch amount, The error rate of the area of the target area is calculated.
この構成により、特定点の座標の推定精度を知ることができる。 With this configuration, it is possible to know the estimation accuracy of the coordinates of a specific point.
本発明の第8の発明に係る被写体面積算出装置では、第7の発明に加えて、面積算出手段は、誤差率に基づいて、算出する面積に対する誤差のパーセンテージ、誤差を段階的に示すレベル値および算出する誤差を含んだ面積範囲のいずれかによって、対象領域の面積を算出する。 In the subject area calculation apparatus according to the eighth aspect of the present invention, in addition to the seventh aspect, the area calculation means includes a percentage value of the error relative to the calculated area and a level value indicating the error step by step based on the error rate. Then, the area of the target region is calculated by any one of the area ranges including the error to be calculated.
この構成により、算出された面積の確からしさを、使用者が認識できる。 With this configuration, the user can recognize the certainty of the calculated area.
本発明の第9の発明に係る被写体面積算出装置では、第1から第8のいずれかの発明に加えて、複数の特定点のそれぞれは、対象領域の頂点に含まれる。 In the subject area calculation apparatus according to the ninth aspect of the present invention, in addition to any of the first to eighth aspects, each of the plurality of specific points is included in the vertex of the target area.
この構成により、対象領域が特定点によって形成される。 With this configuration, the target area is formed by specific points.
本発明の第10の発明に係る被写体面積算出装置では、第1から第9のいずれかの発明に加えて、面積算出手段が算出した対象領域の面積を表示する表示手段を更に備える。
The subject area calculation apparatus according to the tenth aspect of the present invention further includes display means for displaying the area of the target region calculated by the area calculation means in addition to any of the first to ninth aspects.
この構成により、使用者は、算出結果を容易に認識できる。 With this configuration, the user can easily recognize the calculation result.
以下、図面を参照しながら、本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施の形態1)
実施の形態1について説明する。
(Embodiment 1)
Embodiment 1 will be described.
(システム全体の概要)
図1は、本発明の実施の形態1における被写体面積算出システムの概念図である。
(Overview of the entire system)
FIG. 1 is a conceptual diagram of a subject area calculation system according to Embodiment 1 of the present invention.
被写体面積算出システム1は、被写体2と被写体2と近接しておかれた標識3と、被写体2と標識3とを撮像する撮像装置7と、撮像された画像を解析して、被写体2の面積を算出する被写体面積算出装置8とを備えている。 The subject area calculation system 1 analyzes a captured image of the subject 2, the sign 3 that is close to the subject 2, the image pickup device 7 that captures the subject 2 and the sign 3, and the area of the subject 2. A subject area calculation device 8 for calculating
被写体2は、建物や建造物の一部もしくは全部であり、特には建物や建造物の壁面である。面積を算出したい領域を含む部分である。例えば、被写体2の例は、ビルやマンションの壁面であったり、ビルやマンションの看板設置板であったりする。 The subject 2 is a part or the whole of a building or a building, particularly a wall surface of the building or the building. It is a part including a region where the area is to be calculated. For example, the example of the subject 2 may be a wall surface of a building or a condominium, or a signboard installation board of a building or a condominium.
標識3は、3つのポインタ4、5,6を備える基準部材であり、標識3を基準とした撮像装置7の3次元座標から、被写体2の面積を算出する。 The sign 3 is a reference member that includes three pointers 4, 5, and 6, and calculates the area of the subject 2 from the three-dimensional coordinates of the imaging device 7 with reference to the sign 3.
撮像装置7は、カメラ、デジタルカメラ、デジタルビデオカメラ、携帯端末、携帯電話機などの撮像機能を有する電子機器や電子装置である。 The imaging device 7 is an electronic device or an electronic device having an imaging function such as a camera, a digital camera, a digital video camera, a mobile terminal, or a mobile phone.
被写体面積算出装置8として、図1ではパーソナルコンピュータが例として示されているが、パーソナルコンピュータだけでなく、被写体の面積を算出するための処理を行うことのできる、専用装置、汎用装置などが幅広く用いられる。 As the subject area calculation device 8, a personal computer is shown as an example in FIG. 1, but not only a personal computer but also a wide range of dedicated devices and general-purpose devices that can perform processing for calculating the subject area. Used.
被写体面積算出システム1では、まず標識3を被写体2に近接して設置し、撮像装置7が標識3と被写体2とを同時に撮影する。このとき、撮像装置7は、標識3と被写体2とを含む第1画像と、第1画像と異なる角度から撮像される標識3と被写体2とを含む第2画像(あるいは、第3画像以上を)を撮像する。 In the subject area calculation system 1, first, the sign 3 is installed close to the subject 2, and the imaging device 7 captures the sign 3 and the subject 2 at the same time. At this time, the imaging device 7 receives the first image including the sign 3 and the subject 2 and the second image (or the third image or more) including the sign 3 and the subject 2 captured from an angle different from the first image. ).
図2に、第1撮像装置と第2撮像装置が、被写体2と標識3とを撮像する様子を示す。図2は、本発明の実施の形態1における第1画像と第2画像との撮像を説明する模式図である。第1撮像装置7aは、所定の方向から被写体2と標識3とを撮像して、第1画像を得る。一方、第2撮像装置7bは、第1撮像装置7aと異なる角度から、被写体2と標識3とを撮像して、第2画像を得る。 FIG. 2 shows how the first imaging device and the second imaging device image the subject 2 and the sign 3. FIG. 2 is a schematic diagram illustrating imaging of the first image and the second image in the first embodiment of the present invention. The first imaging device 7a captures the subject 2 and the sign 3 from a predetermined direction to obtain a first image. On the other hand, the second imaging device 7b captures the subject 2 and the marker 3 from a different angle from the first imaging device 7a to obtain a second image.
被写体面積算出装置8は、撮像装置7から第1画像と第2画像を得る。第1画像および第2画像は、上述の通り、被写体2と標識3とを含んでいる。被写体面積算出装置8は、読み出し手段、撮像装置座標推定手段、特定点座標推定手段、面積算出手段と、を備えている。読み出し手段は、第1画像と第2画像を読み出す。撮像装置座標推定手段は、第1画像を撮像した撮像装置(第1撮像装置という)の3次元座標で表される第1位置と、第2画像を撮像した撮像装置(第2撮像装置という)の3次元座標で表される第2位置とを推定する。なお、第1撮像装置7aと第2撮像装置7bとは、説明の便宜上「第1、第2」と記載されているだけで、第1撮像装置7aと第2撮像装置7bとは、同一の装置であっても異なる装置であってもかまわない。この点は、本明細書の全体に渡って同様である。 The subject area calculation device 8 obtains a first image and a second image from the imaging device 7. The first image and the second image include the subject 2 and the sign 3 as described above. The subject area calculation device 8 includes a reading unit, an imaging device coordinate estimation unit, a specific point coordinate estimation unit, and an area calculation unit. The reading unit reads the first image and the second image. The imaging device coordinate estimation means includes a first position represented by a three-dimensional coordinate of an imaging device that captures the first image (referred to as a first imaging device) and an imaging device that captures a second image (referred to as a second imaging device). The second position represented by the three-dimensional coordinates is estimated. The first imaging device 7a and the second imaging device 7b are simply described as “first and second” for convenience of explanation, and the first imaging device 7a and the second imaging device 7b are the same. It may be a device or a different device. This point is the same throughout the present specification.
第1位置と第2位置が推定されると、第1位置と第2位置に基づいて、特定点座標推定手段が、被写体2に含まれる複数の特定点のそれぞれの3次元座標を、推定する。被写体2に含まれる複数の特定点の3次元座標が定まれば、面積を算出することができるようになる。このため、面積算出手段は、特定点の3次元座標に基づいて、被写体2の面積を算出できる。なお、面積算出手段は、被写体2において、特定点によって囲まれる所定の領域の面積を算出する。 When the first position and the second position are estimated, the specific point coordinate estimation means estimates the three-dimensional coordinates of each of the plurality of specific points included in the subject 2 based on the first position and the second position. . If the three-dimensional coordinates of a plurality of specific points included in the subject 2 are determined, the area can be calculated. For this reason, the area calculation means can calculate the area of the subject 2 based on the three-dimensional coordinates of the specific point. The area calculating means calculates the area of a predetermined region surrounded by the specific point in the subject 2.
被写体面積算出装置8は、このように撮像装置7から得られた第1画像、第2画像を用いて、被写体2の所定領域の面積を算出できる。 The subject area calculation device 8 can calculate the area of the predetermined region of the subject 2 using the first image and the second image obtained from the imaging device 7 in this way.
被写体面積算出システムは、標識3、撮像装置7、被写体面積算出装置8とを備えることで、被写体2の所定領域の面積を算出できる。 The subject area calculation system includes the sign 3, the imaging device 7, and the subject area calculation device 8, so that the area of the predetermined region of the subject 2 can be calculated.
被写体2が建造物や建物の壁面である場合には、所定領域の面積が算出されるので、例えばこの所定領域に貼付するポスターや看板の大きさが、設置前に把握できる。あるいは、所定領域の面積が算出されるので、所定領域に塗装するための塗料の量が、予め把握できる。更には、被写体2と標識3の含まれる複数の画像さえあれば、被写体2を撮像する現場以外の場所でも被写体面積算出装置8を使って、被写体2の面積が算出されるので、使い勝手の良いシステムとなる。 When the subject 2 is a building or a wall surface of the building, the area of the predetermined area is calculated. For example, the size of a poster or signboard attached to the predetermined area can be grasped before installation. Alternatively, since the area of the predetermined region is calculated, the amount of paint for painting in the predetermined region can be grasped in advance. Furthermore, as long as there are a plurality of images including the subject 2 and the sign 3, the area of the subject 2 is calculated using the subject area calculation device 8 at a place other than the site where the subject 2 is imaged. System.
(被写体面積算出装置について)
次に、被写体面積算出装置の概要について説明する。
(Subject area calculation device)
Next, an outline of the subject area calculation device will be described.
図3は、本発明の実施の形態1における被写体面積算出装置のブロック図である。 FIG. 3 is a block diagram of the subject area calculation apparatus according to Embodiment 1 of the present invention.
被写体面積算出装置10は、記憶部11に記憶されている画像を読み出す読み出し手段12、画像に含まれる標識に基づいて撮像装置の3次元座標を推定する撮像装置座標推定手段13、撮像装置の3次元座標から、被写体に含まれる複数の特定点のそれぞれの3次元座標を推定する特定点座標推定手段14、推定された特定点の3次元座標に基づいて被写体の面積を算出する面積算出手段15とを備える。面積算出手段15が算出した面積値は、表示手段16で表示される。 The subject area calculation device 10 includes a reading unit 12 that reads an image stored in the storage unit 11, an imaging device coordinate estimation unit 13 that estimates a three-dimensional coordinate of the imaging device based on a sign included in the image, and an imaging device 3 Specific point coordinate estimation means 14 for estimating the three-dimensional coordinates of each of a plurality of specific points included in the subject from the dimensional coordinates, and area calculation means 15 for calculating the area of the subject based on the estimated three-dimensional coordinates of the specific points. With. The area value calculated by the area calculating unit 15 is displayed on the display unit 16.
なお、図3では、記憶部11と表示手段16とが被写体面積算出装置10の外部に表示されているが、被写体面積算出装置10は、記憶部11と表示手段16とを包含してもよいし、外部に持ってもよい。 In FIG. 3, the storage unit 11 and the display unit 16 are displayed outside the subject area calculation device 10, but the subject area calculation device 10 may include the storage unit 11 and the display unit 16. And you may have it outside.
被写体面積算出装置10は、図1に示されるようにパーソナルコンピュータ8にて実現されても良いし、専用の装置によって実現されても良い。 The subject area calculation device 10 may be realized by a personal computer 8 as shown in FIG. 1 or may be realized by a dedicated device.
記憶部11は、様々な位置から撮像された被写体と標識とを含む画像を記憶する。例えば、第1位置に設置された第1撮像装置により撮像された第1画像と、第1位置と異なる位置である第2位置に設置された第2撮像装置により撮像された第2画像とを記憶する。第1画像および第2画像のそれぞれは、画像中に標識と被写体とを含む。記憶部11は、撮像装置が撮像する都度にあわせて画像を記憶してもよいし、予め撮像された複数の画像を記憶しても良い。 The storage unit 11 stores images including subjects and signs taken from various positions. For example, a first image captured by a first imaging device installed at a first position and a second image captured by a second imaging device installed at a second position, which is a position different from the first position. Remember. Each of the first image and the second image includes a sign and a subject in the image. The storage unit 11 may store an image every time the imaging apparatus captures an image, or may store a plurality of images captured in advance.
読み出し手段12は、記憶部11が記憶する画像を読み出す。このとき、1枚ずつ読み出しもよいし、一度に複数の画像を読み出しても良い。読み出し手段12は、読み出した画像のデータを撮像装置座標推定手段13に出力する。 The reading unit 12 reads an image stored in the storage unit 11. At this time, reading may be performed one by one or a plurality of images may be read at a time. The reading unit 12 outputs the read image data to the imaging device coordinate estimation unit 13.
撮像装置座標推定手段13は、読み出し手段12より得られた複数の画像を用いて、第1撮像装置が配置された第1位置の3次元座標を推定する。同様に、第2撮像装置が配置された第2位置の3次元座標を推定する。他の画像があれば、第3撮像装置が配置された第3位置の3次元座標(第n撮像装置が配置された第n位置の3次元座標も)を推定する。 The imaging device coordinate estimation unit 13 estimates the three-dimensional coordinates of the first position where the first imaging device is arranged, using the plurality of images obtained from the reading unit 12. Similarly, the three-dimensional coordinates of the second position where the second imaging device is arranged are estimated. If there is another image, the three-dimensional coordinates of the third position where the third imaging device is arranged (also the three-dimensional coordinates of the n-th position where the n-th imaging device is arranged) are estimated.
撮像装置座標推定手段13は、画像の中に含まれる標識の傾きに基づいて、撮像装置と標識との方向を推定する。ついで、画像の中に含まれる標識の面積に基づいて、撮像装置と標識との距離を推定する。撮像装置座標推定手段13は、この方向と距離を用いて、撮像装置の位置の3次元座標を推定する。なお、標識は、その大きさ、形状、面積などが既知である。 The imaging device coordinate estimation means 13 estimates the direction between the imaging device and the sign based on the inclination of the sign included in the image. Next, the distance between the imaging device and the sign is estimated based on the area of the sign included in the image. The imaging device coordinate estimation means 13 estimates the three-dimensional coordinates of the position of the imaging device using this direction and distance. The label has a known size, shape, area, and the like.
撮像装置座標推定手段13によって、2次元座標であるローカル座標を有する撮像装置の座標が、標識を基準とした3次元座標であるグローバル座標に変換される。なお、撮像装置座標推定手段13は、複数の位置における撮像装置のそれぞれの3次元座標の値を推定する。結果として、異なる位置にある撮像装置それぞれの3次元座標の値が推定される。 The coordinates of the imaging device having local coordinates that are two-dimensional coordinates are converted into global coordinates that are three-dimensional coordinates based on the sign by the imaging device coordinate estimation means 13. Note that the imaging device coordinate estimation unit 13 estimates the value of each three-dimensional coordinate of the imaging device at a plurality of positions. As a result, the value of the three-dimensional coordinate of each imaging device at a different position is estimated.
特定点座標推定手段14は、推定された撮像装置の3次元座標を基準に、被写体に含まれる特定点の3次元座標を推定する。被写体は、その面積を算出したい領域を有しており、特定点座標推定手段14は、この領域の外縁に沿った複数の点を特定点として決定する。これら複数の特定点のグローバルな3次元座標の値が求まれば、これら特定点で囲まれる領域の面積が算出できる。 The specific point coordinate estimation unit 14 estimates the three-dimensional coordinates of the specific point included in the subject based on the estimated three-dimensional coordinates of the imaging apparatus. The subject has a region for which the area is to be calculated, and the specific point coordinate estimation means 14 determines a plurality of points along the outer edge of this region as specific points. If the values of the global three-dimensional coordinates of the plurality of specific points are obtained, the area of the region surrounded by the specific points can be calculated.
撮像装置座標推定手段13によって、撮像装置の3次元座標の値は推定されている。特定点の3次元座標は、撮像装置の3次元座標に基づいて推定される。すなわち、複数の撮像装置からある特定点の方向を推定し、複数の撮像装置から推定された特定点の方向の重複点が、特定点の3次元座標の値となる。このように、特定点の一つの3次元座標の値は、複数の撮像装置の位置に基づいて算出される。特定点座標推定手段14は、複数の特定点のそれぞれに推定の作業を行うことで、複数の特定点のそれぞれの3次元座標の値を算出する。 The value of the three-dimensional coordinates of the imaging device is estimated by the imaging device coordinate estimation means 13. The three-dimensional coordinates of the specific point are estimated based on the three-dimensional coordinates of the imaging device. That is, the direction of a specific point is estimated from a plurality of imaging devices, and the overlapping point in the direction of the specific point estimated from the plurality of imaging devices becomes the value of the three-dimensional coordinate of the specific point. Thus, the value of one three-dimensional coordinate of the specific point is calculated based on the positions of the plurality of imaging devices. The specific point coordinate estimation means 14 calculates the value of the three-dimensional coordinates of each of the plurality of specific points by performing an estimation operation on each of the plurality of specific points.
特定点座標推定手段14は、推定した複数の特定点の3次元座標の値を、面積算出手段15に出力する。 The specific point coordinate estimation unit 14 outputs the estimated three-dimensional coordinate values of the plurality of specific points to the area calculation unit 15.
面積算出手段15は、得られた複数の特定点の3次元座標(それぞれは、同じ座標系列に基づいている)を用いて、複数の特定点で囲まれる被写体の対象領域の面積を算出する。ここで、被写体は標識と一緒に画像中に映りこんでいることが前提である。 The area calculating unit 15 calculates the area of the target region of the subject surrounded by the plurality of specific points, using the obtained three-dimensional coordinates of the plurality of specific points (each based on the same coordinate series). Here, it is assumed that the subject is reflected in the image together with the sign.
被写体がビルであって、面積を算出したい対象領域がビルの壁面の一部であるとすると、特定点は、この壁面の一部を囲む線上の点である。特定点の3次元座標に基づいて計算することで、面積算出手段15は、対象領域の面積を算出できる。3次元座標が定まっていれば、座標値に基づく積分計算によって対象領域の面積が算出できるからである。 If the subject is a building and the target region whose area is to be calculated is a part of the wall surface of the building, the specific point is a point on a line surrounding the part of the wall surface. By calculating based on the three-dimensional coordinates of the specific point, the area calculating unit 15 can calculate the area of the target region. This is because if the three-dimensional coordinates are determined, the area of the target region can be calculated by integral calculation based on the coordinate values.
面積算出手段15は、算出した面積の値を、必要に応じて表示手段16に出力する。表示手段16は、面積の値を、テキスト、映像、音声など様々な形態で表示できる。なお、表示手段16は、パーソナルコンピュータのモニタと共通であってもよく、この場合には、表示手段16は、データや命令の入力を確認する画面としても機能する。 The area calculation unit 15 outputs the calculated area value to the display unit 16 as necessary. The display means 16 can display the area value in various forms such as text, video, and audio. The display means 16 may be shared with a monitor of a personal computer. In this case, the display means 16 also functions as a screen for confirming input of data and instructions.
このように、標識と被写体とを含む、異なる位置からの複数の画像によって、被写体面積算出装置10は、被写体の面積を算出できる。このとき、被写体面積算出装置10は、被写体と一緒に写りこんでいる標識(その形状、大きさ、面積などが既知である)に基づいて、撮像装置のグローバルな3次元座標を算出した上で、被写体の対象領域を形成する特定点の3次元座標を容易に算出できる。この特定点の3次元座標を用いて、被写体面積算出装置10は、被写体の面積を、容易に算出できる。特に、標識と被写体とは、撮像した画像に写っているので、記憶部11が画像を記憶していれば、いかなる場所においても、被写体面積算出装置10は、面積を算出できる。また、標識と共に写りこんでいる被写体であれば、その特定点の選び方によって、様々な対象領域の面積を算出できるので、使用者は、フレキシブルに対象領域を選択して、対象領域の面積を算出できる。 As described above, the subject area calculation apparatus 10 can calculate the area of the subject using a plurality of images from different positions including the sign and the subject. At this time, the subject area calculation device 10 calculates the global three-dimensional coordinates of the imaging device based on the sign (its shape, size, area, etc. are known) reflected along with the subject. The three-dimensional coordinates of the specific points that form the target area of the subject can be easily calculated. Using the three-dimensional coordinates of the specific point, the subject area calculation device 10 can easily calculate the subject area. In particular, since the sign and the subject appear in the captured image, the subject area calculation device 10 can calculate the area at any location as long as the storage unit 11 stores the image. In addition, if the subject is reflected along with the sign, the area of various target areas can be calculated by selecting the specific point, so the user can select the target area flexibly and calculate the area of the target area. it can.
次に、各部の詳細について、説明する。 Next, the detail of each part is demonstrated.
なお、被写体面積算出装置10は、被写体と標識とが写っている画像について、より様々な位置や角度から撮像された多くの画像に基づくことが、面積算出の精度を上げる。但し、異なる位置や角度から撮像された少なくとも2枚の画像によって、特定点の3次元座標が求まるので、この2枚の画像によって、面積を算出できる。 Note that the subject area calculation device 10 increases the accuracy of area calculation based on many images taken from various positions and angles with respect to an image in which a subject and a sign are captured. However, since the three-dimensional coordinates of the specific point are obtained from at least two images taken from different positions and angles, the area can be calculated from the two images.
以下では、説明の便宜のために、図2も用いて、2枚の画像(第1画像と第2画像)とに基づいて面積を算出する各部の動作について説明する。なお、第1画像と第2画像との2枚の画像を用いることは一例であって、3枚以上の画像を用いてもよいことは勿論である。また、第1撮像装置と第2撮像装置とは、同一の撮像装置による撮像位置の相違によって付している名称であってもよいし、異なる撮像装置のそれぞれに対して付している名称であっても良い。「第1、第2」なる語によって、第1撮像装置、第2撮像装置とが別体の装置であることに限定されるものではない。 In the following, for convenience of explanation, the operation of each unit for calculating the area based on two images (first image and second image) will be described with reference to FIG. Note that the use of two images of the first image and the second image is merely an example, and it is needless to say that three or more images may be used. In addition, the first imaging device and the second imaging device may be given names due to differences in imaging positions by the same imaging device, or names given to different imaging devices. There may be. The terms “first, second” are not intended to limit the first imaging device and the second imaging device to separate devices.
(記憶部)
記憶部11は、撮像装置によって撮像された画像を記憶する。
(Memory part)
The memory | storage part 11 memorize | stores the image imaged with the imaging device.
ここでは、記憶部11は、第1撮像装置7aによって撮像された第1画像と第2撮像装置7bによって撮像された第2画像とを記憶する。 Here, the memory | storage part 11 memorize | stores the 1st image imaged by the 1st imaging device 7a and the 2nd image imaged by the 2nd imaging device 7b.
第1撮像装置7aと、第2撮像装置7bとは、図2に示されるように、異なる位置(被写体および標識に対して異なる角度)に配置される。第1撮像装置7aと第2撮像装置7bとは、デジタルカメラ、デジタルビデオカメラなど、動画、静止画を撮像できる装置であれば何でも良い。 As shown in FIG. 2, the first imaging device 7a and the second imaging device 7b are arranged at different positions (different angles with respect to the subject and the sign). The first imaging device 7a and the second imaging device 7b may be any device that can capture moving images and still images, such as a digital camera and a digital video camera.
第1撮像装置7aと第2撮像装置7bとは、被写体2と標識3とが一緒の画像内に入るように、画像を撮像する。また、第1撮像装置7aと第2撮像装置7bとは、標識3を基準として、異なる角度から、被写体2と標識3とを撮像する。このため、得られる第1画像と第2画像とは、異なる角度に写っている被写体2と標識3とを表示する。 The first imaging device 7a and the second imaging device 7b capture an image so that the subject 2 and the marker 3 are in the same image. Further, the first imaging device 7a and the second imaging device 7b image the subject 2 and the marker 3 from different angles with the marker 3 as a reference. For this reason, the obtained first image and second image display the subject 2 and the sign 3 appearing at different angles.
図4に第1画像と第2画像の例を示す。図4は、本発明の実施の形態1における第1画像と第2画像の写真例である。第1画像および第2画像のそれぞれは、被写体2であるブロック塀と三角形の形状を有する標識3とを含んでいる。また、被写体2の一部の領域が線で枠囲いされているが、この枠囲いされている領域が、面積算出の対象となる対象領域20である。 FIG. 4 shows examples of the first image and the second image. FIG. 4 is a photograph example of the first image and the second image in the first embodiment of the present invention. Each of the first image and the second image includes a block wall that is the subject 2 and a sign 3 having a triangular shape. In addition, a partial area of the subject 2 is surrounded by a line, and the area surrounded by the frame is a target area 20 that is an area calculation target.
図4の第1画像と第2画像が示すように、第1画像と第2画像とは、異なる角度から被写体2と標識3とを撮像している。 As shown in the first image and the second image in FIG. 4, the first image and the second image capture the subject 2 and the sign 3 from different angles.
記憶部11は、図4に例示されるような第1画像と第2画像とを記憶する。 The storage unit 11 stores a first image and a second image as exemplified in FIG.
記憶部11は、HDD(ハードディスクドライブ)、磁気メモリ、半導体メモリ、ROM、RAM、CD、DVD、カードメモリなど、一般に知られる様々な記憶素子や記憶デバイスを含む。また、記憶部11は、独立した装置やデバイスであってもよいし、被写体面積算出装置10と一体の要素であってもよい。例えば、被写体面積算出装置10がパーソナルコンピュータや汎用装置によって実現される場合には、これらのパーソナルコンピュータや汎用装置に含まれるHDDや記録デバイスによって、記憶部11が実現される。 The storage unit 11 includes various generally known storage elements and storage devices such as an HDD (hard disk drive), a magnetic memory, a semiconductor memory, a ROM, a RAM, a CD, a DVD, and a card memory. The storage unit 11 may be an independent device or device, or may be an element integrated with the subject area calculation device 10. For example, when the subject area calculation device 10 is realized by a personal computer or a general-purpose device, the storage unit 11 is realized by an HDD or a recording device included in the personal computer or general-purpose device.
また、記憶部11は、可搬性のある記録デバイスでもよく、記憶部11が読み出し手段12と電気的結合されることで、読み出し手段12が記憶部11から画像を読み出せる構成でも良い。また、記憶部11は、ネットワークによって、被写体面積算出装置10と接続されてもよい。 The storage unit 11 may be a portable recording device, and may be configured such that the reading unit 12 can read an image from the storage unit 11 by electrically connecting the storage unit 11 to the reading unit 12. In addition, the storage unit 11 may be connected to the subject area calculation device 10 via a network.
(読み出し手段)
読み出し手段12は、記憶部11に記憶されている画像を読み出す。例えば、読み出し手段11は、HDDやDVDドライブなどに設けられているデータの読取装置およびこの読取装置を駆動するソフトウェアなどを含む。記憶部11が半導体メモリや光ディスクである場合には、読み出し手段12は、読み出し対象の画像が含まれているアドレスを指定し、当該アドレスに対応するデータを読み出す。
(Reading means)
The reading unit 12 reads an image stored in the storage unit 11. For example, the reading unit 11 includes a data reading device provided in an HDD or a DVD drive, software for driving the reading device, and the like. When the storage unit 11 is a semiconductor memory or an optical disk, the reading unit 12 designates an address including an image to be read and reads data corresponding to the address.
読み出し手段12は、記憶部11から画像を読み出せればよく、その実現手段や構成は、公知技術や一般的に用いられる技術でよい。また、記憶部11がデータの書き込みも可能である場合には、読み出し手段12は、必要に応じてデータを記憶部11に書き込んでもよい。例えば、読み出し手段12は、面積算出手段15が算出した結果を、記憶部11に書き込んでも良い。このため、読み出し手段12は、データの読み出しだけに限定されるものではない。 The reading unit 12 only needs to read an image from the storage unit 11, and the realization unit and configuration thereof may be a known technique or a commonly used technique. When the storage unit 11 can also write data, the reading unit 12 may write data to the storage unit 11 as necessary. For example, the reading unit 12 may write the result calculated by the area calculating unit 15 in the storage unit 11. For this reason, the reading unit 12 is not limited to reading data.
記憶部11に図4に示される第1画像と第2画像とが記憶されている場合、読み出し手段12は、これらの第1画像と第2画像とを読み出す。読み出し手段12は、読み出した第1画像と第2画像とのデータを、撮像装置座標推定手段13に出力する。 When the first image and the second image shown in FIG. 4 are stored in the storage unit 11, the reading unit 12 reads the first image and the second image. The reading unit 12 outputs the read data of the first image and the second image to the imaging device coordinate estimation unit 13.
なお、読み出し手段12は、ハードウェアで実現されてもソフトウェアで実現されも、ハードウェアとソフトウェアの混在で実現されても良い。 Note that the reading unit 12 may be realized by hardware, software, or a mixture of hardware and software.
(撮像装置座標推定手段)
撮像装置座標推定手段13は、第1撮像装置7aの配置される第1位置と、第2撮像装置7bの配置される第2位置の、グローバル座標に基づく3次元座標の値を推定する。撮像装置座標推定手段13は、標識3を利用して、第1位置と第2位置の3次元座標の値を推定する。第1位置と第2位置の3次元座標の値に基づいて、被写体2の特定点の3次元座標の値が推定できるようになる。
(Imaging device coordinate estimation means)
The imaging device coordinate estimation means 13 estimates the value of the three-dimensional coordinate based on the global coordinates of the first position where the first imaging device 7a is arranged and the second position where the second imaging device 7b is arranged. The imaging device coordinate estimation means 13 estimates the value of the three-dimensional coordinates of the first position and the second position using the marker 3. Based on the values of the three-dimensional coordinates of the first position and the second position, the value of the three-dimensional coordinates of the specific point of the subject 2 can be estimated.
ここで、撮像装置座標推定手段13は、第1画像に写っている標識3の傾きに基づいて、第1撮像装置7aの標識3に対する方向を第1方向として推定する。ついで、撮像装置座標推定手段13は、第1画像中における標識3の面積に基づいて、第1撮像装置7aと標識3との距離を第1距離として推定する。 Here, the imaging device coordinate estimation means 13 estimates the direction of the first imaging device 7a relative to the marker 3 as the first direction based on the inclination of the marker 3 shown in the first image. Next, the imaging device coordinate estimation means 13 estimates the distance between the first imaging device 7a and the marker 3 as the first distance based on the area of the marker 3 in the first image.
同様に、撮像装置座標推定手段13は、第2画像に写っている標識3の傾きに基づいて、第2撮像装置7bの標識3に対する方向を第2方向として推定する。ついで、撮像装置座標推定手段13は、第2画像中における標識3の面積に基づいて、第2撮像装置7bと標識3との距離を第2距離として推定する。 Similarly, the imaging device coordinate estimation unit 13 estimates the direction of the second imaging device 7b with respect to the marker 3 as the second direction based on the inclination of the marker 3 in the second image. Next, the imaging device coordinate estimation means 13 estimates the distance between the second imaging device 7b and the marker 3 as the second distance based on the area of the marker 3 in the second image.
なお、撮像装置座標推定手段13は、具体的には標識3が含む特定の部位(ポインタ)を基準として、撮像装置と標識3との方向を推定する。このため、標識3は、ポインタを有していることが必要である。特には、ポインタから傾きを検出する必要があるので、標識3は3個以上のポインタを有している必要がある。 Note that the imaging device coordinate estimation means 13 estimates the direction between the imaging device and the marker 3 based on a specific part (pointer) included in the marker 3 specifically. For this reason, the sign 3 needs to have a pointer. In particular, since it is necessary to detect the inclination from the pointer, the indicator 3 needs to have three or more pointers.
撮像装置座標推定手段13は、第1方向および第1距離に基づいて、第1位置の3次元座標の値を推定し、第2方向および第2距離に基づいて、第2位置の3次元座標の値を推定する。このとき、撮像装置座標推定手段13は、第1画像および第2画像に写っている標識3の傾きと面積を利用する。このため、標識3は、画像に移っている状態だけでその傾きと面積とを容易に算出できる構成を有していることが好ましい。 The imaging device coordinate estimation means 13 estimates the three-dimensional coordinate value of the first position based on the first direction and the first distance, and the three-dimensional coordinate of the second position based on the second direction and the second distance. Estimate the value of. At this time, the imaging device coordinate estimation means 13 uses the inclination and area of the sign 3 shown in the first image and the second image. For this reason, it is preferable that the label | marker 3 has the structure which can calculate the inclination and area easily only in the state which moved to the image.
例えば、標識3は、その形状や面積が既知であって、画像中で標識3の全体形状や画像中における面積が算出しやすい形状を有していることが好適である。加えて、標識3は、画像のみで、標識3の傾きが判別しやすい形状を有していることが好適である。 For example, it is preferable that the sign 3 has a known shape and area, and has a shape in which the overall shape of the sign 3 and the area in the image can be easily calculated. In addition, it is preferable that the sign 3 has a shape that allows only the image to be easily discriminated from the inclination of the sign 3.
(標識について)
図5は、本発明の実施の形態1における標識の正面図である。上述のように、画像中で標識3を認識しやすい一例を、図5は示している。勿論、図5に示される形状や構成に限られるものではない。
(About signs)
FIG. 5 is a front view of the sign according to Embodiment 1 of the present invention. As described above, FIG. 5 shows an example in which the sign 3 is easily recognized in the image. Of course, the present invention is not limited to the shape and configuration shown in FIG.
標識3は、3以上のポインタを有している。図5では、標識3は、3つのポインタ21、22、23を有している。3つのポインタ21、22、23同士を結ぶ棒状部材によって、標識3は、3つのポインタ21、22、23を頂点とする略三角形の形状を有する。このとき、標識3を形成する三角形は、既知である所定の面積を有している。標識3の本来の面積が既知であることで、画像における標識3の面積(すなわち、三角形の面積)が算出されれば、算出された面積と本来の面積との縮尺率から、撮像装置から標識3までの距離が算出できる。 The sign 3 has three or more pointers. In FIG. 5, the sign 3 has three pointers 21, 22, and 23. The sign 3 has a substantially triangular shape with the three pointers 21, 22, and 23 as vertices by a rod-shaped member that connects the three pointers 21, 22, and 23. At this time, the triangle forming the marker 3 has a predetermined area that is known. If the original area of the sign 3 is known and the area of the sign 3 in the image (that is, the area of the triangle) is calculated, the sign from the imaging device is calculated based on the scale ratio between the calculated area and the original area. A distance up to 3 can be calculated.
また、標識3が図5に示されるように三角形を有していることで、最少の頂点数により面積を有するので、標識3が画像の中で判別しやすい上に面積や大きさが判別されやすい。 Further, since the sign 3 has a triangle as shown in FIG. 5, the sign 3 has an area with the minimum number of vertices, so that the sign 3 is easily discriminated in the image and the area and size are discriminated. Cheap.
このように、標識3が、3つのポインタ21、22、23を頂点とする三角形を有することで、(1)画像中における標識3が容易かつ確実に判別できる、(2)標識3の画像中における面積を算出しやすい、(3)画像中での標識3の面積と、実際の標識3の面積との比較から、撮像装置から標識3までの距離が容易に算出できる、とのメリットを生じる。 Thus, since the sign 3 has a triangle having the three pointers 21, 22, and 23 as vertices, (1) the sign 3 in the image can be easily and reliably determined. (2) In the image of the sign 3 It is easy to calculate the area at (3). The advantage is that the distance from the imaging device to the marker 3 can be easily calculated by comparing the area of the marker 3 in the image with the area of the actual marker 3. .
また、撮像装置座標推定手段13は、画像中の標識3の傾きから、撮像装置と標識3との方向を推定する。例えば、図4の第1画像では、標識3は、正面から見て右側に傾いている。一方、図4の第2画像では、標識3は、正面から見て左側に傾いている。第1画像と第2画像のいずれであっても、標識3がどのように傾いているかは、容易に判別できる。撮像装置座標推定手段13にとって、標識3の傾きを容易かつ確実に判別できることは、撮像装置と標識3との方向を推定する上で重要である。 The imaging device coordinate estimation means 13 estimates the direction between the imaging device and the sign 3 from the inclination of the sign 3 in the image. For example, in the first image in FIG. 4, the sign 3 is tilted to the right when viewed from the front. On the other hand, in the second image in FIG. 4, the sign 3 is inclined to the left as viewed from the front. Whether the first image or the second image is tilted, it can be easily determined how the sign 3 is inclined. In order to estimate the direction of the imaging device and the marker 3, it is important for the imaging device coordinate estimation means 13 that the inclination of the marker 3 can be easily and reliably determined.
ここで、3つのポインタ21、22、23のそれぞれは、相互に色度が異なっていることも好適である。相互に色度が異なっていることで、画像中における標識3の判別が確実になる。特に、撮像装置座標推定手段13は、ポインタ21、22、23のそれぞれを基準として、撮像装置と標識3との方向を推定するので、ポインタ21、22、23のそれぞれは、確実に区別できることが好ましい。ポインタ21、22、23のそれぞれの色度が相互に異なることで、画像中に写っているポインタ21、22、23のそれぞれが、個々に区別できるようになる。 Here, it is also preferable that the three pointers 21, 22, and 23 have different chromaticities. Since the chromaticities are different from each other, the discrimination of the marker 3 in the image is ensured. In particular, since the imaging device coordinate estimation means 13 estimates the directions of the imaging device and the marker 3 with reference to the pointers 21, 22, and 23, the pointers 21, 22, and 23 can be reliably distinguished from each other. preferable. Since the chromaticities of the pointers 21, 22, and 23 are different from each other, the pointers 21, 22, and 23 shown in the image can be individually distinguished.
また、3つのポインタ21、22、23のそれぞれは、略球形を有することが好ましい。 Each of the three pointers 21, 22, 23 preferably has a substantially spherical shape.
撮像装置座標推定手段13は、標識3に含まれるポインタ21、22、23のそれぞれを基準として撮像装置との方向を推定する。このため、標識3の画像中での写りこみの態様の如何にかかわらず、撮像装置座標推定手段13は、画像中のポインタを確実に認識できる必要がある。このとき、ポインタ21、22、23のそれぞれが略球形であることで、標識3がどのような角度から撮像されていてもポインタ21、22、23の形状に変化がない(画像に写っている形状において)。このため、撮像装置座標推定手段13は、画像の中から確実にポインタを認識できる。 The imaging device coordinate estimation unit 13 estimates the direction from the imaging device with reference to each of the pointers 21, 22, and 23 included in the sign 3. For this reason, the imaging device coordinate estimation means 13 needs to be able to reliably recognize the pointer in the image regardless of the manner in which the sign 3 is reflected in the image. At this time, since each of the pointers 21, 22, and 23 has a substantially spherical shape, the shape of the pointers 21, 22, and 23 does not change regardless of the angle at which the marker 3 is imaged (shown in the image). In shape). For this reason, the imaging device coordinate estimation means 13 can reliably recognize the pointer from the image.
実際には、表示手段に表示された第1画像や第2画像において、使用者がポインタを選択することで、ポインタと撮像装置との方向や距離が算出される。このとき、撮像されている角度によってポインタの形状が異なってしまっては、正確な選択ができない。ポインタが略球形を有していることで、撮像されている角度によることなく(異なる画像によることなく)、ポインタを正確に選択できる。 Actually, the direction and distance between the pointer and the imaging device are calculated by the user selecting the pointer in the first image or the second image displayed on the display means. At this time, if the shape of the pointer differs depending on the angle being imaged, accurate selection cannot be made. Since the pointer has a substantially spherical shape, the pointer can be accurately selected without depending on the angle at which the image is captured (without using a different image).
このように、ポインタ21、22、23が異なる色度を有していたり、略球形を有していたりすることで、(1)画像中におけるポインタが容易かつ確実に判別できる、(2)画像の撮像角度の違いによっても、ポインタを一義的に選択できる、(3)ポインタが正確に選択できることで、標識3に対する撮像装置の方向が確実に推定できる、メリットが生じる。 As described above, the pointers 21, 22, and 23 have different chromaticities or have a substantially spherical shape, so that (1) the pointer in the image can be easily and reliably determined. (2) the image (3) Since the pointer can be accurately selected, there is a merit that the direction of the imaging device relative to the marker 3 can be reliably estimated.
撮像装置座標推定手段13は、第1画像に写っているポインタ21、22、23のそれぞれから、第1撮像装置7aの標識3に対する方向を推定する。同様に、撮像装置座標推定手段13は、第2画像に写っているポインタ21、22、23のそれぞれから、第2撮像装置7bの標識3に対する方向を推定する。 The imaging device coordinate estimation means 13 estimates the direction of the first imaging device 7a relative to the marker 3 from each of the pointers 21, 22, and 23 shown in the first image. Similarly, the imaging device coordinate estimation means 13 estimates the direction of the second imaging device 7b with respect to the marker 3 from each of the pointers 21, 22, and 23 shown in the second image.
図6は、撮像装置の標識3に対する方向を推定する状態を示している。図6は、本発明の実施の形態1における撮像装置の方向推定の模式図である。 FIG. 6 shows a state in which the direction of the imaging device relative to the marker 3 is estimated. FIG. 6 is a schematic diagram of direction estimation of the imaging apparatus according to Embodiment 1 of the present invention.
標識3は、3つのポインタ21、22、23を有しており、第1位置に配置される第1撮像装置7aは、第1画像を撮像し、第2位置に配置される第2撮像装置7bは、第2画像を撮像する。第1画像にも第2画像にも、3つのポインタ21、22、23を有する標識3が写っている。 The sign 3 has three pointers 21, 22, and 23. The first imaging device 7a disposed at the first position captures the first image and is disposed at the second position. 7b images the second image. A sign 3 having three pointers 21, 22, 23 is shown in both the first image and the second image.
撮像装置座標推定手段13は、第1画像において、ポインタ21、ポインタ22およびポインタ23を選択して、ポインタ21、22、23のそれぞれで構成される平面(標識3の三角形の平面)の傾きを算出する。この傾きによって、第1撮像装置7aの標識3に対する第1方向が推定される。なお、標識3の画像中での形状と標識3の傾きとの相関関係を明示したテーブルに基づいて、撮像装置座標推定手段13は、第1方向を推定しても良い。 The imaging device coordinate estimation means 13 selects the pointer 21, the pointer 22, and the pointer 23 in the first image, and the inclination of the plane composed of each of the pointers 21, 22, 23 (the triangular plane of the sign 3) is determined. calculate. By this inclination, the first direction with respect to the marker 3 of the first imaging device 7a is estimated. Note that the imaging device coordinate estimation unit 13 may estimate the first direction based on a table that clearly indicates the correlation between the shape of the marker 3 in the image and the inclination of the marker 3.
同様に、撮像装置座標推定手段13は、第2画像において、ポインタ21、22、23を選択して、ポインタ21、22、23のそれぞれによって構成される平面(標識3の三角形の平面)の傾きを算出する。この傾きによって、第1撮像装置7bの標識3に対する第2方向が推定される。なお、第2方向も、標識3の画像中での形状と標識3の傾きとの相関関係を明示したテーブルに基づいて、推定されてもよい。 Similarly, the imaging device coordinate estimation unit 13 selects the pointers 21, 22, and 23 in the second image, and the inclination of the plane formed by each of the pointers 21, 22, and 23 (the triangular plane of the sign 3). Is calculated. Based on this inclination, the second direction with respect to the marker 3 of the first imaging device 7b is estimated. The second direction may also be estimated based on a table that clearly shows the correlation between the shape of the sign 3 in the image and the inclination of the sign 3.
第1方向および第2方向のいずれも、図6に示されるように、ポインタ21、22、23の各点と撮像装置とを結ぶベクトルによって、推定される。 As shown in FIG. 6, both the first direction and the second direction are estimated by vectors connecting the points of the pointers 21, 22, and 23 and the imaging device.
次に、撮像装置座標推定手段13は、画像中の標識3の面積と本来の標識3の面積との比較から、撮像装置から標識3までの距離を推定する。 Next, the imaging device coordinate estimation means 13 estimates the distance from the imaging device to the marker 3 from a comparison between the area of the marker 3 in the image and the area of the original marker 3.
図7は、距離の推定の状態を示す。図7は、本発明の実施の形態1における撮像装置と標識との距離の推定を説明する模式図である。 FIG. 7 shows the state of distance estimation. FIG. 7 is a schematic diagram illustrating estimation of the distance between the imaging device and the sign according to Embodiment 1 of the present invention.
図7より明らかな通り、撮像装置は、線形を保ったまま標識3を撮像するので、撮像装置から標識3までの距離は、標識3の撮像装置の位置における面積(既知である固有の面積)と画像中で算出される標識3の面積との比較によって推定される。 As is clear from FIG. 7, the imaging apparatus images the sign 3 while maintaining the linearity, and therefore the distance from the imaging apparatus to the sign 3 is the area of the sign 3 at the position of the imaging apparatus (a known unique area). And the area of the marker 3 calculated in the image.
撮像装置座標推定手段13は、第1画像における標識3の面積を算出した上で既知の面積と比較して、第1撮像装置7aから標識3までの距離を第1距離として推定する。同様に、撮像装置座標推定手段13は、第2画像における標識3の面積を算出した上で既知の面積と比較して、第2撮像装置7bから標識3までの距離を第2距離として推定する。 The imaging device coordinate estimation means 13 calculates the area of the marker 3 in the first image and compares it with the known area, and estimates the distance from the first imaging device 7a to the marker 3 as the first distance. Similarly, the imaging device coordinate estimation means 13 calculates the area of the marker 3 in the second image and compares it with the known area, and estimates the distance from the second imaging device 7b to the marker 3 as the second distance. .
標識3を基準とした第1撮像装置7aの方向と距離が分かれば、第1撮像装置7aの画像中における2次元座標が、標識3を基準としたグローバルな3次元座標に変換される。すなわち、第1位置の3次元座標の値が得られる。同様に、標識3を基準とした第2撮像装置7bの方向と距離が分かれば、第2撮像装置7bの画像中における2次元座標が、標識3を基準としたグローバルな3次元座標に変換される。 If the direction and distance of the first imaging device 7a with reference to the sign 3 are known, the two-dimensional coordinates in the image of the first imaging device 7a are converted into global three-dimensional coordinates with the reference 3 as a reference. That is, the value of the three-dimensional coordinates of the first position is obtained. Similarly, if the direction and distance of the second imaging device 7b with reference to the marker 3 are known, the two-dimensional coordinates in the image of the second imaging device 7b are converted into global three-dimensional coordinates with the marker 3 as a reference. The
このことから、撮像装置座標推定手段13は、第1方向と第1距離とから第1位置の3次元座標の値を推定し、第2方向と第2距離と空第2位置の3次元座標の値を推定する。 From this, the imaging apparatus coordinate estimation means 13 estimates the value of the three-dimensional coordinates of the first position from the first direction and the first distance, and the three-dimensional coordinates of the second direction, the second distance and the empty second position. Estimate the value of.
以上の処理手順によって、撮像装置座標推定手段13は、第1撮像装置7aの配置されている第1位置と第2撮像装置7bの配置されている第2位置との3次元座標の値を推定する。 Through the above processing procedure, the imaging device coordinate estimation means 13 estimates the values of the three-dimensional coordinates between the first position where the first imaging device 7a is arranged and the second position where the second imaging device 7b is arranged. To do.
(特定点座標推定手段)
撮像装置座標推定手段13は、特定点座標推定手段14に、第1位置と第2位置の3次元座標の値を出力する。特定点座標推定手段14は、この第1位置と第2位置の3次元座標の値に基づいて、被写体2の特定点の3次元座標の値を推定する。
(Specific point coordinate estimation means)
The imaging device coordinate estimation unit 13 outputs the values of the three-dimensional coordinates of the first position and the second position to the specific point coordinate estimation unit 14. The specific point coordinate estimation means 14 estimates the value of the three-dimensional coordinate of the specific point of the subject 2 based on the value of the three-dimensional coordinate of the first position and the second position.
図8は、本発明の実施の形態1における特定点座標の推定を説明する写真である。図8で示される画像は、標識3と一緒に撮像された被写体2を含んでおり、被写体2において、枠囲いされた面積を算出する対象である対象領域20を含んでいる。 FIG. 8 is a photograph for explaining the estimation of specific point coordinates in the first embodiment of the present invention. The image shown in FIG. 8 includes the subject 2 imaged together with the sign 3, and the subject 2 includes a target region 20 that is a target for calculating an area surrounded by a frame.
対象領域20は、任意に定まる複数の特定点を含んでいる。対象領域20は、特定点の3次元座標が分かれば、その面積が算出される。図8においては、対象領域20は、方形の領域であり、対象領域20の4つの頂点が、4つの特定点30、31、32、33として特定されている。特定点は、任意に定められれば良いが、面積算出の容易性から、対象領域の頂点に含まれればよい。あるいは対象領域の外枠の辺上の任意の点と頂点とが組み合わされて、特定点が定められても良い。 The target area 20 includes a plurality of specific points that are arbitrarily determined. If the three-dimensional coordinates of the specific point are known, the area of the target area 20 is calculated. In FIG. 8, the target area 20 is a rectangular area, and four vertices of the target area 20 are specified as four specific points 30, 31, 32, and 33. The specific point may be arbitrarily determined, but may be included at the apex of the target region for ease of area calculation. Alternatively, the specific point may be determined by combining an arbitrary point on the side of the outer frame of the target region and the vertex.
実際には、表示手段に表示されている画像(図8に例示される画像)上で、使用者が任意の点を特定点として選択する。 Actually, the user selects an arbitrary point as a specific point on the image (image illustrated in FIG. 8) displayed on the display means.
特定点座標推定手段14は、特定点30、31、32、33のそれぞれに対して、第1位置からの方向と第2位置からの方向のそれぞれを推定する。例えば、一つの特定点30に対する第1位置からの方向と第2位置からの方向を推定する。このとき、第1位置と第2位置とは、それぞれ3次元座標の値を有しているので、この3次元座標の値に基づいて、特定点30への方向が推定される。更に、特定点座標推定手段14は、第1位置からの方向と第2位置からの方向の交点の3次元座標の値を求める。交点の3次元座標の値が、求めるべき特定点30の3次元座標の値である。図9に特定点の3次元座標の推定の状態を示す。 The specific point coordinate estimation unit 14 estimates the direction from the first position and the direction from the second position for each of the specific points 30, 31, 32, and 33. For example, the direction from the first position and the direction from the second position with respect to one specific point 30 are estimated. At this time, since each of the first position and the second position has a three-dimensional coordinate value, the direction to the specific point 30 is estimated based on the three-dimensional coordinate value. Furthermore, the specific point coordinate estimation means 14 obtains the value of the three-dimensional coordinates of the intersection of the direction from the first position and the direction from the second position. The value of the three-dimensional coordinate of the intersection is the value of the three-dimensional coordinate of the specific point 30 to be obtained. FIG. 9 shows the estimation state of the three-dimensional coordinates of the specific point.
図9は、本発明の実施の形態1における特定点の3次元座標の推定を説明する模式図である。 FIG. 9 is a schematic diagram for explaining the estimation of the three-dimensional coordinates of the specific point in the first embodiment of the present invention.
図9に示されるように、第1撮像装置7a(第1位置)から特定点30への方向を示す線40と第2撮像装置7b(第2位置)から特定点30への方向を示す線41とが描かれる。図9より明らかな通り、線40と線41とは、ある位置で交わる。この位置が、交点42である。線40は、第1画像に写っている特定点30と第1位置とを結ぶ線であり、線41は、第2画像に写っている特定点30と第2位置とを結ぶ線である。特定点30は、撮像された角度や位置によって、単一の画像だけでは、その3次元座標は正確に求まらない。これに対して、撮像角度が異なる複数の画像によって、それぞれの画像における特定点30への方向の共通項(交点)が得られる。この交点は、単一の画像だけの場合よりも特定点30の位置に近い位置となりうる。 As shown in FIG. 9, a line 40 indicating the direction from the first imaging device 7 a (first position) to the specific point 30 and a line indicating the direction from the second imaging device 7 b (second position) to the specific point 30. 41 is drawn. As is clear from FIG. 9, the line 40 and the line 41 intersect at a certain position. This position is the intersection 42. The line 40 is a line connecting the specific point 30 shown in the first image and the first position, and the line 41 is a line connecting the specific point 30 shown in the second image and the second position. The three-dimensional coordinates of the specific point 30 cannot be accurately obtained by only a single image depending on the captured angle and position. On the other hand, the common item (intersection point) of the direction to the specific point 30 in each image is obtained by a plurality of images having different imaging angles. This intersection point can be closer to the position of the specific point 30 than a single image alone.
このように、第1画像と第2画像のそれぞれにおいて、第1位置から特定点を結ぶ線と、第2位置から特定点を結ぶ線とを算出し、それぞれの線同士の交点を算出することで、特定点の3次元座標(第1位置と第2位置が有する3次元座標と共通の座標)が求まる。 In this way, in each of the first image and the second image, the line connecting the specific point from the first position and the line connecting the specific point from the second position are calculated, and the intersection of the lines is calculated. Thus, the three-dimensional coordinates of the specific point (coordinates common to the three-dimensional coordinates of the first position and the second position) are obtained.
特定点座標推定手段14は、残りの特定点31、32、33の3次元座標の値も求める。 The specific point coordinate estimation means 14 also obtains the three-dimensional coordinate values of the remaining specific points 31, 32, and 33.
なお、ここでは、第1画像と第2画像の2つの画像に基づいて、特定点の3次元座標を求める処理を説明したが、3以上の画像に基づいて(すなわち、第3位置に配置される第3撮像装置にも基づいて)特定点の3次元座標の値を算出しても良い。 Here, the processing for obtaining the three-dimensional coordinates of the specific point based on the two images of the first image and the second image has been described, but based on three or more images (that is, arranged at the third position). The value of the three-dimensional coordinates of the specific point may be calculated (based on the third imaging device).
なお、特定点は、対象領域を囲む外枠上のいくつかの点でもよいし、外枠の辺が特定点の集まりであるとして、辺を選択して、多数の特定点を選択したことにしてもよい。いずれにしても、特定点の数が多いほど、後述の面積算出手段15での対象領域の面積算出の精度が高まる。 The specific points may be some points on the outer frame surrounding the target area, or the side is selected and a number of specific points are selected on the assumption that the sides of the outer frame are a collection of specific points. May be. In any case, the greater the number of specific points, the higher the accuracy of area calculation of the target region in the area calculation means 15 described later.
また、特定点座標推定手段14は、第1位置からの直線と第2位置からの直線との交点を、特定点の位置として推定しても良いが、第1位置から特定点までの方向と距離によって、まず第1位置に基づく特定点の3次元座標の値(第1特定座標とする)を推定し、ついで、第2位置から特定点までの方向と距離によって、第2位置に基づく特定点の3次元座標の値(第2特定座標とする)を推定した上で、第1特定座標と第2特定座標とに基づいて、特定点の3次元座標の値を推定しても良い。 Further, the specific point coordinate estimation means 14 may estimate the intersection of the straight line from the first position and the straight line from the second position as the position of the specific point, but the direction from the first position to the specific point First, the value of the three-dimensional coordinate of the specific point based on the first position (referred to as the first specific coordinate) is estimated, and then the specification based on the second position is performed based on the direction and distance from the second position to the specific point. After estimating the value of the three-dimensional coordinate of the point (referred to as the second specific coordinate), the value of the three-dimensional coordinate of the specific point may be estimated based on the first specific coordinate and the second specific coordinate.
このとき、特定点を含む被写体2までの距離は、第1位置や第2位置から標識3までの距離と略同一であると考えればよい。方向は、特定点として選択した位置と第1位置(第2位置)の座標との角度で定まる。 At this time, the distance to the subject 2 including the specific point may be considered to be substantially the same as the distance from the first position or the second position to the marker 3. The direction is determined by the angle between the position selected as the specific point and the coordinates of the first position (second position).
このとき、第1特定座標と第2特定座標が一致する場合には、第1特定座標と第2特定座標の値が、特定点の3次元座標の値として推定される。第1特定座標と第2特定座標とが不一致の場合には、実施の形態2で説明するように、第1特定座標と第2特定座標との近接位置が、特定点を近似する位置として定められる。 At this time, when the first specific coordinate and the second specific coordinate match, the value of the first specific coordinate and the second specific coordinate is estimated as the value of the three-dimensional coordinate of the specific point. When the first specific coordinates and the second specific coordinates do not match, as described in the second embodiment, the proximity position between the first specific coordinates and the second specific coordinates is determined as a position that approximates the specific point. It is done.
このように、特定点座標推定手段14は、特定点の3次元座標を推定し、推定結果を面積算出手段15に出力する。 As described above, the specific point coordinate estimation unit 14 estimates the three-dimensional coordinates of the specific point and outputs the estimation result to the area calculation unit 15.
なお、特定点座標推定手段14は、ハードウェアで実現されても、ソフトウェアで実現されても、ハードウェアとソフトウェアの混在で実現されても良い。 The specific point coordinate estimation means 14 may be realized by hardware, software, or a mixture of hardware and software.
(面積算出手段)
次に、面積算出手段15について説明する。
(Area calculation means)
Next, the area calculation means 15 will be described.
面積算出手段15は、特定点座標推定手段14で推定された、対象領域20を示す特定点の3次元座標の値に基づいて、対象領域20の面積を算出する。 The area calculating unit 15 calculates the area of the target region 20 based on the value of the three-dimensional coordinates of the specific point indicating the target region 20 estimated by the specific point coordinate estimating unit 14.
複数の特定点は、共通の3次元座標の値を有している。複数の特定点によって囲まれる対象領域20は、3次元座標によって、その面積が算出できる。3次元座標の値によって、対象領域20を形成する各辺の長さや辺同士が形成する角度が算出されるので、この長さと角度を用いて、面積算出手段15は、対象領域20の面積を算出できる。 The plurality of specific points have a common three-dimensional coordinate value. The area of the target region 20 surrounded by a plurality of specific points can be calculated using three-dimensional coordinates. Since the length of each side forming the target region 20 and the angle formed by the sides are calculated based on the value of the three-dimensional coordinates, the area calculating unit 15 uses the length and the angle to calculate the area of the target region 20. It can be calculated.
ここで、面積算出手段15は、領域を形成する点の3次元座標に基づいて領域の面積を算出する種々の公知技術や周知技術を利用できる。これらは、種々の公知技術や周知技術を参考にすればよいので、説明を割愛する。 Here, the area calculation means 15 can use various known techniques and known techniques for calculating the area of the region based on the three-dimensional coordinates of the points forming the region. These may be referred to various known techniques and known techniques, and will not be described.
面積算出手段15は、算出した対象領域20の面積値を、必要に応じて表示手段16に出力する。 The area calculation unit 15 outputs the calculated area value of the target region 20 to the display unit 16 as necessary.
表示手段16は、液晶画面、CRTディスプレイなどを含み、算出された面積値をテキストや画像によって表示する。 The display means 16 includes a liquid crystal screen, a CRT display, and the like, and displays the calculated area value as text or an image.
この表示を受けて、使用者は、被写体である建造物において、塗装を考慮している対象領域の面積を知ることができ、この面積に基づいて塗装のプランニングを行ったり、材料をそろえたりできる。 In response to this indication, the user can know the area of the target area in consideration of painting in the building that is the subject, and can plan the painting and arrange the materials based on this area. .
表示手段16は、被写体2、被写体2における対象領域20、推定される第1位置や第2位置の3次元座標の値、推定される特定点の3次元座標の値、算出される面積の少なくとも一部を表示する。これらの要素を全て同時に表示してもよい。表示手段16は、使用者の便宜に供される種々の情報を全て表示可能であって、使用者の選択によって、いずれかの情報のみが表示されてもよい。 The display means 16 includes at least the subject 2, the target area 20 in the subject 2, the estimated three-dimensional coordinate values of the first position and the second position, the estimated three-dimensional coordinate value of the specific point, and at least the calculated area. Display a part. All these elements may be displayed simultaneously. The display means 16 can display all the various information provided for the convenience of the user, and only one of the information may be displayed depending on the selection of the user.
以上の被写体面積算出装置10は、機能の一部もしくは全部がハードウェアの要素(半導体集積回路や電子回路)である専用装置で実現されてもよいし、パーソナルコンピュータのような汎用装置にハードウェアの要素が追加されて実現されてもよいし、機能の一部もしくは全部の機能を奏するソフトウェア(コンピュータープログラム)が汎用装置に組み込まれることで実現されても良い。 The subject area calculation device 10 described above may be realized by a dedicated device in which a part or all of the functions are hardware elements (semiconductor integrated circuits and electronic circuits), or hardware for general-purpose devices such as personal computers. These elements may be added, or may be realized by incorporating software (computer program) having some or all of the functions into a general-purpose device.
実際には、コンピュータや専用装置に実装される被写体面積算出装置を、使用者が使用して対象領域の面積を算出する。 Actually, a subject area calculation device mounted on a computer or a dedicated device is used by a user to calculate the area of the target region.
使用者は、コンピュータや専用装置のキー入力装置を用いて、記憶部11に記憶されている画像を読み出す。このとき、読み出し手段12が作動して記憶部11に記憶されている画像を読み出す。読み出された画像は、例えば図4に示されるような第1画像と第2画像である。使用者は、第1画像および第2画像において、標識3のポインタのそれぞれをマウスやポインティングデバイスを用いてドラッグする。このドラッグによって、撮像装置座標推定手段13が作動して、第1画像を撮像した位置である第1位置の3次元座標の値と、第2画像を撮像した位置である第2位置の3次元座標の値と、が推定される。 The user reads an image stored in the storage unit 11 using a computer or a key input device such as a dedicated device. At this time, the reading unit 12 operates to read the image stored in the storage unit 11. The read images are, for example, a first image and a second image as shown in FIG. The user drags each pointer of the sign 3 using the mouse or pointing device in the first image and the second image. By this dragging, the imaging device coordinate estimation means 13 is operated, and the value of the three-dimensional coordinates of the first position, which is the position where the first image is captured, and the three-dimensional position of the second position, which is the position where the second image is captured. A coordinate value is estimated.
次に使用者は、図8に示されるように、第1画像もしくは第2画像中の対象領域20を特定する特定点30、31、32、33を、画像中においてマウスやポインティングデバイスを用いてドラッグする。このドラッグによって、特定点座標推定手段が作動して、特定点30、31、32、33の3次元座標の値が推定される。更には、面積算出手段15が作動して、特定点30、31、32、33で形成される対象領域20の面積が算出される。いずれも、画像上でのマウスやポインティングデバイスによるドラッグでは、画像中の座標値が決定されることによるものである。 Next, as shown in FIG. 8, the user uses the mouse or pointing device to specify specific points 30, 31, 32, and 33 that specify the target area 20 in the first image or the second image. Drag. By this dragging, the specific point coordinate estimating means is operated, and the values of the three-dimensional coordinates of the specific points 30, 31, 32, 33 are estimated. Further, the area calculating means 15 is operated to calculate the area of the target region 20 formed by the specific points 30, 31, 32, 33. In both cases, the drag on the image with the mouse or pointing device is due to the determination of the coordinate value in the image.
このように、被写体面積算出装置がコンピュータや専用装置に実装されている場合には、使用者は表示された画像において、必要となる点(標識3のポインタや対象領域20の特定点)を指定するだけで、対象領域20の面積を算出できる。 As described above, when the subject area calculation device is mounted on a computer or a dedicated device, the user designates a necessary point (a pointer of the marker 3 or a specific point of the target area 20) in the displayed image. The area of the target region 20 can be calculated simply by doing.
以上のように、実施の形態1における被写体面積算出装置によって、被写体が実際に存在しない場所であっても、高い精度で対象領域の面積を算出できる。 As described above, the subject area calculation apparatus according to Embodiment 1 can calculate the area of the target region with high accuracy even in a place where the subject does not actually exist.
特に、対象領域の面積算出の精度を上げるためには、特定点の3次元座標の推定精度が高いことが必要である。この特定点の3次元座標の推定精度を上げるには、画像を撮像した際の撮像装置の位置の3次元座標が高い精度で推定されている必要がある。 In particular, in order to increase the accuracy of calculating the area of the target region, it is necessary that the estimation accuracy of the three-dimensional coordinates of the specific point is high. In order to increase the estimation accuracy of the three-dimensional coordinates of the specific point, the three-dimensional coordinates of the position of the imaging device when the image is captured must be estimated with high accuracy.
実施の形態1における被写体面積算出装置は、撮像装置の位置の3次元座標の算出において、撮像角度によらず同定の容易な略球形であって色度の異なる3以上のポインタを有する標識を用いる。このポインタは、撮像装置の3次元座標の基準となる。このような特徴を有する標識を被写体と一緒に撮像した画像を用いることで、被写体面積算出装置は、高い精度で撮像装置や特定点の3次元座標を推定でき、結果として、高い精度で被写体の対象領域の面積を算出できる。 The subject area calculation apparatus according to Embodiment 1 uses a sign having three or more pointers that are substantially spherical shapes that are easy to identify regardless of the imaging angle and that have different chromaticities in calculating the three-dimensional coordinates of the position of the imaging apparatus. . This pointer serves as a reference for the three-dimensional coordinates of the imaging apparatus. By using an image obtained by capturing a sign having such characteristics together with the subject, the subject area calculation device can estimate the three-dimensional coordinates of the imaging device and the specific point with high accuracy. The area of the target region can be calculated.
(実施の形態2)
次に、実施の形態2について説明する。
(Embodiment 2)
Next, a second embodiment will be described.
実施の形態2では、特定点座標の推定における工夫について説明する。 In the second embodiment, a device for estimating a specific point coordinate will be described.
特定点座標推定手段は、第1位置および第2位置から特定点の3次元座標を推定する。このとき、第1から特定点に向けて延伸する直線と第2位置から特定点に向けて延伸する直線との交点を、特定点の位置として推定する。このとき第1位置および第2位置の2つの位置からの交点だけでなく、更に第3位置に基づくことで、特定点の3次元座標を、高い精度で推定できる。すなわち、異なる角度からの3以上の撮像画像に基づいて、特定点座標推定手段は、特定点の3次元座標を高い精度で推定できる。 The specific point coordinate estimation means estimates the three-dimensional coordinates of the specific point from the first position and the second position. At this time, the intersection of the straight line extending from the first toward the specific point and the straight line extending from the second position toward the specific point is estimated as the position of the specific point. At this time, not only the intersection from the two positions of the first position and the second position, but also based on the third position, the three-dimensional coordinates of the specific point can be estimated with high accuracy. That is, based on three or more captured images from different angles, the specific point coordinate estimation means can estimate the three-dimensional coordinates of the specific point with high accuracy.
このように、2つの撮像位置からだけでなく、3以上の撮像位置からの特定点の3次元座標の推定によって、被写体の対象領域の面積が高い精度で算出される。 As described above, the area of the target region of the subject is calculated with high accuracy by estimating the three-dimensional coordinates of the specific point not only from the two imaging positions but also from three or more imaging positions.
ここで、各撮像位置から特定点へ形成される各直線が、一つの点で交差せずねじれの関係になることが生じうる。第1位置から特定点への直線は、画像中において選択された特定点と第1位置との方向と距離によって定まり、第2位置から特定点への直線は、画像中において選択された特定点と第2位置との方向と距離によって定まる。このとき、特定点は、平面である画像中において使用者が選択した位置を示し、3次元において一意に定まる本来の特定点と同じ位置となるとは限らない。このため、第1位置から特定点(画像中で選択された特定点)へ形成される直線と第2位置から特定点(画像中で選択された特定点)へ形成される直線とが、交差しないことが生じうる。 Here, it may occur that each straight line formed from each imaging position to a specific point does not intersect at one point but is twisted. The straight line from the first position to the specific point is determined by the direction and distance between the specific point selected in the image and the first position, and the straight line from the second position to the specific point is the specific point selected in the image. And the direction and distance from the second position. At this time, the specific point indicates the position selected by the user in the image that is a plane, and is not necessarily the same position as the original specific point that is uniquely determined in three dimensions. For this reason, the straight line formed from the first position to the specific point (specific point selected in the image) and the straight line formed from the second position to the specific point (specific point selected in the image) intersect. Not happening can happen.
図10は、このようなねじれの状態を示している。図10は、本発明の実施の形態2における特定点の3次元座標を推定する説明図である。図10は、3つの撮像位置から特定点へ形成される3つの直線50、51、52のそれぞれが交差しない場合を示している。 FIG. 10 shows such a twisted state. FIG. 10 is an explanatory diagram for estimating the three-dimensional coordinates of a specific point according to Embodiment 2 of the present invention. FIG. 10 shows a case where each of the three straight lines 50, 51, 52 formed from the three imaging positions to the specific point does not intersect.
図10に示される場合には、近似によって特定点の3次元座標を推定する。なお、2つの撮像位置から特定点の3次元座標を推定する場合も、下記に説明する近似を用いることができる。 In the case shown in FIG. 10, the three-dimensional coordinates of the specific point are estimated by approximation. In addition, also when estimating the three-dimensional coordinate of a specific point from two imaging positions, the approximation demonstrated below can be used.
図3、図10、図11を用いて説明する。図11は、本発明の実施の形態2における特定点の近似を説明する説明図である。 This will be described with reference to FIGS. 3, 10, and 11. FIG. 11 is an explanatory diagram for explaining approximation of a specific point in the second embodiment of the present invention.
特定点座標推定手段14は、第1撮像装置7a、第2撮像装置7b、第3撮像装置7cのそれぞれで撮像された第1画像、第2画像、第3画像に基づいて、特定点の3次元座標を推定する。まず、撮像装置座標推定手段13は、第1撮像装置7aの3次元座標である第1位置、第2撮像装置7bの3次元座標である第2位置、第3撮像装置7cの3次元座標である第3位置を推定する。撮像装置座標推定手段13は、第1位置、第2位置、第3位置の情報を特定点座標推定手段14に出力する。 The specific point coordinate estimation unit 14 determines the 3 of the specific points based on the first image, the second image, and the third image captured by the first imaging device 7a, the second imaging device 7b, and the third imaging device 7c, respectively. Estimate dimensional coordinates. First, the imaging device coordinate estimation means 13 uses the first position, which is the three-dimensional coordinate of the first imaging device 7a, the second position, which is the three-dimensional coordinate of the second imaging device 7b, and the three-dimensional coordinate of the third imaging device 7c. A certain third position is estimated. The imaging device coordinate estimation unit 13 outputs information on the first position, the second position, and the third position to the specific point coordinate estimation unit 14.
特定点座標推定手段14は、第1位置から特定点に向けて延伸する直線50を形成する。同様に、特定点座標推定手段14は、第2位置から特定点に向けて延伸する直線51、第3位置から特定点に向けて延伸する直線52を形成する。図10に示されるように、直線50、直線51、直線52のそれぞれは、全てが交差せずねじれの関係を有する。このように、3つの直線50、51、52が交差しない場合には、特定点の3次元座標を一意に定めることができない。図10では、直線50と直線51とは交差せず、直線51と直線52とも交差せず、直線52と直線50とも交差しない。 The specific point coordinate estimation unit 14 forms a straight line 50 extending from the first position toward the specific point. Similarly, the specific point coordinate estimation unit 14 forms a straight line 51 extending from the second position toward the specific point, and a straight line 52 extending from the third position toward the specific point. As shown in FIG. 10, each of the straight line 50, the straight line 51, and the straight line 52 does not intersect all but has a twisted relationship. Thus, when the three straight lines 50, 51, 52 do not intersect, the three-dimensional coordinates of the specific point cannot be uniquely determined. In FIG. 10, the straight line 50 and the straight line 51 do not intersect, the straight line 51 and the straight line 52 do not intersect, and the straight line 52 and the straight line 50 do not intersect.
そこで、図11に示されるように、特定点座標推定手段14は、3つの直線50、51、52から特定点の3次元座標を近似する。 Therefore, as shown in FIG. 11, the specific point coordinate estimation unit 14 approximates the three-dimensional coordinates of the specific point from the three straight lines 50, 51, 52.
まず、特定点座標推定手段14は、第1撮像装置7aの第1位置から延伸する直線50と第2撮像装置7bの第2位置から延伸する直線51との近接点を求める。このとき、直線50と直線51とが近接する位置同士を結ぶ線上において、特定点座標推定手段14は、重み付けにより近接点を求める。ここでは、第1位置からの直線50と第2位置からの直線51との重み付けを1:1とする。このため、直線50と直線51と近接する位置同士の中間位置を、直線50と直線51との近接点とする。この直線50と直線51との近接点を第1近接点とする。 First, the specific point coordinate estimation unit 14 obtains a proximity point between a straight line 50 extending from the first position of the first imaging device 7a and a straight line 51 extending from the second position of the second imaging device 7b. At this time, on the line connecting the positions where the straight line 50 and the straight line 51 are close to each other, the specific point coordinate estimating means 14 obtains the close point by weighting. Here, the weighting of the straight line 50 from the first position and the straight line 51 from the second position is 1: 1. Therefore, an intermediate position between the positions close to the straight line 50 and the straight line 51 is set as a proximity point between the straight line 50 and the straight line 51. A proximity point between the straight line 50 and the straight line 51 is defined as a first proximity point.
次に、特定点座標推定手段14は、第1近接点と直線52との近接点を算出する。特定点座標推定手段14は、第1近接点と直線52とが近接する位置同士を結ぶ線上において、重み付けにより近接点を求める。この第1近接点と直線52との近接点を第2近接点とする。ここでは、直線50と直線51との近接点と直線52との重み付けを2:1とする。 Next, the specific point coordinate estimation unit 14 calculates a proximity point between the first proximity point and the straight line 52. The specific point coordinate estimation unit 14 obtains a proximity point by weighting on a line connecting positions where the first proximity point and the straight line 52 are close to each other. A proximity point between the first proximity point and the straight line 52 is defined as a second proximity point. Here, the weight of the proximity point between the straight line 50 and the straight line 51 and the straight line 52 is 2: 1.
第1近接点は、直線50と直線51との2つの直線の近接する位置を示すので、1つの直線である直線52との重み付けの比率を2:1とするのが適当だからである。 This is because the first proximity point indicates a position where the two straight lines of the straight line 50 and the straight line 51 are close to each other, and therefore it is appropriate to set the weighting ratio of the straight line 52 that is one straight line to 2: 1.
特定点座標推定手段14は、第1特定点に直線52が近接する位置と第1特定点とを結ぶ線上において、第1特定点と直線52との比率が2:1となる位置を、第2近接点として算出する。この第2近接点が、3つの直線50、51、52の交点として近似される点である。特定点座標推定手段14は、この第2近接点の3次元座標の値を、特定点の3次元座標の値として推定し、面積算出手段15に出力する。 The specific point coordinate estimation means 14 determines the position where the ratio of the first specific point and the straight line 52 is 2: 1 on the line connecting the position where the straight line 52 is close to the first specific point and the first specific point. Calculated as 2 proximity points. This second proximity point is a point approximated as an intersection of the three straight lines 50, 51, 52. The specific point coordinate estimating unit 14 estimates the value of the three-dimensional coordinate of the second proximity point as the value of the three-dimensional coordinate of the specific point, and outputs it to the area calculating unit 15.
なお、2つの画像に基づいて特定点の3次元座標を推定する場合には、第1からの直線と第2位置からの直線が交差しない場合には、直線50と直線51との近接点である第1近接点を算出する要領で、特定点を近似する。 When estimating the three-dimensional coordinates of the specific point based on the two images, if the straight line from the first position does not intersect with the straight line from the second position, the adjacent point between the straight line 50 and the straight line 51 is used. A specific point is approximated in the way of calculating a certain first proximity point.
このように、3以上の撮像位置において撮像された3以上の画像に基づいて特定点の3次元座標を求めることで、より高い精度で、特定点の3次元座標が推定できる。 As described above, the three-dimensional coordinates of the specific point can be estimated with higher accuracy by obtaining the three-dimensional coordinates of the specific point based on three or more images captured at three or more imaging positions.
なお、実施の形態2では、重み付けによる近似を説明したが、種々に知られる近似によって特定点の3次元座標が推定されれば良い。例えば、線形近似、最小二乗法、バンドル調整が用いられてもよい。 In the second embodiment, the approximation by weighting has been described. However, the three-dimensional coordinates of a specific point may be estimated by various known approximations. For example, linear approximation, least squares, or bundle adjustment may be used.
また、特定点座標推定手段14は、第1位置から特定点までの方向と距離によって定めた特定点の3次元座標である第1特定座標と、第2位置から特定点までの方向と距離によって定めた特定点の3次元座標である第2特定座標(あるいは第3特定座標以降も含めて)とに基づいて特定点の3次元座標を近似しても良い。 Further, the specific point coordinate estimation unit 14 determines the first specific coordinate which is a three-dimensional coordinate of the specific point determined by the direction and distance from the first position to the specific point, and the direction and distance from the second position to the specific point. You may approximate the three-dimensional coordinate of a specific point based on the 2nd specific coordinate (or 3rd specific coordinate is included) which is the three-dimensional coordinate of the defined specific point.
例えば、第1特定座標が(x1、y1、z1)であって、第2特定座標が(x2、y2、z2)であり、重み付けの比率が、第1特定座標:第2特定座標=1:1である場合には、近似される特定点の3次元座標の値は、((x1+x2)/2、(y1+y2)/2、(z1+z2)/2)となる。勿論、3以上の撮像位置に基づく場合には、第3特定座標や第4特定座標の値との重み付け計算によって、特定点の3次元座標の値が近似される。 For example, the first specific coordinates are (x1, y1, z1), the second specific coordinates are (x2, y2, z2), and the weighting ratio is the first specific coordinates: second specific coordinates = 1: When it is 1, the value of the three-dimensional coordinates of the specific point to be approximated is ((x1 + x2) / 2, (y1 + y2) / 2, (z1 + z2) / 2). Of course, when based on three or more imaging positions, the value of the three-dimensional coordinate of the specific point is approximated by weighting calculation with the value of the third specific coordinate or the fourth specific coordinate.
(特定点座標推定の他の態様)
また、特定点座標推定において、複数の撮像装置それぞれの位置から特定点に延伸する直線を、複数にして、複数の直線で囲まれる範囲を特定点の座標として推定することも好適である。
(Other aspects of specific point coordinate estimation)
In the specific point coordinate estimation, it is also preferable that a plurality of straight lines extending from the position of each of the plurality of imaging devices to the specific point are used, and a range surrounded by the plurality of straight lines is estimated as the coordinates of the specific point.
図13は、本発明の実施の形態2における特定点座標の推定を説明する模式図である。図13は、第1撮像装置7aからある特定点に向けて複数の直線を延伸させ、第2撮像装置7bからある特定点に向けて複数の直線を延伸させて、複数の直線が囲む範囲を、特定点の3次元座標の存在位置であるとみなしている。 FIG. 13 is a schematic diagram for explaining the estimation of specific point coordinates in the second embodiment of the present invention. FIG. 13 shows a range surrounded by a plurality of straight lines by extending a plurality of straight lines from the first imaging device 7a toward a specific point and extending a plurality of straight lines from the second imaging device 7b toward the specific point. , It is regarded as the location of the three-dimensional coordinates of the specific point.
第1撮像装置7aの第1位置は、撮像装置座標推定手段13によって定まる。使用者は、第1画像において、特定点と思われる位置を選択する。この選択された特定点の位置へは、第1位置の有する3次元座標を基準として、第1位置から直線が形成される。この際に、特定点とみなす位置を微小な差分で変える事で、微細に異なる複数の直線が、第1位置から特定点に向けて形成される。 The first position of the first imaging device 7 a is determined by the imaging device coordinate estimation means 13. The user selects a position that seems to be a specific point in the first image. A straight line is formed from the first position to the position of the selected specific point with reference to the three-dimensional coordinates of the first position. At this time, by changing the position regarded as the specific point with a minute difference, a plurality of minutely different straight lines are formed from the first position toward the specific point.
図13では、第1位置を基準として、ある特定点を3つの位置71a、71b、71cにおいて選択している。同様に、第2位置を基準として、ある特定点を3つの位置72a、72b、72cにおいて選択している。第1位置からは、位置71a、71b、71cのそれぞれに3つの直線が形成され、第2位置からは、位置72a、72b、72cのそれぞれに3つの直線が形成される。すなわち、一つの特定点に対して合計で6本の直線が形成される。6本の直線は、相互に外枠を形成する。この外枠によって領域70が形成される。特定点座標推定手段14は、この領域70の3次元座標の値を算出して、この値を特定点の3次元座標の値として推定する。 In FIG. 13, a specific point is selected at three positions 71a, 71b, 71c with the first position as a reference. Similarly, a specific point is selected at three positions 72a, 72b, 72c with the second position as a reference. From the first position, three straight lines are formed at each of the positions 71a, 71b, and 71c, and from the second position, three straight lines are formed at each of the positions 72a, 72b, and 72c. That is, a total of six straight lines are formed for one specific point. The six straight lines form an outer frame with each other. A region 70 is formed by the outer frame. The specific point coordinate estimation means 14 calculates the value of the three-dimensional coordinate of this area 70 and estimates this value as the value of the three-dimensional coordinate of the specific point.
本来の特定点は、この領域70の中に位置すると推定される。多くの選択肢(ここでは選択された位置71a、71、71cなど)に基づいて形成される領域70が、特定点の位置を推定するので、特定点の推定精度が高まる。 The original specific point is estimated to be located in this region 70. Since the region 70 formed based on many options (here, the selected positions 71a, 71, 71c, etc.) estimates the position of the specific point, the accuracy of estimating the specific point is improved.
更には、図14に示されるように、第3撮像装置7cの撮像位置である第3位置から選択された位置への直線も含めて、全ての直線で囲まれる領域75は、図13の場合の領域70に比べて更に限定された領域となる。このため、特定点は、この領域75の内部に位置すると推定され、特定点の推定精度が高まる。図14は、本発明の実施の形態2における特定点座標の推定を説明する模式図である。 Furthermore, as shown in FIG. 14, the region 75 surrounded by all the straight lines including the straight line from the third position, which is the imaging position of the third imaging device 7c, to the selected position is the case of FIG. Compared to the region 70, the region is further limited. For this reason, it is estimated that the specific point is located in the region 75, and the estimation accuracy of the specific point is increased. FIG. 14 is a schematic diagram for explaining estimation of specific point coordinates according to the second embodiment of the present invention.
以上のように、特定点座標推定手段14は、複数の撮像装置の各位置から特定点として選択された位置に向けて形成される複数の直線に基づいて、高い精度で、特定点の座標を推定する。 As described above, the specific point coordinate estimation unit 14 calculates the coordinates of the specific point with high accuracy based on the plurality of straight lines formed from the positions of the plurality of imaging devices toward the position selected as the specific point. presume.
(面積の誤差率の算出)
被写体面積算出装置10は、特定点の推定精度に基づいて、算出する面積の誤差率および面積の誤差範囲の少なくとも一方を算出することも好適である。
(Calculation of area error rate)
The subject area calculation device 10 also preferably calculates at least one of the calculated area error rate and the area error range based on the estimation accuracy of the specific point.
特定点座標推定手段14は、第1位置から特定点への直線と第2位置から特定点への直線とが交差しない場合には、交差しないことによって生じる不一致量を算出する。あるいは、第1特定座標と第2特定座標との不一致量を算出する。 When the straight line from the first position to the specific point and the straight line from the second position to the specific point do not intersect, the specific point coordinate estimation unit 14 calculates the amount of mismatch caused by the non-intersection. Alternatively, the amount of mismatch between the first specific coordinates and the second specific coordinates is calculated.
第1位置から特定点への直線と第2位置から特定点への直線とが交差しない場合には、それぞれの直線の離隔量が生じる。特定点座標推定手段14は、第1位置からの直線と第2位置からの直線とが近接する位置において、近接点を算出する。このとき、近接点を算出する位置における、2つの直線同士の離隔量が算出される。この離隔量が大きいことは、特定点の近似位置として算出される近接点の算出精度は低く、離隔量が小さいことは、特定点の近似位置として算出される近接点の算出精度が高いことを示す。言い換えると、特定点の推定精度を示す。特定点の3次元座標の推定精度が高いことは、面積算出手段15が算出する面積の算出精度が高いことを示す。逆に、特定点の3次元座標の推定精度が低いことは、面積算出手段15が算出する面積の算出精度が低いことを示す。 When the straight line from the first position to the specific point and the straight line from the second position to the specific point do not intersect, a separation amount of each straight line is generated. The specific point coordinate estimation unit 14 calculates a proximity point at a position where the straight line from the first position and the straight line from the second position are close to each other. At this time, the distance between the two straight lines at the position where the proximity point is calculated is calculated. The large separation amount indicates that the calculation accuracy of the proximity point calculated as the approximate position of the specific point is low, and the small separation amount indicates that the calculation accuracy of the proximity point calculated as the approximate position of the specific point is high. Show. In other words, it indicates the estimation accuracy of a specific point. A high estimation accuracy of the three-dimensional coordinates of the specific point indicates that the calculation accuracy of the area calculated by the area calculation means 15 is high. Conversely, a low estimation accuracy of the three-dimensional coordinates of the specific point indicates that the calculation accuracy of the area calculated by the area calculation means 15 is low.
特定点座標推定手段14は、この離隔量を不一致量として算出する。 The specific point coordinate estimation means 14 calculates this separation amount as a mismatch amount.
あるいは、特定点座標推定手段14が、第1位置から特定点までの方向と距離によって定めた第1特定座標と第2位置から特定点までの方向と距離によって定めた第2特定座標(あるいは第3特定座標以降も含めて)とに基づいて、特定点の3次元座標を推定する場合には、第1特定座標の値と第2特定座標の値の差分値を不一致量として算出する。 Alternatively, the specific point coordinate estimation unit 14 may determine the first specific coordinate determined by the direction and distance from the first position to the specific point and the second specific coordinate (or the second specific coordinate determined by the direction and distance from the second position to the specific point). When the three-dimensional coordinates of the specific point are estimated based on (including the third specific coordinate and thereafter), the difference value between the value of the first specific coordinate and the value of the second specific coordinate is calculated as a mismatch amount.
面積算出手段15は、この不一致量に基づいて、算出する対象領域の面積の誤差率を算出する。例えば、面積算出手段15は、不一致量と算出された面積の乗算によって、面積の誤差率を算出する。あるいは、不一致量を絶対値ではなく、レベル値(不一致量によって、レベル1〜レベル5までの段階評価としておく)と面積の値との関係によって誤差率を算出する。例えば、面積が所定範囲内であるときに、不一致量がレベル1である場合には、誤差率を1%と定義し、不一致量がレベル2である場合には、誤差率を2%と定義する。 The area calculation means 15 calculates an error rate of the area of the target region to be calculated based on this mismatch amount. For example, the area calculation unit 15 calculates an area error rate by multiplying the mismatch amount by the calculated area. Alternatively, the error rate is calculated based on the relationship between the level value (level evaluation from level 1 to level 5 depending on the amount of mismatch) and the area value, not the absolute value. For example, if the discrepancy amount is level 1 when the area is within a predetermined range, the error rate is defined as 1%. If the discrepancy amount is level 2, the error rate is defined as 2%. To do.
あるいは、算出した面積を、「**平方メートルから○○平方メートルの範囲である」とのように、面積の誤差範囲を明示して算出しても良い。誤差範囲が明示されることで、利用者の便宜がますます高まるからである。 Alternatively, the calculated area may be calculated by clearly indicating an area error range, such as “a range from ** square meters to XX square meters”. This is because the convenience of the user is further increased by specifying the error range.
以上のように、特定点座標推定手段14は不一致量を算出し、面積算出手段15は誤差率を算出する。算出された誤差率は、算出された面積と共に表示手段16で表示される。誤差率が表示されることによって、使用者の便宜が高まる。 As described above, the specific point coordinate estimation unit 14 calculates the mismatch amount, and the area calculation unit 15 calculates the error rate. The calculated error rate is displayed on the display unit 16 together with the calculated area. Displaying the error rate increases the convenience for the user.
例えば、図12に示されるように、表示画面60において、対象領域61と、面積および誤差率62とが一度に表示される。図12は、本発明の実施の形態2における表示部の模式図である。この表示によって、使用者は、自らが選択した対象領域の形状や形態を視認できると共に、算出された面積とその誤差率を同時に視認できる。 For example, as shown in FIG. 12, the target region 61 and the area and error rate 62 are displayed at a time on the display screen 60. FIG. 12 is a schematic diagram of a display unit according to Embodiment 2 of the present invention. By this display, the user can visually recognize the shape and form of the target area selected by the user, and can also visually recognize the calculated area and its error rate.
実施の形態2の被写体面積算出装置は、被写体の面積の算出精度を高めると共に、算出される面積の誤差率をも求めることができる。 The subject area calculation apparatus according to the second embodiment can improve the calculation accuracy of the subject area and can also calculate the error rate of the calculated area.
(実施の形態3)
次に実施の形態3について説明する。
(Embodiment 3)
Next, a third embodiment will be described.
実施の形態3は、実施の形態1、2で説明された被写体面積算出装置を用いて、使用者に種々の便宜を供する被写体面積算出システムを説明する。 In the third embodiment, a subject area calculation system that provides various conveniences to the user using the subject area calculation device described in the first and second embodiments will be described.
図15は、本発明の実施の形態3における被写体面積算出システムの模式図である。 FIG. 15 is a schematic diagram of a subject area calculation system according to Embodiment 3 of the present invention.
被写体面積算出システム80は、被写体面積算出装置81、撮像装置82、第1表示装置83、第2表示装置84を備えている。被写体面積算出装置81は、実施の形態1、2で説明された機能や構成を有する。撮像装置82は、デジタルカメラやデジタルビデオカメラなど、画像を撮像できる装置である。 The subject area calculation system 80 includes a subject area calculation device 81, an imaging device 82, a first display device 83, and a second display device 84. The subject area calculation device 81 has the functions and configurations described in the first and second embodiments. The imaging device 82 is a device that can capture an image, such as a digital camera or a digital video camera.
撮像装置82は、撮像した画像を被写体面積算出装置81に送信する送信手段を備える。送信手段は、無線および有線を問わず、撮像した画像をデジタルデータやアナログデータとして、被写体面積算出装置81に送信する。被写体面積算出装置81は、送信された画像のデータを受信する受信手段を備える。送信手段や受信手段は、例えば赤外線通信、デジタル通信、接続ケーブルによる通信などを利用すればよい。 The imaging device 82 includes a transmission unit that transmits the captured image to the subject area calculation device 81. The transmission unit transmits the captured image to the subject area calculation device 81 as digital data or analog data regardless of wireless or wired. The subject area calculation device 81 includes receiving means for receiving transmitted image data. The transmitting means and the receiving means may use, for example, infrared communication, digital communication, communication using a connection cable, or the like.
被写体面積算出装置81は、送信された画像を記憶し、使用者の操作に基づいて、被写体の面積を算出する。 The subject area calculation device 81 stores the transmitted image and calculates the area of the subject based on the user's operation.
第1表示装置83は、算出された面積や誤差率など、面積算出に関わる情報や結果を表示する。第1表示装置83は、液晶ディスプレイやCRTディスプレイなどを有する。 The first display device 83 displays information and results related to area calculation such as the calculated area and error rate. The first display device 83 includes a liquid crystal display, a CRT display, and the like.
第2表示装置84は、算出された面積に基づいて、使用者の便宜となる情報を表示する。 The second display device 84 displays information that is convenient for the user based on the calculated area.
例えば、被写体面積算出装置81は、算出された対象領域の面積に基づいて、使用者の要求する事項に対する回答を作成する。一例として、使用者は対象領域に塗料を塗装する必要があり、使用者は、被写体面積算出装置81に対象領域において必要となる塗料の量を算出することを被写体面積算出装置81に指示しているとする。この場合、被写体面積算出装置81は、単位面積あたりに必要となる塗料の量と算出された面積の値から、対象領域を塗装するのに必要となる塗料の量を算出する。第2表示装置84は、この算出された塗料の量を表示する。 For example, the subject area calculation device 81 creates an answer to a matter requested by the user based on the calculated area of the target region. As an example, the user needs to apply paint to the target area, and the user instructs the subject area calculation device 81 to calculate the amount of paint required in the target area. Suppose that In this case, the subject area calculation device 81 calculates the amount of paint required to paint the target region from the amount of paint required per unit area and the calculated area value. The second display device 84 displays the calculated amount of paint.
あるいは、使用者が被写体面積算出装置81に対して、対象領域に設置可能な看板のサイズを算出することを指示しているとする。この場合には、被写体面積算出装置81は、算出された対象領域の面積と、看板のサイズの種類とを比較して、対象領域に設置可能な看板のサイズを算出する。例えば、Lサイズの看板の設置が可能との算出を行う。第2表示装置84は、設置可能な看板のサイズを「Lサイズ」として表示する。 Alternatively, it is assumed that the user instructs the subject area calculation device 81 to calculate the size of a signboard that can be set in the target area. In this case, the subject area calculation device 81 compares the calculated area of the target area with the type of signboard size, and calculates the size of the signboard that can be set in the target area. For example, it is calculated that an L-size signboard can be installed. The second display device 84 displays the size of the signboard that can be set as “L size”.
このように、被写体面積算出装置81は、面積に基づいて算出できる種々の事項を算出し、第2表示装置84に表示する。勿論、第1表示装置83が、これらの事項を表示しても良い。 As described above, the subject area calculation device 81 calculates various items that can be calculated based on the area, and displays them on the second display device 84. Of course, the first display device 83 may display these items.
また、塗料の必要量や看板のサイズが算出されると、算出結果が塗装作業や設置作業フローのプログラムに出力されても良い。例えば、看板作成を行う装置に被写体面積算出システムが組み合わされると、予め用意されているデザインに対して、被写体面積算出システムよりサイズの指示が加味される。結果として、看板作成を行う装置は、使用者の入力や指示行為を必要とせずに、設置場所に最適なサイズの看板を作成できる。 When the required amount of paint and the size of the signboard are calculated, the calculation result may be output to a program for painting work or installation work flow. For example, when a subject area calculation system is combined with an apparatus for creating a signboard, a size instruction is added to the design prepared in advance from the subject area calculation system. As a result, an apparatus for creating a signboard can create a signboard of an optimal size for the installation location without requiring user input or instruction.
このように、塗装作業を行う装置や看板作成を行う装置と、被写体面積算出システムとが一連に組み合わされることで、各種作業の自動化が図れる。 In this manner, various operations can be automated by combining a device for performing painting work, a device for creating a signboard, and a subject area calculation system in series.
なお、説明の便宜のために、第1表示装置83と第2表示装置84とを、別の要素として説明したが、別の要素である必要はなく、第1表示装置83と第2表示装置84とが一体でも良い。 For convenience of explanation, the first display device 83 and the second display device 84 have been described as separate elements. However, the first display apparatus 83 and the second display device need not be separate elements. 84 may be integrated.
(実施の形態4)
次に、実施の形態4について説明する。
(Embodiment 4)
Next, a fourth embodiment will be described.
実施の形態1、2で説明された被写体面積算出装置は、コンピュータ上で動作可能なプログラムとして実現されても良い。 The subject area calculation device described in the first and second embodiments may be realized as a program operable on a computer.
図16は、本発明の実施の形態4における被写体面積算出装置のブロック図であり、図17は、本発明の実施の形態4における被写体面積の算出処理を示すフローチャートである。 FIG. 16 is a block diagram of a subject area calculation apparatus according to the fourth embodiment of the present invention, and FIG. 17 is a flowchart showing subject area calculation processing according to the fourth embodiment of the present invention.
コンピュータ100は、実施の形態1、2で説明した被写体面積算出装置の機能を有するプログラムを実行可能な処理装置である。コンピュータ100は、汎用コンピュータでもよいし、ワークステーションでもよいし、その一部もしくは全部が専用装置を有する処理装置であってもよい。 The computer 100 is a processing device capable of executing a program having the function of the subject area calculation device described in the first and second embodiments. The computer 100 may be a general-purpose computer, a workstation, or a part or all of a processing device having a dedicated device.
コンピュータ100は、その内部もしくは外部に記憶部101を備える。記憶部101は、ハードディスクドライブ、半導体メモリ、磁気メモリ、光ディスク、磁気ディスクなど、電子データを記憶できる種々のデバイスを含む。また、コンピュータ100は、プログラムの読み込みおよび命令処理を実行するCPU(中央演算処理装置)102、プログラムを記憶するROM103、演算に必要なデータを読み書きするRAM(ランダムアクセスメモリ)104、CPU102の命令に従って演算を行う演算部105、演算結果や画像を表示する表示部107とのデータのやり取りを行う通信I/F106と表示部107とを備える。なお、表示部107も、コンピュータ100の内部もしくは外部に備えられる。また、コンピュータ100が備える要素は、コンピュータ100の内部もしくは外部のいずれに備えられても良い。 The computer 100 includes a storage unit 101 inside or outside. The storage unit 101 includes various devices that can store electronic data, such as a hard disk drive, a semiconductor memory, a magnetic memory, an optical disk, and a magnetic disk. The computer 100 also includes a CPU (Central Processing Unit) 102 that executes program reading and instruction processing, a ROM 103 that stores programs, a RAM (Random Access Memory) 104 that reads and writes data necessary for operations, and instructions according to the CPU 102. A communication I / F 106 and a display unit 107 for exchanging data with a calculation unit 105 that performs calculation, a display unit 107 that displays calculation results and images, and the like are provided. Note that the display unit 107 is also provided inside or outside the computer 100. Further, the elements included in the computer 100 may be provided inside or outside the computer 100.
CPU102は、ROMに記憶されているプログラムを読み込む。プログラムは、使用者の指示に従い、画像中に含まれる被写体(被写体の対象領域)の面積を算出する機能を有する。CPU102は、読み込まれたプログラムの指示に従い、記憶部101に記憶されている、被写体と標識とを含む複数の画像を読み出す。CPU102は、読み出した画像を、一時的にRAM104に保存する。更には、CPU102は、読み出した画像を表示部107に表示する。表示部107における画像の表示によって、使用者は、標識に含まれるポインタを指定したり、対象領域の特定点を指定したりでき、対象領域の面積算出を指示できる。なお、CPU102は、通信I/F106を介して、表示部107へ画像を表示すると共に、画像を通じた使用者の指示を、通信I/F106を介して受け取ることができる。 The CPU 102 reads a program stored in the ROM. The program has a function of calculating the area of the subject (subject area of the subject) included in the image in accordance with a user instruction. The CPU 102 reads out a plurality of images including the subject and the sign stored in the storage unit 101 in accordance with the instructions of the read program. The CPU 102 temporarily stores the read image in the RAM 104. Furthermore, the CPU 102 displays the read image on the display unit 107. By displaying an image on the display unit 107, the user can designate a pointer included in the sign, designate a specific point of the target region, and can instruct calculation of the area of the target region. The CPU 102 can display an image on the display unit 107 via the communication I / F 106 and can receive a user instruction through the image via the communication I / F 106.
使用者の指示に従い、CPU102は、演算部105も用いて、撮像装置の3次元座標を推定し、ついで特定点の3次元座標を推定する。被写体の対象領域を形成する特定点の3次元座標が推定されると、CPU102は、演算部105も用いて、対象領域の面積を算出する。 In accordance with the user's instruction, the CPU 102 also uses the calculation unit 105 to estimate the three-dimensional coordinates of the imaging apparatus, and then estimates the three-dimensional coordinates of the specific point. When the three-dimensional coordinates of the specific points that form the target area of the subject are estimated, the CPU 102 also calculates the area of the target area using the calculation unit 105.
CPU102は、算出された面積や、誤差率などの各種情報を、通信I/F106を介して、表示部107に出力する。 The CPU 102 outputs various information such as the calculated area and error rate to the display unit 107 via the communication I / F 106.
以上のように、コンピュータ100は、ROM103に記憶されたプログラムを実行して、被写体の面積を、記憶されている画像から算出する。 As described above, the computer 100 executes the program stored in the ROM 103 and calculates the area of the subject from the stored image.
ここで、ROM103に記憶されているプログラムは、使用者からの指示も用いながら被写体の面積を算出する各ステップを備えている。すなわち、プログラムは、第1撮像装置により撮像された被写体と標識とを含む第1画像と、第2撮像装置により撮像された被写体と標識とを含む第2画像を読み出すステップと、第1撮像装置の撮像位置である第1位置と第2撮像装置の撮像位置である第2位置の3次元座標の値を推定するステップと、第1位置および第2位置に基づいて被写体に含まれる複数の特定点の3次元座標の値を推定するステップと、複数の特定点の3次元座標の値に基づいて被写体の面積を算出するステップを含む。 Here, the program stored in the ROM 103 includes steps for calculating the area of the subject while also using instructions from the user. That is, the program reads a first image including a subject and a sign captured by the first imaging device, a second image including the subject and a sign captured by the second imaging device, and the first imaging device. Estimating a three-dimensional coordinate value between a first position that is an imaging position and a second position that is an imaging position of the second imaging device, and a plurality of identifications included in the subject based on the first position and the second position A step of estimating the value of the three-dimensional coordinate of the point, and a step of calculating the area of the subject based on the value of the three-dimensional coordinate of the plurality of specific points.
図16、図17を用いて、プログラムの有するステップを説明する。図17のフローチャートにおいては、右側に使用者が行う作業を明示し、左側にプログラム自身が有する機能とこの機能に基づいたコンピュータ100の動作を明示する。 The steps of the program will be described with reference to FIGS. In the flowchart of FIG. 17, the work performed by the user is clearly shown on the right side, and the function of the program itself and the operation of the computer 100 based on this function are clearly shown on the left side.
ステップST1にて、使用者はプログラムを起動する。なお、記憶部101は、撮像された画像を予め記憶しているものとする。 In step ST1, the user starts the program. In addition, the memory | storage part 101 shall memorize | store the imaged image previously.
ステップST2にて、ROM103に記憶されているプログラムを、CPU102は読み出す。次に、ステップST3にて、CPU102は、記憶部101に記憶されている画像(第1画像、第2画像・・・)を読み出す。次に、CPU102は、ステップST4にて、読み出した画像を、通信I/F106を介して表示部107に表示する。なお、CPU102は、複数の画像を一枚ずつ読み出しながら表示部107に表示してもよいし、複数の画像を一度に読み出して表示部107にまとめて表示しても良い。 In step ST2, the CPU 102 reads out the program stored in the ROM 103. Next, in step ST3, the CPU 102 reads out images (first image, second image,...) Stored in the storage unit 101. Next, in step ST <b> 4, the CPU 102 displays the read image on the display unit 107 via the communication I / F 106. Note that the CPU 102 may display a plurality of images on the display unit 107 while reading them one by one, or may read a plurality of images at a time and display them together on the display unit 107.
表示部107が画像を表示することで、使用者は画像に対しての指示を与えることができる。使用者はステップST5にて、画像中に含まれる標識のポインタを指定する。例えばマウスやポインティングデバイスを使って、ポインタをドラッグする。この指定に基づいて、CPU102は、ステップST6にて、撮像装置(第1撮像装置、第2撮像装置、・・・)の位置の3次元座標の値を推定する。 When the display unit 107 displays the image, the user can give an instruction to the image. In step ST5, the user designates a pointer of a sign included in the image. For example, drag the pointer using a mouse or pointing device. Based on this designation, the CPU 102 estimates the value of the three-dimensional coordinates of the position of the imaging device (first imaging device, second imaging device,...) In step ST6.
更に、使用者はステップST7にて、画像中に含まれる被写体の対象領域を形成する特定点を指定する。ポインタの指定と同様の作業である。この指定を受けて、CPU102は、ステップST8にて、特定点の3次元座標の値を推定する。 Further, in step ST7, the user designates a specific point that forms the target area of the subject included in the image. This is the same operation as specifying a pointer. In response to this designation, the CPU 102 estimates the value of the three-dimensional coordinates of the specific point in step ST8.
次に、CPU102は、ステップST9にて、特定点の3次元座標の値に基づいて、対象領域の面積を算出する。このとき、実施の形態2で説明したように、算出された面積の誤差率もあわせて算出しても良い。 Next, in step ST9, the CPU 102 calculates the area of the target region based on the value of the three-dimensional coordinates of the specific point. At this time, as described in Embodiment 2, the error rate of the calculated area may also be calculated.
最後に、CPU102は、ステップST110にて、算出した面積の値、誤差率、誤差範囲、撮像位置や特定点の3次元座標の値などを、表示部107に表示する。使用者は、この表示結果を確認して、必要な情報を得る。 Finally, in step ST110, the CPU 102 displays the calculated area value, error rate, error range, imaging position, 3D coordinate value of the specific point, and the like on the display unit 107. The user confirms the display result and obtains necessary information.
なお、プログラムは、特定点の3次元座標の値の推定や、面積の算出においては、実施の形態1、2で説明した種々の詳細なステップを含んでいても良い。また、実施の形態3で説明したように、算出された面積を利用する別途のステップを含んでいても良い。 Note that the program may include various detailed steps described in the first and second embodiments in estimating the value of the three-dimensional coordinates of the specific point and calculating the area. Further, as described in the third embodiment, a separate step of using the calculated area may be included.
以上のように、被写体面積算出装置の機能の一部もしくは全部が、コンピュータで動作可能なプログラムで実装されることで、汎用のコンピュータでの実行が可能になったり、幅広い用途で活用できたりするメリットが生じる。 As described above, some or all of the functions of the subject area calculation device are implemented by a computer-operable program, so that it can be executed on a general-purpose computer or used for a wide range of purposes. Benefits arise.
以上、実施の形態1〜4で説明された被写体面積算出装置、被写体面積算出システム、被写体面積算出方法は、本発明の趣旨を説明する一例であり、本発明の趣旨を逸脱しない範囲での変形や改造を含む。 As described above, the subject area calculation device, the subject area calculation system, and the subject area calculation method described in the first to fourth embodiments are examples for explaining the gist of the present invention, and modifications are made without departing from the gist of the present invention. And including modifications.
1 被写体面積算出システム
2 被写体
3 標識
4、5、6 ポインタ
7 撮像装置
8、10 被写体面積算出装置
11 記憶部
12 読み出し手段
13 撮像装置座標推定手段
14 特定点座標推定手段
15 面積算出手段
16 表示手段
DESCRIPTION OF SYMBOLS 1 Subject area calculation system 2 Subject 3 Marking 4, 5, 6 Pointer 7 Imaging device 8, 10 Subject area calculation device 11 Storage part 12 Reading means 13 Imaging device coordinate estimation means 14 Specific point coordinate estimation means 15 Area calculation means 16 Display means
Claims (14)
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定手段と、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定手段と、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記対象領域の面積を算出する面積算出手段と、を備え、
前記標識は、略球形を有する3以上のポインタを備える2次元形状を有すると共に既知の面積を有し、
前記撮像装置座標推定手段は、前記第1画像に含まれる前記標識の3つの前記ポインタのそれぞれで構成される平面の傾きを算出することで、前記第1撮像装置の前記標識に対する第1方向を推定し、前記第2画像に含まれる前記標識の3つの前記ポインタのそれぞれで構成される平面の傾きを算出することで、前記第2撮像装置の前記標識に対する第2方向を推定し、前記第1画像に含まれる前記標識の面積と前記既知の面積との比較に基づいて、前記第1撮像装置と前記標識との第1距離を算出し、前記第2画像に含まれる前記標識の面積と前記既知の面積との比較に基づいて、前記第2撮像装置と前記標識との第2距離を算出し、前記第1方向および前記第1距離に基づいて、前記第1撮像装置の前記第1位置の3次元座標の値を推定し、前記第2方向および前記第2距離に基づいて、前記第2撮像装置の前記第2位置の3次元座標の値を推定し、
前記特定点座標推定手段は、前記第1位置から前記複数の特定点の一つの点への方向を示す線と、前記第2位置から前記特定点の一つの点への方向を示す線との交点を算出し、前記交点を、前記複数の特定点の一つの3次元座標として推定し、前記複数の特定点の他の点の3次元座標を推定し、
前記面積算出手段は、前記複数の特定点のそれぞれの3次元座標により囲まれる前記対象領域の面積を算出する、被写体面積算出装置。 A first image including a subject including a target region that is an area calculation target captured by the first imaging device, a sign that is in the range of the target region and is set in front, and the second imaging device Reading means for reading out the subject imaged from an angle different from that of the one imaging device and a second image that is in the range of the target area and includes a sign placed on the front surface ;
Imaging device coordinate estimation means for estimating the value of the three-dimensional coordinate of the first position of the first imaging device and the value of the three-dimensional coordinate of the second position of the second imaging device;
Specific point coordinate estimating means for estimating values of three-dimensional coordinates of a plurality of specific points included in the subject based on the first position and the second position;
Area calculating means for calculating the area of the target region based on the value of the three-dimensional coordinates of each of the plurality of specific points;
Wherein the label has a Rutotomoni known area having a two-dimensional shape with three or more pointers having a substantially spherical shape,
The imaging device coordinate estimation unit calculates a first direction with respect to the marker of the first imaging device by calculating an inclination of a plane formed by each of the three pointers of the marker included in the first image. Estimating a second direction relative to the sign of the second imaging device by calculating an inclination of a plane formed by each of the three pointers of the sign included in the second image, and Based on a comparison between the area of the sign included in one image and the known area, a first distance between the first imaging device and the sign is calculated, and the area of the sign included in the second image Based on the comparison with the known area, a second distance between the second imaging device and the sign is calculated, and the first distance of the first imaging device is calculated based on the first direction and the first distance. Estimate the 3D coordinates of the position , Based on the second direction and the second distance, and estimate the value of the three-dimensional coordinates of the second position of the second imaging device,
The specific point coordinate estimation means includes a line indicating a direction from the first position to one of the specific points, and a line indicating a direction from the second position to one of the specific points. Calculating an intersection, estimating the intersection as one three-dimensional coordinate of the plurality of specific points, estimating a three-dimensional coordinate of another point of the plurality of specific points;
The subject area calculation device , wherein the area calculation means calculates an area of the target region surrounded by three-dimensional coordinates of each of the plurality of specific points .
前記撮像装置座標推定手段は、前記第3撮像装置の第3位置の3次元座標の値を推定し、
前記特定点座標推定手段は、前記第1位置から前記複数の特定点の一つの点への方向を示す線と、前記第2位置から前記特定点の前記一つの点への方向を示す線と、前記第3位置から前記複数の特定点の前記一つの点への方向を示す線と、の交点を算出し、前記交点を、前記複数の特定点の前記一つの点の3次元座標として推定する、請求項1から3のいずれか記載の被写体面積算出装置 The reading means is the range of the subject and the target area captured by the third imaging device from angles different from those of the first imaging device and the second imaging device, and the sign placed on the front surface. A third image including
The imaging device coordinate estimation means estimates a value of a three-dimensional coordinate of a third position of the third imaging device;
The specific point coordinate estimation means includes a line indicating a direction from the first position to one of the plurality of specific points, and a line indicating a direction from the second position to the one point of the specific point. Calculating an intersection of a line indicating a direction from the third position to the one point of the plurality of specific points, and estimating the intersection as a three-dimensional coordinate of the one point of the plurality of specific points to subject area calculation device according to any one of claims 1 to 3
前記特定点座標推定手段は、前記第1位置から前記複数の特定点の一つの点への方向を示す線と、前記第2位置から前記複数の特定点の前記一つの点への方向を示す線とが近接する位置同士を結ぶ線上において、所定の重み付けで定まる位置を、第1近接点として算出し、The specific point coordinate estimation means indicates a line indicating a direction from the first position to one of the plurality of specific points, and indicates a direction from the second position to the one of the plurality of specific points. On the line connecting the positions where the line is close, a position determined by a predetermined weight is calculated as the first proximity point,
次いで、前記第1近接点と、前記第3位置から前記複数の特定点の前記一つの点への方向を示す線とが近接する位置同士を結ぶ線上において、所定の重み付けで定まる位置を、第2近接点として算出し、Next, on the line connecting positions where the first proximity point and a line indicating the direction from the third position to the one point of the plurality of specific points are close to each other, a position determined by a predetermined weight is Calculated as 2 proximity points,
前記第2近接点を、前記複数の特定点の前記一つの点の3次元座標として推定する、請求項4記載の被写体面積算出装置。The subject area calculation apparatus according to claim 4, wherein the second proximity point is estimated as a three-dimensional coordinate of the one point of the plurality of specific points.
前記第2近接点の算出における前記所定の重み付けは、前記第1近接点と、前記第3位置から前記複数の特定点の前記一つの点への方向を示す線とが近接する位置同士を結ぶ線上において、2:1とする、請求項5記載の被写体面積算出装置。 The predetermined weight in the calculation of the first proximity point includes a line indicating a direction from the first position to one of the plurality of specific points, and the one of the plurality of specific points from the second position. On the line connecting the positions where the line indicating the direction to the point is close, it is 1: 1,
The predetermined weighting in the calculation of the second proximity point connects the first proximity point and a position where a line indicating a direction from the third position to the one point of the plurality of specific points is close to each other. The subject area calculation apparatus according to claim 5, wherein 2: 1 is set on the line .
前記離隔量を、不一致量として算出し、Calculating the separation amount as a mismatch amount;
前記面積算出手段は、前記不一致量に基づいて、前記対象領域の面積の誤差率を算出する、請求項1から4のいずれか記載の被写体面積算出装置。The subject area calculation apparatus according to claim 1, wherein the area calculation unit calculates an error rate of the area of the target region based on the mismatch amount.
前記標識および前記被写体を撮像する撮像装置と、
前記撮像装置が撮像した画像を、前記被写体面積算出装置に送信する送信手段と、を備える被写体面積算出システム。 A subject area calculation apparatus according to any one of claims 1 to 11 ,
An imaging device for imaging the sign and the subject;
A subject area calculation system comprising: transmission means for transmitting an image captured by the imaging device to the subject area calculation device.
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定ステップと、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定ステップと、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記対象領域の面積を算出する面積算出ステップと、を備え、
前記標識は、略球形を有する3以上のポインタを備える2次元形状を有すると共に既知の面積を有し、
前記撮像装置座標推定ステップは、前記第1画像に含まれる前記標識の3つの前記ポインタのそれぞれで構成される平面の傾きを算出することで、前記第1撮像装置の前記標識に対する第1方向を推定し、前記第2画像に含まれる前記標識の3つの前記ポインタのそれぞれで構成される平面の傾きを算出することで、前記第2撮像装置の前記標識に対する第2方向を推定し、前記第1画像に含まれる前記標識の面積と前記既知の面積との比較に基づいて、前記第1撮像装置と前記標識との第1距離を算出し、前記第2画像に含まれる前記標識の面積と前記既知の面積との比較に基づいて、前記第2撮像装置と前記標識との第2距離を算出し、前記第1方向および前記第1距離に基づいて、前記第1撮像装置の前記第1位置の3次元座標の値を推定し、前記第2方向および前記第2距離に基づいて、前記第2撮像装置の前記第2位置の3次元座標の値を推定し、
前記特定点座標推定ステップは、前記第1位置から前記複数の特定点の一つの点への方向を示す線と、前記第2位置から前記特定点の一つの点への方向を示す線との交点を算出し、前記交点を、前記複数の特定点の一つの3次元座標として推定し、前記複数の特定点の他の点の3次元座標を推定し、
前記面積算出ステップは、前記複数の特定点のそれぞれの3次元座標により囲まれる前記対象領域の面積を算出する、被写体面積算出方法。 A first image including a subject including a target region that is an area calculation target captured by the first imaging device, a sign that is in the range of the target region and is set in front, and the second imaging device A reading step of reading out the subject imaged from an angle different from that of the one imaging device and a second image that is in the range of the target area and includes a sign placed on the front surface ;
An imaging device coordinate estimation step for estimating a value of a three-dimensional coordinate of the first position of the first imaging device and a value of a three-dimensional coordinate of the second position of the second imaging device;
A specific point coordinate estimation step for estimating a value of a three-dimensional coordinate of each of a plurality of specific points included in the subject based on the first position and the second position;
An area calculating step for calculating the area of the target region based on the value of the three-dimensional coordinates of each of the plurality of specific points,
Wherein the label has a Rutotomoni known area having a two-dimensional shape with three or more pointers having a substantially spherical shape,
The imaging device coordinate estimation step calculates a first direction of the first imaging device with respect to the marker by calculating an inclination of a plane formed by each of the three pointers of the marker included in the first image. Estimating a second direction relative to the sign of the second imaging device by calculating an inclination of a plane formed by each of the three pointers of the sign included in the second image, and Based on a comparison between the area of the sign included in one image and the known area, a first distance between the first imaging device and the sign is calculated, and the area of the sign included in the second image Based on the comparison with the known area, a second distance between the second imaging device and the sign is calculated, and the first distance of the first imaging device is calculated based on the first direction and the first distance. The value of the 3D coordinates of the position Constant, and based on the second direction and the second distance, and estimate the value of the three-dimensional coordinates of the second position of the second imaging device,
The specific point coordinate estimation step includes: a line indicating a direction from the first position to one of the plurality of specific points; and a line indicating a direction from the second position to one of the specific points. Calculating an intersection, estimating the intersection as one three-dimensional coordinate of the plurality of specific points, estimating a three-dimensional coordinate of another point of the plurality of specific points;
The area calculation step is a subject area calculation method of calculating an area of the target region surrounded by three-dimensional coordinates of each of the plurality of specific points .
第1撮像装置により撮像された面積算出の対象となる対象領域を含む被写体と前記対象領域の範囲中であると共に前面に設置された標識とを含む第1画像と、第2撮像装置により前記第1撮像装置と異なる角度から撮像された前記被写体と前記対象領域の範囲中であると共に前面に設置された標識とを含む第2画像と、を読み出す読み出しステップと、
前記第1撮像装置の第1位置の3次元座標の値と、前記第2撮像装置の第2位置の3次元座標の値とを推定する撮像装置座標推定ステップと、
前記第1位置および前記第2位置に基づいて、前記被写体に含まれる複数の特定点のそれぞれの3次元座標の値を推定する特定点座標推定ステップと、
前記複数の特定点のそれぞれの3次元座標の値に基づいて、前記対象領域の面積を算出する面積算出ステップと、を実行し、
前記標識は、略球形を有する3以上のポインタを備える2次元形状を有すると共に既知の面積を有し、
前記撮像装置座標推定ステップは、前記第1画像に含まれる前記標識の3つの前記ポインタのそれぞれで構成される平面の傾きを算出することで、前記第1撮像装置の前記標識に対する第1方向を推定し、前記第2画像に含まれる前記標識の3つの前記ポインタのそれぞれで構成される平面の傾きを算出することで、前記第2撮像装置の前記標識に対する第2方向を推定し、前記第1画像に含まれる前記標識の面積と前記既知の面積との比較に基づいて、前記第1撮像装置と前記標識との第1距離を算出し、前記第2画像に含まれる前記標識の面積と前記既知の面積との比較に基づいて、前記第2撮像装置と前記標識との第2距離を算出し、前記第1方向および前記第1距離に基づいて、前記第1撮像装置の前記第1位置の3次元座標の値を推定し、前記第2方向および前記第2距離に基づいて、前記第2撮像装置の前記第2位置の3次元座標の値を推定し、
前記特定点座標推定ステップは、前記第1位置から前記複数の特定点の一つの点への方向を示す線と、前記第2位置から前記特定点の一つの点への方向を示す線との交点を算出し、前記交点を、前記複数の特定点の一つの3次元座標として推定し、前記複数の特定点の他の点の3次元座標を推定し、
前記面積算出ステップは、前記複数の特定点のそれぞれの3次元座標により囲まれる前記対象領域の面積を算出する、プログラム。 A program operable on a computer,
A first image including a subject including a target region that is an area calculation target captured by the first imaging device, a sign that is in the range of the target region and is set in front, and the second imaging device A reading step of reading out the subject imaged from an angle different from that of the one imaging device and a second image that is in the range of the target area and includes a sign placed on the front surface ;
An imaging device coordinate estimation step for estimating a value of a three-dimensional coordinate of the first position of the first imaging device and a value of a three-dimensional coordinate of the second position of the second imaging device;
A specific point coordinate estimation step for estimating a value of a three-dimensional coordinate of each of a plurality of specific points included in the subject based on the first position and the second position;
An area calculating step of calculating an area of the target region based on a value of each three-dimensional coordinate of the plurality of specific points;
Wherein the label has a Rutotomoni known area having a two-dimensional shape with three or more pointers having a substantially spherical shape,
The imaging device coordinate estimation step calculates a first direction of the first imaging device with respect to the marker by calculating an inclination of a plane formed by each of the three pointers of the marker included in the first image. Estimating a second direction relative to the sign of the second imaging device by calculating an inclination of a plane formed by each of the three pointers of the sign included in the second image, and Based on a comparison between the area of the sign included in one image and the known area, a first distance between the first imaging device and the sign is calculated, and the area of the sign included in the second image Based on the comparison with the known area, a second distance between the second imaging device and the sign is calculated, and the first distance of the first imaging device is calculated based on the first direction and the first distance. The value of the 3D coordinates of the position Constant and, based on the second direction and the second distance, and estimate the value of the three-dimensional coordinates of the second position of the second imaging device,
The specific point coordinate estimation step includes: a line indicating a direction from the first position to one of the plurality of specific points; and a line indicating a direction from the second position to one of the specific points. Calculating an intersection, estimating the intersection as one three-dimensional coordinate of the plurality of specific points, estimating a three-dimensional coordinate of another point of the plurality of specific points;
The area calculating step calculates the area of the target region surrounded by the three-dimensional coordinates of each of the plurality of specific points .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009142340A JP5343210B2 (en) | 2009-06-15 | 2009-06-15 | Subject area calculation device, subject area calculation system, and subject area calculation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009142340A JP5343210B2 (en) | 2009-06-15 | 2009-06-15 | Subject area calculation device, subject area calculation system, and subject area calculation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010286450A JP2010286450A (en) | 2010-12-24 |
JP5343210B2 true JP5343210B2 (en) | 2013-11-13 |
Family
ID=43542243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009142340A Expired - Fee Related JP5343210B2 (en) | 2009-06-15 | 2009-06-15 | Subject area calculation device, subject area calculation system, and subject area calculation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5343210B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150080690A (en) * | 2014-01-02 | 2015-07-10 | 엘지전자 주식회사 | Distance measuring device and method thereof |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5679415B2 (en) * | 2010-08-03 | 2015-03-04 | マツノデザイン店舗建築株式会社 | Storage device used for design production |
JP2013088895A (en) * | 2011-10-14 | 2013-05-13 | Haruta Kensetsu:Kk | Construction assisting device and construction assisting method |
JP5648159B2 (en) * | 2012-06-26 | 2015-01-07 | 株式会社ベイビッグ | Three-dimensional relative coordinate measuring apparatus and method |
CN103322946B (en) * | 2013-06-20 | 2015-09-30 | 北京农业信息技术研究中心 | A kind of method obtaining porosity of maize canopy |
JP2015165192A (en) * | 2014-02-28 | 2015-09-17 | 株式会社春田建設 | Marker, measuring device, measuring method, and program |
WO2015159835A1 (en) * | 2014-04-17 | 2015-10-22 | シャープ株式会社 | Image processing device, image processing method, and program |
CN104596447A (en) * | 2015-01-26 | 2015-05-06 | 上海出入境检验检疫局机电产品检测技术中心 | Ornament surface area rapid detection method and system based on image analysis technique |
JP6562408B2 (en) * | 2016-11-01 | 2019-08-21 | 株式会社Zweispace Japan | Real estate evaluation system, method and program |
JP6847712B2 (en) * | 2017-03-03 | 2021-03-24 | 三菱航空機株式会社 | 3D position measurement system and method |
CN113175901B (en) * | 2021-04-21 | 2022-04-26 | 浙江工业大学 | Region area calculation method based on coordinate transformation |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2569397B2 (en) * | 1993-03-01 | 1997-01-08 | 株式会社ひさや | Shape measurement method and apparatus by stereo photography |
JPH09329430A (en) * | 1996-06-12 | 1997-12-22 | Minolta Co Ltd | Method and device for measuring degree of damage of object and repair cost calculating device |
JP2002008040A (en) * | 2000-06-16 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Three-dimensional information detecting device and three-dimensional information detecting method |
-
2009
- 2009-06-15 JP JP2009142340A patent/JP5343210B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150080690A (en) * | 2014-01-02 | 2015-07-10 | 엘지전자 주식회사 | Distance measuring device and method thereof |
KR102090502B1 (en) | 2014-01-02 | 2020-03-18 | 엘지전자 주식회사 | Distance measuring device and method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2010286450A (en) | 2010-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5343210B2 (en) | Subject area calculation device, subject area calculation system, and subject area calculation method | |
US11003943B2 (en) | Systems and methods for processing images with edge detection and snap-to feature | |
KR102399630B1 (en) | Method and apparatus for determining position and orientation of bucket of excavator | |
US8466894B2 (en) | Apparatus and method for displaying information | |
AU2017261608A1 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
CN102037326A (en) | Method of displaying navigation data in 3D | |
JP2015055534A (en) | Information processing apparatus, control program thereof, and control method thereof | |
WO2006082825A1 (en) | Mark arrangement measuring method, positional posture estimating method, mark arrangement measuring apparatus and positional posture estimating apparatus | |
CN102037325A (en) | Computer arrangement and method for displaying navigation data in 3D | |
CN101533312A (en) | Auto-aligning touch system and method | |
EP2348700A1 (en) | Mobile communication terminal and method | |
JP2013108933A (en) | Information terminal device | |
JP2013088895A (en) | Construction assisting device and construction assisting method | |
US20110214085A1 (en) | Method of user display associated with displaying registered images | |
JP2009140402A (en) | Information display device, information display method, information display program, and recording medium with recorded information display program | |
EP3282351A1 (en) | System and method for facilitating an inspection process | |
JP2006300602A (en) | Acquiring method, acquiring device, and acquiring system for positioning data | |
JP5837404B2 (en) | Image processing apparatus and image processing method | |
JP4785211B2 (en) | Mid-mountainous area direct payment system support device, hilly and mountainous area direct payment system support method, and program | |
KR100991570B1 (en) | A remote sensing method of diverse signboards' Size and Apparatus using thereof | |
US10185787B1 (en) | Tool for accurate onsite model visualization that facilitates environment interaction | |
JP2008140047A (en) | Information processing method and information processor | |
WO2021111613A1 (en) | Three-dimensional map creation device, three-dimensional map creation method, and three-dimensional map creation program | |
JP4319476B2 (en) | Surveying system | |
JP5122508B2 (en) | 3D spatial data creation method and 3D spatial data creation apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130221 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5343210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |