JP7188798B2 - 座標算出装置、座標算出方法、及びプログラム - Google Patents
座標算出装置、座標算出方法、及びプログラム Download PDFInfo
- Publication number
- JP7188798B2 JP7188798B2 JP2020557788A JP2020557788A JP7188798B2 JP 7188798 B2 JP7188798 B2 JP 7188798B2 JP 2020557788 A JP2020557788 A JP 2020557788A JP 2020557788 A JP2020557788 A JP 2020557788A JP 7188798 B2 JP7188798 B2 JP 7188798B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- coordinate calculation
- cloud data
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を2以上選択する、画像選択部と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出する、3次元座標算出部と、
前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、3次元モデル表示部と、
を備えている、
ことを特徴とする。
対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出部と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とする、3次元座標算出部と、
前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、3次元モデル表示部と、
を備えている、
ことを特徴とする。
(a)対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を2以上選択する、ステップと、
(b)選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出する、ステップと、
(c)前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする。
(a)対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
(b)前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とする、ステップと、
(c)前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする。
コンピュータに、
(a)対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を2以上選択する、ステップと、
(b)選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出する、ステップと、
(c)前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を実行させる、ことを特徴とする。
コンピュータに、
(a)対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
(b)前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とする、ステップと、
(c)前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を実行させる、ことを特徴とする。
以下、本発明の実施の形態1における、座標算出装置、座標算出方法、及びプログラムについて、図1~図6を参照しながら説明する。
最初に、本実施の形態1における座標算出装置の構成について説明する。図1は、本発明の実施の形態1における座標算出装置の概略構成を示すブロック図である。
次に、本発明の実施の形態1における座標算出装置10の動作について図5を用いて説明する。図5は、本発明の実施の形態1における座標算出装置の動作を示すフロー図である。以下の説明においては、適宜図1~図5を参照する。また、本実施の形態1では、座標算出装置10を動作させることによって、座標算出方法が実施される。よって、本実施の形態1における座標算出方法の説明は、以下の座標算出装置10の動作説明に代える。
以上のように本実施の形態1では、指定された特定箇所が写った複数枚の画像から、この特定箇所の3次元座標が算出され、更に、算出された3次元座標は、対象物の3次元モデル上で表示される。このため、対象物が構造物であり、欠陥が発生した箇所が指定されている場合は、構造物の管理者は、簡単に、構造物の3次元モデル上で欠陥が発生した箇所を把握することができる。
本実施の形態1におけるプログラムは、コンピュータに、図5に示すステップA1~A5を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における座標算出装置と座標算出方法とを実現することができる。この場合、コンピュータのプロセッサは、画像選択部11、3次元座標算出部12、及び3次元モデル表示部13として機能し、処理を行なう。
最初に、本実施の形態2における座標算出装置の概略構成について説明する。図6は、本発明の実施の形態2における座標算出装置の概略構成を示すブロック図である。
特徴点抽出部21は、対象物において特定箇所が指定された場合に、対象物を含む複数の画像から、2以上の画像に含まれ、且つ、指定された特定箇所に関連する特徴点を抽出する。3次元座標算出部22は、上述の複数の画像を用いて構築された対象物の点群データを用いて、抽出された特徴点の3次元座標を求め、求めた3次元座標を指定された特定箇所の3次元座標とする。
次に、本発明の実施の形態2における座標算出装置20の動作について図9を用いて説明する。図9は、本発明の実施の形態2における座標算出装置の動作を示すフロー図である。以下の説明においては、適宜図7及び図8を参照する。また、本実施の形態2では、座標算出装置20を動作させることによって、座標算出方法が実施される。よって、本実施の形態2における座標算出方法の説明は、以下の座標算出装置20の動作説明に代える。
具体的には、点群データ作成部24は、各特徴点の座標を用いて、下記の数6~数8に示す方程式を解くことによって、R及びtを算出する。数6~数8において、mハットは、m(m1~m5)を正規化して得られた画像A上の座標である。同様に、m’ハットは、m’(m’1~m’5)を正規化して得られた画像B上の座標である。Eは、Essential行列、Kはカメラのキャリブレーション行列である。
以上のように本実施の形態2においても、指定された特定箇所が写った複数枚の画像から、この特定箇所の3次元座標が算出され、更に、算出された3次元座標は、対象物の3次元モデル上で表示される。このため、対象物が構造物であり、欠陥が発生した箇所が指定されている場合は、構造物の管理者は、簡単に、構造物の3次元モデル上で欠陥が発生した箇所を把握することができる。
本実施の形態2におけるプログラムは、コンピュータに、図9に示すステップB1~B6を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における座標算出装置と座標算出方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴点特定部21、3次元座標算出部22、3次元モデル表示部23、及び点群データ作成部24として機能し、処理を行なう。
続いて、図13及び図14を用いて、上述した実施の形態1及び2の応用例について説明する。図13は、特定の領域に存在する地物の3次元モデルの一例を示す図である。図14は、図13に示す地物の1つの詳細な3次元モデルの一例を示す図である。本応用例では、図13に示す3次元モデルに、図14に示す3次元モデルを結合する例について説明する。
ここで、実施の形態1及び2におけるプログラムを実行することによって、座標算出装置を実現するコンピュータについて図15を用いて説明する。図15は、本発明の実施の形態1または2における座標算出装置を実現するコンピュータの一例を示すブロック図である。
対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を2以上選択する、画像選択部と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出する、3次元座標算出部と、
前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、3次元モデル表示部と、
を備えている、
ことを特徴とする座標算出装置。
付記1に記載の座標算出装置であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出装置。
対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出部と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とする、3次元座標算出部と、
前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、3次元モデル表示部と、
を備えている、
ことを特徴とする座標算出装置。
付記3に記載の座標算出装置であって、
前記対象物の点群データを作成する、点群データ作成部を更に備え、
前記点群データ作成部は、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の3次元座標と回転行列とを求め、更に、前記カメラの位置の3次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の3次元座標を算出し、
前記3次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出装置。
(a)対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を2以上選択する、ステップと、
(b)選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出する、ステップと、
(c)前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする座標算出方法。
付記5に記載の座標算出方法であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出方法。
(a)対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
(b)前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とする、ステップと、
(c)前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする座標算出方法。
付記7に記載の座標算出方法であって、
(d)前記対象物の点群データを作成する、ステップを更に有し、
前記(d)のステップにおいて、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の3次元座標と回転行列とを求め、更に、前記カメラの位置の3次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の3次元座標を算出し、
前記3次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出方法。
コンピュータに、
(a)対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を2以上選択する、ステップと、
(b)選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出する、ステップと、
(c)前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を実行させる、プログラム。
付記9に記載のプログラムであって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とするプログラム。
コンピュータに、
(a)対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
(b)前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とする、ステップと、
(c)前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を実行させる、プログラム。
付記11に記載のプログラムであって、
前記コンピュータに、
(d)前記対象物の点群データを作成する、ステップを更に実行させ、
前記(d)のステップにおいて、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の3次元座標と回転行列とを求め、更に、前記カメラの位置の3次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の3次元座標を算出し、
前記3次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とするプログラム。
11 画像選択部
12 3次元座標算出部
20 座標算出装置(実施の形態2)
21 特徴点特定部
22 3次元座標算出部
23 3次元モデル表示部
24 点群データ作成部
31、32、33 画像
41、42、43 カメラ
50 対象物
60 領域
61~69 地物
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (10)
- 対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、前記特定箇所を含む画像を2以上選択する、画像選択手段と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出する、3次元座標算出手段と、
前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、3次元モデル表示手段と、
を備えている、
ことを特徴とする座標算出装置。 - 請求項1に記載の座標算出装置であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出装置。 - 対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出手段と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とする、3次元座標算出手段と、
前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、3次元モデル表示手段と、
を備えている、
ことを特徴とする座標算出装置。 - 請求項3に記載の座標算出装置であって、
前記対象物の点群データを作成する、点群データ作成手段を更に備え、
前記点群データ作成手段は、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の3次元座標と回転行列とを求め、更に、前記カメラの位置の3次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の3次元座標を算出し、
前記3次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出装置。 - (a)対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、前記特定箇所を含む画像を2以上選択し、
(b)選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出し、
(c)前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、
ことを特徴とする座標算出方法。 - 請求項5に記載の座標算出方法であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出方法。 - (a)対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出し、(b)前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とし、
(c)前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、
ことを特徴とする座標算出方法。 - 請求項7に記載の座標算出方法であって、
更に、(d)前記対象物の点群データを作成し、
前記(d)において、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の3次元座標と回転行列とを求め、更に、前記カメラの位置の3次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の3次元座標を算出し、
前記3次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出方法。 - コンピュータに、
(a)対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、前記特定箇所を含む画像を2以上選択する、ステップと、
(b)選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の3次元座標を算出する、ステップと、
(c)前記対象物の点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を実行させる、プログラム。 - コンピュータに、
(a)対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、2以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
(b)前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の3次元座標を求め、求めた前記3次元座標を指定された前記特定箇所の3次元座標とする、ステップと、
(c)前記点群データを用いて、前記対象物の3次元モデルを画面上に表示し、更に、算出された前記3次元座標に基づいて、指定された前記特定箇所を前記3次元モデル上で表示する、ステップと、
を実行させる、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224015 | 2018-11-29 | ||
JP2018224015 | 2018-11-29 | ||
PCT/JP2019/046420 WO2020111139A1 (ja) | 2018-11-29 | 2019-11-27 | 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020111139A1 JPWO2020111139A1 (ja) | 2021-10-07 |
JP7188798B2 true JP7188798B2 (ja) | 2022-12-13 |
Family
ID=70853014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020557788A Active JP7188798B2 (ja) | 2018-11-29 | 2019-11-27 | 座標算出装置、座標算出方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11922659B2 (ja) |
JP (1) | JP7188798B2 (ja) |
CN (1) | CN113167568B (ja) |
WO (1) | WO2020111139A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115187732B (zh) * | 2022-09-05 | 2022-12-23 | 江西省云眼大视界科技有限公司 | 一种图像数据采集与传输装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003006618A (ja) | 2001-06-27 | 2003-01-10 | Minolta Co Ltd | 3次元モデルの生成方法および装置並びにコンピュータプログラム |
JP2009075117A (ja) | 2007-02-16 | 2009-04-09 | Mitsubishi Electric Corp | 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ |
WO2014171418A1 (ja) | 2013-04-19 | 2014-10-23 | 凸版印刷株式会社 | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム |
JP2016121917A (ja) | 2014-12-24 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003223158B2 (en) * | 2002-01-09 | 2008-01-17 | Emisphere Technologies, Inc. | Polymorphs of sodium 4-[(4-chloro-2-hydroxybenzoyl)amino]butanoate |
US7280685B2 (en) * | 2002-11-14 | 2007-10-09 | Mitsubishi Electric Research Laboratories, Inc. | Object segmentation from images acquired by handheld cameras |
WO2006083297A2 (en) * | 2004-06-10 | 2006-08-10 | Sarnoff Corporation | Method and apparatus for aligning video to three-dimensional point clouds |
JP4743538B2 (ja) | 2006-11-17 | 2011-08-10 | アイシン精機株式会社 | カメラ校正装置 |
US7697125B2 (en) * | 2007-05-11 | 2010-04-13 | Rosemount Aerospace Inc. | Scanning ladar with adjustable operational parameters |
US8224097B2 (en) * | 2008-06-12 | 2012-07-17 | Sri International | Building segmentation for densely built urban regions using aerial LIDAR data |
KR101319471B1 (ko) * | 2008-08-29 | 2013-10-17 | 미쓰비시덴키 가부시키가이샤 | 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체 |
JP5715735B2 (ja) | 2012-06-29 | 2015-05-13 | 富士フイルム株式会社 | 3次元測定方法、装置、及びシステム、並びに画像処理装置 |
JP5745178B2 (ja) | 2012-06-29 | 2015-07-08 | 富士フイルム株式会社 | 3次元測定方法、装置及びシステム、並びに画像処理装置 |
JP6435750B2 (ja) | 2014-09-26 | 2018-12-12 | 富士通株式会社 | 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム |
WO2016103621A1 (ja) | 2014-12-24 | 2016-06-30 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
JP6654649B2 (ja) | 2015-12-14 | 2020-02-26 | 株式会社ニコン・トリンブル | 欠陥検出装置及びプログラム |
-
2019
- 2019-11-27 US US17/295,956 patent/US11922659B2/en active Active
- 2019-11-27 JP JP2020557788A patent/JP7188798B2/ja active Active
- 2019-11-27 WO PCT/JP2019/046420 patent/WO2020111139A1/ja active Application Filing
- 2019-11-27 CN CN201980078773.2A patent/CN113167568B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003006618A (ja) | 2001-06-27 | 2003-01-10 | Minolta Co Ltd | 3次元モデルの生成方法および装置並びにコンピュータプログラム |
JP2009075117A (ja) | 2007-02-16 | 2009-04-09 | Mitsubishi Electric Corp | 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ |
WO2014171418A1 (ja) | 2013-04-19 | 2014-10-23 | 凸版印刷株式会社 | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム |
JP2016121917A (ja) | 2014-12-24 | 2016-07-07 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113167568A (zh) | 2021-07-23 |
US11922659B2 (en) | 2024-03-05 |
JPWO2020111139A1 (ja) | 2021-10-07 |
WO2020111139A1 (ja) | 2020-06-04 |
US20220005223A1 (en) | 2022-01-06 |
CN113167568B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9251582B2 (en) | Methods and systems for enhanced automated visual inspection of a physical asset | |
US10354402B2 (en) | Image processing apparatus and image processing method | |
KR102038127B1 (ko) | 무인비행체를 이용한 시설물 관리 장치 및 방법 | |
EP3016071B1 (en) | Estimating device and estimation method | |
JP6264834B2 (ja) | ガイド方法、情報処理装置およびガイドプログラム | |
GB2556976A (en) | Methods circuits assemblies devices systems platforms and fuctionally associated machine executable code for computer vision assisted construction site | |
JP6160290B2 (ja) | 情報処理装置、判定方法および判定プログラム | |
JP6054831B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US11170246B2 (en) | Recognition processing device, recognition processing method, and program | |
TW201616451A (zh) | 點雲套索選取系統及方法 | |
US20170109932A1 (en) | Content projection apparatus, content projection method, and computer readable storage medium | |
CN107832771B (zh) | 气象数据处理装置、方法、***及记录介质 | |
CN113744268B (zh) | 一种裂纹检测方法、电子设备及可读存储介质 | |
CN109544516B (zh) | 图像检测方法及装置 | |
US10600202B2 (en) | Information processing device and method, and program | |
CN115439543A (zh) | 孔洞位置的确定方法和元宇宙中三维模型的生成方法 | |
JP2015184061A (ja) | 抽出装置、方法及びプログラム | |
JP7188798B2 (ja) | 座標算出装置、座標算出方法、及びプログラム | |
JP6980208B2 (ja) | 構造物維持管理業務支援システム | |
JP6938201B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US9563816B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
US20170069138A1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
Al-Sabbag et al. | Real-Time quantitative visual inspection using extended reality | |
JP6963030B2 (ja) | 情報処理装置および計測可能領域模擬方法 | |
JP6227801B2 (ja) | 図面作成システム及び図面作成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210524 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7188798 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |