JP7188798B2 - 座標算出装置、座標算出方法、及びプログラム - Google Patents

座標算出装置、座標算出方法、及びプログラム Download PDF

Info

Publication number
JP7188798B2
JP7188798B2 JP2020557788A JP2020557788A JP7188798B2 JP 7188798 B2 JP7188798 B2 JP 7188798B2 JP 2020557788 A JP2020557788 A JP 2020557788A JP 2020557788 A JP2020557788 A JP 2020557788A JP 7188798 B2 JP7188798 B2 JP 7188798B2
Authority
JP
Japan
Prior art keywords
images
image
coordinate calculation
cloud data
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020557788A
Other languages
English (en)
Other versions
JPWO2020111139A1 (ja
Inventor
喜宏 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2020111139A1 publication Critical patent/JPWO2020111139A1/ja
Application granted granted Critical
Publication of JP7188798B2 publication Critical patent/JP7188798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

本発明は、対象物の特定箇所の座標を点群データ上で算出するための、座標算出装置及び座標算出方法に関し、更には、これらを実現するためのプログラムに関する。
近年、橋梁等の構造物の外観に現れた欠陥を、構造物の画像から検出することが行われている。例えば、特許文献１は、カメラで撮影した構造物の画像から、構造物の表面に発生した微細なひび等の欠陥を検出する装置を開示している。
具体的には、特許文献１に開示された装置は、まず、カメラで撮影した画像に対して画像解析を実行して、構造物の表面に発生した欠陥を検出し、更に、測距計によって欠陥までの距離を測定する。続いて、特許文献１に開示された装置は、画像に対応付けられた座標データと測定された距離とを用いて、検出された欠陥のグローバル座標系での座標を算出する。
従って、特許文献１に開示された装置によれば、構造物の画像から、構造物の表面に発生した欠陥を検出できるとともに、グローバル座標系での欠陥の座標も算出できるので、構造物の管理者は、欠陥の位置を把握することができる。
国際公開第２０１７／１０３９８２号
しかしながら、欠陥の位置は、座標によって、即ち、数値によって示されているに過ぎず、そして、実際の構造物に座標軸が付加されている訳ではないので、管理者にとって、実際の欠陥の位置を特定することは簡単ではない。
本発明の目的の一例は、上記問題を解消し、対象物の特定箇所が映った２次元画像から、特定箇所の３次元モデル上での位置を特定し得る、座標算出装置、座標算出方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における第１の座標算出装置は、
対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、画像選択部と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、３次元座標算出部と、
前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示部と、
を備えている、
ことを特徴とする。
上記目的を達成するため、本発明の一側面における第２の座標算出装置は、
対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出部と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、３次元座標算出部と、
前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における第１の座標算出方法は、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における第２の座標算出方法は、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面における第１のプログラムは、
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面における第２のプログラムは、
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、ことを特徴とする。
以上のように本発明によれば、欠陥部分等が映った２次元画像から、欠陥部分等の３次元モデル上での位置を特定することができる。
図１は、本発明の実施の形態１における座標算出装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態１において座標算出の対象となる対象物の一例を示す斜視図である。 図３（ａ）及び（ｂ）は、本発明の実施の形態１において３次元座標算出部で行われる処理を示す説明図であり、それぞれ一連の処理を示している。 図４は、図３（ａ）及び（ｂ）に示された処理の後に、３次元座標算出部で行われる処理を示す説明図である。 図５は、本発明の実施の形態１における座標算出装置の動作を示すフロー図である。 図６は、本発明の実施の形態２における座標算出装置の概略構成を示すブロック図である。 図７は、本発明の実施の形態２における座標算出装置の構成を具体的に示すブロック図である。 図８は、本発明の実施の形態２において特徴点抽出部で行われる処理を示す説明図である。 図９は、本発明の実施の形態２における座標算出装置の動作を示すフロー図である。 図１０は、点群データの作成のために選択されたペア画像の一例を示す図である。 図１１は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。 図１２は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点のペアの一例を示す図である。 図１３は、特定の領域に存在する地物の３次元モデルの一例を示す図である。 図１４は、図１３に示す地物の１つの詳細な３次元モデルの一例を示す図である。 図１５は、本発明の実施の形態１または２における座標算出装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態１）
以下、本発明の実施の形態１における、座標算出装置、座標算出方法、及びプログラムについて、図１～図６を参照しながら説明する。
［装置構成］
最初に、本実施の形態１における座標算出装置の構成について説明する。図１は、本発明の実施の形態１における座標算出装置の概略構成を示すブロック図である。
図１に示す、本実施の形態１における座標算出装置１０は、対象物において指定された特定箇所の位置を算出し、算出した位置を対象物の３次元モデル上で表示する装置である。図１に示すように、座標算出装置１０は、画像選択部１１と、３次元座標算出部１２と、３次元モデル表示部１３とを備えている。
画像選択部１１は、対象物において特定箇所が指定された場合に、対象物を撮影した画像（２次元画像）の中から、特定箇所を含む画像を２以上選択する。３次元座標算出部１２は、まず、選択された画像それぞれ毎に、特定箇所において互いに対応する点の位置を特定する。そして、３次元座標算出部１２は、画像それぞれ毎に特定された点の位置と、画像それぞれ毎に予め算出されているカメラ行列とを用いて、指定された特定箇所の３次元座標を算出する。
また、３次元モデル表示部１３は、対象物の点群データを用いて、対象物の３次元モデルを、表示装置又は別の端末装置等の画面上に表示する。更に、３次元モデル表示部１３は、算出された３次元座標に基づいて、指定された特定箇所を３次元モデル上で表示する。
また、対象物の点群データは、対象物の表面に存在する特徴点の３次元座標の集合で構成されたデータである。点群データは、対象物５０を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築することができる。
このように、本実施の形態１では、特定箇所を含む複数の画像から、カメラ行列を用いて、特定箇所の３次元座標が算出され、そして、特定箇所は、算出された３次元座標に基づいて、対象物の３次元モデル上で表示される。つまり、本実施の形態１によれば、対象物の特定箇所が映った２次元画像から、特定箇所の３次元モデル上での位置を特定することが可能となる。
続いて、図２～図４を用いて、本実施の形態１における座標算出装置の構成及び機能をより具体的に説明する。図２は、本発明の実施の形態１において座標算出の対象となる対象物の一例を示す斜視図である。図３（ａ）及び（ｂ）は、本発明の実施の形態１において３次元座標算出部で行われる処理を示す説明図であり、それぞれ一連の処理を示している。図４は、図３（ａ）及び（ｂ）に示された処理の後に、３次元座標算出部で行われる処理を示す説明図である。
図２に示すように、本実施の形態１では、対象物５０は、建築物である。図２の例では、対象物５０の画像が示されている。画像選択部１１は、本実施の形態１では、予め、対象物５０が写った多数の画像の画像データを取得する。そして、画像選択部１１は、対象物５０において指定された特定箇所の入力を受け付け、受け付けた特定の箇所を含むペア画像を選択する。
例えば、対象物５０の管理者等が、端末装置の画面に、図２に示すように、対象物５０の画像を表示させ、その表示された画像上で、特定箇所を指定したとする。この場合、端末装置は、指定された特定箇所の画像データを、画像選択部１１に入力する。図２において指定された特定箇所は破線で示されている。
画像選択部１１は、指定された特定箇所の画像データが入力されると、この入力を受け付け、予め取得している多数の画像から、指定された特定の箇所を含む画像を、例えば２枚特定し、特定した２枚の画像をペア画像として選択する。
また、特定の箇所は、別の装置によって自動的に指定されても良い。例えば、別の装置が、対象物５０の欠陥部分を機械学習によって学習し、学習した欠陥部分を特定の箇所として、画像選択部１１に入力することもできる。
３次元座標算出部１２は、本実施の形態１では、ペア画像が選択されると、図３（ａ）～（ｃ）に示す処理を行って、ペア画像に映っている特定箇所の３次元座標を算出する。以下に具体的に説明する。
図３（ａ）に示すように、３次元座標算出部１２は、まず、ペア画像の一方、例えば、画像Ａにおいて、指定された箇所の中心の座標（ｘｔ，ｙｔ）を特定し、更に、画像Ａにおける、中心からの距離がｒ１からｒ２の範囲にある環状の領域内において、３個の特徴点を抽出する。図３（ａ）において、画像Ａから抽出された各特徴点の座標は、それぞれ、（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）である。なお、抽出される特徴点の個数は、３個に限定されるものではない。
続いて、図３（ｂ）に示すように、３次元座標算出部１２は、ペア画像の他方である画像Ｂから、画像Ａで抽出された各特徴点に対応する特徴点を抽出する。図３（ｂ）において、画像Ｂから抽出された各特徴点の座標は、それぞれ、（ｘ’０，ｙ’０）、（ｘ’１，ｙ’１）、（ｘ’２，ｙ’２）である。
そして、画像Ａから抽出した各特徴点を、画像Ｂから抽出した各特徴点に変換するための、相関変換行列として、３次元座標算出部１２は、下記の数１を満たす回転行列Ｊ（Ｊ＝（Ｊｘ, Ｊｙ，Ｊｚ））と並進行列ｔ（ｔ＝（ｔｘ,ｔｙ，ｔｚ））とを算出する。なお、ｉ＝０，１，２である。
Figure 0007188798000001
そして、３次元座標算出部１２は、上記数１に従い、画像Ａにおける特定箇所の中心の座標（ｘｔ，ｙｔ）に、算出した回転行列Ｒを乗算し、得られた値に、並進行列ｔを加算する。これにより、画像Ｂにおける特定箇所の中心の座標（ｘ’ｔ，ｙ’ｔ）が算出される。なお、本実施の形態では、上述の算出方法以外の方法によって、画像Ｂにおける特定箇所の中心の座標が算出されていても良い。
また、上述の例では、ペア画像それぞれの特定箇所の３次元座標として、特定箇所の中心の３次元座標が抽出されているが、本実施の形態１は、この態様に限定されるものではない。本実施の形態１では、特定箇所の中心以外の点の３次元座標が算出されていても良い。
次に、図４に示すように、３次元座標算出部１２は、画像Ａにおける特定箇所の中心点の座標と、画像Ｂにおける特定箇所の中心点の座標と、画像Ａについて算出されているカメラ行列Ｐと、画像Ｂについて算出されているカメラ行列Ｐ’とを用いて、特定箇所の中心点の３次元座標Ｘを算出する。
具体的には、３次元座標算出部１２は、下記の数２を解くことで３次元座標Ｘを算出する。また、数２における行列Ａは数３で示される。数３において、ｐｉＴは、カメラ行列Ｐの行であり、ｐ’ｉＴは、カメラ行列Ｐ’の行である。
Figure 0007188798000002
Figure 0007188798000003
［装置動作］
次に、本発明の実施の形態１における座標算出装置１０の動作について図５を用いて説明する。図５は、本発明の実施の形態１における座標算出装置の動作を示すフロー図である。以下の説明においては、適宜図１～図５を参照する。また、本実施の形態１では、座標算出装置１０を動作させることによって、座標算出方法が実施される。よって、本実施の形態１における座標算出方法の説明は、以下の座標算出装置１０の動作説明に代える。
図５に示すように、最初に、画像選択部１１が、対象物５０において特定箇所が指定されると、指定された特定箇所の入力を受け付ける（ステップＡ１）。
続いて、画像選択部１１は、対象物５０が写った多数の画像の中から、ステップＡ１で入力を受け付けた特定箇所を含むペア画像を選択する（ステップＡ２）。なお、選択される画像はペアには限定されず、３以上であっても良い。また、ステップＡ２では、画像選択部１１は、選択した画像の画像データを３次元座標算出部１２に入力する。
次に、３次元座標算出部１２は、ステップＡ２で選択されたペア画像それぞれ毎に、特定箇所において互いに対応する特徴点を特定する（ステップＡ３）。具体的には、ステップＡ３では、３次元座標算出部１２は、図３（ａ）及び図３（ｂ）に示すように、ペア画像の一方における特定箇所の中心点の座標（ｘｔ，ｙｔ）を特定し、これらから、ペア画像の他方における特定箇所の中心点の座標（ｘ’ｔ，ｙ’ｔ）を算出する。
次に、３次元座標算出部１２は、ペア画像それぞれにおける特定箇所の中心点の座標と、ペア画像それぞれについて算出されているカメラ行列とを用いて、特定箇所の中心点の３次元座標Ｘを算出する（ステップＡ４）。具体的には、ステップＡ４では、３次元座標算出部１２は、上述した数８を解くことで３次元座標Ｘを算出する。
次に、３次元モデル表示部１３は、対象物５０の点群データを用いて、対象物５０の３次元モデルを、表示装置等の画面上に表示し、更に、ステップＡ４で算出された３次元座標Ｘに基づいて、指定された特定箇所を３次元モデル上に表示する（ステップＡ５）。
［実施の形態１における効果］
以上のように本実施の形態１では、指定された特定箇所が写った複数枚の画像から、この特定箇所の３次元座標が算出され、更に、算出された３次元座標は、対象物の３次元モデル上で表示される。このため、対象物が構造物であり、欠陥が発生した箇所が指定されている場合は、構造物の管理者は、簡単に、構造物の３次元モデル上で欠陥が発生した箇所を把握することができる。
［プログラム］
本実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＡ１～Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における座標算出装置と座標算出方法とを実現することができる。この場合、コンピュータのプロセッサは、画像選択部１１、３次元座標算出部１２、及び３次元モデル表示部１３として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像選択部１１、３次元座標算出部１２、及び３次元モデル表示部１３のいずれかとして機能しても良い。
（実施の形態２）
最初に、本実施の形態２における座標算出装置の概略構成について説明する。図６は、本発明の実施の形態２における座標算出装置の概略構成を示すブロック図である。
図６に示す、本実施の形態２における座標算出装置２０も、図１に示した実施の形態１における座標算出装置１０と同様に、対象物において指定された特定箇所の位置を算出し、算出した位置を対象物の３次元モデル上で表示する装置である。図６に示すように、座標算出装置２０は、特徴点抽出部２１と、３次元座標算出部２２と、３次元モデル表示部２３とを備えている。
特徴点抽出部２１は、対象物において特定箇所が指定された場合に、対象物を含む複数の画像から、２以上の画像に含まれ、且つ、指定された特定箇所に関連する特徴点を抽出する。３次元座標算出部２２は、上述の複数の画像を用いて構築された対象物の点群データを用いて、抽出された特徴点の３次元座標を求め、求めた３次元座標を指定された特定箇所の３次元座標とする。
また、３次元モデル表示部２３は、図１に示した３次元モデル表示部１３と同様の機能を備えている。３次元モデル表示部２３は、対象物の点群データを用いて、対象物の３次元モデルを、表示装置又は別の端末装置等の画面上に表示する。更に、３次元モデル表示部２３は、算出された３次元座標に基づいて、指定された特定箇所を３次元モデル上で表示する。
また、対象物の点群データは、実施の形態１でも述べたように、対象物の表面に存在する特徴点の３次元座標の集合で構成されたデータである。
このように、本実施の形態２では、対象物の点群データを用いることによって、特定箇所の３次元座標が算出され、そして、特定箇所は、算出された３次元座標に基づいて、対象物の３次元モデル上で表示される。つまり、本実施の形態２においても、実施の形態１と同様に、対象物の特定箇所が映った２次元画像から、特定箇所の３次元モデル上での位置を特定することが可能となる。
続いて、図７～図１０を用いて、本実施の形態２における座標算出装置２０の構成及び機能をより具体的に説明する。図７は、本発明の実施の形態２における座標算出装置の構成を具体的に示すブロック図である。図８は、本発明の実施の形態２において特徴点抽出部で行われる処理を示す説明図である。
まず、本実施の形態２においても、対象物は建築物であるとする（図２参照）。また、図７に示すように、本実施の形態２における座標算出装置２０は、上述した特徴点特定部２１、３次元座標算出部２２、及び３次元モデル表示部２３に加えて、対象物の点群データを作成する点群データ作成部２４を備えている。
点群データ作成部２４は、まず、対象物を含む複数の画像それぞれにおいて、その画像以外の画像との間で対応する特徴点が抽出されている場合に、特徴点が抽出されている画像の中から、ペア画像を選択する。次に、点群データ作成部２４は、選択されたペア画像それぞれ毎に、その画像を撮影したカメラについて予め算出されているカメラ行列から、その画像を撮影したカメラの位置の３次元座標と回転行列とを求める。
続いて、点群データ作成部２４は、カメラの位置の３次元座標と回転行列とを用いて、選択したペア画像それぞれの両者に対応する特徴点の３次元座標を算出する。そして、点群データ作成部２４は、３次元座標が算出された特徴点を用いて、点群データを作成する。
特徴点抽出部２１は、本実施の形態２では、まず、対象物５０において指定された特定箇所の入力を受け付ける。具体的には、特徴点抽出部２１は、実施の形態１における画像選択部１１と同様に、管理者等の端末装置又は外部の別の装置から、指定された特定箇所の画像データが入力されると、その入力を受け付ける。
続いて、特徴点抽出部２１は、点群データの生成に用いられた複数の画像の中から、入力された特定箇所を含む２以上の画像を選択し、選択した２以上の画像それぞれから、特定箇所に関連する特徴点を抽出する。具体的には、特徴点抽出部２１は、例えば、図８に示すように、特定箇所に関連する特徴点として、特定箇所の中心点から一定距離内に存在する、最大の特徴量を有する特徴点を抽出する。なお、この場合の中心点は特徴点を抽出るための基準であり、基準は中心点以外の点であっても良い。
３次元座標算出部２２は、本実施の形態２では、特徴点抽出部２１によって抽出された特徴点と、点群データ作成部２４で作成された点群データを構成している各特徴点とを比較する。そして、３次元座標算出部22は、点群データを構成している各特徴点のうち、特徴点抽出部２１によって抽出された特徴点に一致する特徴点を特定し、特定した特徴点の３次元座標を、特徴点抽出部２１によって抽出された特徴点の３次元座標とする。
続いて、３次元座標算出部２２は、特徴点抽出部２１によって抽出された特徴点の３次元座標を算出する。
［装置動作］
次に、本発明の実施の形態２における座標算出装置２０の動作について図９を用いて説明する。図９は、本発明の実施の形態２における座標算出装置の動作を示すフロー図である。以下の説明においては、適宜図７及び図８を参照する。また、本実施の形態２では、座標算出装置２０を動作させることによって、座標算出方法が実施される。よって、本実施の形態２における座標算出方法の説明は、以下の座標算出装置２０の動作説明に代える。
図９に示すように、最初に、点群データ作成部２４が、対象物が写っている複数の画像を用いて、点群データを作成する（ステップＢ１）。なお、ステップＢ１は、後述のステップＢ２が実行される前に行われていれば良く、ステップＢ１の実行時とステップＢ２の実行時との間に一定の期間があっても良い。
次に、特徴点抽出部２１は、対象物５０において特定箇所が指定されると、指定された特定箇所の入力を受け付ける（ステップＢ２）。
続いて、特徴点抽出部２１は、点群データの生成に用いられた複数の画像の中から、入力された特定箇所を含む２以上の画像を選択し、選択した２以上の画像それぞれから、特定箇所に関連する特徴点を抽出する。（ステップＢ３）。
次に、３次元座標算出部２２は、ステップＢ３で抽出された特徴点と、点群データ作成部２４で作成された点群データを構成している各特徴点とを比較する。そして、３次元座標算出部２２は、点群データを構成している各特徴点のうち、特徴点抽出部２１によって抽出された特徴点に一致する特徴点を特定し、特定した特徴点の３次元座標を、ステップＢ３で抽出された特徴点の３次元座標とする（ステップＢ４）。
そして、ステップＢ４で得られた３次元座標は、特定箇所に関連した特徴点の３次元座標であるので、３次元座標算出部２２は、ステップＢ４で得られた３次元座標を、特定箇所の３次元座標として抽出する（ステップＢ５）。
次に、３次元モデル表示部２３は、対象物５０の点群データを用いて、対象物の３次元モデルを、表示装置等の画面上に表示し、更に、ステップＢ５で算出された３次元座標に基づいて、指定された特定箇所を３次元モデル上に表示する（ステップＢ６）。
ここで、図１０～図１２を用いて、点群データ作成部２４による点群データの作成処理（ステップＢ１）について具体的に説明する。図１０は、点群データの作成のために選択されたペア画像の一例を示す図である。図１１は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図１２は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点のペアの一例を示す図である。
図１０に示すように、点群データ作成部２４は、最初のペア画像（初期ペア画像）として画像３１と画像３２とを選択する。そして、この場合、画像３１から抽出されている特徴点（ｍ１～ｍ５）と、画像３２から抽出されている特徴点（ｍ’１～ｍ’５）とは対応している。ｍ１とｍ’１、ｍ２とｍ’２、ｍ３とｍ’３、ｍ４とｍ’４、ｍ５とｍ’５は、それぞれ特徴点ペアである。また、図１０例では、画像３１はカメラ４１によって撮影され、画像３２はカメラ４２によって撮影されている。図３において、Ｍ（Ｍ１～Ｍ５）は、各特徴点に対応する対象物上の３次元座標である。
続いて、点群データ作成部２４は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ１～ｍ５、ｍ’１～ｍ’５）を用いて、画像３１を撮影したカメラ４１のカメラ行列Ｐと、画像３２を撮影したカメラ４２のカメラ行列Ｐ’とを算出する。また、カメラ行列Ｐ及びカメラ行列Ｐ’は、カメラ４１の位置を原点とすると、それぞれ下記の数４及び数５によって表すことができる。
Figure 0007188798000004
Figure 0007188798000005
上記数４において、Ｉは、カメラ４１の回転行列である。図１１に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数１２において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒｘ,Ｒｙ，Ｒｚ））。ｔは、上述したように並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔｘ,ｔｙ，ｔｚ））。
従って、この場合は、カメラ行列Ｐ及びカメラ行列Ｐ’から逆算することによって、Ｒ及びｔを算出することが出来る。
具体的には、点群データ作成部２４は、各特徴点の座標を用いて、下記の数６～数８に示す方程式を解くことによって、Ｒ及びｔを算出する。数６～数８において、ｍハットは、ｍ（ｍ１～ｍ５）を正規化して得られた画像Ａ上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’１～ｍ’５）を正規化して得られた画像Ｂ上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。
Figure 0007188798000006
Figure 0007188798000007
Figure 0007188798000008
また、キャリブレーション行列Ｋは、下記の数９及び数１０から求めることができる。なお、ｏｘ、ｏｙは、カメラの中心座標である。
Figure 0007188798000009
Figure 0007188798000010
次に、点群データ作成部２４は、各カメラの位置の３次元座標と回転行列とを用いて、抽出された特徴点の３次元座標Ｍ（Ｍ１～Ｍ５）を算出する。具体的には、点群データ作成部２４は、実施の形態１で示した上記数２を解くことで３次元座標Ｍを算出する。なお、この場合は、ＸがＭと読み替えられる。また、この場合も、数２における行列Ａは数３で示される。
次に、図１２に示すように、点群データ作成部２４は、初期ペア画像以外の画像の中から、１つの画像３３を新たに選択し、新たに選択した画像３３と初期ペア画像の１つとを新たなペア画像とする。画像３３は、カメラ４３によって撮影されている。
そして、点群データ作成部２４は、画像３２の特徴点に対応する画像３３の特徴点（ｍ’’１～ｍ’’３）を特定し、画像３２の特徴点と画像３３との特徴点とを特徴点ペアとする。そして、点群データ作成部２４は、画像３３を撮影したカメラ４３のカメラ行列Ｐｎを算出する。カメラ行列Ｐｎは、下記の数１１によって表すことができる。
Figure 0007188798000011
具体的には、点群データ作成部２４は、画像３３の特定された特徴点を用いて、下記の数１２に示す方程式を解くことによって、カメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを算出する。
Figure 0007188798000012
数１２において、Ｍｉは、新たに選択された画像３３における画像３２と共通する特徴点の３次元座標である。ｍｉハットは、新たに選択された画像３３における特徴点の正規化された座標である。ｄｉは、下記の数１３に示すように、画像５３を撮影したカメラ４３とｍｉハットとの距離を示している。
Figure 0007188798000013
次に、点群データ作成部２４は、算出したカメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを用いて、画像３３の特定された特徴点（ｍ’’１～ｍ’’３）の３次元座標Ｍｉを算出する。具体的には、点群データ作成部２４は、上記数２を解くことで、特徴点の３次元座標Ｍ（Ｍ１～Ｍ３）を算出する。以上の処理により、点群データ作成部２４は、対象物の点群データを作成することができる。
［実施の形態２における効果］
以上のように本実施の形態２においても、指定された特定箇所が写った複数枚の画像から、この特定箇所の３次元座標が算出され、更に、算出された３次元座標は、対象物の３次元モデル上で表示される。このため、対象物が構造物であり、欠陥が発生した箇所が指定されている場合は、構造物の管理者は、簡単に、構造物の３次元モデル上で欠陥が発生した箇所を把握することができる。
［プログラム］
本実施の形態２におけるプログラムは、コンピュータに、図９に示すステップＢ１～Ｂ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における座標算出装置と座標算出方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴点特定部２１、３次元座標算出部２２、３次元モデル表示部２３、及び点群データ作成部２４として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、特徴点特定部２１、３次元座標算出部２２、３次元モデル表示部２３、及び点群データ作成部２４のいずれかとして機能しても良い。
（応用例）
続いて、図１３及び図１４を用いて、上述した実施の形態１及び２の応用例について説明する。図１３は、特定の領域に存在する地物の３次元モデルの一例を示す図である。図１４は、図１３に示す地物の１つの詳細な３次元モデルの一例を示す図である。本応用例では、図１３に示す３次元モデルに、図１４に示す３次元モデルを結合する例について説明する。
図１３に示すように、領域６０に存在する多数の地物６１～６９の３次元モデル（以下「広範囲３次元モデル」と表記する）が構築されている。また、この広範囲３次元モデルは、領域６０全体を含む多数の画像から点群データを作成することによって構築されている。
また、図１４に示すように、図１３に示された地物６１～６９のうち、地物６１については、図１３に示された３次元モデルよりも詳細な３次元モデル（以下「詳細３次元モデル」と表記する）が構築されている。図１４に示す地物６１の詳細３次元モデルは、地物６１のみの多数の画像から点群データを作成することによって構築されている。
図１３に示す３次元モデルと、図１４に示す３次元モデルとが存在する場合において、上述した実施の形態１及び２における座標算出装置によれば、前者に後者を結合することができる。以下に詳細に説明する。
最初に、図１３に示すように、座標算出装置は、広範囲３次元モデルの生成に使用した多数の画像の中から、地物６１が映っているペア画像を選択する。次いで、座標算出装置は、選択したペア画像から、３個以上ｎ個以下の地物６１の特徴点ペアを抽出する。ｎは３以上の自然数である。
図１３の例では、３つの特徴点ペア (ｘ１０，ｙ１０)（ｘ’１０，ｙ’１０）、(ｘ１１，ｙ１１)（ｘ’１１，ｙ’１１）、及び(ｘ１２，ｙ１２)（ｘ’１２，ｙ’１２）が抽出されている。そして、座標算出装置は、抽出した特徴点ペアを用いて、地物６１上の各特徴点の３次元座標Ｘ１０，Ｘ１１、及びＸ１２を算出する。
続いて、図１４に示すように、座標算出装置は、地物６１の詳細３次元モデルの生成に使用した多数の画像の中から、図１３で抽出された特徴点と同じ点を含むペア画像を選択する。次いで、座標算出装置は、選択したペア画像から、図１３で抽出された特徴点と同じ点とを、対応する点のペアとして抽出する。
図１４の例では、３つの対応する点のペア (ｘ２０，ｙ２０)（ｘ’２０，ｙ’２０）、(ｘ２１，ｙ２１)（ｘ’２１，ｙ’２１）、及び(ｘ２２，ｙ２２)（ｘ’２２，ｙ’２２）が抽出されている。そして、座標算出装置は、抽出した対応する点のペアを用いて、地物６１上の各対応する点の３次元座標Ｘ２０，Ｘ２１、及びＸ２２を算出する。
次いで、座標算出装置は、数１４に示す連立方程式を解いて、広範囲３次元モデルから算出した３次元座標と、詳細３次元モデルから算出した３次元座標とを満足する、回転行列Ｒと並進行列ｔとを算出する。
Figure 0007188798000014
その後、座標算出装置は、算出した回転行列Ｒと並進行列ｔとを用いて、詳細３次元モデルの元になった点群データの座標系を、広範囲３次元モデルの元になった点群データ座標系に変換する。これにより、広範囲３次元モデルに、詳細３次元モデルを結合することが可能となる。
（物理構成）
ここで、実施の形態１及び２におけるプログラムを実行することによって、座標算出装置を実現するコンピュータについて図１５を用いて説明する。図１５は、本発明の実施の形態１または２における座標算出装置を実現するコンピュータの一例を示すブロック図である。
図１５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、本実施の形態における座標算出装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、座標算出装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、画像選択部と、
選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、３次元座標算出部と、
前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示部と、
を備えている、
ことを特徴とする座標算出装置。
（付記２）
付記１に記載の座標算出装置であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出装置。
（付記３）
対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出部と、
前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、３次元座標算出部と、
前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示部と、
を備えている、
ことを特徴とする座標算出装置。
（付記４）
付記３に記載の座標算出装置であって、
前記対象物の点群データを作成する、点群データ作成部を更に備え、
前記点群データ作成部は、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出装置。
（付記５）
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする座標算出方法。
（付記６）
付記５に記載の座標算出方法であって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とする座標算出方法。
（付記７）
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を有する、
ことを特徴とする座標算出方法。
（付記８）
付記７に記載の座標算出方法であって、
（ｄ）前記対象物の点群データを作成する、ステップを更に有し、
前記（ｄ）のステップにおいて、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とする座標算出方法。
（付記９）
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を撮影した画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
（ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
（ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、プログラム。
（付記１０）
付記９に記載のプログラムであって、
前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
ことを特徴とするプログラム。
（付記１１）
コンピュータに、
（ａ）対象物において特定箇所が指定された場合に、前記対象物を含む複数の画像から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
（ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
を実行させる、プログラム。
（付記１２）
付記１１に記載のプログラムであって、
前記コンピュータに、
（ｄ）前記対象物の点群データを作成する、ステップを更に実行させ、
前記（ｄ）のステップにおいて、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
ことを特徴とするプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１８年１１月２９日に出願された日本出願特願２０１８－２２４０１５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上のように本発明によれば、欠陥部分等が映った２次元画像から、欠陥部分等の３次元モデル上での位置を特定することができる。本発明は、構造物の維持及び管理、特定の領域における捜索等に利用できる。
１０ 座標算出装置（実施の形態１）
１１ 画像選択部
１２ ３次元座標算出部
２０ 座標算出装置（実施の形態２）
２１ 特徴点特定部
２２ ３次元座標算出部
２３ ３次元モデル表示部
２４ 点群データ作成部
３１、３２、３３ 画像
４１、４２、４３ カメラ
５０ 対象物
６０ 領域
６１～６９ 地物
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (10)

  1. 対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、前記特定箇所を含む画像を２以上選択する、画像選択手段と、
    選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、３次元座標算出手段と、
    前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示手段と、
    を備えている、
    ことを特徴とする座標算出装置。
  2. 請求項１に記載の座標算出装置であって、
    前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
    ことを特徴とする座標算出装置。
  3. 対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、特徴点抽出手段と、
    前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、３次元座標算出手段と、
    前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、３次元モデル表示手段と、
    を備えている、
    ことを特徴とする座標算出装置。
  4. 請求項３に記載の座標算出装置であって、
    前記対象物の点群データを作成する、点群データ作成手段を更に備え、
    前記点群データ作成手段は、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
    選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
    前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
    ことを特徴とする座標算出装置。
  5. （ａ）対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、前記特定箇所を含む画像を２以上選択し、
    （ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出し、
    （ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、
    ことを特徴とする座標算出方法。
  6. 請求項５に記載の座標算出方法であって、
    前記対象物の点群データが、前記対象物を撮影した複数の画像それぞれから、特徴点を抽出し、抽出した各特徴点を用いて構築されている、
    ことを特徴とする座標算出方法。
  7. （ａ）対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出し、（ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とし、
    （ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、
    ことを特徴とする座標算出方法。
  8. 請求項７に記載の座標算出方法であって、
    更に、（ｄ）前記対象物の点群データを作成し、
    前記（ｄ）において、前記対象物を含む前記複数の画像それぞれにおいて、当該画像以外の画像との間で対応する特徴点が抽出されている場合に、前記特徴点が抽出されている前記画像の中から、ペア画像を選択し、
    選択された前記ペア画像それぞれ毎に、当該画像を撮影したカメラについて予め算出されているカメラ行列から、当該画像を撮影したカメラの位置の３次元座標と回転行列とを求め、更に、前記カメラの位置の３次元座標と前記回転行列とを用いて、前記ペア画像それぞれの両者に対応する前記特徴点の３次元座標を算出し、
    前記３次元座標が算出された前記特徴点を用いて、前記点群データを作成する、
    ことを特徴とする座標算出方法。
  9. コンピュータに、
    （ａ）対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、前記特定箇所を含む画像を２以上選択する、ステップと、
    （ｂ）選択された前記画像それぞれ毎に、前記特定箇所において互いに対応する点の位置を特定し、そして、前記画像それぞれ毎に特定された前記点の位置と、前記画像それぞれ毎に予め算出されているカメラ行列とを用いて、前記特定箇所の３次元座標を算出する、ステップと、
    （ｃ）前記対象物の点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
    を実行させる、プログラム。
  10. コンピュータに、
    （ａ）対象物を撮影した画像上で、前記対象物の特定箇所が指定された場合に、予め取得している複数の画像の中から、２以上の前記画像に含まれ、且つ、指定された前記特定箇所に関連する特徴点を抽出する、ステップと、
    （ｂ）前記複数の画像を用いて構築された前記対象物の点群データを用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標を指定された前記特定箇所の３次元座標とする、ステップと、
    （ｃ）前記点群データを用いて、前記対象物の３次元モデルを画面上に表示し、更に、算出された前記３次元座標に基づいて、指定された前記特定箇所を前記３次元モデル上で表示する、ステップと、
    を実行させる、プログラム。
JP2020557788A 2018-11-29 2019-11-27 座標算出装置、座標算出方法、及びプログラム Active JP7188798B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018224015 2018-11-29
JP2018224015 2018-11-29
PCT/JP2019/046420 WO2020111139A1 (ja) 2018-11-29 2019-11-27 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2020111139A1 JPWO2020111139A1 (ja) 2021-10-07
JP7188798B2 true JP7188798B2 (ja) 2022-12-13

Family

ID=70853014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557788A Active JP7188798B2 (ja) 2018-11-29 2019-11-27 座標算出装置、座標算出方法、及びプログラム

Country Status (4)

Country Link
US (1) US11922659B2 (ja)
JP (1) JP7188798B2 (ja)
CN (1) CN113167568B (ja)
WO (1) WO2020111139A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187732B (zh) * 2022-09-05 2022-12-23 江西省云眼大视界科技有限公司 一种图像数据采集与传输装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006618A (ja) 2001-06-27 2003-01-10 Minolta Co Ltd ３次元モデルの生成方法および装置並びにコンピュータプログラム
JP2009075117A (ja) 2007-02-16 2009-04-09 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
WO2014171418A1 (ja) 2013-04-19 2014-10-23 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP2016121917A (ja) 2014-12-24 2016-07-07 パナソニックＩｐマネジメント株式会社 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003223158B2 (en) * 2002-01-09 2008-01-17 Emisphere Technologies, Inc. Polymorphs of sodium 4-[(4-chloro-2-hydroxybenzoyl)amino]butanoate
US7280685B2 (en) * 2002-11-14 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. Object segmentation from images acquired by handheld cameras
WO2006083297A2 (en) * 2004-06-10 2006-08-10 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
JP4743538B2 (ja) 2006-11-17 2011-08-10 アイシン精機株式会社 カメラ校正装置
US7697125B2 (en) * 2007-05-11 2010-04-13 Rosemount Aerospace Inc. Scanning ladar with adjustable operational parameters
US8224097B2 (en) * 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
KR101319471B1 (ko) * 2008-08-29 2013-10-17 미쓰비시덴키 가부시키가이샤 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체
JP5715735B2 (ja) 2012-06-29 2015-05-13 富士フイルム株式会社 ３次元測定方法、装置、及びシステム、並びに画像処理装置
JP5745178B2 (ja) 2012-06-29 2015-07-08 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
JP6435750B2 (ja) 2014-09-26 2018-12-12 富士通株式会社 ３次元座標算出装置、３次元座標算出方法および３次元座標算出プログラム
WO2016103621A1 (ja) 2014-12-24 2016-06-30 パナソニックＩｐマネジメント株式会社 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
JP6654649B2 (ja) 2015-12-14 2020-02-26 株式会社ニコン・トリンブル 欠陥検出装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006618A (ja) 2001-06-27 2003-01-10 Minolta Co Ltd ３次元モデルの生成方法および装置並びにコンピュータプログラム
JP2009075117A (ja) 2007-02-16 2009-04-09 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
WO2014171418A1 (ja) 2013-04-19 2014-10-23 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP2016121917A (ja) 2014-12-24 2016-07-07 パナソニックＩｐマネジメント株式会社 ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法

Also Published As

Publication number Publication date
CN113167568A (zh) 2021-07-23
US11922659B2 (en) 2024-03-05
JPWO2020111139A1 (ja) 2021-10-07
WO2020111139A1 (ja) 2020-06-04
US20220005223A1 (en) 2022-01-06
CN113167568B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
US9251582B2 (en) Methods and systems for enhanced automated visual inspection of a physical asset
US10354402B2 (en) Image processing apparatus and image processing method
KR102038127B1 (ko) 무인비행체를 이용한 시설물 관리 장치 및 방법
EP3016071B1 (en) Estimating device and estimation method
JP6264834B2 (ja) ガイド方法、情報処理装置およびガイドプログラム
GB2556976A (en) Methods circuits assemblies devices systems platforms and fuctionally associated machine executable code for computer vision assisted construction site
JP6160290B2 (ja) 情報処理装置、判定方法および判定プログラム
JP6054831B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US11170246B2 (en) Recognition processing device, recognition processing method, and program
TW201616451A (zh) 點雲套索選取系統及方法
US20170109932A1 (en) Content projection apparatus, content projection method, and computer readable storage medium
CN107832771B (zh) 气象数据处理装置、方法、***及记录介质
CN113744268B (zh) 一种裂纹检测方法、电子设备及可读存储介质
CN109544516B (zh) 图像检测方法及装置
US10600202B2 (en) Information processing device and method, and program
CN115439543A (zh) 孔洞位置的确定方法和元宇宙中三维模型的生成方法
JP2015184061A (ja) 抽出装置、方法及びプログラム
JP7188798B2 (ja) 座標算出装置、座標算出方法、及びプログラム
JP6980208B2 (ja) 構造物維持管理業務支援システム
JP6938201B2 (ja) 情報処理装置、情報処理方法およびプログラム
US9563816B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US20170069138A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
Al-Sabbag et al. Real-Time quantitative visual inspection using extended reality
JP6963030B2 (ja) 情報処理装置および計測可能領域模擬方法
JP6227801B2 (ja) 図面作成システム及び図面作成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221124

R151 Written notification of patent or utility model registration

Ref document number: 7188798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151