JP2020134220A - 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム - Google Patents

位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム Download PDF

Info

Publication number
JP2020134220A
JP2020134220A JP2019025258A JP2019025258A JP2020134220A JP 2020134220 A JP2020134220 A JP 2020134220A JP 2019025258 A JP2019025258 A JP 2019025258A JP 2019025258 A JP2019025258 A JP 2019025258A JP 2020134220 A JP2020134220 A JP 2020134220A
Authority
JP
Japan
Prior art keywords
equipment
distance
image
size
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019025258A
Other languages
English (en)
Other versions
JP7159900B2 (ja
Inventor
隼也 大平
Junya Ohira
隼也 大平
幸弘 五藤
Yukihiro Goto
幸弘 五藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019025258A priority Critical patent/JP7159900B2/ja
Priority to PCT/JP2020/004035 priority patent/WO2020166424A1/ja
Priority to US17/431,200 priority patent/US12002237B2/en
Publication of JP2020134220A publication Critical patent/JP2020134220A/ja
Application granted granted Critical
Publication of JP7159900B2 publication Critical patent/JP7159900B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】本開示は、設備座標の把握を可能にすることを目的とする。【解決手段】プロセッサが、設備及び対象物の撮像された2以上の画像を取得し(S101)、設備の位置座標及び現物の大きさ、並びに対象物の大きさをデータベースから取得し(S104)、プロセッサが、2以上の画像を撮像した各カメラから設備のまでの距離と2以上の画像上の設備の現物の大きさに対する倍率との関係を用いて、2以上の画像を撮像した各カメラから対象物までの距離を算出し(S108)、プロセッサが、算出した距離を用いて、対象物の位置座標を導出する(S109)。【選択図】図3

Description

本開示は、カメラで撮像された対象物の位置座標を導出する位置座標導出方法及びこれを実行する位置座標導出装置に関する。
地物の測量を行う方法として、写真測量法があり、代表的な技術として、ステレオカメラがある(例えば、特許文献1及び非特許文献1参照。)。ステレオカメラは、2つのカメラを用いて、それら2つのカメラを既知の距離に配置して、同時に地物を撮影する。それぞれのカメラで撮影された地物は、カメラの位置に応じて、写真に写る位置が変化する。この位置の変化量はそれぞれのカメラの位置によって変化することを利用し、地物までの距離を測定することができる。さらに、写真の距離に対する縮尺がわかっていれば、距離から地物の大きさを測定することができる。さらに、1つのカメラを用いて、水平に一定距離移動後の連続撮影した2枚の写真を用いても同じことが実現できる。
測量などで利用されている3Dレーザスキャナ搭載自動車(MMS)を用いて3D点群データを取得し、得られた3D点群データを用いて設備を自動検出・3Dモデル化し、電柱の傾き及びたわみなどの構造状態を高精度で計測できる、構造劣化判定システムが用いられている(例えば、特許文献2及び3参照。)。構造劣化判定システムは、電柱の座標や電柱の大きさ(高さ)も精度よく表示できる。さらに、電柱の正確な位置座標が分かることで電柱の官民区分が把握可能となり、占用業務効率化が期待される。
しかし設備の3Dモデル化が出来なければ、正確な位置座標を得ることが出来ない。例えばMMS車体揺らぎの程度によっては、点群欠け等で点群データの欠損が生じ、設備の3Dモデル化が出来ないことがある。また、現状の構造劣化判定システムでは、点群データを用いた位置情報推定は困難であり、今後の対象設備拡大を行う上では点群データ以外を用いた検討が必要となる。
そこで点群以外にMMS走行時に取得可能な情報である画像から、カメラから対象設備間の距離を測定し、設備座標を把握する検討が必要となる。現在、カメラから物体までの位置を把握する方法として、ステレオカメラが挙げられるが、以下に示すような問題がある。(1)2つのカメラを利用する場合、2つのカメラで撮影する必要がある。1つのカメラを利用する場合、(2)水平距離移動した場合の連続写真を用いる必要がある。(3)距離から地物の寸法を計測する場合はカメラと地物との距離に対する倍率が事前に分からないといけない問題がある。
特開平7−35546号公報 特開2015−078849号公報 特開2017−156179号公報
自動車向け画像認識技術とステレオカメラによる距離計測:https://annex.jsap.or.jp/photonics/kogaku/public/41−05−kaisetsu5.pdf
本開示は、カメラと地物との距離に対する倍率が事前に分からない場合であっても、2つのカメラや水平距離移動した連続写真を用いることなく、設備座標を把握可能にすることを目的とする。
上記目的を達成するために、本開示は、電柱などの設備の位置座標と大きさを構造劣化判定システムのモデル情報から取得し、2枚以上の画像を用いてカメラ位置座標から対象物までの距離を算出し、それら距離とカメラ位置座標から対象物の座標を算出することで、対象物の座標を取得する。
具体的には、本開示に係る位置座標導出装置は、
プロセッサが、設備及び対象物の撮像された2以上の画像を取得し、
前記プロセッサが、前記設備の位置座標及び現物の大きさ、並びに前記対象物の大きさをデータベースから取得し、
前記プロセッサが、前記2以上の画像を撮像した各カメラから前記設備のまでの距離と前記2以上の画像上の前記設備の現物の大きさに対する倍率との関係を用いて、前記2以上の画像を撮像した各カメラから前記対象物までの距離を算出し、
前記プロセッサが、算出した距離を用いて、前記対象物の位置座標を導出する。
本開示に係る位置座標導出装置では、
前記2以上の画像は、第1の画像及び第2の画像であり、
前記プロセッサが、前記第1の画像上での前記設備の大きさ及び前記第2の画像上での前記設備の大きさを測定し、
前記第1の画像を撮像した第1のカメラから前記設備までの第1の距離、前記設備の現物の大きさ、及び前記第1の画像上での前記設備の大きさ、を用いて、前記第1の画像における物体の大きさと前記第1のカメラからの距離との関係を求め、
前記第2の画像を撮像した第2のカメラから前記設備までの第2の距離、前記設備の現物の大きさ、及び前記第2の画像上での前記設備の大きさ、を用いて、前記第2の画像における物体の大きさと前記第2のカメラからの距離との関係を求め、
前記第1の画像における物体の大きさと前記第1のカメラからの距離との関係、及び前記第2の画像における物体の大きさと前記第2のカメラからの距離との関係を用いて、前記第1の画像上での前記対象物の大きさに対応する前記第1のカメラから前記対象物までの第3の距離、及び前記第2の画像上での前記対象物の大きさに対応する前記第2のカメラから前記対象物までの第4の距離を算出する態様を含む。
本開示に係る位置座標導出装置では、
前記第1のカメラ及び前記第2のカメラの焦点距離は等しく、
前記プロセッサは、
前記第1の距離及び前記第1の画像上での前記設備の大きさで定められる第1の点、前記第2の距離及び前記第2の画像上での前記設備の大きさで定められる第2の点、並びに2倍の前記焦点距離及び前記設備の現物の大きさ、で定められる第3の点、を通る第1の曲線を求め、
前記第1の曲線を用いて前記第3の距離及び前記第4の距離を求める態様を含む。
本開示に係る位置座標導出装置では、
2倍の前記焦点距離及び前記対象物の大きさで定められる第4の点を通るように前記第1の曲線を移動させた第2の曲線を求め、
前記第1の画像上での前記対象物の大きさで定められる前記第2の曲線上の距離を前記第3の距離として求め、
前記第2の画像上での前記対象物の大きさで定められる前記第2の曲線上の距離を前記第4の距離として求める態様を含む。
本開示に係る位置座標導出装置では、
前記プロセッサが、前記第1のカメラの位置座標を中心とする前記第3の距離、及び前記第2のカメラの位置座標を中心とする前記第4の距離の交わる2点のなかから、前記第1の画像及び前記第2の画像における前記設備及び前記対象物の配置に整合する1点の位置座標を、前記対象物の位置座標として導出する態様を含む。
本開示に係るシステムは、
3Dマッピングシステムで取得した屋外構造物の表面上の点の3次元座標を表す3次元点群データを用いて管理対象の設備の状態を検出するシステムであって、
本開示に係る位置座標導出装置と、
前記設備の大きさ及び位置座標を格納する前記データベースと、を備え、
管理対象の設備のなかに位置座標の不明な設備が存在する場合、前記位置座標導出装置が当該設備を前記対象物として位置座標を導出する。
前記位置座標導出装置は、導出した前記対象物の位置座標を、位置座標が不明であった前記設備の位置座標として、前記データベースに格納してもよい。
本開示に係る位置座標導出方法は、
プロセッサが、設備及び対象物の撮像された2以上の画像を取得し、
前記プロセッサが、前記設備の位置座標及び現物の大きさ、並びに前記対象物の大きさをデータベースから取得し、
前記プロセッサが、前記2以上の画像を撮像した各カメラから前記設備のまでの距離と前記2以上の画像上の前記設備の現物の大きさに対する倍率との関係を用いて、前記2以上の画像を撮像した各カメラから前記対象物までの距離を算出し、
前記プロセッサが、算出した距離を用いて、前記対象物の位置座標を導出する。
本開示に係る位置座標導出プログラムは、本開示に係る位置座標導出装置に備わる各機能をコンピュータに実現させる。また本開示に係る位置座標導出プログラムは、本開示に係る位置座標導出装置の実行する位置座標導出方法に備わる各手順をコンピュータに実行させる。本開示に係る位置座標導出プログラムは、記録媒体に記録されていてもよく、ネットワークを通して提供することも可能である。
なお、上記各開示は、可能な限り組み合わせることができる。
本開示によれば、カメラと地物との距離に対する倍率が事前に分からない場合であっても、2つのカメラや水平距離移動した連続写真を用いることなく、設備座標の把握が可能になる。
本実施形態に係るシステム構成の一例を示す。 位置座標導出装置及び構造劣化判定システムの構成例を示す。 本実施形態に係る位置座標導出方法の一例を示す。 第1の画像の一例である。 第2の画像の一例である。 構造劣化判定システムで得られた3D電柱モデルの一例を示す。 画像解析の一例を示す。 第1のカメラ及び第2のカメラと電柱の距離の一例を示す。 距離に対する倍率の定めるグラフの一例を示す。 推定曲線を用いた第1のカメラ及び第2のカメラと対象物の距離の導出例を示す。 第1のカメラ及び第2のカメラと対象物の距離の一例を示す。 第1のカメラ及び第2のカメラと対象物の距離を用いた対象物の位置座標の導出例を示す。
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
図1に、本実施形態に係るシステム構成の一例を示す。本実施形態に係るシステムは、複数のカメラ81及び82と、構造劣化判定システム92と、位置座標導出装置91と、を備える。カメラ81及び82は、電柱A及び対象物Pを撮像する。
カメラ81は、第1のカメラとして機能し、第1の画像である画像P1を撮像する。カメラ82は、第2のカメラとして機能し、第2の画像である画像P2を撮像する。画像P1及びP2は、焦点距離fが同じ値に設定された、任意のカメラで撮像された画像である。例えば、カメラ81及び82は、構造劣化判定システム92で用いられる3D点群データを取得可能なカメラを用いることができる。また、カメラ81及び82は、道路に設置された任意のカメラで撮像されたカメラであってもよい。また画像P1及びP2は、静止画に限らず動画であってもよい。
本実施形態では81及び82の2台のカメラを備える例を示すが、本開示はカメラが1台以上でありうる。例えば、カメラ82は、時刻t1に位置座標C81(xc1,yc1)でカメラ81が位置座標C82(xc2,yc2)に移動したものであってもよい。このように、カメラ81及び82は、異なっていてもよいし、同一であってもよい。さらに、本開示のシステムは、3以上のカメラを用いてもよい。
図2に、位置座標導出装置91及び構造劣化判定システム92の構成例を示す。本実施形態に係る位置座標導出装置91は、プロセッサ11、メモリ12、を備える。メモリ12は、位置座標導出プログラムを格納する。プロセッサ11が位置座標導出プログラムを実行することで、位置座標導出装置91を構成しうる。構造劣化判定システム92は、設備管理データベース21、点群データの位置補正を行う計測拠点機能部22、点群データを解析し、構造劣化を定量的に判定するデータ解析機能部23、現地診断の材質劣化診断への絞り込みを支援する計測結果表示機能部24を具備する。
本実施形態の位置座標導出装置91は、画像P1及びP2を取得する。本実施形態の位置座標導出装置91は、構造劣化判定システム92と接続され、構造劣化判定システム92から電柱Aの現物高さhA、および位置座標CA(xA,yA)、対象物Pの現物高さhPを取得する。位置座標導出装置91のプロセッサ11は、画像P1及びP2、並びに構造劣化判定システム92から取得したこれらの情報を用いて、対象物Pの位置座標CP(xP,yP)を導出する。
計測拠点機能部22は、設備管理データベース21から設備情報を取り込み、モデルを抽出し、自動突合及び修正を行い、設備管理データベース21に格納する。計測結果表示機能部24の診断支援としては、例えば、診断メニュー、進捗表示、写真モデルとの重畳、全方位カメラ画像の表示、地理情報システム(Geographic Information System;GIS)を用いた位置又は空間に関する情報表示、診断結果のリスト表示、手動でのモデル抽出を、可視化して診断拠点端末のオペレータに表示する。
構造劣化判定システム92の管理対象の設備のなかに位置座標の不明な設備が存在する場合、位置座標導出装置91が当該設備を前記対象物として位置座標を導出し、設備管理データベース21に格納する。なお、位置座標導出装置91が導出した位置座標の格納先は構造劣化判定システム92に限らない。
本開示は、以下の特徴を備える。
・カメラ81及び82の位置座標と電柱Aの位置座標からこれらの距離を算出する。
・電柱Aの位置座標と電柱Aの現物の大きさを構造劣化判定システム92のモデル情報から取得する。ここで、大きさは、高さ、幅を含む。
・距離と画像P1、P2に写る大きさの関係(倍率・焦点距離)を利用する。
・2枚以上の画像P1、P2を用いてカメラ81及び82の位置座標から対象物Pまでの距離を算出し、それら距離とカメラ81及び82の位置座標から対象物Pの座標を導出する。
特に、本開示では、測定のため電柱Aの位置座標CA(xA,yA)および現物高さhAが必要であるが、構造劣化判定システム92からこれら情報を取得することが特徴の一つである。
(測定方法)
図3に、本実施形態に係る位置座標導出方法の一例を示す。本実施形態に係る位置座標導出方法は、位置座標導出装置91のプロセッサ11が、以下の手順S101〜S109を実行する。本実施形態では、簡略のため、x,yの二次元のみで説明する。なお、x,y,zの3次元で対象物Pの位置座標を算出する場合は、画像を3枚にすればよい。
手順S101:プロセッサ11は、対象物P及び電柱1本(電柱A)が別視点から撮影された画像P1及びP2を取得する。図4は画像P1の一例であり、図5は画像P2の一例であり、両画像に電柱Aと対象物Pが撮像されている。
手順S102:プロセッサ11は、画像P1における電柱Aの高さhカA1および対象物Pの高さhカP1を測定する。また、プロセッサ11は、画像P2における電柱Aの高さhカA2および対象物Pの高さhカP2を測定する。
手順S103:プロセッサ11は、画像P1を撮像したカメラ81の位置座標C81(xc1,yc1)及び焦点距離fを取得する。またプロセッサ11は、画像P2を撮像したカメラ82の位置座標C82(xc2,yc2)及び焦点距離fを取得する。例えば、画像P1の属性情報からカメラ81の位置座標及び焦点距離を取得し、画像P2の属性情報からカメラ82の位置座標及び焦点距離を取得する。
手順S104:プロセッサ11は、設備管理データベース21から、電柱Aの現物高さhA、および位置座標CA(xA,yA)を取得する。ここで、設備管理データベース21は、各電柱の位置座標及び現物高さが予め格納されたデータベースであり、構造劣化判定システム92に備わる。
図6に、構造劣化判定システム92で得られた3D電柱モデルの一例を示す。構造劣化判定システム92を参照することで、構造劣化判定システム92で管理されている構造物の情報を取得することができる。例えば、構造劣化判定システム92では、識別情報「Pole_124」の電柱が撮像されている3D点群画像と、識別情報「Pole_124」の電柱の位置座標、現物高さ、が設備管理データベース21に管理されている。
手順S105:プロセッサ11は、設備管理データベース21から、対象物Pの現物高さhPを取得する。例えば、プロセッサ11は、画像解析を用いて対象物Pの種類を識別し、対象物Pの種類を引数として設備管理データベース21から対象物Pの現物高さhPを取得する。ここで、現物高さhPを格納するデータベースは設備管理データベース21に限らず、通信ネットワークで接続されている任意のデータベースを用いることができる。
図7に、画像解析の一例を示す。図7では、信号機が撮像されている。プロセッサ11は、信号機の種類を判定し、設備管理データベース21から信号機の種類に応じた現物高さhPを取得する。
手順S106:電柱Aの位置座標、カメラ81及び82の位置座標を用いて、カメラ81及び82と電柱Aの距離LA1,LA2を計算する。距離LA1が本開示における第1の距離を示し、距離LA2が本開示における第2の距離を示す。
例えば、図8に示すように、画像P1撮影時のカメラ81の位置座標がC81(xc1,yc1)であり、画像P2撮影時のカメラ82の位置座標がC82(xc2,yc2)である場合、電柱Aの位置座標CA(xA,yA)およびカメラ81及び82の位置座標C81(xc1,yc1)及びC82(xc2,yc2)から、電柱Aまでの距離LA1,LA2は、以下を用いて求めることができる。
手順S107:電柱Aの現物高さhA、画像P1上での電柱Aの高さhカA1、画像P2上での電柱Aの高さhカA2、ならびに、焦点距離f、LA1、LA2を用いて、図9のようなグラフを作成し、画像P1及びP2における距離に対する倍率を算出する。
図9では、カメラからの距離に対する画像上の物体高さをプロットしている。PL1は距離LA1に対する高さhカA1で特定される第1の点、PL2は距離LA2に対する高さhカA2で特定される第2の点、を示す。本開示では、カメラ81及び82の焦点距離はいずれもfである。そのため、点PL1及び点PL2を用いて、カメラ81及び82からの距離に対する画像上での倍率を求めることができる。
また、本開示では、カメラ81及び82の焦点距離は等しい。そこで、焦点距離fの2倍の距離に対する現物高さhAで特定される第3の点を点PL0としてプロットしている。これにより、3点を通る曲線FLAを求めることができる。曲線FLAが本開示における第1の曲線を示す。
手順S108:図9に示すグラフ上に、焦点距離fの2倍の距離と、対象物Pの現物高さhPで特定される点PLPを第4の点としてプロットする。この点PLPを通るように、曲線FLAを平行移動させた曲線を求める。これにより、図10に示すような、対象物Pに対する画像上での物体高さとカメラからの距離との関係を表す推定曲線FLPが得られる。推定曲線FLPが本開示における第2の曲線を示す。
そして、図10に示す推定曲線FLPを用いて、画像P1上での対象物Pの高さhカP1に対応する、画像P2上での対象物Aの高さhカP2における対象物Pの距離LP1、LP2を算出する。このLP1及びLP2は、図11に示すような、画像P1撮影時のカメラ81の位置座標がC81(xc1,yc1)であり、画像P2撮影時のカメラ82の位置座標がC82(xc2,yc2)である場合の、対象物Pの位置座標CP(xP,yP)から各カメラ81、82の位置座標C81(xc1,yc1)及びC82(xc2,yc2)までの距離LP1,LP2に相当する。距離LP1が本開示における第3の距離を示し、距離LP2が本開示における第4の距離を示す。
手順S109:カメラ81及び82の位置座標C81(xc1,yc1)及びC82(xc2,yc2)を中心に、図12のように距離LP1及びLP2をそれぞれ半径とする2つの円C1及びC2を作成し、2つの円C1及びC2の交点から対象物Pの位置座標CP(xP,yP)を算出する。なお、位置座標の候補は最大2点存在するが、画像P1及びP2におけるの電柱Aと対象物Pとの位置関係から、どちらか一方の点を特定することができる。
以上説明したように、本開示は位置座標導出装置91が手順S101〜S109を実行する。これにより、本開示は、図9及び図10に示す推定曲線を用いてカメラ81、82からの距離LP1及びLP2を求め(S108)、これらの距離LP1及びLP2を用いて対象物Pの位置座標CP(xP,yP)を求める(S109)。推定曲線FLPを求める際には、位置座標及び高さを取得可能な電柱Aと、高さを取得可能な対象物Pと、が撮像された2つの画像P1及びP2があればよい(S101〜S107)。なお、手順S102〜S105の順序は任意であり、はこれらの手順を同時に行ってもよい。
このように、本開示は、以下の特徴がある。
・2つのカメラを用いる必要がない。
・水平移動位置で撮影された2枚の画像である必要がなく、任意の場所から撮影された2枚の画像を用いればよい。
・事前に撮影カメラの縮尺を把握する必要がない。
したがって、本開示は、対象物Pとなりうる任意の設備座標の把握を行うことができる。
なお、本実施形態では、カメラからの距離に対する画像上の物体高さで定められる曲線FLAを求め、これを推定曲線に用いて距離LP1及びLP2を求めたが、本開示は画像P1における電柱Aの倍率、距離LA1、画像P2における電柱Aの倍率、及び距離LA2、の対比関係を満たす、任意の方法で距離LP1及びLP2を求めることができる。
また、本実施形態では、電柱Aの高さを用いて画像における距離と倍率の関係を導出したが、本開示はこれに限定されない。例えば、高さに代えて、幅などの任意の大きさを用いることができる。
また、手順S107において、第3の点のプロットのために、焦点距離fの2倍の距離と、現物高さhAで特定される点PL0をプロットしたが、本開示はこれに限定されない。例えば、焦点距離fの等しい第3の画像を用いてもよい。
本実施形態では、設備管理データベース21から現物高さを読み出す設備が電柱である例を示したが、本開示は、構造劣化判定システム92から読み出し可能な任意の設備を用いることができる。そのような設備としては、例えば、街灯、電柱に加え、ケーブル・クロージャが例示できる。
本開示は情報通信産業に適用することができる。
11:プロセッサ
12:メモリ
21:設備管理データベース
22:計測拠点機能部
23:データ解析機能部
24:計測結果表示機能部
81、82:カメラ
91:位置座標導出装置
92:構造劣化判定システム

Claims (9)

  1. プロセッサが、設備及び対象物の撮像された2以上の画像を取得し、
    前記プロセッサが、前記設備の位置座標及び現物の大きさ、並びに前記対象物の大きさをデータベースから取得し、
    前記プロセッサが、前記2以上の画像を撮像した各カメラから前記設備のまでの距離と前記2以上の画像上の前記設備の現物の大きさに対する倍率との関係を用いて、前記2以上の画像を撮像した各カメラから前記対象物までの距離を算出し、
    前記プロセッサが、算出した距離を用いて、前記対象物の位置座標を導出する、
    位置座標導出装置。
  2. 前記2以上の画像は、第1の画像及び第2の画像であり、
    前記プロセッサが、前記第1の画像上での前記設備の大きさ及び前記第2の画像上での前記設備の大きさを測定し、
    前記第1の画像を撮像した第1のカメラから前記設備までの第1の距離、前記設備の現物の大きさ、及び前記第1の画像上での前記設備の大きさ、を用いて、前記第1の画像における物体の大きさと前記第1のカメラからの距離との関係を求め、
    前記第2の画像を撮像した第2のカメラから前記設備までの第2の距離、前記設備の現物の大きさ、及び前記第2の画像上での前記設備の大きさ、を用いて、前記第2の画像における物体の大きさと前記第2のカメラからの距離との関係を求め、
    前記第1の画像における物体の大きさと前記第1のカメラからの距離との関係、及び前記第2の画像における物体の大きさと前記第2のカメラからの距離との関係を用いて、前記第1の画像上での前記対象物の大きさに対応する前記第1のカメラから前記対象物までの第3の距離、及び前記第2の画像上での前記対象物の大きさに対応する前記第2のカメラから前記対象物までの第4の距離を算出する、
    請求項1に記載の位置座標導出装置。
  3. 前記第1のカメラ及び前記第2のカメラの焦点距離は等しく、
    前記プロセッサは、
    前記第1の距離及び前記第1の画像上での前記設備の大きさで定められる第1の点、前記第2の距離及び前記第2の画像上での前記設備の大きさで定められる第2の点、並びに2倍の前記焦点距離及び前記設備の現物の大きさ、で定められる第3の点、を通る第1の曲線を求め、
    前記第1の曲線を用いて前記第3の距離及び前記第4の距離を求める、
    請求項2に記載の位置座標導出装置。
  4. 2倍の前記焦点距離及び前記対象物の大きさで定められる第4の点を通るように前記第1の曲線を移動させた第2の曲線を求め、
    前記第1の画像上での前記対象物の大きさで定められる前記第2の曲線上の距離を前記第3の距離として求め、
    前記第2の画像上での前記対象物の大きさで定められる前記第2の曲線上の距離を前記第4の距離として求める、
    請求項3に記載の位置座標導出装置。
  5. 前記プロセッサが、前記第1のカメラの位置座標を中心とする前記第3の距離、及び前記第2のカメラの位置座標を中心とする前記第4の距離の交わる2点のなかから、前記第1の画像及び前記第2の画像における前記設備及び前記対象物の配置に整合する1点の位置座標を、前記対象物の位置座標として導出する、
    請求項2から4のいずれかに記載の位置座標導出装置。
  6. 3Dマッピングシステムで取得した屋外構造物の表面上の点の3次元座標を表す3次元点群データを用いて管理対象の設備の状態を検出するシステムであって、
    請求項1から5のいずれかに記載の位置座標導出装置と、
    前記設備の大きさ及び位置座標を格納する前記データベースと、を備え、
    管理対象の設備のなかに位置座標の不明な設備が存在する場合、前記位置座標導出装置が当該設備を前記対象物として位置座標を導出する、
    システム。
  7. 前記位置座標導出装置は、導出した前記対象物の位置座標を、位置座標が不明であった前記設備の位置座標として、前記データベースに格納する、
    請求項6に記載のシステム。
  8. プロセッサが、設備及び対象物の撮像された2以上の画像を取得し、
    前記プロセッサが、前記設備の位置座標及び現物の大きさ、並びに前記対象物の大きさをデータベースから取得し、
    前記プロセッサが、前記2以上の画像を撮像した各カメラから前記設備のまでの距離と前記2以上の画像上の前記設備の現物の大きさに対する倍率との関係を用いて、前記2以上の画像を撮像した各カメラから前記対象物までの距離を算出し、
    前記プロセッサが、算出した距離を用いて、前記対象物の位置座標を導出する、
    位置座標導出方法。
  9. 請求項1から5のいずれかの位置座標導出装置に備わる各機能をコンピュータに実現させる、
    位置座標導出プログラム。
JP2019025258A 2019-02-15 2019-02-15 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム Active JP7159900B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019025258A JP7159900B2 (ja) 2019-02-15 2019-02-15 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム
PCT/JP2020/004035 WO2020166424A1 (ja) 2019-02-15 2020-02-04 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム
US17/431,200 US12002237B2 (en) 2019-02-15 2020-02-04 Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019025258A JP7159900B2 (ja) 2019-02-15 2019-02-15 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム

Publications (2)

Publication Number Publication Date
JP2020134220A true JP2020134220A (ja) 2020-08-31
JP7159900B2 JP7159900B2 (ja) 2022-10-25

Family

ID=72045504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019025258A Active JP7159900B2 (ja) 2019-02-15 2019-02-15 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム

Country Status (3)

Country Link
US (1) US12002237B2 (ja)
JP (1) JP7159900B2 (ja)
WO (1) WO2020166424A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496528A (zh) * 2021-09-07 2021-10-12 湖南众天云科技有限公司 固定交通路侧场景下视觉检测目标位置标定方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022157939A1 (ja) * 2021-01-22 2022-07-28
WO2022235453A1 (en) * 2021-05-07 2022-11-10 X Development Llc Identifying electrical phases of electric grid wires

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099915A1 (ja) * 2007-02-16 2008-08-21 Mitsubishi Electric Corporation 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2009229182A (ja) * 2008-03-21 2009-10-08 Acreeg Corp 画像上地物計測方法および表示法並びに計測装置
WO2011043275A1 (ja) * 2009-10-06 2011-04-14 株式会社 トプコン 3次元データ作成方法及び3次元データ作成装置
JP2015001791A (ja) * 2013-06-14 2015-01-05 株式会社ジオ技術研究所 画像解析装置
US20150016666A1 (en) * 2012-11-02 2015-01-15 Google Inc. Method and Apparatus for Determining Geolocation of Image Contents
WO2017141414A1 (ja) * 2016-02-19 2017-08-24 パイオニア株式会社 地物データ構造、制御装置、記憶装置、制御方法、プログラム及び記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0735546A (ja) 1993-07-19 1995-02-07 Nippon Telegr & Teleph Corp <Ntt> 屋外設備位置測量方法
JP6161071B2 (ja) 2013-10-15 2017-07-12 日本電信電話株式会社 設備状態検出方法およびその装置
JP6531051B2 (ja) 2016-02-29 2019-06-12 日本電信電話株式会社 設備状態検出方法および装置
WO2018031678A1 (en) * 2016-08-09 2018-02-15 Nauto Global Limited System and method for precision localization and mapping
CN108253940B (zh) * 2016-12-29 2020-09-22 东莞前沿技术研究院 定位方法及装置
US10217240B2 (en) * 2017-01-23 2019-02-26 Autonomous Fusion, Inc. Method and system to determine distance to an object in an image
US11080877B2 (en) * 2018-08-02 2021-08-03 Matthew B. Schoen Systems and methods of measuring an object in a scene of a captured image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099915A1 (ja) * 2007-02-16 2008-08-21 Mitsubishi Electric Corporation 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2009229182A (ja) * 2008-03-21 2009-10-08 Acreeg Corp 画像上地物計測方法および表示法並びに計測装置
WO2011043275A1 (ja) * 2009-10-06 2011-04-14 株式会社 トプコン 3次元データ作成方法及び3次元データ作成装置
US20150016666A1 (en) * 2012-11-02 2015-01-15 Google Inc. Method and Apparatus for Determining Geolocation of Image Contents
JP2015001791A (ja) * 2013-06-14 2015-01-05 株式会社ジオ技術研究所 画像解析装置
WO2017141414A1 (ja) * 2016-02-19 2017-08-24 パイオニア株式会社 地物データ構造、制御装置、記憶装置、制御方法、プログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496528A (zh) * 2021-09-07 2021-10-12 湖南众天云科技有限公司 固定交通路侧场景下视觉检测目标位置标定方法及装置

Also Published As

Publication number Publication date
JP7159900B2 (ja) 2022-10-25
US12002237B2 (en) 2024-06-04
WO2020166424A1 (ja) 2020-08-20
US20220148216A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
WO2020166424A1 (ja) 位置座標導出装置、位置座標導出方法、位置座標導出プログラム及びシステム
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Rashidi et al. Generating absolute-scale point cloud data of built infrastructure scenes using a monocular camera setting
WO2019067298A2 (en) EXTRINSIC CALIBRATION OF CAMERA SYSTEMS
JP2018124787A (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP2016527478A (ja) 三次元撮影装置、三次元画像の作成方法、および、三次元撮影装置の設定方法
KR101926953B1 (ko) 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
JP2019032218A (ja) 位置情報記録方法および装置
JP2010181919A (ja) 三次元形状特定装置、三次元形状特定方法、三次元形状特定プログラム
JP5396585B2 (ja) 地物特定方法
JP5563930B2 (ja) 非接触三次元計測装置及び非接触三次元計測方法
TWI697846B (zh) 物體辨識方法及其裝置
JP2011158386A (ja) 非接触三次元計測装置及び非接触三次元計測方法
CN109816712B (zh) 基于图像的边缘测量
JP4550081B2 (ja) 画像測定方法
JP2009104232A (ja) 車種判別装置
JP3910844B2 (ja) 新旧写真画像を用いた標定方法及び修正図化方法
JP2014178967A (ja) 3次元物体認識装置及び3次元物体認識方法
JPH1096607A (ja) 物体検出装置および平面推定方法
JPH10318715A (ja) 画像測定装置
JP7481468B2 (ja) ロボットシステム及び制御方法
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法
WO2023281797A1 (ja) 設備認識システム及び設備認識方法
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置
JP2019020218A (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7159900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150