JP2022134114A - 無人飛行体または航空機によって撮影した航空画像に基づいてhdマップを生成する方法およびシステム - Google Patents

無人飛行体または航空機によって撮影した航空画像に基づいてhdマップを生成する方法およびシステム Download PDF

Info

Publication number
JP2022134114A
JP2022134114A JP2022029310A JP2022029310A JP2022134114A JP 2022134114 A JP2022134114 A JP 2022134114A JP 2022029310 A JP2022029310 A JP 2022029310A JP 2022029310 A JP2022029310 A JP 2022029310A JP 2022134114 A JP2022134114 A JP 2022134114A
Authority
JP
Japan
Prior art keywords
dimensional position
aerial image
facility
target area
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022029310A
Other languages
English (en)
Other versions
JP7375066B2 (ja
Inventor
ヨイル ユン
Yeo-Yil Yoon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Labs Corp
Original Assignee
Naver Labs Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Labs Corp filed Critical Naver Labs Corp
Publication of JP2022134114A publication Critical patent/JP2022134114A/ja
Application granted granted Critical
Publication of JP7375066B2 publication Critical patent/JP7375066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/004Map manufacture or repair; Tear or ink or water resistant maps; Long-life maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

Figure 2022134114000001
【課題】同一対象領域を異なる視点から撮影した航空画像に基づいて該当の領域内の地点に対する3次元位置を得ることによって、対象領域のHDマップを生成する方法及びコンピュータシステムを提供する。
【解決手段】対象領域を眺める第1視点から対象領域を撮影した第1航空画像から基準図形を選択し、第1画像視点とは異なる第2視点から該当の対象領域を撮影した第2航空画像から基準図形に対応する対応図形を識別し、基準図形と対応図形を互いにマッチングさせることによって基準図形の3次元位置(高度または高度を含む3次元位置)を決定し、決定した3次元位置を用いて対象領域のHDマップを生成する方法を提供する。
【選択図】図1

Description

実施形態は、航空画像に基づいてHD(High Definition)マップを生成する方法に関し、より詳細には、同一対象領域を異なる視点から撮影した航空画像に基づいて該当の領域内の地点に対する3次元位置(例えば、高度または高度を含む3次元位置)を得ることによって、対象領域のHDマップを生成する方法に関する。
HD(High Definition)マップとは、自律走行などの分野において用いられる高精度地図であって、従来の地図よりも正確度が高い。例えば、HDマップには、道路、地形の高低、曲律のような対象領域の周辺環境情報が3次元で表現されており、従来の地図よりも10倍以上も正確度である。HDマップは、例えば、10cm未満の誤差が発生することがある。
HDマップは、道路を走行するMMS(Mobile Mapping System)車両が収集したデータや、地上で測量されたデータに基づいて生成される。これにより、HDマップは、MMSに搭載されたGPSの位置や海抜による誤差の影響を受ける上に、大規模の測量データを必要とするため、これに伴う費用が莫大であるという短所がある。
一方、整合された航空画像に基づいて生成された数値表層モデル(Digital Surface Model:DSM)と数値標高モデル(DigitalElevationModel:DEM)に基づいてトゥルーオルソ(True Ortho)画像を生成した後に、これに基づいてHDマップを生成する方法の場合にも、DSM、DEM、およびトゥルーオルソ画像を生成するときに発生する誤差がHDマップにも反映されるという問題があった。
特許文献1(公開日2020年8月7日)は、V2X情報融合技術によって取得した、各客体の深さ予測情報と各客体のクラス情報を利用して3D空間を再構築することによってHDマップをアップデートする学習方法および学習装置を開示している。
上述した情報は理解を助けるためのものに過ぎず、従来技術の一部を形成しない内容を含むこともある。
韓国公開特許第10-2020-0094644号公報
一実施形態は、同一対象領域を異なる視点から撮影した航空画像に基づいて対象領域に含まれた施設物の3次元位置(高度または高度を含む3次元位置)を決定し、決定された3次元位置に基づいて対象領域のHDマップを生成する方法を提供することを目的とする。
一実施形態は、対象領域を眺める第1視点(viewpoint)から対象領域を撮影した第1航空画像から選択された基準図形と第1画像視点とは異なる第2視点から対象領域を撮影した第2航空画像から識別された対応図形をマッチングさせることによって基準図形の3次元位置(高度または高度を含む3次元位置)を決定するツールを提供することを他の目的とする。
一側面によると、コンピュータシステムが実行する、航空画像に基づいてHD(High Definition)マップを生成する方法であって、対象領域を眺める第1視点(viewpoint)から前記対象領域を撮影した第1航空画像から基準図形を選択する段階、前記第1航空画像とは異なる第2視点から前記対象領域を撮影した第2航空画像から前記基準図形に対応する対応図形を識別する段階、前記基準図形と前記対応図形を互いにマッチングさせることによって前記基準図形の3次元位置を決定する段階、および前記決定された3次元位置を用いて前記対象領域のHDマップを生成する段階を含む、HDマップを生成する方法を提供する。
前記決定する段階は、前記第1視点に対応する前記第1航空画像を撮影したカメラの3次元位置と撮影方向、前記第2視点に対応する前記第2航空画像を撮影したカメラの3次元位置と撮影方向、前記第1視点から前記基準図形に対する第1角度、および前記第2視点から前記対応図形に対する第2角度に基づく三角測量法により、前記基準図形の高度を含む3次元位置を決定してよい。
前記基準図形は、前記第1航空画像の前記対象領域内に含まれた施設物のうちのいずれか1つの施設物の頂点を含むか、前記頂点と前記1つの施設物の他の頂点または前記施設物のうちの他の施設物の頂点とを連結した線である基準線を含んでよい。
前記選択する段階は、前記第1航空画像の前記対象領域内に含まれた施設物のうちから基準施設物を選択する段階、および前記基準施設物と交差する少なくとも1つのガイドラインとして前記基準線を選択する段階を含み、前記識別する段階は、前記第2航空画像から前記ガイドラインに対応する対応線を前記対応図形として識別し、前記決定する段階は、前記ガイドラインと前記対応線をマッチングさせることによって前記ガイドラインの3次元位置を決定する段階、および前記ガイドラインの3次元位置に基づいて前記ガイドラインと前記基準施設物が交差する地点の3次元位置を決定する段階を含んでよい。
前記基準施設物は、前記対象領域内の道路の中央線であり、前記ガイドラインは、前記中央線を中心に位置する2本の車線の各車線の頂点を連結した線であってよい。
前記選択する段階は、前記第1航空画像の前記対象領域内に含まれた施設物のうち基準施設物の頂点を連結する線を前記基準線として選択し、前記識別する段階は、前記第2航空画像から前記基準線に対応する対応線を前記対応図形として識別し、前記決定する段階は、前記基準線と前記対応線をマッチングさせることによって、前記ベースラインの3次元位置を決定してよい。
前記HDマップを生成する方法は、前記基準施設物の3次元位置を決定する段階、および前記基準施設物の3次元位置を基準に、前記基準施設物周辺の少なくとも1つの周辺施設物の3次元位置を決定する段階をさらに含んでよい。
前記周辺施設物の3次元位置を決定する段階は、前記基準施設物と前記周辺施設物との間に存在する勾配(gradient)によって前記基準施設物の3次元位置に対応する高度値を調整する段階、および前記調整された高度値に基づいて前記周辺施設物の3次元位置を決定する段階を含んでよい。
前記基準施設物は、前記対象領域内の道路の中央線であり、前記周辺施設物は、前記中央線を中心に位置する車線それぞれであってよい。
前記HDマップを生成する方法は、前記決定された3次元位置に基づいて前記基準図形を含む前記対象領域内の施設物の3次元位置を決定する段階をさらに含み、前記施設物の3次元位置は、前記決定された基準図形の3次元位置に基づく補間法(interpolaration)によって前記施設物を構成する地点の3次元位置を計算することによって決定されてよい。
前記決定する段階は、前記選択された基準図形を含む前記第1航空画像または前記選択された基準図形を前記第2航空画像に投影(projection)する段階、投影した前記基準図形と前記第2航空画像から前記識別された対応図形が一致するように前記基準図形を移動させる段階、および前記識別された対応図形と前記基準図形が一致するときに該当する前記基準図形の高度値を前記基準図形の3次元位置として決定する段階を含んでよい。
前記決定する段階は、前記基準図形の移動によって移動した位置に対応する高度値を出力する段階を含み、前記識別された対応図形と前記基準図形が一致するときに出力される高度値を前記基準図形の3次元位置として決定してよい。
前記移動する基準図形は、前記基準図形に対応するレイヤであってよい。
前記HDマップを生成する方法は、前記決定された3次元位置を用いて前記対象領域に対する数値表層モデル(Digital Surface Model:DSM)と数値標高モデル(Digital Elevation Model:DEM)のうちの少なくとも1つを生成する段階をさらに含んでよい。
前記HDマップを生成する方法は、前記生成されたDSMおよびDEMに基づいて前記対象領域のトゥルーオルソ(True Ortho)画像を生成する段階をさらに含んでよい。
他の一側面によると、コンピュータシステムであって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、対象領域を眺める第1視点から前記対象領域を撮影した第1航空画像から基準図形を選択し、前記第1航空画像とは異なる第2視点(viewpoint)から前記対象領域を撮影した第2航空画像から前記基準図形に対応する対応図形を識別し、前記基準図形と前記対応図形を互いにマッチングさせることによって前記基準図形の3次元位置を決定し、前記決定された3次元位置を用いて前記対象領域のHDマップを生成する、コンピュータシステムを提供する。
異なる視点から対象領域を撮影した航空画像から、航空画像に含まれた施設物(ら)の3次元位置(高度または高度を含む3次元位置)を決定することで、DSMやDEMを生成する過程を経なくても対象領域のHDマップを生成することができる。また、航空画像を用いてHDマップを生成するため、莫大な測量作業やMMS車両によるデータ取得作業が不要となる。
異なる視点から対象領域を撮影した航空画像を活用することにより、特定の航空画像では隠れていた施設物に対しても、高度を含んだ3次元位置を正確に決定することができる。
一実施形態における、同一対象領域を異なる視点から撮影した航空画像に基づいて対象領域に含まれた施設物の3次元位置(高度または高度を含む3次元位置)を決定し、HDマップを生成する方法を示した図である。 一実施形態における、航空画像に基づいてHDマップを生成するコンピュータシステムの構造を示したブロック図である。 一実施形態における、同一対象領域を異なる視点から撮影した航空画像に基づいて対象領域に含まれた施設物の3次元位置(高度または高度を含む3次元位置)を決定し、HDマップを生成する方法を示したフローチャートである。 一例における、第1航空写真からガイドラインを選択し、ガイドラインの3次元位置(高度または高度を含む3次元位置)を決定することによって基準施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示したフローチャートである。 一例における、第1航空写真からガイドラインを選択し、ガイドラインの3次元位置(高度または高度を含む3次元位置)を決定することによって基準施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示したフローチャートである。 一例における、基準施設物の高度に基づいて周辺施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示したフローチャートである。 一例における、第1航空画像から選択された基準図形と第2航空画像から識別された対応図形をマッチングさせることにより、基準図形の3次元位置(高度または高度を含む3次元位置)を決定する方法を示したフローチャートである。 一例における、決定された高度によって対象領域のDSMとDEMを生成し、さらに対象領域のトゥルーオルソ画像を生成する方法を示した図である。 一例における、第1航空画像から選択された基準図形と第2航空画像から識別された対応図形をマッチングさせることにより、基準図形の3次元位置(高度または高度を含む3次元位置)を決定する方法を示した図である。 一例における、第1航空写真からガイドラインを選択し、ガイドラインの3次元位置(高度または高度を含む3次元位置)を決定することによって基準施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示した図である。 一例における、基準施設物の高度に基づいて周辺施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示している。
以下、添付の図面を参照しながら、実施形態について詳しく説明する。各図面に提示された同一の参照符号は、同一の部材を示す。
以下で説明する図面と詳細な説明に記載される「高度」および「高度の決定」は、「3次元位置」および「3次元位置の決定」に置き換えてもよい。
図1は、一実施形態における、同一対象領域を異なる視点から撮影した航空画像に基づいて対象領域に含まれた施設物の3次元位置(高度または高度を含む3次元位置)を決定してHDマップを生成する方法を示した図である。
図1を参照しながら、対象地の少なくとも一部に該当する対象領域30のHD(High Definition)マップ50を作成する方法について説明する。HDマップ50とは、高精密地図であって、従来の地図よりも正確度の高い地図であってよい。例えば、HDマップ50には、図に示すように、道路、地形の高低、曲律のような対象領域30の周辺環境情報が3次元で表現されてよい。すなわち、HDマップ50には、対象領域30内に含まれた施設物に関する情報が3次元で表現されていてよい。対象領域30内に含まれた施設物は、例えば、道路、道路に含まれる(引かれた)中央線、および道路に含まれる(引かれた)車線を含んでよい。HDマップ50は、例えば、自律走行車が対象領域30を自律走行するときに使用する地図を含んでよい。
対象領域30は、HDマップ50の構築のために作業者に分配された領域であってよい。
実施形態では、コンピュータシステム(以下、図2のコンピュータシステム100)が対象領域30を撮影した航空画像10、20を用いて対象領域30内の施設物の3次元位置(高度または高度を含む3次元位置)を決定し、決定された施設物の3次元位置に基づいて対象領域30のHDマップ50を生成する。
施設物(または、特定の地点)の「高度」は、標高(altitudeまたはelevation)であってよい。または、「高度」は、該当の施設物(または、特定の地点)の絶対高さを示してよい。または、「高度」は、該当の施設物(または、特定の地点)の所定の基準に対するデブス(depth)情報を示してよい。このときの基準は、海水面または地面であってよい。
本開示で説明する特定の地点の3次元位置は、特定の地点の高度を意味するか、特定の地点の高度を含む3次元位置(例えば、高度および水平座標を含む3次元座標)を意味してよい。
コンピュータシステム100は、対象領域30を撮影した第1航空画像10と、第1航空画像10とは異なる視点から対象領域30を撮影した第2航空画像20を用いて、対象領域30と関連する3次元位置または高度(すなわち、対象領域30に含まれた施設物(または、特定の地点)の3次元位置または高度)を決定してよい。第1航空画像10と第2航空画像20は、整合された画像であってよい。すなわち、第1航空画像10と第2航空画像20は、姿勢が確定された画像であってよい。本開示で記載する画像は、画像またはイメージを含んでよい。
第1航空画像10と第2航空画像20は、対象領域30を含む対象地を飛行するドローンのような無人飛行体または(指標撮影用)航空機によって撮影された画像、または前記撮影された画像が整合された画像であってよい。
例えば、コンピュータシステム100は、第1航空画像10の対象領域30と第2航空画像20の対象領域30から同一地点を指定し、該当の地点の正確な3次元位置を特定してよい。一例として、コンピュータシステム100は、三角測量法によって該当の地点の正確な3次元位置を特定してよい。
コンピュータシステム100は、図化機が航空写真に基づいて特定の地点の高度(高さ)を計算したり、等高線をフローティングするための地点の高度を計算したりするのと同じような方式により、対象領域30の地点に対する3次元位置(高度または高度を含む3次元位置)を決定してよい。
コンピュータシステム100が対象領域30の地点に対する3次元位置(高度または高度を含む3次元位置)を決定するより具体的な方法については、図2~図11を参照しながらさらに詳しく説明する。
図2は、一実施形態における、航空画像に基づいてHDマップを生成するコンピュータシステムの構造を示したブロック図である。
以下で説明する実施形態に係る、対象領域30の3次元位置を決定してHD地図50を生成する方法を実行するコンピュータシステム100は、図2に示した構造のコンピュータシステム100で実現されてよい。
コンピュータシステム100は、対象領域30の3次元位置を決定してHDマップ50を生成する方法を実行するプログラムを実行するためのシステムであってよい。このようなプログラムは、コンピュータシステム100に搭載されてよい。
コンピュータシステム100は、HDマップ50を生成するための作業を処理するユーザが使用するクライアント端末であってよい。コンピュータシステム100は、3次元位置を決定してHDマップ50を生成する方法を実行するプログラムをインストールして実行することのできる電子装置であってよい。例えば、コンピュータシステム100は、PC(personal computer)、ノート型PC(laptop computer)、ラップトップコンピュータ(laptop computer)、スマートフォン、タブレット(tablet)、IOT(Internet Of Things)機器、またはウェアラブルコンピュータ(wearable computer)などであってよい。
図2で示すように、コンピュータシステム100は、構成要素として、メモリ110、プロセッサ120、通信インタフェース130、および入力/出力インタフェース140を含んでよい。
メモリ110は、コンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ROMやディスクドライブのような永続的大容量記録装置は、メモリ110とは区分される別の永続的記録装置としてコンピュータ装置100に含まれてもよい。また、メモリ110には、オペレーティングシステムと、少なくとも1つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ110とは別のコンピュータ読み取り可能な記録媒体からメモリ110にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース130を通じてメモリ110にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク160を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータシステム100のメモリ110にロードされてよい。
プロセッサ120は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ110または通信インタフェース130によって、プロセッサ120に提供されてよい。例えば、プロセッサ120は、メモリ110のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信インタフェース130は、ネットワーク160を介してコンピュータシステム100が他の電子機器と互いに通信するための機能を提供してよい。一例として、コンピュータシステム100のプロセッサ120がメモリ110のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース130の制御にしたがってネットワーク160を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク160を介してコンピュータシステム100の通信インタフェース130を通じてコンピュータシステム100に受信されてよい。通信インタフェース130を通じて受信された信号や命令、データなどは、プロセッサ120やメモリ110に伝達されてよく、ファイルなどは、コンピュータ装置100がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
通信インタフェース130による通信方式が限定されることはなく、ネットワーク160が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク160は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク160は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
入力/出力インタフェース140は、入力/出力装置150とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、カメラ、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカなどのような装置を含んでよい。他の例として、入力/出力インタフェース140は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置150は、コンピュータシステム100と1つの装置で構成されてもよい。
また、他の実施形態において、コンピュータシステム100は、図2の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータシステム100は、上述した入力/出力装置150のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。
コンピュータシステム100のプロセッサ120は、以下で説明するような、航空画像10、20に基づいて対象領域30に含まれた施設物の3次元位置(高度または高度を含む3次元位置)を決定してHDマップ50を生成する方法を実行するための段階を実行するように構成されてよい。
一方、コンピュータシステム100は、HDマップ50を生成するための作業を処理するユーザが使用するクライアント端末と通信するサーバであってもよい。すなわち、以下で説明するような、航空画像10、20に基づいて対象領域30に含まれた施設物の3次元位置(高度または高度を含む3次元位置)を決定してHDマップ50を生成する方法を実行するための段階は、クライアント端末と通信するサーバであるコンピュータシステム100によって実行されてもよい。
または、以下で説明するような、航空画像10、20に基づいて対象領域30に含まれた施設物の3次元位置(高度または高度を含む3次元位置)を決定してHDマップ50を生成する方法を実行するための段階のうちの少なくとも一部がサーバで実行されるように、クライアント端末およびサーバが構成されてもよい。
以下の詳細な説明では、説明の便宜上、(サーバおよび/またはクライアント端末のうちのどちらにも対応可能)上述した段階がコンピュータシステム100によって実行されるものとして説明する。
一方、コンピュータシステム100のプロセッサ120または他の構成によって実行される動作や、プロセッサ120が実行するアプリケーション/プログラムによって実行される動作は、説明の便宜上、コンピュータシステム100によって実行される動作であるとして説明する。
以上、図1を参照しながら説明した技術的特徴は、図2に対してもそのまま適用可能であるため、重複する説明は省略する。
図3は、一実施形態における、同一対象領域を異なる視点から撮影した航空画像に基づいて対象領域に含まれた施設物の3次元位置(高度または高度を含む3次元位置)を決定してHDマップを生成する方法を示したフローチャートである。
段階310で、コンピュータシステム100は、対象領域30を撮影した第1航空画像10を取得してよい。第1航空画像10は、対象領域30を含む対象地を飛行するドローンのような無人飛行体や(指標撮影用の)航空機によって撮影した画像、または前記撮影された画像が整合された画像であってよい。例えば、第1航空画像10は、整合された画像として姿勢が確定された画像であってよい。一例として、第1航空画像10は、地表面を垂直方向から撮影した画像に対応してよい。または、第1航空画像10は、垂直に、または作業者が対象領域を識別したり作業したりするのが容易な任意の方向から(すなわち、視点から)撮影した画像に対応してよい。
コンピュータシステム100は、保存済みの第1航空画像10をロードすることによって第1航空画像10を取得してよい。対象地を飛行するドローンや無人飛行体は、所定の重複度をもって対象地を撮影してよく、このような重複度のある画像を整合することによって第1航空画像10が決定されてよい。第1航空画像10は、対象領域30が撮影された画像のうち、対象領域30を(出来るだけ)垂直に眺める第1視点(viewpoint)から対象領域30を撮影したものであってよい。言い換えれば、第1航空画像10は、対象領域30が撮影された画像が対象領域30を最も垂直に近くなるように撮影されたものであってよい。
段階320で、コンピュータシステム100は、対象領域30を眺める前記第1視点から対象領域30を撮影した第1航空画像10から基準図形を選択してよい。例えば、ユーザは、画面に表示された第1航空画像10の対象領域30部分から(例えば、基準図形の3次元位置(高度または高度を含む3次元位置)を決定するためのツール(tool)が提供するユーザインタフェースを利用して)基準図形を選択してよく、このようなユーザ入力にしたがい、コンピュータシステム100は基準図形を選択してよい。基準図形は、対象領域30内から選択される点、線、および面(閉曲線または多角形)のうちの少なくとも1つを含んでよい。対象領域30内において、基準図形は、高度値を決定するための対象となってよい。
基準図形は、第1航空画像10の対象領域30内に含まれた施設物のうちのいずれか1つの施設物の頂点を含んでよく、または/追加で、前記頂点と前記1つの施設物の他の頂点または前記施設物のうちの他の施設物の頂点とを連結した線である基準線を含んでよい。対象領域30内に含まれた施設物それぞれは、例えば、道路、道路に含まれる(引かれた)中央線、および道路に含まれる(引かれた)車線を含んでよい。または、施設物は、対象領域30内に含まれるいかなる地物であってよい。
選択された基準図形は、第1航空画像10の他の部分とは視覚的に区別されてよい。
段階330で、コンピュータシステム100は、対象領域30を撮影した第2航空画像20を取得してよい。第2航空画像20および第2航空画像20の取得については、第1航空画像10に関する類似の説明がそのまま適用可能であるため、重複する説明は省略する。ただし、第2航空画像20は、第1航空画像10とは異なる第2視点から対象領域30を撮影したものであってよい。言い換えれば、第1航空画像10と第2航空画像20は、視点が異なる画像であってよい。例えば、第1航空画像10は、対象領域30を垂直に(または、最も垂直に近くなるように)撮影したものであるのに比べ、第2航空画像20は、対象領域30を垂直でない他の角度から撮影したものであってよい。
コンピュータシステム100は、保存済みの第2航空画像20をロードすることによって第2航空画像20を取得してよい。このとき、第1航空画像10がロードされるか第1航空画像10から基準図形が選択されたとき、コンピュータシステム100は、適切な第2航空画像20を自動で検索してロードしてよい。例えば、コンピュータシステム100は、一例として、整合画像である第1航空画像10と第2航空画像20が含む座標値の比較(または、選択された基準図形の座標値と第2航空画像20の座標値の比較)に基づいて、第1航空画像10と同一対象領域30を撮影した第2航空画像20を検索してロードしてよい。
第2航空画像20は複数であってよい。第2航空画像20は、第1航空画像10がメインとなって画面に表示される場合にはサムネイルで表示されてよく、該当のサムネイルが選択される場合には、第2航空画像20がメインとなって画面に表示されてよい。このとき、第1航空画像10は、サムネイルで表示されてよい。または、第2航空画像20は、第1航空画像10と同じ大きさで画面に並べられてもよい。
第1航空画像10はマスター(master)画像、第2航空画像20はスレーブ(slave)画像に該当してよい。
段階340で、コンピュータシステム100は、第1航空画像10とは異なる第2視点から対象領域30を撮影した第2航空画像20から、第1航空画像10で選択された基準図形に対応する対応図形を識別してよい。対応図形は、第1航空画像10の基準図形にマッチングされる第2航空画像20の一部分であってよい。
対応図形は、第2航空画像20から自動で識別されてよい。例えば、コンピュータシステム100は、第1航空画像10と第2航空画像20を比べ(一例として整合画像である第1航空画像10と第2航空画像20が含む座標値の比較基準図形の形態(形状または色など)と第2航空画像20の比較に基づいて)、基準図形に対応する対応図形を識別してよい。
または、対応図形は、第2航空画像の対象領域30部分から(例えば、ツール(tool)が提供するユーザインタフェースを利用した)ユーザの選択にしたがって識別されてよい。例えば、ユーザは、画面に表示された第1航空画像10と第2航空画像20を比べ、第1航空画像10の基準図形に対応する第2航空画像20の部分を認識して対応図形として選択してよく、このようなユーザ入力にしたがい、コンピュータシステム100は対応図形を識別してよい。
対応図形は、対応する基準図形に基づいて、線および面(閉曲線または多角形)のうちの少なくとも1つを含むようになってよい。対応図形は、基準図形の3次元位置(高度値)を決定するための比較の対象となってよい。
第1視点は、第1航空画像10を撮影したカメラの3次元位置(例えば、3次元座標(x、y、z))と撮影方向(カメラの撮影角度(ヨー、ロール、ピッチ))を含んでよい。同じように、第2視点は、第2航空画像20を撮影したカメラの3次元位置(例えば、3次元座標(x、y、z))と撮影方向(カメラの撮影角度(ヨー、ロール、ピッチ))を含んでよい。
段階350で、コンピュータシステム100は、第1航空画像10の基準図形と第2航空画像20の対応図形を互いにマッチングさせることにより、基準図形の3次元位置(高度または高度を含む3次元位置)を決定してよい。
以下では、第1航空画像10の基準図形と第2航空画像20の対応図形を互いにマッチングさせることによって基準図形の3次元位置(高度または高度を含む3次元位置)を決定する方法についてさらに詳しく説明する。
コンピュータシステム100は、第1航空画像10の対象領域30と第2航空画像20の対象領域30で同一領域に該当する(点、線、および面のうちの少なくとも1つで構成される)基準図形とそこに対応する対応図形を指定し、該当の領域(すなわち、基準図形)の正確な3次元位置を特定してよい。例えば、コンピュータシステム100は、三角測量法によって該当の地点の正確な3次元位置を特定してよい。また、コンピュータシステム100は、図化機が航空写真に基づいて特定の地点の高度(高さ)を計算したり、等高線をフローティングするための地点の高度を計算したりするのと類似の方式により、対象領域30の基準図形に対する3次元位置(高度または高度を含む3次元位置)を決定してよい。
一例として、コンピュータシステム100は、(画像整合過程によって)基地の値となった第1視点に対応する第1航空画像10を撮影したカメラの3次元位置と撮影方向と、第2視点に対応する第2航空画像20を撮影したカメラの3次元位置と撮影方向に基づいて、第1航空画像10および第2航空画像20で共通する対象領域の地点の3次元位置を決定してよい。3次元位置の決定には、前記カメラの情報として、カメラの焦点距離情報、主点(principal point)情報がさらに利用されてよい。
整合過程を経ながら第1航空画像10および第2航空画像20を撮影したカメラの3次元位置(x、y、z)とその撮影方向(ヨー、ロール、ピッチ)がそれぞれ決定されたとき、それぞれの画像に共通して含まれる一地点を眺める2本の線分が決定されてよく、これらの線分の交点を計算することによって前記地点の3次元位置が決定されてよい。
第1航空画像10の撮影高度と第2航空画像20の撮影高度は同じであってよい。上述した方法により、コンピュータシステム100は、第1航空画像10から基準図形が選択されて第2航空画像20から対応する対応図形が識別されることにより、基準図形と対応図形を互いにマッチングさせることによって基準図形の3次元位置(高度または高度を含む3次元位置)を決定してよい。基準図形と対応図形の「マッチング」とは、第1航空画像10と第2航空画像20の比較、および/または上述した3次元位置(高度または高度を含む3次元位置)を決定(計算)するための演算を包括したものを意味してよい。
または、コンピュータシステム100は、第1航空画像10の第1視点と第2航空画像20の第2視点の視差(例えば、第1視点が示すカメラの3次元位置と第2視点が示すカメラの3次元位置の差)、第1視点から基準図形に対する第1角度、および第2視点から対応図形に対する第2角度に基づく三角測量法により、基準図形の3次元位置(高度または高度を含む3次元位置)を決定してよい。すなわち、コンピュータシステム100は、基準図形と対応図形をマッチング(一致)させ、三角測量法によって基準図形の3次元位置を正確に特定してよい。
このとき、第1航空画像10と第2航空画像20は整合された画像であって、上述したように、各画像は、画像が撮影されたカメラの3次元位置および撮影方向(表情)を含んでいてよい。言い換えれば、第1航空画像10と第2航空画像20は、それぞれの画像が撮影された視点(viewpoint)に関する情報として、画像が撮影された地点のカメラの3次元の座標情報および回転情報(カメラのヨー、ロール、ピッチなど)を含んでよい。
具体的に、コンピュータシステム100は、第1視点に対応する第1航空画像10を撮影したカメラの3次元位置と撮影方向、第2視点に対応する第2航空画像20を撮影したカメラの3次元位置と撮影方向、第1視点(すなわち、第1航空画像10を撮影したカメラの3次元位置)から基準図形に対する第1角度、および第2視点(すなわち、第2航空画像20を撮影したカメラの3次元位置)から対応図形に対する第2角度に基づいた三角測量法により、基準図形の高度を含む3次元位置を決定してよい。
上述した方法により、コンピュータシステム100は、第1航空画像10から基準図形が選択され、第2航空画像20から対応する対応図形が識別され、基準図形と対応図形を互いにマッチング(一致)させることにより、三角測量法によって基準図形の3次元位置(高度または高度を含む3次元位置)を決定してよい。
段階350で、コンピュータシステム100は、3次元位置(高度または高度を含む3次元位置)に基づいて、基準図形を含む対象領域30内の施設物の3次元位置を決定してよい。このような施設物の3次元位置は、決定された基準図形の3次元位置に基づく補間法(interpolaration)により、施設物を構成する地点(例えば、頂点間の地点と角間の地点)3次元位置が計算されることによって決定されてよい。
一方、予め設定された基準高度が用いられる場合、コンピュータシステム100は、第1航空画像10(すなわち、1つの航空画像)だけを用いて対象領域内の地点の3次元位置を決定してよい。予め設定された基準高度は、第1航空画像10または第2航空画像20内の一地点の高度値(例えば、標高)であってよい。または、このような基準高度は、基準図形の3次元位置(高度または高度を含む3次元位置)を決定してHDマップを生成するために利用されるプログラム(例えば、上述したツール)で設定された基準高度値であってよい。基準高度は、第1航空画像10または第2航空画像20と関連する周辺高度値として、段階350で決定される高度は、このような基準高度を基準とした値となってよい。
例えば、コンピュータシステム100は、第1視点に対応する第1航空画像10を撮影したカメラの3次元位置と撮影方向、第1視点からの基準図形に対する第1角度、および予め設定された基準高度に基づいて該当の基準図形の高度を決定してよい。また、コンピュータシステム100は、決定された高度に基づいて基準図形に対する水平座標を決定することにより、基準図形の3次元位置を決定してよい。
上述した(三角測量法などによって)決定された基準図形の3次元位置は、基準図形の高度だけでなく水平座標を含んでよい。言い換えれば、実施形態では、画像を撮影したカメラの3次元位置と撮影方向が確定された航空画像を用いて基準図形の3次元位置が決定されるため、このような3次元位置は、高度の決定と同時に水平座標も決定することができる。
段階360で、コンピュータシステム100は、段階350で決定された基準図形の3次元位置を用いて対象領域30のHDマップ50を生成してよい。すなわち、コンピュータシステム100は、段階350で、対象領域30に含まれた施設物に対する正確な高度(高さ)を特定してよく、これを施設物の高さ情報として使用してHDマップ50を生成してよい。例えば、実施形態では、決定された高度値を連結することによって決定される車線などの施設物を含むHDマップ50が生成されてよい。HDマップ50の生成には、上述した航空画像に含まれた情報がさらに使用されてよい。
したがって、実施形態によると、(整合された)航空画像に基づくことにより、DSMやDEMを生成する過程を実行しなくても、対象領域30のHDマップ50を直ぐに生成することができる。したがって、実施形態によると、DSMおよびDEMによってHDマップ50を生成するときに発生し得る地形歪曲の問題や、航空写真での隠れた施設物の高さ歪曲の問題を解決することができる。
実施形態によると、対象領域30内の中央線または車線などのような施設物の高さを正確に特定することができるため、このような施設物の高さ情報が正確に反映されたHDマップ50を生成することができる。
また、複数の航空画像(すなわち、対象領域30を異なる視点から撮影した航空画像)を活用することにより、1つの航空画像では(並木、車両、影などによって)隠れていた施設物の高さも、他の航空画像を活用して正確に特定することができる。
以上、図1および図2を参照しながら説明した技術的特徴は、図3に対してもそのまま適用可能であるため、重複する説明は省略する。
図4および図5は、一例における、第1航空写真からガイドラインを選択し、ガイドラインの3次元位置(高度または高度を含む3次元位置)を決定することによって基準施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示したフローチャートである。
図4および図5を参照しながら、対象領域30内の基準施設物に該当する施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法についてさらに詳しく説明する。
段階410で、コンピュータシステム100は、第1航空画像10の対象領域30内に含まれた施設物のうちから基準施設物を選択してよい。例えば、ユーザは、画面に表示された対象領域30部分から(例えば、ツール(tool)が提供するユーザインタフェースを利用して)基準施設物を選択してよく、このようなユーザ入力にしたがい、コンピュータシステム100は基準施設物を選択してよい。
段階420で、コンピュータシステム100は、基準施設物と交差する少なくとも1つのガイドラインを選択してよい。例えば、ユーザは、画面に表示された対象領域30部分から(例えば、ツール(tool)が提供するユーザインタフェースを利用して)基準施設物と交差する少なくとも1つのガイドラインを選択してよく、このようなユーザ入力にしたがい、コンピュータシステム100はガイドラインを選択してよい。
選択された「ガイドライン」それぞれは、上述した基準図形に該当してよい。言い換えれば、ガイドラインそれぞれは、ある施設物の頂点と該当の施設物の他の頂点または施設物のうちの他の施設物の頂点とを連結した線に該当する、上述した基準線であってよい。
コンピュータシステム100は、基準図形であるガイドラインの3次元位置(高度または高度を含む3次元位置)を決定してよい。
このとき、上述した段階340で、コンピュータシステム100は、第2航空画像20からガイドラインに対応する対応線を対応図形として識別してよい。
段階510で、コンピュータシステム100は、第1航空画像10のガイドラインと第2航空画像20の対応線をマッチングさせることにより、ガイドラインの3次元位置(高度または高度を含む3次元位置)を決定してよい。ガイドラインの3次元位置(高度または高度を含む3次元位置)を決定する方法としては、上述した基準図形の3次元位置(高度または高度を含む3次元位置)を決定する方法がそのまま適用可能であるため、重複する説明は省略する。
段階520で、コンピュータシステム100は、決定されたガイドラインの3次元位置に基づいて、ガイドラインと基準施設物が交差する地点の3次元位置(高度または高度を含む3次元位置)を決定してよい。例えば、コンピュータシステム100は、決定されたガイドラインの高度と同じ高度値を、ガイドラインと基準施設物が交差する地点の高度として決定してよい。または、コンピュータシステム100は、ガイドラインの両終点の高度が異なる場合、補間法(interpolaration)によってガイドラインと基準施設物が交差する地点の高度を決定してよい。
段階510、520で説明したガイドラインの高度決定方法を使用することにより、頂点を含まない(すなわち、第1航空画像10と第2航空画像20のマッチングが困難な)施設物の高度や3次元位置も正確に決定することができる。
一例として、上述した基準施設物は、対象領域30内の道路の中央線であり、ガイドラインは、中央線を中心に位置する2本の車線の各車線の頂点を連結した線であってよい。
これに関して、図10は、一例における、第1航空写真10からガイドライン1020-1~1020-3を選択し、ガイドライン1020-1~1020-3の3次元位置(高度または高度を含む3次元位置)を決定することによって基準施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示している。
図10に表示された中央線1010は、上述した基準施設物に対応し、ガイドライン1020-1~1020-3は、上述したガイドラインに対応してよい。図に示すように、ガイドライン1020-1~1020-3それぞれは、中央線1010と交差し、中央線1010を中心とした車線の頂点を連結することによって選択されてよい。
段階510、520により、ガイドライン1020-1~1020-3と中央線1010が交差する地点の高度が決定されてよい。コンピュータシステム100は、このように決定された交差する地点の高度値を用いて、補間法により、中央線1010の残りの地点の3次元位置(高度または高度を含む3次元位置)を決定してよい。
ユーザは、上述したツールを利用して、画面に表示された第1航空画像1000から中央線1010を選択(すなわち、ドローイング)してよく、その後、中央線1010と交差するガイドライン1020-1~1020-3それぞれを選択してよい。このようなガイドライン1020-1~1020-3それぞれは基準図形として選択され、3次元位置が決定されてよい。
一方、ロードされた第2航空画像20では、ガイドライン1020-1~1020-3それぞれに対応する対応線と中央線1010に対応する客体が識別されてよく、コンピュータシステム100は、対応線とガイドライン1020-1~1020-3をマッチングさせることにより、ガイドライン1020-1~1020-3それぞれの3次元位置(高度または高度を含む3次元位置)を決定してよい。
一方、以下では、ガイドラインを用いずに基準施設物の3次元位置(高度または高度を含む3次元位置)を決定する例について説明する。基準施設物が頂点(ら)を含む施設物の場合、ガイドラインを用いなくても、基準施設物の3次元位置を正確に決定することができる。
すなわち、上述した段階320で、コンピュータシステム100は、第1航空画像10の対象領域30内に含まれた施設物のうち基準施設物の頂点を連結する線を(上述した基準図形に該当する)基準線として選択してよい。上述した段階340で、コンピュータシステム100は、第2航空画像20から前記ベースラインに対応する対応線を対応図形として識別してよい。上述した段階350で、コンピュータシステム100は、基準線と対応線をマッチングさせることにより、基準線の3次元位置(高度または高度を含む3次元位置)を決定してよい。決定された基準線の3次元位置に基づいて、基準施設物の3次元位置が決定されてよい。
このように、3次元位置(高度または高度を含む3次元位置)を決定しようとする施設物の特性(例えば、頂点を含むかどうか)によってガイドラインを使用するか使用せずに、施設物の3次元位置を決定することができる。
以上、図1~3を参照しながら説明した技術的特徴は、図4、図5、および図10に対してもそのまま適用可能であるため、重複する説明は省略する。
図6は、一例における、基準施設物の高度に基づいて周辺施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示したフローチャートである。
以下、図3の段階352、354と図6の段階610、620を参照しながら、周辺施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法について説明する。
図3に示した段階352のように、コンピュータシステム100は、(図4、図5、および図10を参照しながら説明した方法によって)基準施設物の3次元位置(高度または高度を含む3次元位置)を決定してよい。
段階354に示すように、コンピュータシステム100は、基準施設物の3次元位置を基準に、前記基準施設物周辺の少なくとも1つの周辺施設物の3次元位置(高度または高度を含む3次元位置)を決定してよい。
一例として、基準施設物は、対象領域30内の道路の中央線であり、周辺施設物は、中央線を中心に位置する車線それぞれであってよい。または、周辺施設物は、基準施設物周りの施設物として、航空画像で少なくとも一部が隠れている施設物を含んでよい。
基準施設物と周辺施設物との間に(傾斜)勾配がないと仮定される場合(例えば、上述したツールから関連するオプションが選択される場合)、周辺施設物の高度は、基準施設物の高度と同じであると決定されてよい。例えば、中央線と両横の車線は、高度が互いに同じであると仮定されてよい。このとき、高度が互いに同じであれば、第1航空画像10で該当の周辺施設物の位置を特定するだけでも該当の周辺施設物の3次元位置を確定することができ、第2航空画像20に投影した図形(周辺施設物に該当する図形)と第2航空画像20に表示された該当の周辺施設物の位置が一致すれば、第2航空画像20で追加の位置確認が不要となる。第2航空画像20に投影した図形と第2航空画像20に表示された該当の周辺施設物の位置が一致しなければ、第2航空画像20で投影図形の位置を第2航空画像20上の施設物の位置に調整することにより、投影図形に対応する施設物の高度を確定してよい。
一方、段階610で、コンピュータシステム100は、基準施設物と周辺施設物との間に存在する勾配(gradient)により、(周辺施設物の高度値となる)基準施設物の高度に対応する高度値を調整してよい。
段階620で、コンピュータシステム100は、調整された高度値に基づいて周辺施設物の3次元位置(高度または高度を含む3次元位置)を決定してよい。勾配に該当する高度値は、上述したツールが提供するユーザインタフェースを利用したユーザ入力にしたがって調節されてよい。また、コンピュータシステム100は、対象領域30に対する基地の地形情報によって前記高度値を自動で調節してもよい。
これに関し、図11は、一例における、基準施設物の3次元位置に基づいて周辺施設物の3次元位置(高度または高度を含む3次元位置)を決定する方法を示している。
図に示す例において、中央線1010は、上述した基準施設物に対応し、ガイドライン1020-1~1020-3は、上述したガイドラインに対応してよい。一方、車線1110は、中央線1010の周辺に位置する施設物であって、上述した周辺施設物に対応してよい。
コンピュータシステム100は、道路の場合には勾配がないと仮定し、車線1110の高度と中央線1010の高度が同じであると決定してよい。または、コンピュータシステム100は、ユーザまたは地形情報によって設定される勾配に基づいて中央線1010の高度を調節して、車線1110の高度を決定してよい。
したがって、実施形態によると、基準施設物の3次元位置を決定するだけで、周辺施設物の3次元位置を容易に決定することができる。
以上、図1~図5、および図10を参照しながら説明した技術的特徴は、図6および図11に対してもそのまま適用可能であるため、重複する説明は省略する。
図7は、一例における、第1航空画像から選択された基準図形と第2航空画像から識別された対応図形をマッチングさせることによって基準図形の3次元位置(高度または高度を含む3次元位置)を決定する方法を示したフローチャートである。
図7では、上述したツールを利用して第1航空画像10の基準図形と第2航空画像20の対応図形をマッチングさせることにより、基準図形の3次元位置(高度または高度を含む3次元位置)を決定する方法について説明する。
以下で説明する段階710~740は、上述した段階350に含まれてよい。
段階710で、コンピュータシステム100は、基準図形を含む第1航空画像10と基準図形を第2航空画像20に投影(projection)してよい。例えば、コンピュータシステム100は、第1航空画像10のレイヤまたは基準図形のレイヤを第2航空画像20に投影(projection)してよい。基準図形のレイヤは、第1航空画像10から基準図形が選択されることによって生成されるものであってよい。
段階720で、コンピュータシステム100は、投影された基準図形と第2航空画像20から識別された対応図形が一致するように基準図形を移動させてよい。移動する基準図形は、基準図形に対応するレイヤであってよい。例えば、ユーザは、第2航空画像20に投影された基準図形のレイヤを(例えば、ツール(tool)が提供するユーザインタフェースを利用して)移動させてよく、このようなユーザ入力にしたがい、コンピュータシステム100は基準図形を第2航空画像20上に移動させてよい。
段階740で、コンピュータシステム100は、第2航空画像20上の対応図形と移動する基準図形が一致するときに該当する基準図形の高度値を基準図形の高度として決定してよい。例えば、段階730で、コンピュータシステム100は、(段階720で)基準図形を移動させ、移動した位置に対応する高度値を出力してよく、対応図形と基準図形が一致するときに出力される高度値を基準図形の高度として決定してよい。出力される高度値は、基準高度に対する高さ値であってよい。基準図形の水平座標も、類似の方式によって決定されてよい。したがって、高度と水平座標を含む基準図形の3次元位置が決定されてよい。
これに関し、図9は、一例における、第1航空画像900から選択された基準図形905と第2航空画像910から識別された対応図形をマッチングさせることによって基準図形の3次元位置(高度または高度を含む3次元位置)を決定する方法を示した図である。
図に示すように、第1航空画像900では、車線に対応する基準線が基準図形905として識別されてよい。このような基準図形905(基準図形905のレイヤ)は第2航空画像910に投影されてよい。ユーザは、上述したツールが提供するユーザインタフェースを利用して、投影された基準図形905のレイヤを位置920-1~4(対応図形915に対応する位置)の間で移動させてよい。
コンピュータシステム100は、投影された基準図形905の位置920-1~4(915)それぞれの3次元位置(高度または高度を含む3次元位置)を決定してよい。言い換えれば、コンピュータシステム100は、位置920-1~4(915)の各位置を、投影された基準図形905と対応図形が一致する位置として仮定し、前記各位置で基準図形905の3次元位置(高度または高度を含む3次元位置)を決定してよい。基準図形905の3次元位置(高度または高度を含む3次元位置)を決定する方法としては、上述した方法がそのまま適用可能であるため、重複する説明は省略する。
これにより、図に示すように、コンピュータシステム100は、投影された基準図形905が位置920-1~4(915)を移動することにより、各位置の基準図形905の高度値を出力してよい。すなわち、第2航空画像910で対応図形のepipolarに沿って基準図形905の位置が移動することにより、コンピュータシステム100は、これによる基準図形905の高さを変更して出力してよい。
ユーザは、投影された基準図形905を位置920-1~4(915)の間で移動させることにより、対応図形と正確に一致する位置915の高度値(すなわち、高さ22.7m)が基準図形905に該当することを知ることができる(言い換えれば、ユーザは、高さをいくらにすれば、基準図形905と対応図形が一致(マッチング)するかを容易に識別することができる)。したがって、コンピュータシステム100は、位置915の高度値を基準図形905の高度値として決定することができる。
上述したように、ツールのユーザインタフェースを利用して図形905の高度値を決定することができるため、基準図形905と対応図形がマッチングする位置915を直観的に把握することができ、これにより、基準図形905の高度を含んだ3次元位置も便利に決定することができる。
以上、図1~6、図10、および図11を参照しながら説明した技術的特徴は、図7および図9に対してもそのまま適用可能であるため、重複する説明は省略する。
図8は、一例における、決定された高度に基づいて対象領域のDSMおよびDEMを生成し、さらに対象領域のトゥルーオルソ画像を生成する方法を示した図である。
上述したように、実施形態によると、(整合された)航空画像に基づくことにより、DSMやDEMを生成する過程を実行しなくても、対象領域30のHDマップ50を直ぐに生成することができる。
段階810で、コンピュータシステム100は、対象領域30と関連して決定された高度を用いて、対象領域30の数値表層モデル(Digital Surface Model:DSM)と数値標高モデル(Digital Elevation Model:DEM)のうちの少なくとも1つを生成してよい。言い換えれば、コンピュータシステム100は、DSMやDEMに基づいて対象領域30の3次元位置(高度または高度を含む3次元位置)を決定するのではなく、先に対象領域30の3次元位置を決定し、決定された高度に基づいてDSMおよび/またはDEMを生成してよい。
段階820で、コンピュータシステム100は、生成されたDSMおよびDEMに基づいて対象領域30のトゥルーオルソ(True Ortho)画像を生成してよい。したがって、コンピュータシステム100は、航空画像に基づくことで、対象領域30のトゥルーオルソ画像に基づいた3次元マップを構築することができる。
対象領域30のDSM、DEM、およびトゥルーオルソ画像を生成するためには、上述した航空画像に含まれた情報がさらに使用されてよい。
対象領域30のDSM、DEM、およびトゥルーオルソ画像のうちの少なくとも1つは、対象領域30の高度が決定された後、ユーザの選択にしたがってコンピュータシステム100によって生成されてよい。
以上、図1~7、および図9~図11を参照しながら説明した技術的特徴は、図8に対してもそのまま適用可能であるため、重複する説明は省略する。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
100:コンピュータシステム
110:メモリ
120:プロセッサ
130:通信インタフェース
140:入力/出力インタフェース
150:入力/出力装置
160:ネットワーク

Claims (18)

  1. コンピュータシステムが実行する、航空画像に基づいてHDマップを生成する方法であって、
    対象領域を眺める第1視点から前記対象領域を撮影した第1航空画像から基準図形を選択する段階、
    前記第1画像視点とは異なる第2視点から前記対象領域を撮影した第2航空画像から前記基準図形に対応する対応図形を識別する段階、
    前記基準図形と前記対応図形を互いにマッチングさせることによって前記基準図形の3次元位置を決定する段階、および
    前記決定された3次元位置を用いて前記対象領域のHDマップを生成する段階
    を含む、HDマップを生成する方法。
  2. 前記決定する段階は、
    前記第1視点に対応する、前記第1航空画像を撮影したカメラの3次元位置と撮影方向、前記第2視点に対応する、前記第2航空画像を撮影したカメラの3次元位置と撮影方向、前記第1視点から前記基準図形に対する第1角度、および前記第2視点から前記対応図形に対する第2角度に基づいた三角測量法により、前記基準図形の高度を含む3次元位置を決定する、
    請求項1に記載のHDマップを生成する方法。
  3. 前記基準図形は、前記第1航空画像の前記対象領域内に含まれた施設物のうちのいずれか1つの施設物の頂点を含むか、
    前記頂点と前記1つの施設物の他の頂点または前記施設物のうちの他の施設物の頂点とを連結した線である基準線を含む、
    請求項1または2に記載のHDマップを生成する方法。
  4. 前記選択する段階は、
    前記第1航空画像の前記対象領域内に含まれた施設物のうちから基準施設物を選択する段階、および
    前記基準施設物と交差する少なくとも1つのガイドラインとして前記基準線を選択する段階
    を含み、
    前記識別する段階は、前記第2航空画像から前記ガイドラインに対応する対応線を前記対応図形として識別し、
    前記決定する段階は、
    前記ガイドラインと前記対応線をマッチングさせることにより、前記ガイドラインの3次元位置を決定する段階、および
    前記ガイドラインの3次元位置に基づいて、前記ガイドラインと前記基準施設物が交差する地点の3次元位置を決定する段階
    を含む、請求項3に記載のHDマップを生成する方法。
  5. 前記基準施設物は、前記対象領域内の道路の中央線であり、前記ガイドラインは前記中央線を中心に位置する2本の車線の各車線の頂点を連結した線である、
    請求項4に記載のHDマップを生成する方法。
  6. 前記選択する段階は、前記第1航空画像の前記対象領域内に含まれた施設物のうち基準施設物の頂点を連結する線を前記基準線として選択し、
    前記識別する段階は、前記第2航空画像から前記基準線に対応する対応線を前記対応図形として識別し、
    前記決定する段階は、前記基準線と前記対応線をマッチングさせることによって前記基準線の3次元位置を決定する、
    請求項3に記載のHDマップを生成する方法。
  7. 前記基準施設物の3次元位置を決定する段階、および
    前記基準施設物の3次元位置を基準に、前記基準施設物周辺の少なくとも1つの周辺施設物の3次元位置を決定する段階
    をさらに含む、請求項4~6のうちのいずれか一項に記載のHDマップを生成する方法。
  8. 前記周辺施設物の3次元位置を決定する段階は、
    前記基準施設物と前記周辺施設物の間に存在する勾配により、前記基準施設物の3次元位置に対応する高度値を調整する段階、および
    前記調整された高度値に基づいて前記周辺施設物の3次元位置を決定する段階
    を含む、請求項7に記載のHDマップを生成する方法。
  9. 前記基準施設物は、前記対象領域内の道路の中央線であり、前記周辺施設物は、前記中央線を中心に位置する車線それぞれである、
    請求項7に記載のHDマップを生成する方法。
  10. 前記決定された3次元位置に基づいて前記基準図形を含む前記対象領域内の施設物の3次元位置を決定する段階
    をさらに含み、
    前記施設物の3次元位置は、前記決定された基準図形の3次元位置に基づく補間法によって前記施設物を構成する地点の3次元位置が計算されることによって決定される、
    請求項1~9のうちのいずれか一項に記載のHDマップを生成する方法。
  11. 前記決定する段階は、
    前記選択された基準図形を含む前記第1航空画像または前記選択された基準図形を前記第2航空画像に投影する段階、
    投影した前記基準図形と前記第2航空画像から前記識別された対応図形が一致するように、前記基準図形を移動させる段階、および
    前記識別された対応図形と前記基準図形が一致するときに該当する前記基準図形の高度値を、前記基準図形の3次元位置として決定する段階
    を含む、請求項1に記載のHDマップを生成する方法。
  12. 前記決定する段階は、
    前記基準図形を移動させることによって移動した位置に対応する高度値を出力する段階
    を含み、
    前記識別された対応図形と前記基準図形が一致するときに出力される高度値を、前記基準図形の3次元位置として決定する、
    請求項11に記載のHDマップを生成する方法。
  13. 前記移動する基準図形は、前記基準図形に対応するレイヤである、
    請求項11に記載のHDマップを生成する方法。
  14. 前記決定された3次元位置を用いて、前記対象領域の数値表層モデル(DSM)と数値標高モデル(DEM)のうちの少なくとも1つを生成する段階
    をさらに含む、請求項1に記載のHDマップを生成する方法。
  15. 前記生成されたDSMおよびDEMに基づいて、前記対象領域のトゥルーオルソ画像を生成する段階
    をさらに含む、請求項14に記載のHDマップを生成する方法。
  16. 請求項1~15のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるためのコンピュータプログラム。
  17. 請求項1~15のうちのいずれか一項に記載の方法を前記コンピュータシステムに実行させるためのプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
  18. コンピュータシステムであって、
    メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサは、
    対象領域を眺める第1視点から前記対象領域を撮影した第1航空画像から基準図形を選択し、前記第1画像視点とは異なる第2視点から前記対象領域を撮影した第2航空画像から前記基準図形に対応する対応図形を識別し、前記基準図形と前記対応図形を互いにマッチングさせることによって前記基準図形の3次元位置を決定し、前記決定された3次元位置を用いて前記対象領域のHDマップを生成する、コンピュータシステム。
JP2022029310A 2021-03-02 2022-02-28 無人飛行体または航空機によって撮影した航空画像に基づいてhdマップを生成する方法およびシステム Active JP7375066B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210027423A KR102520189B1 (ko) 2021-03-02 2021-03-02 무인 비행체 또는 항공기에 의해 촬영된 항공 영상에 기반하여 hd 맵을 생성하는 방법 및 시스템
KR10-2021-0027423 2021-03-02

Publications (2)

Publication Number Publication Date
JP2022134114A true JP2022134114A (ja) 2022-09-14
JP7375066B2 JP7375066B2 (ja) 2023-11-07

Family

ID=83229832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022029310A Active JP7375066B2 (ja) 2021-03-02 2022-02-28 無人飛行体または航空機によって撮影した航空画像に基づいてhdマップを生成する方法およびシステム

Country Status (2)

Country Link
JP (1) JP7375066B2 (ja)
KR (1) KR102520189B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240097587A (ko) 2022-12-20 2024-06-27 현대오토에버 주식회사 크라우드 소싱 기반 지도 생성 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
JP2003323603A (ja) * 2002-04-26 2003-11-14 Asia Air Survey Co Ltd ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム
JP2007265038A (ja) * 2006-03-28 2007-10-11 Pasuko:Kk 道路画像解析装置及び道路画像解析方法
JP2009145314A (ja) * 2007-12-17 2009-07-02 Korea Electronics Telecommun 異種センサ統合モデリングによるデジタル写真測量方法及びその装置
JP2010128622A (ja) * 2008-11-25 2010-06-10 Nec System Technologies Ltd ステレオマッチング処理装置、ステレオマッチング処理方法およびプログラム
KR20100129408A (ko) * 2009-06-01 2010-12-09 한국도로공사 견인카트 및 그 견인카트를 이용한 고장차량 견인방법 및 그 견인카트를 이용한 중량물 견인방법.
US10823562B1 (en) * 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4970296B2 (ja) * 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
US8284190B2 (en) * 2008-06-25 2012-10-09 Microsoft Corporation Registration of street-level imagery to 3D building models
KR101617078B1 (ko) * 2014-02-24 2016-04-29 주식회사 한화 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
KR101754599B1 (ko) * 2015-12-08 2017-07-07 가톨릭대학교 산학협력단 드론 촬영 이미지를 기반으로 3d 오브젝트를 자동으로 추출하는 시스템 및 방법
KR102017818B1 (ko) * 2019-06-12 2019-09-03 주식회사 지아이에스21 지상물이미지를 정확하게 표현할 수 있는 정밀 수치지도제작시스템
KR102003187B1 (ko) * 2019-06-13 2019-07-23 주식회사 디지털커브 무인 비행체에 의해 촬영된 이미지들을 사용하여 측량 대상지의 위치 정보를 포함하는 GCP (Ground Control Point)들의 각각이 매칭된 결과 이미지를 모델링하는 방법 및 장치
KR102154950B1 (ko) 2020-01-30 2020-09-10 주식회사 디지털커브 무인 비행체에 의해 촬영된 이미지를 지도, 도면 또는 위성 사진에 대해 매칭시키는 방법 및 장치
KR102129408B1 (ko) 2020-01-30 2020-07-02 주식회사 디지털커브 공공 지도 또는 외부 지도와 매칭되는 무인 비행체에 의해 촬영된 이미지의 레이어로부터 측량 데이터를 획득하는 방법 및 장치
KR102186199B1 (ko) * 2020-04-22 2020-12-03 주식회사 그린블루 다시점 영상이미지를 이용한 화면분할 기반 영상처리시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157576A (ja) * 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
JP2003323603A (ja) * 2002-04-26 2003-11-14 Asia Air Survey Co Ltd ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム
JP2007265038A (ja) * 2006-03-28 2007-10-11 Pasuko:Kk 道路画像解析装置及び道路画像解析方法
JP2009145314A (ja) * 2007-12-17 2009-07-02 Korea Electronics Telecommun 異種センサ統合モデリングによるデジタル写真測量方法及びその装置
JP2010128622A (ja) * 2008-11-25 2010-06-10 Nec System Technologies Ltd ステレオマッチング処理装置、ステレオマッチング処理方法およびプログラム
KR20100129408A (ko) * 2009-06-01 2010-12-09 한국도로공사 견인카트 및 그 견인카트를 이용한 고장차량 견인방법 및 그 견인카트를 이용한 중량물 견인방법.
US10823562B1 (en) * 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation

Also Published As

Publication number Publication date
KR102520189B1 (ko) 2023-04-10
KR20220123901A (ko) 2022-09-13
JP7375066B2 (ja) 2023-11-07

Similar Documents

Publication Publication Date Title
US10962366B2 (en) Visual odometry and pairwise alignment for high definition map creation
US9542770B1 (en) Automatic method for photo texturing geolocated 3D models from geolocated imagery
KR102347239B1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN111417871A (zh) 基于激光雷达利用高清晰度地图的集成运动估计的迭代最近点处理
US8749580B1 (en) System and method of texturing a 3D model from video
CN109186551B (zh) 倾斜摄影测量建筑物特征点提取方法、装置与存储介质
KR102234461B1 (ko) 2d 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템
KR20190089681A (ko) 파노라마 뷰에 대한 3차원 모델을 생성하는 방법 및 시스템
JPWO2010134502A1 (ja) 画像情報出力方法
CN109269472B (zh) 倾斜摄影测量建筑物特征线提取方法、装置与存储介质
KR102097416B1 (ko) 표고차를 고려한 지하관로의 관리를 위한 증강 현실 표현 방법 및 이를 기록한 기록매체
KR102115004B1 (ko) 항공사진을 이용하여 3차원 지도를 생성하는 장치 및 방법
JP7148229B2 (ja) 三次元点群データの縦断面図作成方法,そのための測量データ処理装置,および測量システム
JP2024032805A (ja) 航空写真を利用して三次元地図を生成する装置及びその方法
JP7375066B2 (ja) 無人飛行体または航空機によって撮影した航空画像に基づいてhdマップを生成する方法およびシステム
KR20210015516A (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN111222586A (zh) 一种基于三维倾斜模型视角的倾斜影像匹配方法及装置
KR102681608B1 (ko) 공간 내의 객체를 인식 및 추적하고 해당 공간에 대한 대응 객체를 포함하는 디지털 트윈 콘텐츠를 생성하는 방법 및 시스템
Wang et al. Updating Smartphone's Exterior Orientation Parameters by Image-based Localization Method Using Geo-tagged Image Datasets and 3D Point Cloud as References
Wendel et al. Visual Localization for Micro Aerial Vehicles in Urban Outdoor Environments
Aggarwal Digital Preservation of Cultural Heritage for Future Generations
Yamazaki et al. View Planning Using Geospatial Information for 3d Reconstruction with Unmanned Aerial Vehicles
Shi et al. Research on Viewpoint Planning Method for Multi-view Image 3D Reconstruction
KR20240071697A (ko) 빌딩 컨트롤 포인트 자동 취득 방법 및 시스템
KR20240066616A (ko) 3차원 모델 및 거리뷰 영상을 이용한 시각 특징맵 생성 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R150 Certificate of patent or registration of utility model

Ref document number: 7375066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150