JP7313454B2 - 相対位置計測装置、相対位置計測方法、および、相対位置計測プログラム - Google Patents

相対位置計測装置、相対位置計測方法、および、相対位置計測プログラム Download PDF

Info

Publication number
JP7313454B2
JP7313454B2 JP2021543660A JP2021543660A JP7313454B2 JP 7313454 B2 JP7313454 B2 JP 7313454B2 JP 2021543660 A JP2021543660 A JP 2021543660A JP 2021543660 A JP2021543660 A JP 2021543660A JP 7313454 B2 JP7313454 B2 JP 7313454B2
Authority
JP
Japan
Prior art keywords
relative position
origin
measurement
distance
target point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021543660A
Other languages
English (en)
Other versions
JPWO2021044777A1 (ja
Inventor
裕行 戸田
拓 中村
達也 園部
一喜 辻本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of JPWO2021044777A1 publication Critical patent/JPWO2021044777A1/ja
Application granted granted Critical
Publication of JP7313454B2 publication Critical patent/JP7313454B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/203Specially adapted for sailing ships
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B63SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63BSHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B21/00Tying-up; Shifting, towing, or pushing equipment; Anchoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、対象点への3次元相対位置を計測する技術に関する。
特許文献1には、路面領域の部分画像を用いて、相対移動量を推定することが記載されている。
特開2014-194361号公報
しかしながら、指定した対象点への3次元位置を、簡素な構成で、高精度に計測することはできなかった。
したがって、本発明の目的は、指定した対象点への3次元位置を、簡素な構成で、高精度に計測することにある。
相対位置計測装置は、センサと、演算部とを備える。センサは、センサの位置を基準とする計測点の3次元相対位置を計測する測距部を備える。演算部は、計測点の3次元相対位置から、画像内の指定された対象点の、センサ位置を基準とする3次元相対位置を決定する。
この構成では、単眼カメラ、測距部、および、演算部の構成によって、対象点の3次元座標が決定される。
この発明によれば、指定した対象点への3次元位置を、簡素な構成で高精度に計測できる。
第1の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。 第1の実施形態に係る相対位置計測方法を示すフローチャートである。 (A)は、相対位置計測方法における3次元相対位置の決定の概略処理を示すフローチャートであり、(B)は、相対位置計測方法における候補点の抽出方法を示すフローチャートである。 第2の実施形態に係る相対位置計測方法を示すフローチャートである。 (A)は、岸壁線、着岸原点、平行距離および垂直距離の概念を示す図であり、(B)は、単眼カメラの画像データの一例を示す図である。 第3の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。 第3の実施形態に係る相対位置計測方法を示すフローチャートである。 岸壁線の決定フローを示すフローチャートである。 着岸原点の決定フローを示すフローチャートである。 第4の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。 第4の実施形態に係る相対位置計測方法を示すフローチャートである。 第5の実施形態に係る相対位置計測技術の概念を示す図である。 第5の実施形態に係る相対位置計測方法を示すフローチャートである。 第6の実施形態に係る相対位置計測技術の概念を示す図である。 第6の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。 第6の実施形態に係る相対位置計測方法を示すフローチャートである。 第7の実施形態に係る予測位置における相対位置を計測する概念を示す図である。 第7の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。 第7の実施形態に係る相対位置計測方法を示すフローチャートである。
(第1の実施形態)
第1の実施形態に係る相対位置計測装置、相対位置計測方法、および、相対位置計測プログラムについて、図を参照して説明する。図1は、第1の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。
図1に示すように、相対位置計測装置10は、センサ102、対象点指定部40、および、演算部50を備える。センサ102は、単眼カメラ20および測距部30を備える。相対位置計測装置10は、例えば、船舶等の移動体に装備されている。なお、移動体に限らず、対象点との相対位置を計測したい場合には、本願発明の構成、方法、および、プログラムを適用できる。以下では、相対位置計測装置10の装備対象として、船舶を例として説明する。
センサ102は、船舶に装着されている。センサ102における単眼カメラ20と測距部30の位置関係は既知である。演算部50は、単眼カメラ20と測距部30との位置関係を予め記憶している。なお、単眼カメラ20と測距部30とは、センサ102を構成する1つの筐体内に配置されていてもよく、個別の筐体を有していてもよい。
単眼カメラ20は、相対位置計測装置10が装備された船舶から、所定の方位角範囲および仰角範囲を撮像し、画像データを生成する。単眼カメラ20は、最低限1時刻の画像データを生成してもよいが、複数時刻の画像データを生成する。単眼カメラ20は、画像データを演算部50に出力する。
測距部30は、例えば、LIDARによって実現される。測距部30は、相対位置計測装置10が装備された船舶から、所定の方位角範囲および仰角範囲、すなわち測距範囲について、3次元の測距を行い、測距データを生成する。具体的には、測距部30は、測距範囲内の1または複数の計測点について、測距部30(センサ102)の位置を基準とした、計測点までの距離、計測点の方位角、および、計測点の仰角を検出する。計測点は、既知の方法で抽出した特徴点、例えば、他の部分との反射光の強度の差等から抽出した特徴点であってもよい。
測距部30は、測距データを特徴点毎に生成する。測距データは、センサ102の位置から計測点までの距離(計測点距離)、センサ102の位置を基準とする計測点の方位角(計測点方位角)、および、センサ102の位置を基準とする計測点の仰角(計測点仰角)を含む。測距部30は、測距データを演算部50に出力する。
なお、測距部30は、LIDARに限るものではなく、3次元の測距データ(センサ102を基準とする計測点の3次元相対位置)を得られるものであればよい。
また、画像データの撮像タイミングと測距データの測距タイミング(測距光等の測距信号を送信するタイミング)とは、完全に時刻同期していることが好ましい。しかしながら、後述の演算部50におけるペアリングに問題の無い範囲であれば、時刻の差があってもよい。
対象点指定部40は、ユーザからの操作入力またはAI等による自動入力によって、画像上の対象点の指定を受け付ける。
例えば、ユーザからの操作入力を受け付ける場合、単眼カメラ20で撮像された画像は、表示器に表示される。表示器は、例えば、タッチパネル等を備えている。ユーザがタッチパネルを用いて、表示画面をタッチすることによって、対象点の指定は受け付けられる。また、例えば、AIによる自動入力を受け付ける場合、対象点指定部40には、画像データが入力される。対象点指定部40は、画像データ上において、過去のユーザの操作の履歴、傾向等から、対象点として指定されるであろう位置を推定し、当該推定位置を対象点として指定する。なお、対象点の指定方法は、これらに限らず、各種の方法を採用することが可能である。
対象点指定部40は、指定された対象点の画像データ上での位置座標(例えば、指定された画素の位置座標)を、指定情報として、演算部50に出力する。
演算部50は、例えば、相対位置計測方法のプログラム(相対位置計測プログラム)を記憶する記憶媒体と、このプログラムを実行するCPU等の演算処理装置とによって実現される。なお、演算部50は、プログラムを組み込んだIC等によって実現することも可能である。
演算部50は、指定情報と画像データとから、センサ102の位置(本実施形態における「自船位置」に対応)を基準とする対象点の方位角(対象点方位角)、および、センサ102の位置を基準とする対象点の仰角(対象点仰角)を検出する。演算部50は、検出した対象点方位角および対象点仰角と、測距データとを用いて、センサ102の位置から対象点までの距離(対象点距離)を算出する。
演算部50は、画像データの方位角と測距データの方位角との関係、画像データの仰角と測距データの仰角との関係を予め記憶している。画像データと測距データとの方位角および仰角の関係は、センサ102における単眼カメラ20の撮像領域と、測距部30による測距領域との関係から容易に得られる。
演算部50は、この関係を利用し、対象点方位角と測距データの計測点方位角との比較結果、および、対象点仰角と測距データの計測点仰角との比較結果を用いて、対象点に対して最もそれらしい計測点(最尤点)を抽出する。なお、この最尤点の抽出処理の更なる具体的な処理の一例は、後述する。
演算部50は、最尤点の距離(計測点距離)、方位角(計測点方位角)、および、仰角(計測点仰角)を、対象点の3次元座標として決定する。これにより、演算部50は、対象点の3次元座標、すなわち、対象点の3次元相対位置の計測を高精度に行うことができる。
このように、本実施形態の構成を備えることによって、相対位置計測装置10は、ユーザ等が指定した対象点までの3次元座標(3次元相対位置)を、簡素な構成で、且つ、高精度に行うことができる。
(相対位置計測方法)
上述の説明における各処理は、次に示す相対位置計測方法のフローチャートを実行することによって、実現できる。図2は、第1の実施形態に係る相対位置計測方法を示すフローチャートである。なお、各処理の具体的な内容において、上述している内容は、以下では説明を省略する。
単眼カメラ20が撮像を行い、画像データを生成する(S11)。また、測距部30が測距を行い、測距データを生成する(S12)。また、対象点指定部40によって、対象点を指定する(S13)。
演算部50は、指定された対象点方位角と対象点仰角を画像データから検出する(S14)。演算部50は、対象点方位角と対象点仰角とを用いて、測距データ(計測点距離、計測点方位角、および、計測点仰角)から、対象点までの距離(対象点距離)を検出する(S15)。演算部50は、この検出した距離、方位角、および、仰角を用いて、センサ102から対象点への3次元相対位置を決定する(S16)。
図2のステップS15に対応する処理であり、複数の計測点から最尤点を決定し、対象点とする処理は、例えば、次に示す処理を実行することによって、実現できる。図3(A)は、相対位置計測方法における3次元相対位置の決定の概略処理を示すフローチャートであり、図3(B)は、相対位置計測方法における候補点の抽出方法を示すフローチャートである。
演算部50は、図3(A)に示すように、複数の計測点から候補点を抽出する(S51)。演算部50は、例えば、図3(B)に示す方法を用いて、候補点を抽出する。演算部50は、測距データの各計測点に対して、次の処理を実行する。演算部50は、計測点の反射係数が閾値以上であり(S511:YES)、距離が適正範囲内であり(S512:YES)、対象点方位角に対する方位角差が適正範囲内であり(S513:YES)、対象点仰角に対する仰角差が適正範囲内であれば(S514:YES)、この計測点を、候補点として抽出する。
一方、演算部50は、計測点の反射係数が閾値未満である(S511:NO)、または、距離が適正範囲外である(S512:NO)、または、方位角差が適正範囲外である(S513:NO)、または、仰角差が適正範囲内であれば(S514:NO)、この特徴点を、候補点として抽出しない。
ここで、反射係数とは、測距光の送波強度に対する受波強度の比である。距離の適正範囲とは、測距時に生じる誤差等を加味して、測距部30が所定の精度で特徴点を抽出できる距離の範囲である。方位角差とは、指定された対象点の画像データ上での方位角(対象点方位角)と計測点の方位角(計測点方位角)との差である。仰角差とは、指定された対象点の画像データ上での仰角(対象点仰角)と計測点の仰角(計測点仰角)との差である。
このような方法を用いることによって、演算部50は、候補点を精度良く抽出できる。
演算部50は、候補点から最尤点を決定する(S52)。例えば、候補点が1点であれば、演算部50は、この候補点を最尤点とする。また、候補点が複数点であれば、演算部50は、最尤点の選択条件を決定し、複数の候補点から最尤点を決定する。最尤点の選択条件は、対象点の特性に応じて適宜設定できる。例えば、対象点が固体(後述の岸壁等)の一点であって、その近傍に液体(後述の海(水面)等)である場合、固体と液体とでの測距データの差、固体の中でも位置関係による測距データの差等から、選択条件は設定できる。
このような方法を用いることによって、演算部50は、最尤点を高い確度で決定できる。
なお、演算部50は、候補点の抽出において、少なくとも方位角差と仰角差とを用いることで、所定の精度で、候補点を抽出できる。そして、この処理を行うことによって、所定の精度を実現しながら、候補点の抽出処理の演算不可を低減できる。
また、演算部50は、例えば、方位角の比較結果(方位角差)のみ、または、仰角の比較結果(仰角差)のみを用いて、最尤点を抽出してよい。しかしながら、方位角の比較結果(方位角差)、および、仰角の比較結果(仰角差)を用いることによって、最尤点の確度は向上する。
また、演算部50は、反射係数による選択、距離による選択は、少なくとも一方を用いてもよい。
すなわち、演算部50は、精度、処理負荷を考慮して、上述の各条件を適宜用いて、候補点を抽出することができる。
(第2の実施形態)
第2の実施形態に係る相対位置計測装置、相対位置計測方法、および、相対位置計測プログラムについて、図を参照して説明する。図4は、第2の実施形態に係る相対位置計測方法を示すフローチャートである。
第2の実施形態に係る相対位置計測装置の構成は、第1の実施形態に係る相対位置計測装置の構成と同様であり、構成の説明は省略する。そして、第2の実施形態に係る相対位置計測方法は、対象点として着岸原点を指定する点で、第1の実施形態に係る相対位置計測方法と異なる。したがって、以下では、相対位置計測方法のみを説明する。
着岸原点とは、船舶が着岸する岸壁における基準点であり、N旗等の位置であってもよく、ユーザが指定する位置、着岸時に船舶の所定位置が岸壁に最も近接する位置等である。
図4に示すように、単眼カメラ20が着岸原点を有する岸壁を含む領域に対して撮像を行い、画像データを生成する(S21)。また、測距部30が測距を行い、着岸原点を有する岸壁を含む領域の測距データを生成する(S22)。また、対象点指定部40によって、対象点として、着岸原点を指定する(S23)。
演算部50は、指定された着原原点の方位角(対象点方位角)と仰角(対象点仰角)を画像データから検出する(S24)。演算部50は、上述の第1の実施形態に示すように、方位角(対象点方位角)と仰角(対象点仰角)とを用いて、測距データ(計測点距離、計測点方位角、および、計測点仰角)から、着岸原点までの距離を検出する(S25)。演算部50は、この検出した距離、方位角、および、仰角を用いて、センサ102を備える船舶から着岸原点への3次元相対位置を決定する(S26)。
このような処理を用いることによって、相対位置計測装置、着岸原点までの3次元相対位置を高精度に計測できる。そして、このように、着岸原点までの相対位置を高精度に得られることによって、ユーザ(操舵者等)は、船舶を、安全且つ確実に、岸壁の所定位置に着岸できる。
(第3の実施形態)
第3の実施形態に係る相対位置計測装置、相対位置計測方法、および、相対位置計測プログラムについて、図を参照して説明する。図5(A)は、岸壁線、着岸原点、平行距離および垂直距離の概念を示す図であり、図5(B)は、単眼カメラの画像データの一例を示す図である。図6は、第3の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。
図5(A)、図5(B)に示すように、岸壁線910は、例えば、海99に面する岸壁90における岸壁面900の上端を形成する線であり、水平な線である。岸壁線910は、始点911と終点912とを結ぶ線分である。岸壁線910は、例えば、始点911の3次元座標、終点912の3次元座標、および、始点911と終点912とを結ぶ線分の長さ、延びる方向、すなわちベクトル量によって、表される。
着岸原点91は、上述のように、船舶が着岸する岸壁における基準点であり、ほぼ岸壁線910上に存在する。
第3の実施形態に係る相対位置計測装置10Aは、相対位置として、図5(A)に示すように、垂直距離Lvと平行距離Lpを算出する。垂直距離Lvは、海99の上(海上)の船舶100と岸壁線910との距離である。より詳細には、垂直距離Lvは、例えば、船舶100の船橋101におけるセンサ102と岸壁線910との距離である。平行距離Lpは、センサ102から岸壁線910に降ろした垂線と岸壁線910との交点(垂直距離Lvをなす点)と、着岸原点91との距離である。なお、最短距離Ltは、センサ102と着岸原点91との距離である。
図6に示すように、第3の実施形態に係る相対位置計測装置10Aは、第1、第2の実施形態に係る相対位置計測装置10に対して、演算部50Aの構成において異なる。相対位置計測装置10Aの他の構成は、相対位置計測装置10と同様であり、同様の箇所の説明は省略する。
演算部50Aは、岸壁線決定部51、着岸原点決定部52、および、相対位置算出部53を備える。
対象点指定部40は、ユーザやAI等から、岸壁線910を決定するための複数の対象点の指定を受け付ける。また、対象点指定部40は、ユーザやAI等から、着岸原点91の指定を受け付ける。なお、後述するように、岸壁線910を決定するための複数の対象点に、着岸原点91のための対象点を用いてもよい。
岸壁線決定部51は、対象点指定部40によって指定された複数の対象点から岸壁線910を決定する。例えば、岸壁線決定部51は、指定された複数の対象点に対して、上述のように、それぞれに最尤点を決定する。岸壁線決定部51は、複数の最尤点の内、仰角等を参照して、水平に並ぶ少なくとも2点を抽出する。そして、岸壁線決定部51は、これらの少なくとも2点を結ぶ線分を岸壁線910とする。この際、岸壁線910の両端の2点が上述の始点911および終点912となる。例えば、岸壁線910のデータには、始点911および終点912を含む岸壁線910上の複数の計測点の3次元座標(距離、方位角、仰角)が含まれている。
なお、岸壁線決定部51は、画像データの時点で、水平方向に並ぶ2点を検出して、その後、それぞれの最尤点を決定することも可能である。
着岸原点決定部52は、対象点指定部40によって指定された対象点から着岸原点91を決定する。例えば、着岸原点決定部52は、指定された対象点に対して、上述のように最尤点を決定する。そして、着岸原点決定部52は、最尤点の座標を、着岸原点91の座標とする。
相対位置算出部53は、岸壁線910と着岸原点91とを用いて、垂直距離Lvおよび平行距離Lpを算出する。相対位置算出部53は、垂直距離Lvとして、岸壁線910上にある複数の計測点のうち、最も距離も短い計測点を、岸壁線910に対する垂線の交点として抽出する。相対位置算出部53は、この計測点に対する距離を、垂直距離Lvとする。そして、相対位置算出部53は、この垂線の交点の計測点の3次元座標と着岸原点91の3次元座標と、既知の幾何学的な距離の計算とを用いて、この垂線の交点の計測点と着岸原点91との距離を算出する。相対位置算出部53は、この距離を、平行距離Lpとする。
このような構成および処理を用いることによって、相対位置計測装置10Aは、船舶100から着岸原点91を含む岸壁90までの垂直距離Lvと、岸壁線910に平行な平行距離Lpとを、容易に且つ高精度に計測できる。これにより、ユーザは、岸壁90までどれぐらい近づけばいいか、岸壁90に沿ってどれぐらい航行すればいいかを、把握できる。
(相対位置計測方法)
上述の説明における各処理は、次に示す相対位置計測方法のフローチャートを実行することによって、実現できる。図7は、第3の実施形態に係る相対位置計測方法を示すフローチャートである。なお、各処理の具体的な内容において、上述している内容は、以下では説明を省略する。
単眼カメラ20が着岸原点を有する岸壁を含む領域に対して撮像を行い、画像データを生成する(S21)。また、測距部30が測距を行い、着岸原点を有する岸壁を含む領域の測距データを生成する(S22)。また、対象点指定部40によって、岸壁への対象点を指定する(S23)。岸壁への対象点とは、着岸原点を含む場合であってもよく、含まない場合であってもよい。
演算部50は、指定された複数の対象点の方位角(対象点方位角)と仰角(対象点仰角)を画像データから検出する(S24)。演算部50は、対象点方位角と対象点仰角とを用いて、測距データ(計測点距離、計測点方位角、計測点仰角)から、複数の対象点のそれぞれまでの距離を検出する(S25)。演算部50は、この検出した距離、方位角、および、仰角を用いて、センサ102を備える船舶から複数の対象点への3次元相対位置を決定する(S26)。
演算部50は、岸壁線910が決定可能な個数の対象点を得られたか否かを検出する。演算部50は、岸壁線910が決定可能な個数の対象点を得られていなければ(S27:NO)、対象点の指定に戻る(S23)。
演算部50は、岸壁線910が設定可能な個数の対象点を得られていれば(S207:YES)、岸壁線910を決定する(S28)。
演算部50は、対象点に着岸原点91が含まれていれば(S29:YES)、岸壁線910と着岸原点91とを用いて、岸壁線910を基準とした着岸原点91までの平行距離Lpと垂直距離Lvとを算出する(S30)。
演算部50は、対象点に着岸原点91が含まれていなければ(S29:NO)、着岸原点91を決定し(S31)、平行距離Lpと垂直距離Lvとを算出する(S30)。
なお、岸壁線910の決定は、例えば、次に示す処理によって実現できる。図8は、岸壁線の決定フローを示すフローチャートである。
演算部50は、岸壁線910の始点911または終点912のいずれかが検出できなければ(S61:YES)、着岸原点91を検出する。演算部50は、着岸原点91が検出できれば(S62:YES)、始点911または終点912の検出できている点と着岸原点91とを用いて、岸壁線910を決定する(S63)。
演算部50は、始点911および終点912が検出できれば(S61:NO)、始点911および終点912を用いて、岸壁線910を決定する(S64)。
なお、演算部50は、始点911または終点912のいずれかが検出できず(S61:YES)、着岸原点91が検出できなければ(S62:NO)、アラートを発する(S65)。
また、着岸原点91の決定は、例えば、次に示す処理によって実現できる。図9は、着岸原点の決定フローを示すフローチャートである。
演算部50は、着岸原点91が特徴点から検出できなければ(S71:YES)、岸壁線910を検出する。演算部50は、岸壁線910が検出できれば(S72:YES)、着岸原点91の指定方向(例えば、方位角)が推定可能か判定する。演算部50は、着岸原点91の指定方向が検出可能であれば(S73:YES)、岸壁線910と指定方向とから着岸原点91を推定する(S74)。例えば、演算部50は、指定方向が分かれば、指定方向に平行な仮想直線を設定し、仮想直線と岸壁線910の交点を、着岸原点91として推定する。また、例えば、演算部50は、船舶100の進行方向が分かれば、進行方向に平行な仮想直線を設定し、仮想直線と岸壁線910の交点を、着岸原点91として推定する。
演算部50は、着岸原点91が計測点から検出できれば(S71:NO)、この計測点を着岸原点91に決定する。
なお、演算部50は、着岸原点91が計測点から検出できず(S71:YES)、岸壁線910が検出できない(S72:NO)、または、着岸原点91の指定方向ができなければ(S73:NO)、アラートを発する(S75)。
(第4の実施形態)
第4の実施形態に係る相対位置計測装置、相対位置計測方法、および、相対位置計測プログラムについて、図を参照して説明する。図10は、第4の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。
図10に示すように、相対位置計測装置10Bは、センサ102B、対象点指定部40、および、演算部50Bを備える。概略的には、相対位置計測装置10Bによる3次元相対位置の基本的な計測処理は、上述の実施形態に係る相対位置計測装置10Aと同様であり、相対位置を世界座標系によって計測(算出)する点において異なる。世界座標系とは、実空間に固定された座標系であり、ワールド座標系やグローバル座標系とも称される。したがって、以下では、上述の実施形態と異なる箇所のみを具体的に説明する。
センサ102Bは、単眼カメラ20、測距部30、および、位置・姿勢計測部60を備える。すなわち、センサ102Bは、上述のセンサ102に対して、位置・姿勢計測部60を追加した構成を有する。演算部50Bは、岸壁線決定部51B、着岸原点決定部52B、相対位置算出部53B、および、変換行列算出部54Bを備える。
位置・姿勢計測部60は、例えば、測位信号を受信する複数の測位アンテナ、受信した測位信号の捕捉、追尾を行い、コード位相や搬送波印相を検出する受信部、および、コード位相や搬送波位相から位置や姿勢角を算出する位置姿勢算出部によって実現される。なお、位置・姿勢計測部60は、測位アンテナと慣性センサとの組合せによって実現してもよい。位置・姿勢計測部60は、船舶の3次元の位置・姿勢角を計測する。この際、位置・姿勢計測部60は、船舶の3次元の位置・姿勢角を、世界座標系(絶対座標系)において計測する。位置・姿勢計測部60は、位置・姿勢角を、演算部50Bの変換行列算出部54Bに出力する。
変換行列算出部54Bは、位置・姿勢計測部60からの位置・姿勢角の変化と、単眼カメラ20の画像における特定点の位置・姿勢角の変化との偏差から、単眼カメラ20および測距部30の座標系と世界座標系との座標変換行列を算出する。変換行列算出部54Bは、座標変換行列を、岸壁線決定部51B、着岸原点決定部52B、および、相対位置算出部53Bに与える。
岸壁線決定部51Bは、基本的には上述の岸壁線決定部51と同様の処理を行うが、座標変換行列を用いることで、岸壁線910を世界座標系で決定する。
着岸原点決定部52Bは、基本的には上述の着岸原点決定部52と同様の処理を行うが、座標変換行列を用いることによって、着岸原点を世界座標系で決定する。
相対位置算出部53Bは、基本的には上述の相対位置算出部53と同様の処理を行うが、座標変換行列を用いることで、世界座標系で相対位置を算出する。この際、相対位置算出部53Bは、着岸原点91の座標を、世界座標系の原点に設定するとよい。
このような構成にすることで、船舶が移動しても、岸壁線910および着岸原点91の座標は、変化しない。したがって、相対位置計測装置10Bは、船舶の移動に伴う着岸原点91や岸壁線910の再指定による誤差の影響を受けない。これにより、相対位置計測装置10Bは、相対位置を、さらに高精度に計測できる。
(相対位置計測方法)
上述の説明における各処理は、次に示す相対位置計測方法のフローチャートを実行することによって、実現できる。図11は、第4の実施形態に係る相対位置計測方法を示すフローチャートである。なお、各処理の具体的な内容において、上述している内容、および、上述の内容から容易に分かる内容は、以下では説明を省略する。
演算部50Bは、対象点の相対位置を決定する(S41)。演算部50Bは、岸壁線910を決定する(S42)。演算部50Bは、着岸原点91を決定する(S43)。
演算部50Bは、位置・姿勢計測部60から、船舶の位置および姿勢角を取得する(S44)。演算部50Bは、船舶の位置および姿勢角の変化と、画像データの特定点(例えば対象点)の変化とを用いて、世界座標系と単眼カメラ20および測距部30の座標系との座標変換行列を算出する(S45)。
演算部50Bは、座標変換行列を用いることによって、世界座標系で、平行距離Lpと垂直距離Lvとを算出する(S46)。
(第5の実施形態)
第5の実施形態に係る相対位置計測装置、相対位置計測方法、および、相対位置計測プログラムについて、図を参照して説明する。図12は、第5の実施形態に係る相対位置計測技術の概念を示す図である。第5の実施形態に係る相対位置計測装置の基本的な構成は、上述の第4の実施形態に係る相対位置計測装置と同様であり、同様の箇所の説明は省略する。
図12に示すように、第5の実施形態に係る相対位置計測装置は、船舶100における特定位置、例えば、岸壁線910への最短位置(図12の場合、船尾の右舷端110)と着岸原点91との3次元相対位置を計測する。
演算部50Bは、センサ102Bと船舶100の各位置(例えば、船舶100の外縁に当たる複数の位置)との位置関係を、例えば、船体座標系で記憶している。
演算部50Bは、位置・姿勢計測部60からの姿勢角に基づいて、船体座標系と世界座標系との座標変換行列を算出する。そして、演算部50Bは、船舶100の所定位置、例えばここでは、世界座標系での船尾の右舷端110の位置座標を算出する。そして、ここでは、船尾の右舷端110の位置が、本実施形態における「自船位置」に対応する。
演算部50Bの相対位置算出部53Bは、世界座標系において、船尾の右舷端110の位置座標と、岸壁線910の座標と、着岸原点91の位置座標とを用いて、船舶100と岸壁線910との最短垂直距離Lvaと、平行距離Lpaとを算出する。最短垂直距離Lvaは、船尾の右舷端110から岸壁線910に降ろした垂線と岸壁線910との交点と、船尾の右舷端110との距離である。平行距離Lpaは、この垂線の交点と着岸原点91との距離である。
なお、ここでは、船尾の右舷端110を例に説明したが、上述のように船舶100の外縁に当たる複数の位置の座標を予め記憶していれば、演算部50Bは、岸壁線910の座標と、各位置の座標とから、計測時点における船舶100内の岸壁線910に最も近い位置を検出できる。そして、演算部50Bは、この最も近い位置(本実施形態における「自船位置」に対応)と岸壁線910と着岸原点91とを用いて、最短垂直距離Lvaと平行距離Lpaとを算出できる。
(相対位置計測方法)
上述の説明における各処理は、次に示す相対位置計測方法のフローチャートを実行することによって、実現できる。図13は、第5の実施形態に係る相対位置計測方法を示すフローチャートである。なお、各処理の具体的な内容において、上述している内容、および、上述の内容から容易に分かる内容は、以下では説明を省略する。また、ステップS41からステップS44までは、上述のフローチャートと同じであり、説明は省略する。
演算部50Bは、船舶の位置および姿勢角の変化と、画像データの特定点の変化とを用いて、世界座標系と単眼カメラ20および測距部30の座標系との座標変換行列を算出し、姿勢角を用いることで、船体座標系と世界座標系との座標変換行列を算出する(S450)。
演算部50Bは、センサ102Bの位置と、船舶における所定点(例えば、岸壁線910への最短点(「自船位置」に対応))との位置関係を取得する(S470)。
演算部50Bは、上述の2つの座標変換行列を用いることによって、世界座標系で、所定点と着岸原点との平行距離と垂直距離(例えば、平行距離Lpaと最短垂直距離Lva)とを算出する(S460)。
このような構成および処理を用いることで、相対位置計測装置は、船舶100における所定点と岸壁90までの距離、例えば、船舶100における岸壁90に最も近い位置と岸壁90との距離を、より高精度に計測できる。
(第6の実施形態)
第6の実施形態に係る相対位置計測装置、相対位置計測方法、および、相対位置計測プログラムについて、図を参照して説明する。図14は、第6の実施形態に係る相対位置計測技術の概念を示す図である。図15は、第6の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。第6の実施形態に係る相対位置計測装置の基本的な構成は、上述の第5の実施形態に係る相対位置計測装置と同様であり、同様の箇所の説明は省略する。
図14に示すように、第6の実施形態に係る相対位置計測装置は、第5の実施形態の相対位置計測装置と同様に、船舶100における所定点(「自船位置」に対応)、例えば、岸壁線910への最短位置(図14の場合、船尾の右舷端110と船首120)と着岸原点91との3次元相対位置を計測する。
図15に示すように、相対位置計測装置10Cは、相対位置計測装置10Bに対して、演算部50C、測位信号受信部600を備える点で異なる。相対位置計測装置10Cの他の構成は、相対位置計測装置10Bと同様であり、同様の箇所の説明は、省略する。なお、岸壁線決定部51Cは、岸壁線決定部51Bと同様であり、着岸原点決定部52Cは、着岸原点決定部52Aと同様である。
測位信号受信部600は、船舶100の船首120に装備されている。測位信号受信部600は、測位信号を受信するアンテナと、測位信号の捕捉、追尾を行い、コード位相や搬送波印相を検出する受信部とによって実現される。測位信号受信部600は、コード位相および搬送波位相を相対位置算出部53Cに出力する。
変換行列算出部54Cは、上述のように、世界座標系と単眼カメラ20および測距部30の座標系との座標変換行列(第1座標変換行列)、および、船体座標系と世界座標系との座標変換行列(第2座標変換行列)を算出する。変換行列算出部54Cは、第1座標変換行列を、岸壁線決定部51Cおよび着岸原点決定部52Cに与える。変換行列算出部54Cは、第1座標変換行列と第2座標変換行列を、相対位置算出部53Cに出力する。
また、相対位置算出部53Cには、位置・姿勢計測部60から、コード位相と搬送波位相とが入力される。
相対位置算出部53Cは、例えば、位置・姿勢計測部60からの搬送波位相の積算値と、測位信号受信部600からの搬送波位相の積算値の差と、各コード位相から算出される単独測位結果から、センサ102Bと測位信号受信部600との位置関係を算出する。言い換えれば、相対位置算出部53Cは、センサ102Bと船首120との位置関係を算出する。この際、搬送波位相積算値の差を用いることによって、相対位置算出部53Cは、この位置関係を高精度に算出できる。したがって、例えば、船舶100が長く、船橋101と船首120との距離が長くても、相対位置算出部53Cは、センサ102Bと船首120との位置関係を高精度に算出できる。
そして、相対位置算出部53Cは、センサ102Bの位置座標、センサ102Bと船首120との位置関係、岸壁線910の座標、および、着岸原点91の位置座標を用いて、船首120と岸壁線910との垂直距離Lvbと、平行距離Lpbとを算出する。
垂直距離Lvbは、船首120(厳密には測位信号受信部600)から岸壁線910に降ろした垂線と岸壁線910との交点と、船首120(厳密には測位信号受信部600)との距離である。平行距離Lpaは、この垂線の交点と着岸原点91との距離である。
この際、相対位置算出部53Cは、2つの変換行列を用いることによって、世界座標系で、高精度に、垂直距離Lvbと、平行距離Lpbとを算出できる。そして、上述のように、センサ102Bと船首120との位置関係が高精度に算出されていることから、相対位置算出部53Cは、垂直距離Lvbと、平行距離Lpbとを、より高精度に算出できる。
(相対位置計測方法)
上述の説明における各処理は、次に示す相対位置計測方法のフローチャートを実行することによって、実現できる。図16は、第6の実施形態に係る相対位置計測方法を示すフローチャートである。なお、各処理の具体的な内容において、上述している内容、および、上述の内容から容易に分かる内容は、以下では説明を省略する。また、ステップS41からステップS450までは、上述のフローチャートと同じであり、説明は省略する。
船舶100における所定点に配置された測位信号受信部600は、搬送波位相を計測する(S480)。
演算部50Cは、センサ102Bの位置・姿勢計測部60および測位信号受信部600から搬送波位相を取得する。演算部50Cは、センサ102Bの位置と、船舶における計測対象点(例えば、岸壁線910への最短点)との位置関係を、搬送波位相を用いて算出する(S471)。
演算部50Bは、上述の2つの座標変換行列を用いることによって、世界座標系で、計測対象点と着岸原点との平行距離と垂直距離(例えば、平行距離Lpbと垂直距離Lvb)とを算出する(S460)。
このような構成および処理を用いることで、相対位置計測装置10Cは、船舶100における所定点と岸壁90までの距離、例えば、船舶100における船首120と岸壁90との距離を、より高精度に計測できる。この際、センサ102Bの位置と所定点とは、搬送波位相を用いることで、高精度に位置関係が算出されている。したがって、相対位置計測装置10Cは、所定点がセンサ102Bから離れていても、所定点と岸壁90までの距離を高精度に算出できる。
(第7の実施形態)
第7の実施形態に係る相対位置計測装置、相対位置計測方法、および、相対位置計測プログラムについて、図を参照して説明する。図17は、第7の実施形態に係る予測位置における相対位置を計測する概念を示す図である。図18は、第7の実施形態に係る相対位置計測装置の構成を示す機能ブロック図である。
図17に示すように、第7の実施形態に係る相対位置計測技術(装置、方法、および、プログラム)は、所定時間後または所定時間前における自船の予測位置における対象点との相対位置を計測する点で、上述の各実施形態と異なる。以下では、第3の実施形態に係る相対位置計測技術との異なる点について説明し、同一の箇所については、説明を省略する。
第7の実施形態に係る相対位置計測装置10Dは、現在時刻に対して所定時間ズレた時刻における船舶100の位置を予測する。例えば、相対位置計測装置10Dは、上述の位置・姿勢計測部60のような船舶100の速度、加速度、角速度等を算出可能な機能部を有している。この機能部は、GNSSの測位信号を用いたものでもよく、慣性センサであってもよい。相対位置計測装置10Dは、この機能部で計測した船舶100の速度、加速度、角速度等を用いて、現時刻から所定時間シフトした予測時刻における船舶100の位置を予測する。なお、時間のシフト方向は、過去でも未来でもよい。
相対位置計測装置10Dは、現在位置(現在時刻での位置)の位置座標と予測位置の位置座標とから、現在位置と予測位置との相対位置、すなわち、現在位置と予測位置との間の平行距離Lp1と垂直距離Lv1を算出する。
相対位置計測装置10Dは、現在位置における平行距離Lpと、現在位置と予測位置との間の平行距離Lp1とを用いて、予測位置における平行距離Lp2を算出する。また、相対位置計測装置10Dは、現在位置における垂直距離Lvと、現在位置と予測位置との間の垂直距離Lv1とを用いて、予測位置における垂直距離Lv2を算出する。これにより、相対位置計測装置10Dは、予測位置と対象点(着岸原点91)との平行距離Lp2と垂直距離Lv2とを予測できる。
この機能を実現するため、図18に示すように、相対位置計測装置10Dは、図6に示した第3の実施形態に係る相対位置計測装置10Aの構成に加え、予測トリガ指定部41、自船位置予測部55、および、相対位置予測部56を備える。なお、図示を省略しているが、相対位置計測装置10Dは、センサ102に、位置・姿勢計測部60を備えている。位置・姿勢計測部60で計測された速度、加速度、または、角速度等は、自船位置予測部55に与えられる。
予測トリガ指定部41は、ユーザの操作等によって、予測時刻の指定を受け付ける。予測トリガ指定部41は、予測時刻を自船位置予測部55に出力する。
自船位置予測部55は、現時刻と予測時刻との差または時間間隔、計測された現時刻での速度、加速度、または、角速度を用いて、予測時刻での自船位置を予測する。自船位置予測部55は、現時刻での船舶100の位置(現在位置)、予測時刻での船舶100の位置(予測位置)、および、現在位置と対象点(着岸原点91)との相対位置を、相対位置予測部56に出力する。
相対位置予測部56は、現在位置と予測位置との相対位置を算出する。相対位置予測部56は、現在位置と予測位置との相対位置と、現在位置と対象点(着岸原点91)との相対位置とを、用いて、予測位置と対象点(着岸原点91)との相対位置を算出(予測)する。
このような構成によって、相対位置計測装置10Dは、予測位置における対象点(着岸原点91)との相対位置を予測できる。この際、相対位置計測装置10Dは、上述の現在位置と対象点(着岸原点91)との相対位置を用いることができ、さらに、例えば、GNSSの測位信号を用いることで現在位置と予測位置との相対位置を高精度に算出できる。したがって、相対位置計測装置10Dは、予測位置における対象点(着岸原点91)との相対位置を、高精度に予測できる。
なお、予測時刻の指定方法は、上述に限るものではなく、例えば、以下の指定方法を用いることもできる。
(A)予測時刻は、現時刻との時間差(時間間隔)によって指定される。この場合、予測トリガ指定部41は、指定された時間間隔を、現時刻に加算もしくは減算することによって、予定時刻を算出する。この際、予測時刻は、1つの時刻に限らず、時間間隔によって設定される複数の時刻とすることもできる。また、時間間隔の指定は、自動であっても手動であってもよい。さらに、時間間隔は、等間隔であっても、等間隔でなくてもよい。
(B)予測時刻は、移動距離間隔によって指定される。この場合、例えば、予測トリガ指定部41は、上述のような自船の速度や加速度を得られる機能部から、自船の速度や加速度を取得する。そして、予測トリガ指定部41は、指定された移動距離を、速度によって除算することによって、予測時刻を算出する。
なお、移動距離間隔を用いる場合には、予測トリガ指定部41は、移動距離を、自船位置予測部55に出力してもよい。自船位置予測部55は、取得した移動距離から自船位置を予測する。この場合、移動距離は、本願の「予測時刻」と同意に扱うことができる。また、移動距離間隔の指定は、自動であっても手動であってもよい。さらに、移動距離間隔は、等間隔であっても、等間隔でなくてもよい。
(C)予測時刻は、自船位置から着岸原点までの距離よって指定される。この場合、例えば、予測トリガ指定部41は、現時刻もしくは各時刻において、自船位置と着岸原点との距離を算出する。予測トリガ指定部41は、距離に応じた回数の予測時刻を設定する。
具体的には、例えば、距離によらず、予測時刻の回数を一定に設定する。この場合、距離が短ければ、予測時刻は、短い時間間隔で設定され、距離が長ければ、予測時刻は、長い時間間隔で設定される。これにより、自船(船舶100)が着岸原点91に近づくほど、自船と着岸原点との相対位置を、短い時間間隔で予測できる。なお、距離当たりの予約時刻の回数を一定にせず、この距離当たりの予測時刻の回数が、距離が短くなるほど、更に多くなるようにしてもよい。
また、例えば、予測時刻の時間間隔を一定にして、距離に応じて予測時刻の回数を可変に設定することも可能である。
(D)予測時刻は、自船の過去の移動情報を用いて指定される。この場合、例えば、予測トリガ指定部41は、自船の過去の移動情報(自船の航行軌跡)を取得または記憶しておく。そして、予測トリガ指定部41は、自船の航行軌跡上の所定位置を指定することによって、予測時刻を指定する。または、予測トリガ指定部41は、自船の航行軌跡から、今後の予測航跡を算出する。そして、予測トリガ指定部41は、予測航跡上の所定位置を指定することによって、予測時刻を指定する。これら、所定位置の指定は、時間間隔や移動距離間隔に基づいて自動で行われてもよく、手動で行われてもよい。また、この場合、自船位置が得られるので、予測トリガ指定部41は、指定した自船位置を、自船位置予測部55に出力することもできる。
(相対位置計測方法)
上述の説明における各処理は、次に示す相対位置計測方法のフローチャートを実行することによって、実現できる。図19は、第7の実施形態に係る相対位置計測方法を示すフローチャートである。なお、各処理の具体的な内容において、上述している内容、および、上述の内容から容易に分かる内容は、以下では説明を省略する。
相対位置計測装置10Dの演算部50Dは、予測トリガ指定部41を用いた予測時刻の指定を受け付ける(S81)。演算部50Dは、予測時刻と現時刻と現在の自船位置とから、予測時刻での自船位置を予測する(S82)。
演算部50Dは、現在位置と対象点との相対位置と、現在位置と予測位置との相対位置とを用いて、予測位置と対象点との相対位置を算出(計測)する(S83)。例えば、演算部50Dは、現在位置における平行距離Lpから、現在位置と予測位置との間の平行距離Lp1を減算して、予測位置における平行距離Lp2(=Lp-Lp1)を算出する。また、演算部50Dは、現在位置における垂直距離Lvから、現在位置と予測位置との間の垂直距離Lv1を減算して、予測位置における垂直距離Lv2(=Lv-Lpv)を算出する。
なお、上述の説明では、単眼カメラ20の撮像した画像データの位置を指定することで、対象点を指定する態様を示した。しかしながら、鳥瞰図を用いて、対象点を指定することもできる。この場合、相対位置計測装置は、鳥瞰図を表示画面上に表示する。また、相対位置計測装置は、鳥瞰図における各点の位置座標と、画像データの各点の位置座標との関係を、予め記憶している。
鳥瞰図を用いることによって、対象の岸壁等を、上空から俯瞰するように確認でき、対象点を容易に把握して、指定することができる。また、遠近距離や岸壁線のずれに気付きやすく、水平な岸壁線を容易に設定できる。
なお、単眼カメラ20の撮像した画像データを用いた場合は、ユーザが視ている光景とほぼ同じ画像で、対象点を指定でき、直感的に分かりやすく、対象点を指定できる。また、N旗等の小さな固定物標も視認し易く、正確に対象点として指定しやすい。
上述の各実施形態等に示す構成は、適宜組合せが可能であり、それぞれの組合せに応じた作用効果を奏することができる。
10、10A、10B、10C、10D:相対位置計測装置
20:単眼カメラ
30:測距部
40:対象点指定部
41:予測トリガ指定部
50、50A、50B、50C、50D:演算部
51、51B、51C:岸壁線決定部
52、52A、52B、52C:着岸原点決定部
53、53B、53C:相対位置算出部
54B、54C:変換行列算出部
55:自船位置予測部
56:相対位置予測部
60:位置・姿勢計測部
90:岸壁
91:着岸原点
99:海
100:船舶
101:船橋
102、102B:センサ
110:右舷端
120:船首
600:測位信号受信部
900:岸壁面
910:岸壁線
911:始点
912:終点
用語
必ずしも全ての目的または効果・利点が、本明細書中に記載される任意の特定の実施形態に則って達成され得るわけではない。従って、例えば当業者であれば、特定の実施形態は、本明細書中で教示または示唆されるような他の目的または効果・利点を必ずしも達成することなく、本明細書中で教示されるような1つまたは複数の効果・利点を達成または最適化するように動作するように構成され得ることを想到するであろう。
本明細書中に記載される全ての処理は、1つまたは複数のコンピュータまたはプロセッサを含むコンピューティングシステムによって実行されるソフトウェアコードモジュールにより具現化され、完全に自動化され得る。コードモジュールは、任意のタイプの非一時的なコンピュータ可読媒体または他のコンピュータ記憶装置に記憶することができる。一部または全ての方法は、専用のコンピュータハードウェアで具現化され得る。
本明細書中に記載されるもの以外でも、多くの他の変形例があることは、本開示から明らかである。例えば、実施形態に応じて、本明細書中に記載されるアルゴリズムのいずれかの特定の動作、イベント、または機能は、異なるシーケンスで実行することができ、追加、併合、または完全に除外することができる (例えば、記述された全ての行為または事象がアルゴリズムの実行に必要というわけではない)。さらに、特定の実施形態では、動作またはイベントは、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して、または他の並列アーキテクチャ上で、逐次ではなく、並列に実行することができる。さらに、異なるタスクまたはプロセスは、一緒に機能し得る異なるマシンおよび/またはコンピューティングシステムによっても実行され得る。
本明細書中に開示された実施形態に関連して説明された様々な例示的論理ブロックおよびモジュールは、プロセッサなどのマシンによって実施または実行することができる。プロセッサは、マイクロプロセッサであってもよいが、代替的に、プロセッサは、コントローラ、マイクロコントローラ、またはステートマシン、またはそれらの組み合わせなどであってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはコンピュータ実行可能命令を処理することなく論理演算を実行する他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、デジタル信号プロセッサ(デジタル信号処理装置)とマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。本明細書中では、主にデジタル技術に関して説明するが、プロセッサは、主にアナログ素子を含むこともできる。例えば、本明細書中に記載される信号処理アルゴリズムの一部または全部は、アナログ回路またはアナログとデジタルの混合回路により実装することができる。コンピューティング環境は、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または装置内の計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない任意のタイプのコンピュータシステムを含むことができる。
特に明記しない限り、「できる」「できた」「だろう」または「可能性がある」などの条件付き言語は、特定の実施形態が特定の特徴、要素および/またはステップを含むが、他の実施形態は含まないことを伝達するために一般に使用される文脈内での意味で理解される。従って、このような条件付き言語は、一般に、特徴、要素および/またはステップが1つ以上の実施形態に必要とされる任意の方法であること、または1つ以上の実施形態が、これらの特徴、要素および/またはステップが任意の特定の実施形態に含まれるか、または実行されるかどうかを決定するための論理を必然的に含むことを意味するという訳ではない。
語句「X、Y、Zの少なくとも1つ」のような選言的言語は、特に別段の記載がない限り、項目、用語等が X, Y, Z、のいずれか、又はそれらの任意の組み合わせであり得ることを示すために一般的に使用されている文脈で理解される(例: X、Y、Z)。従って、このような選言的言語は、一般的には、特定の実施形態がそれぞれ存在するXの少なくとも1つ、Yの少なくとも1つ、またはZの少なくとも1つ、の各々を必要とすることを意味するものではない。
本明細書中に記載されかつ/または添付の図面に示されたフロー図における任意のプロセス記述、要素またはブロックは、プロセスにおける特定の論理機能または要素を実装するための1つ以上の実行可能命令を含む、潜在的にモジュール、セグメント、またはコードの一部を表すものとして理解されるべきである。代替の実施形態は、本明細書中に記載された実施形態の範囲内に含まれ、ここでは、要素または機能は、当業者に理解されるように、関連する機能性に応じて、実質的に同時にまたは逆の順序で、図示または説明されたものから削除、順不同で実行され得る。
特に明示されていない限り、「一つ」のような数詞は、一般的に、1つ以上の記述された項目を含むと解釈されるべきである。従って、「~するように設定された一つのデバイス」などの語句は、1つ以上の列挙されたデバイスを含むことを意図している。このような1つまたは複数の列挙されたデバイスは、記載された引用を実行するように集合的に構成することもできる。例えば、「以下のA、BおよびCを実行するように構成されたプロセッサ」は、Aを実行するように構成された第1のプロセッサと、BおよびCを実行するように構成された第2のプロセッサとを含むことができる。加えて、導入された実施例の具体的な数の列挙が明示的に列挙されたとしても、当業者は、このような列挙が典型的には少なくとも列挙された数(例えば、他の修飾語を用いない「2つの列挙と」の単なる列挙は、通常、少なくとも2つの列挙、または2つ以上の列挙を意味する)を意味すると解釈されるべきである。
一般に、本明細書中で使用される用語は、一般に、「非限定」用語(例えば、「~を含む」という用語は「それだけでなく、少なくとも~を含む」と解釈すべきであり、「~を持つ」という用語は「少なくとも~を持っている」と解釈すべきであり、「含む」という用語は「以下を含むが、これらに限定されない。」などと解釈すべきである。) を意図していると、当業者には判断される。
説明の目的のために、本明細書中で使用される「水平」という用語は、その方向に関係なく、説明されるシステムが使用される領域の床の平面または表面に平行な平面、または説明される方法が実施される平面として定義される。「床」という用語は、「地面」または「水面」という用語と置き換えることができる。「垂直/鉛直」という用語は、定義された水平線に垂直/鉛直な方向を指します。「上側」「下側」「下」「上」「側面」「より高く」「より低く」「上の方に」「~を越えて」「下の」などの用語は水平面に対して定義されている。
本明細書中で使用される用語の「付着する」、「接続する」、「対になる」及び他の関連用語は、別段の注記がない限り、取り外し可能、移動可能、固定、調節可能、及び/または、取り外し可能な接続または連結を含むと解釈されるべきである。接続/連結は、直接接続及び/または説明した2つの構成要素間の中間構造を有する接続を含む。
特に明示されていない限り、本明細書中で使用される、「およそ」、「約」、および「実質的に」のような用語が先行する数は、列挙された数を含み、また、さらに所望の機能を実行するか、または所望の結果を達成する、記載された量に近い量を表す。例えば、「およそ」、「約」及び「実質的に」とは、特に明示されていない限り、記載された数値の10%未満の値をいう。本明細書中で使用されているように、「およそ」、「約」、および「実質的に」などの用語が先行して開示されている実施形態の特徴は、さらに所望の機能を実行するか、またはその特徴について所望の結果を達成するいくつかの可変性を有する特徴を表す。
上述した実施形態には、多くの変形例および修正例を加えることができ、それらの要素は、他の許容可能な例の中にあるものとして理解されるべきである。そのような全ての修正および変形は、本開示の範囲内に含まれることを意図し、以下の請求の範囲によって保護される。

Claims (20)

  1. 画像を撮像する単眼カメラと、計測点の、センサ位置を基準とする3次元相対位置を計測する測距部と、を有するセンサと、
    前記計測点の3次元相対位置から、前記画像内の指定された対象点の、前記センサ位置を基準とする3次元相対位置を決定する演算部と、
    を備え
    前記測距部は、前記センサ位置から前記計測点までの計測点距離、前記センサ位置を基準とする計測点方位角、および、前記センサ位置を基準とする計測点仰角を計測し、
    前記演算部は、
    前記画像から、前記センサ位置を基準とする対象点方位角、および、前記センサ位置を基準とする対象点仰角を算出し、
    前記対象点方位角および前記対象点仰角と、前記計測点方位角および前記計測点仰角とから、前記センサ位置から前記対象点までの対象点距離を算出して、前記対象点の前記3次元相対位置を決定する、
    相対位置計測装置。
  2. 請求項に記載の相対位置計測装置であって、
    前記演算部は、
    前記測距部が検出した複数の計測点から、前記計測点距離、前記対象点方位角と前記計測点方位角との差、および、前記対象点仰角と前記計測点仰角との差の少なくとも1個の条件を用いて、候補点を抽出し、
    前記候補点から、前記対象点に対応する前記計測点を決定する、
    相対位置計測装置。
  3. 請求項1または請求項2に記載の相対位置計測装置であって、
    前記対象点は、相対位置計測装置が装備された船舶の着岸原点である、
    相対位置計測装置。
  4. 請求項に記載の相対位置計測装置であって、
    前記演算部は、
    前記着岸原点の、前記センサ位置を基準とする3次元相対位置を決定する着岸原点決定部と、
    前記着岸原点を通る岸壁線の、前記センサ位置を基準とする3次元相対位置を決定する岸壁線決定部と、
    前記着岸原点と前記岸壁線とを用いて、自船位置から前記着岸原点までの前記岸壁線に平行な距離および、前記自船位置から前記着岸原点までの前記岸壁線に垂直な距離を算出する相対位置算出部と、
    を備える、
    相対位置計測装置。
  5. 請求項に記載の相対位置計測装置であって、
    前記演算部は、
    予測時刻の指定を受け付ける予測トリガ指定部と、
    前記センサ位置を基準として、前記予測時刻における自船の3次元相対位置を予測する自船位置予測部と、
    前記着岸原点と前記岸壁線とを用いて、前記予測時刻における前記自船の3次元相対位置から前記着岸原点までの前記岸壁線に平行な距離、および、前記予測時刻における前記自船の3次元相対位置から前記着岸原点までの前記岸壁線に垂直な距離を算出する相対位置予測部と、
    を備える、
    相対位置計測装置。
  6. 請求項に記載の相対位置計測装置であって、
    前記予測トリガ指定部は、
    時間間隔または移動距離間隔を用いて、前記予測時刻を指定する、
    相対位置計測装置。
  7. 請求項に記載の相対位置計測装置であって、
    前記予測トリガ指定部は、
    前記自船位置から前記着岸原点までの距離によって、前記予測時刻を指定する、
    相対位置計測装置。
  8. 請求項に記載の相対位置計測装置であって、
    前記予測トリガ指定部は、
    前記自船の過去の移動情報を用いて、前記予測時刻を指定する、
    相対位置計測装置。
  9. 請求項乃至請求項のいずれかに記載の相対位置計測装置であって、
    前記岸壁線決定部は、
    前記着岸原点を用いて、前記岸壁線を決定する、
    相対位置計測装置。
  10. 請求項乃至請求項のいずれかに記載の相対位置計測装置であって、
    前記着岸原点決定部は、
    前記岸壁線と、前記センサ位置を基準とする対象点方位角とを用いて、前記着岸原点を決定する、
    相対位置計測装置。
  11. 請求項乃至請求項10のいずれかに記載の相対位置計測装置であって、
    前記センサの位置および姿勢を計測する位置姿勢計測部を備え、
    前記演算部は、
    前記位置および前記姿勢を用いて、前記対象点の前記3次元相対位置を世界座標系に変換する座標変換行列を算出し、
    前記座標変換行列を用いて、前記対象点の前記3次元相対位置を前記世界座標系で算出する、
    相対位置計測装置。
  12. 請求項11に記載の相対位置計測装置であって、
    前記演算部は、前記対象点を、前記世界座標系の原点に設定する、
    相対位置計測装置。
  13. 画像を撮像し、
    計測点の、前記撮像の位置に対して既知の位置にある測距位置を基準とする3次元相対位置を計測し、
    前記計測点の3次元相対位置から、前記画像内の指定された対象点の、前記測距位置を基準とする3次元相対位置を決定し、
    前記3次元相対位置を計測する処理は、前記測距位置から前記計測点までの計測点距離、前記測距位置を基準とする計測点方位角、および、前記測距位置を基準とする計測点仰角を計測し、
    前記3次元相対位置を決定する処理は、
    前記画像から、前記測距位置を基準とする対象点方位角、および、前記測距位置を基準とする対象点仰角を算出し、
    前記対象点方位角および前記対象点仰角と、前記計測点方位角および前記計測点仰角とから、前記測距位置から前記対象点までの対象点距離を算出して、前記対象点の前記3次元相対位置を決定する、
    相対位置計測方法。
  14. 請求項13に記載の相対位置計測方法であって、
    前記対象点は、相対位置計測を行う船舶の着岸原点である、
    相対位置計測方法。
  15. 請求項14に記載の相対位置計測方法であって、
    前記着岸原点の、前記測距位置を基準とする3次元相対位置を決定し、
    前記着岸原点を通る岸壁線の、前記測距位置を基準とする3次元相対位置を決定し、
    前記着岸原点と前記岸壁線とを用いて、自船位置から前記着岸原点までの前記岸壁線に平行な距離および、前記自船位置から前記着岸原点までの前記岸壁線に垂直な距離を算出する、
    相対位置計測方法。
  16. 請求項15に記載の相対位置計測方法であって、
    予測時刻の指定を受け付け、
    前記測距位置を基準として、前記予測時刻における自船の3次元相対位置を予測し、
    前記着岸原点と前記岸壁線とを用いて、前記予測時刻における前記自船の3次元相対位置から前記着岸原点までの前記岸壁線に平行な距離、および、前記予測時刻における前記自船の3次元相対位置から前記着岸原点までの前記岸壁線に垂直な距離を算出する、
    相対位置計測方法。
  17. 画像を撮像し、
    計測点の、前記撮像の位置に対して既知の位置にある測距位置を基準とする3次元相対位置を計測し、
    前記計測点の3次元相対位置から、前記画像内の指定された対象点の、前記測距位置を基準とする3次元相対位置を決定する、
    処理を演算処理装置に実行させる、相対位置計測プログラムであって、
    前記3次元相対位置を計測する処理では、前記測距位置から前記計測点までの計測点距離、前記測距位置を基準とする計測点方位角、および、前記測距位置を基準とする計測点仰角を計測し、
    前記3次元相対位置を決定する処理では、
    前記画像から、前記測距位置を基準とする対象点方位角、および、前記測距位置を基準とする対象点仰角を算出し、
    前記対象点方位角および前記対象点仰角と、前記計測点方位角および前記計測点仰角とから、前記測距位置から前記対象点までの対象点距離を算出して、前記対象点の前記3次元相対位置を決定する、
    処理を演算処理装置に実行させる、相対位置計測プログラム
  18. 請求項17に記載の相対位置計測プログラムであって、
    前記対象点は、相対位置計測を行う船舶の着岸原点として指定する、
    処理を演算処理装置に実行させる、相対位置計測プログラム。
  19. 請求項18に記載の相対位置計測プログラムであって、
    前記着岸原点の、前記測距位置を基準とする3次元相対位置を決定し、
    前記着岸原点を通る岸壁線の、前記測距位置を基準とする3次元相対位置を決定し、
    前記着岸原点と前記岸壁線とを用いて、自船位置から前記着岸原点までの前記岸壁線に平行な距離および、前記自船位置から前記着岸原点までの前記岸壁線に垂直な距離を算出する、
    処理を演算処理装置に実行させる、相対位置計測プログラム。
  20. 請求項19に記載の相対位置計測プログラムであって、
    予測時刻の指定を受け付け、
    前記測距位置を基準として、前記予測時刻における自船の3次元相対位置を予測し、
    前記着岸原点と前記岸壁線とを用いて、前記予測時刻における前記自船の3次元相対位置から前記着岸原点までの前記岸壁線に平行な距離、および、前記予測時刻における前記自船の3次元相対位置から前記着岸原点までの前記岸壁線に垂直な距離を算出する、
    処理を演算処理装置に実行させる、相対位置計測プログラム。
JP2021543660A 2019-09-02 2020-07-31 相対位置計測装置、相対位置計測方法、および、相対位置計測プログラム Active JP7313454B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019159210 2019-09-02
JP2019159210 2019-09-02
PCT/JP2020/029457 WO2021044777A1 (ja) 2019-09-02 2020-07-31 相対位置計測装置、相対位置計測方法、および、相対位置計測プログラム

Publications (2)

Publication Number Publication Date
JPWO2021044777A1 JPWO2021044777A1 (ja) 2021-03-11
JP7313454B2 true JP7313454B2 (ja) 2023-07-24

Family

ID=74852541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021543660A Active JP7313454B2 (ja) 2019-09-02 2020-07-31 相対位置計測装置、相対位置計測方法、および、相対位置計測プログラム

Country Status (4)

Country Link
EP (1) EP4027102A4 (ja)
JP (1) JP7313454B2 (ja)
CN (1) CN114222897A (ja)
WO (1) WO2021044777A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3690767A (en) 1970-10-01 1972-09-12 Systron Donner Corp Optical tanker-docking system
JP2005180949A (ja) 2003-12-16 2005-07-07 Tama Tlo Kk 船舶自動接岸システム
US7561886B1 (en) 2006-01-06 2009-07-14 Brunswick Corporation Method for determining the position of a marine vessel relative to a fixed location
CN104590319A (zh) 2014-06-11 2015-05-06 北京交通大学 异物侵入检测装置和异物侵入检测方法
JP2019132795A (ja) 2018-02-02 2019-08-08 マクセル株式会社 距離算出装置および距離算出方法
JP2019139084A (ja) 2018-02-13 2019-08-22 京セラドキュメントソリューションズ株式会社 画像形成装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7477360B2 (en) * 2005-02-11 2009-01-13 Deltasphere, Inc. Method and apparatus for displaying a 2D image data set combined with a 3D rangefinder data set
US7389735B2 (en) * 2005-09-15 2008-06-24 Yamaha Hatsudoki Kubushiki Kaisha Docking supporting apparatus, and marine vessel including the apparatus
DE102010020925B4 (de) * 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
JP6194610B2 (ja) 2013-03-28 2017-09-13 富士通株式会社 移動距離推定装置、移動距離推定方法、及びプログラム
JP6880822B2 (ja) * 2017-02-24 2021-06-02 株式会社リコー 装置、移動体装置及び方法
JP6969047B2 (ja) * 2018-03-20 2021-11-24 三井E&S造船株式会社 船舶の自動操船システム
EP3805089B1 (en) * 2018-05-29 2023-04-19 Yamaha Hatsudoki Kabushiki Kaisha Ship docking assisting apparatus and ship docking assisting method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3690767A (en) 1970-10-01 1972-09-12 Systron Donner Corp Optical tanker-docking system
JP2005180949A (ja) 2003-12-16 2005-07-07 Tama Tlo Kk 船舶自動接岸システム
US7561886B1 (en) 2006-01-06 2009-07-14 Brunswick Corporation Method for determining the position of a marine vessel relative to a fixed location
CN104590319A (zh) 2014-06-11 2015-05-06 北京交通大学 异物侵入检测装置和异物侵入检测方法
JP2019132795A (ja) 2018-02-02 2019-08-08 マクセル株式会社 距離算出装置および距離算出方法
JP2019139084A (ja) 2018-02-13 2019-08-22 京セラドキュメントソリューションズ株式会社 画像形成装置

Also Published As

Publication number Publication date
EP4027102A1 (en) 2022-07-13
EP4027102A4 (en) 2024-01-03
CN114222897A (zh) 2022-03-22
JPWO2021044777A1 (ja) 2021-03-11
WO2021044777A1 (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
JP7080320B2 (ja) 衝突警報装置及び衝突警報方法
US20170052029A1 (en) Ship display device
JP7138706B2 (ja) 表示データ生成装置
CN114258372B (zh) 船舶信息显示***、船舶信息显示方法、图像生成装置以及程序
US11618539B2 (en) Device, method and program for generating traveling route
US11473914B2 (en) Navigation device and method of creating route
US20190344875A1 (en) Automatic steering device, automatic steering method and automatic steering program
US11548598B2 (en) Image generating device and method of generating image
CN114964244A (zh) 潮流信息显示装置、ar导航***、潮流信息显示方法、以及潮流信息显示程序
US20220348297A1 (en) Ship maneuver supporting device and ship maneuver supporting method
JP7313454B2 (ja) 相対位置計測装置、相対位置計測方法、および、相対位置計測プログラム
US11002548B2 (en) Device, method, and program for notifying return-to-harbor information
US11268814B2 (en) Movement information calculating device, movement information calculating method and movement information calculating program
WO2024057826A1 (en) Navigation supporting device, navigation supporting system, navigation supporting method, and navigation supporting program
EP4290495A1 (en) Obstruction zone generation device and method
JP7359803B2 (ja) 潮流情報表示装置、arナビゲーションシステム、潮流情報表示方法、及び潮流情報表示プログラム
WO2024053524A1 (ja) 航行支援装置、航行支援方法
US20240087459A1 (en) Ship monitoring device, ship monitoring method and a non-transitory computer-readable medium
WO2024053525A1 (ja) 航行支援装置、航行支援方法
US20230406461A1 (en) Navigation route planning apparatus and navigation route planning method
WO2024135198A1 (ja) 航行支援装置、航行支援方法、及びプログラム
WO2024053526A1 (ja) 航行支援装置、航行支援方法
WO2024116719A1 (ja) 航行支援装置、航行支援方法、及びプログラム
WO2022091677A1 (ja) 船舶監視システム、船舶監視方法、情報処理装置、及びプログラム
JP7489289B2 (ja) 航路演算装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220421

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230711

R150 Certificate of patent or registration of utility model

Ref document number: 7313454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150