JP2020042804A - 位置検出方法とその装置、機器、記憶媒体及び車両 - Google Patents

位置検出方法とその装置、機器、記憶媒体及び車両 Download PDF

Info

Publication number
JP2020042804A
JP2020042804A JP2019155990A JP2019155990A JP2020042804A JP 2020042804 A JP2020042804 A JP 2020042804A JP 2019155990 A JP2019155990 A JP 2019155990A JP 2019155990 A JP2019155990 A JP 2019155990A JP 2020042804 A JP2020042804 A JP 2020042804A
Authority
JP
Japan
Prior art keywords
lane
coordinate system
dimensional coordinates
transformation matrix
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019155990A
Other languages
English (en)
Other versions
JP6866439B2 (ja
Inventor
リウ，ミンジェン
Mingjian Liu
ワン，イーチャン
Yucheng Wang
スン，シン
Xun Sun
シエ，シューフー
Shufu Xie
ヂャイ，イーチャン
Yuqiang Zhai
ワン，ハオ
Hao Wang
シア，ティェン
Tian Xia
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020042804A publication Critical patent/JP2020042804A/ja
Application granted granted Critical
Publication of JP6866439B2 publication Critical patent/JP6866439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

【課題】無人車システムにおける障害物などの目標物体の３次元位置座標を検出する精度を向上させることができる位置検出方法とその装置、機器、記憶媒体及び車両を提供する。【解決手段】位置検出方法方法は、カメラによって撮影された現在の画像における第１の車線を検出するステップと、第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するステップと、最適化して取得された変換行列に基づいて、現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定するステップと、を含む。位置検出方法は、最適化された変換行列を使用して、画像における目標物体の第１の３次元座標を取得し、その後、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定する。【選択図】図１

Description

本発明の実施例は、無人車技術分野に関し、特に位置検出方法とその装置、機器、記憶媒体及び車両に関する。
従来において、無人車システム視覚に基づく検出アルゴリズムを使用して障害物の３次元位置を検出する。
具体的には、まず、ｈ／Ｈ＝ｆ／ｚに基づいて障害物のｚ軸座標値を算出し、その中ｚは、障害物のｚ軸座標値であり、ｆは、無人車に取り付けたカメラの焦点距離であり、ｈは、障害物のカメラによって撮影された画像における高さ値であり、Ｈは、障害物の実際の高さ値であり、その後、ｚ軸座標値に基づいてｘ軸座標値とｙ軸座標値を取得し、さらに障害物の３次元位置座標を取得する。
上記の態様では、Ｈの値は、予めトレーニングして取得される機械モデルに基づいて取得するため、精度が低く、障害物の３次元位置座標の精度をさらに低下させる。
本発明の実施例は、位置検出方法とその装置、機器、記憶媒体及び車両を提供して、無人車システムにおける目標物体の３次元位置座標を検出する精度を向上させる。
第１の側面において、本発明の実施例は、位置検出方法を提供し、前記方法は、カメラによって撮影された現在の画像における第１の車線を検出するステップと、第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するステップと、最適化して取得された変換行列に基づいて、前記現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて前記目標物体の最終的な３次元座標を決定するステップと、を含む。
第２の側面において、本発明の実施例は、位置検出装置をさらに提供し、当該装置は、カメラによって撮影された現在の画像における第１の車線を検出するための第１の車線検出モジュールと、第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するための初期の変換行列最適化モジュールと、最適化して取得された変換行列に基づいて、前記現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて前記目標物体の最終的な３次元座標を決定するための３次元座標決定モジュールと、をさらに含む。
第３の側面において、本発明の実施例は、電子機器をさらに提供し、メモリと、プロセッサと、メモリに記憶され、プロセッサによって実行可能なコンピュータプログラムと、を含み、前記プログラムが前記プロセッサによって実行される場合に、本発明の実施例の位置検出方法を実現する。
第４の側面において、本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例の位置検出方法を実現する。
第５の側面において、本発明の実施例は、車体を含む車両をさらに提供し、第３の側面の電子機器、車体に設けられたカメラと、をさらに含む。
本発明の実施例は、まず、カメラによって撮影された現在の画像における第１の車線を検出し、その後、第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化し、最適化して取得された変換行列に基づいて現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定する。本発明の実施例より提供される位置検出方法は、最適化された変換行列を使用して、画像における目標物体の第１の３次元座標を取得し、その後、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定するため、無人車システムにおける障害物などの目標物体の３次元位置座標を検出する精度を向上させることができる。
本発明の実施例１による位置検出方法のフローチャートである。 本発明の実施例２による位置検出方法のフローチャートである。 本発明の実施例２による他の位置検出方法のフローチャートである。 本発明の実施例３による位置検出装置の概略構成図である。 本発明の実施例４による電子機器の概略構成図である。 本発明の実施例５による車両の概略構成図である。
以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。
実施例１
図１は、本発明の実施例１より提供される位置検出方法のフローチャートである。本実施例は、無人車システムにおいて目標物体の３次元座標位置を検出する場合に適用することができる。当該方法は、位置検出装置によって実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアで構成することができ、一般的に位置検出機能を有する機器に統合されることができる。当該機器は、携帯端末、車載機器などの電子機器であってもよい。図１に示すように、当該方法は、具体的には、以下のようなステップを含む。
ステップＳ１１０：カメラによって撮影された現在の画像における第１の車線を検出する。
具体的には、無人車が走行中に、車載カメラが車両前方の画像を連続的に取得し、カメラが現在の画像を撮影する場合、現在の画像における第１の車線を検出して、第１の車線における各点の座標又は第１の車線の消失点に対応するピッチ角を取得する。
ステップＳ１２０：第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化する。
その中、変換行列は、世界座標系とカメラ座標系との間のマッピング関係を反映することができる行列であってもよく、変換行列に世界座標系におけるある点の座標を乗算すると、当該点がカメラ座標系にマッピングされる座標を取得することができる。
選択可能に、第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するステップは、世界座標系とカメラ座標系との間の初期の変換行列に基づいて、地図における車線（具体的には、地図の、現在の画像を撮影しているときの位置の車線を指す）を現在の画像に投影して、第２の車線を取得し、第１の車線と第２の車線との現在の画像における位置に基づいて初期の変換行列を最適化して、最適化された変換行列に基づいて地図における車線を現在の画像に再投影して取得された新たな第２の車線と第１の車線との距離が、調整前の第２の車線と第１の車線との距離より小さくなるようにする方式によって実施されることができる。
その中、地図は、世界座標系を基準にして作成される。地図における車線を現在の画像に投影して、第２の車線を取得する実現方式は、地図に対応する世界座標系とカメラ座標系との間の初期の変換行列に基づいて、地図における車線の各点を画像の画素に投影し、投影された各画素によって第２の車線が構成されることができる。例示的には、地図における車線を現在の画像に投影して、第２の車線を取得することは下記の式によって実現されることができる。
Figure 2020042804
その中、ｕ、ｖは、画像の画素点座標であり、Ｘ、Ｙ、Ｚは、世界座標系座標であり、Ｐは、世界座標系とカメラ座標系との間の変換行列である。
具体的には、地図における車線における各点は、世界座標系に基づく座標を有し、世界座標系とカメラ座標系との間の初期変化行列を用いて、地図における車線における各点の座標を画像におけるカメラ座標系に基づく座標に変換することができるため、地図における車線の各点を画像の画素に投影し、最後に投影された各画素によって第２の車線が構成される。第２の車線を取得した後、第１の車線と第２の車線との現在の画像における位置に基づいて初期変化行列を最適化する。
選択可能に、第１の車線と第２の車線との画像における位置に基づいて初期の変換行列を最適化することは、第１の車線と第２の車線との画像における位置に基づいて、第１の車線における設定された数の点から第２の車線までの最短距離を決定し、最短距離に基づいて第１の損失関数を決定し、第１の損失関数が小さくなる方向に従って、第２の車線の位置を少なくとも一回調整し、少なくとも一回して取得調整された新たな第２の車線の現在の画像における位置と、世界座標系における車線の位置とに基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得する方式によって実施されることができる。
その中、第１の車線と第２の車線との画像における位置は、第１の車線と第２の車線とを構成する各点の座標によって特徴付けることができる。最短距離に基づいて第１の損失関数を決定する方式は、第１の車線における設定された数の点から第２の車線までの最短距離を合計することができる。第１の損失関数の表示式は：
Figure 2020042804
であり、その中、（ｘ１、ｙ１）は、第１の車線上の一つの点であり、（ｘ２、ｙ２）は、第２の車線において（ｘ１、ｙ１）までの距離が最も小さい点であり、
Figure 2020042804
は、二つの点の間の距離、すなわち（ｘ１、ｙ１）と第２の車線との間の最短距離を表示し、ｓｕｍは、各最短距離を合計して算出することを表示する。
第１の損失関数が小さくなる方向に従って、第２の車線の位置を少なくとも一回調整する実現方式は、まず、設定されたステップサイズにしたがって第２の車線における各点の座標を調整することができ、具体的には、第２の車線上の、第１の車線における設定された数の点との距離が最も小さい各点を調整することができ、調整時に調整対象の点の座標を設定されたステップサイズに加算又は減算することができ、第２の車線の点の座標を調整した後、調整された各点によって新たな第２の車線が再形成され、さらに第１の車線と新たな第２の車線の位置に基づいて、第１の損失関数の値を再決定する。その後、再決定された第１の損失関数の値が大きくなるか小さくなるかを判断し、大きくなる場合、今回の調整は無効であり、設定されたステップサイズにしたがって第２の車線における各点の座標を逆方向に調整し（すなわち前回の無効調整がステップサイズに加算された場合、今回の調整は減算され、前回の無効調整がステップサイズに減算された場合、今回の調整はステップサイズに加算され）、小さくなる場合、今回の調整は有効であり、設定されたステップサイズにしたがって第２の車線における各点の座標を同方向に調整する（すなわち前回の有効調整がステップサイズに加算された場合、今回の調整は、まだステップサイズに加算され、前回の有効調整がステップサイズに減算された場合、今回の調整はまだステップサイズに減算される）。上記の調整回数が設定された反復回数に達するか、又は損失関数の値が設定された閾値より小さい場合、調整は停止される。最後に一回調整された各点の座標は、最終的な新たな第２の車線が構成され、最終的な新たな第２の車線及び世界座標系における車線の位置に基づいて、一つの変化行列、すなわち求められた最適化の変化行列を取得する。
ステップＳ１３０：最適化して取得された変換行列に基づいて、現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定する。
具体的には、最適化された変換行列を取得した後、目標物体の現在の画像における２次元座標と最適化された変換行列に基づいて、目標物体の第１の３次元座標を取得する。
選択可能に、最適化して取得された変換行列に基づいて現在の画像における目標物体の第１の３次元座標を取得することは、最適化して取得された変換行列の逆行列に基づいて、現在の画像における目標物体の２次元座標を世界座標系に逆投影して、目標物体の第１の３次元座標を取得する方式によって実施されることができる。
その中、２次元座標は、目標物体の２Ｄ枠の底辺の点の２次元座標であってもよく、対応する第１の３次元座標は、目標物体の着地点の３次元座標である。２Ｄ枠は、既存のアルゴリズムに基づいて自動的に取得することができる。具体的には、変換行列の逆行列に現在の画像における目標物体の２次元座標を乗算して、目標物体の第１の３次元座標を取得する。例示的には、第１の３次元座標は、以下の算出式：
Figure 2020042804
を使用して取得することができ、その中、ｕ、ｖは、画像の画素点座標であり、Ｘ、Ｙ、Ｚは、世界座標系座標であり、
Figure 2020042804
は、最適化された変化行列の逆行列である。
選択可能に、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定するステップは、第１の３次元座標を目標物体の最終的な３次元座標として決定するステップ、又は、第１の３次元座標と設定された検出アルゴリズムに基づいて取得された目標物体の第２の３次元座標とを比較し、比較結果が一致しない場合、第１の３次元座標に基づいて第２の３次元座標を修正して、修正された第２の３次元座標を目標物体の最終的な３次元座標とするステップ、を含む。
その中、設定された検出アルゴリズムは、既存の視覚に基づく検出アルゴリズムであってもよい。選択可能に、第１の３次元座標に基づいて第２の３次元座標を修正して、修正された第２の３次元座標を目標物体の最終的な３次元座標とすることは、第２の３次元座標と第１の３次元座標と差に基づいて第２の損失関数を決定するステップと、第２の損失関数が小さくなる方向に従って、第２の３次元座標を少なくとも一回調整し、少なくとも一回調整された第２の３次元座標を、目標物体の最終的な３次元座標として決定するするステップとによって、実施されることができる。
その中、第２の３次元座標と第１の３次元座標との差は、目標物体の着地点の第２の３次元座標と第１の３次元座標との差であってもよい。下記の式：
Figure 2020042804
を使用して表示することができ、その中、（ｘ１、ｙ１、ｚ１）は、目標物体のうちの一つの着地点の第１の３次元座標であり、（ｘ２、ｙ２、ｚ２）は、目標物体の当該着地点の第２の３次元座標であり、ｄは、第２の３次元座標と第１の３次元座標との差である。第２の損失関数を決定するの方式は、目標物体の設定数量の着地点の第２の３次元座標と第１の３次元座標との差を合計することであってもよい。
具体的には、第２の損失関数が小さくなる方向に従って、第２の３次元座標を少なくとも一回調整する実現方式は、設定されたステップサイズにしたがって第２の３次元座標を調整し、調整時に調整対象の点の座標を設定されたステップサイズに加算又は減算することができ、調整後に第２の損失関数の値を再決定することができる。再決定された第２の損失関数の値が大きくなるか小さくなるかを判断し、大きくなる場合、今回の調整は無効であり、設定されたステップサイズにしたがって第２の３次元座標を逆方向に再調整し（すなわち前回の無効調整がステップサイズに加算された場合、今回の調整は減算され、前回の無効調整がステップサイズに減算された場合、今回の調整はステップサイズに加算され）、小さくなる場合、設定されたステップサイズにしたがって第２の３次元座標を同方向に再調整する（すなわち前回の無効調整がステップサイズに加算された場合、今回の調整はまだ加算され、前回の無効調整がステップサイズに減算された場合、今回の調整はまだステップサイズに減算される）。上記の調整回数が設定された反復回数に達するか、又は第２の損失関数の値より小さい設定された閾値時、調整は停止される。最後に、調整を停止した後に、取得された第２の３次元座標を目標物体の最終的な３次元座標として決定する。
選択可能に、当該方法は、毎回第２の３次元座標を調整した後、現在の画像における位置決め要素の３次元位置座標を取得し、位置決め要素とカメラとの距離が目標物体とカメラとの距離より大きい場合、調整された第２の３次元座標が位置決め要素の３次元位置座標より小さいか否かを判断し、「はい」の場合、今回の調整は有効であり、「いいえ」の場合、今回の調整は無効であり、第２の３次元座標を逆方向に再調整するステップと、位置決め要素とカメラとの距離が目標物体とカメラとの距離より小さい場合、調整された第２の３次元座標が位置決め要素の３次元位置座標以上であるか否かを判断し、「はい」の場合、今回の調整は有効であり、「いいえ」の場合、今回の調整は無効であり、第２の３次元座標を逆方向に再調整するステップと、をさらに含む。
その中、位置決め要素は、交通標識と、街灯と、電柱とのうち少なくとも一つを含むことができる。本実施例では、画像における位置決め要素が目標物体の上にある場合、位置決め要素とカメラとの距離は、目標物体とカメラとの距離より大きく、位置決め要素が目標物体の下にある場合、位置決め要素とカメラとの距離は、目標物体とカメラとの距離より小さい。調整された第２の３次元座標と位置決め要素の３次元座標を比較することは、二つの３次元座標の縦座標のサイズを比較することであってもよい。本実施例では、位置決め要素を参照として第２の３次元座標を調整することは、３次元座標調整の精度を向上させることができる。
本実施例の技術案は、まず、カメラによって撮影された現在の画像における第１の車線を検出し、その後、第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化し、最適化して取得された変換行列に基づいて現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定する。本発明の実施例より提供される位置検出方法は、最適化された変換行列を使用して、画像における目標物体の第１の３次元座標を取得し、その後、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定するため、無人車システムにおける障害物などの目標物体の３次元位置座標を検出する精度を向上させることができる。
実施例２
図２は、本発明の実施例２により提供される位置検出方法のフローチャートである。上記の実施例を基礎として、第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するステップは、第１の車線の消失点に対応するピッチ角を決定し、ピッチ角はカメラの光軸と地平面との間の角度を指し、ピッチ角と、世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得する方式によって実施されることができる。図２に示すように、当該方法は、具体的には、以下のようなステップを含む。
ステップＳ２１０：カメラによって撮影された現在の画像における第１の車線を検出する。
ステップＳ２２０：第１の車線の消失点に対応するピッチ角を決定する。
その中、ピッチ角はカメラの光軸と地平面との間の角度を指す。第１の車線の消失点は二つの車線の交点であってもよい。
選択可能に、第１の車線の消失点に対応するピッチ角を取得することは、Ｙ＝ｔａｎ（ｐｉｔｃｈ）＊ｆｙ＋ｃｙによって算出することができ、その中、Ｙは、第１の車線の消失点に対応する縦軸座標値であり、ｐｉｔｃｈは、第１の車線の消失点に対応するピッチ角であり、ｆｙは、カメラの焦点距離であり、ｃｙは、カメラの感光ユニットの画素サイズである。
ステップＳ２３０：ピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得する。
具体的には、初期の地図に対応する世界座標系とカメラ座標系との間の変換行列におけるピッチ角要素を、第１の車線の消失点に対応するピッチ角に置き換えて、最適化された変換行列を取得する。
選択可能に、前記ピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得するステップは、現在の画像を撮影する前に撮影された履歴画像における車線の消失点に対応するピッチ角に基づいて、設定されたフィルタリングアルゴリズムを使用して第１の車線の消失点に対応するピッチ角を平滑化してノイズ除去するステップと、平滑化してノイズ除去して取得されたピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列とに基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得するステップと、によって実施されることができる。
その中、設定されたフィルタリングアルゴリズムは、カルブマンフィルタリング又はヒストグラム平滑化フィルタリングなどのアルゴリズムであってもよい。具体的には、複数の履歴画像における車線の消失点に対応するピッチ角を取得した後、複数の履歴ピッチ角に基づいて設定されたフィルタリングアルゴリズムを使用して現在の画像における第１の車線の消失点に対応するピッチ角を平滑化してノイズ除去し、初期の地図に対応する世界座標系とカメラ座標系との間の変換行列におけるピッチ角要素を、平滑化してノイズ除去されたピッチ角に置き換えるため、最適化された世界座標系とカメラ座標系との間の変換行列を取得する。
ステップＳ２４０：最適化して取得された変換行列に基づいて、現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定する。
本実施例の技術案は、ピッチ角と、世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得し、最適化して取得された変換行列に基づいて、現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定するため、無人車システムにおける障害物の３次元位置座標を検出する精度を向上させることができる。
図３は、本発明の実施例２により提供される他の位置検出方法のフローチャートである。上記の実施例に対するさらなる説明として、図３に示すように、当該方法は、以下のようなステップを含む。
ステップＳ３１０：カメラによって撮影された現在の画像における第１の車線を検出し、検出されたものが第１の車線の位置座標である場合、ステップ３２０を実行し、検出されたものが第１の車線の消失点のピッチ角である場合、ステップ３５０を実行する。
ステップＳ３２０：世界座標系とカメラ座標系との間の初期の変換行列に基づいて、地図における車線を現在の画像に投影して、第２の車線を取得する。
ステップＳ３３０：第１の車線と第２の車線との画像における位置に基づいて、第１の車線における設定された数の点から第２の車線までの最短距離を決定し、最短距離に基づいて第１の損失関数を決定するステップと、第１の損失関数が小さくなる方向に従って、第２の車線の位置を少なくとも一回調整する。
ステップＳ３４０：少なくとも一回調整して取得された新たな第２の車線の現在の画像における位置と、世界座標系における車線の位置とに基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得する。
ステップＳ３５０：Ｙ＝ｔａｎ（ｐｉｔｃｈ）＊ｆｙ＋ｃｙによって第１の車線の消失点に対応するピッチ角を決定し、現在の画像を撮影する前に撮影された履歴画像における車線の消失点に対応するピッチ角に基づいて、設定されたフィルタリングアルゴリズムを使用して第１の車線の消失点に対応するピッチ角を平滑化してノイズ除去する。
ステップＳ３６０：平滑化してノイズ除去されたピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得する。
ステップＳ３７０：最適化して取得された変換行列の逆行列に基づいて、現在の画像における目標物体の２次元座標を世界座標系に逆投影して、目標物体の第１の３次元座標を取得する。
ステップＳ３８０：第１の３次元座標を目標物体の最終的な３次元座標として決定するステップであり、又は、第１の３次元座標と設定された検出アルゴリズムに基づいて取得された目標物体の第２の３次元座標とを比較し、比較結果が一致しない場合、第１の３次元座標に基づいて第２の３次元座標を修正して、修正された第２の３次元座標を目標物体の最終的な３次元座標とするステップである。
実施例３
図４は、本発明の実施例３により提供される位置検出装置の概略構成図である。図４に示すように、当該装置は、第１の車線検出モジュール４１０と、初期の変換行列最適化モジュール４２０と、及び３次元座標決定モジュール４３０と、を含む。
第１の車線検出モジュール４１０は、カメラによって撮影された現在の画像における第１の車線を検出するために用いられる。
初期の変換行列最適化モジュール４２０は、第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するために用いられる。
３次元座標決定モジュール４３０は、最適化して取得された変換行列に基づいて現在の画像における目標物体の第１の３次元座標を取得して、第１の３次元座標に基づいて目標物体の最終的な３次元座標を決定するために用いられる。
選択可能に、初期の変換行列最適化モジュール４２０は、さらに、世界座標系とカメラ座標系との間の初期の変換行列に基づいて、地図における車線を現在の画像に投影して、第２の車線を取得し、第１の車線と第２の車線との現在の画像における位置に基づいて初期の変換行列を最適化し、最適化された変換行列に基づいて地図における車線を現在の画像に再投影して取得された新たな第２の車線と第１の車線との距離が、調整前の第２の車線と第１の車線との小さくなる距離より小さくなるようにする。
選択可能に、初期の変換行列最適化モジュール４２０は、さらに、第１の車線と第２の車線との画像における位置に基づいて、第１の車線における設定された数の点から第２の車線までの最短距離を決定し、最短距離に基づいて第１の損失関数を決定し、第１の損失関数が小さくなる方向に従って、第２の車線の位置を少なくとも一回調整し、少なくとも一回調整して取得された新たな第２の車線の現在の画像における位置と、世界座標系における車線の位置とに基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得する。
選択可能に、初期の変換行列最適化モジュール４２０は、さらに、第１の車線の消失点に対応するピッチ角を決定し、ピッチ角はカメラの光軸と地平面との間の角度を指し、ピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得する。
選択可能に、初期の変換行列最適化モジュール４２０は、さらに、現在の画像を撮影する前に撮影された履歴画像における車線の消失点に対応するピッチ角に基づいて、設定されたフィルタリングアルゴリズムを使用して第１の車線の消失点に対応するピッチ角を平滑化してノイズ除去し、平滑化してノイズ除去されたピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得する。
選択可能に、Ｙ＝ｔａｎ（ｐｉｔｃｈ）＊ｆｙ＋ｃｙによって第１の車線の消失点に対応するピッチ角を決定し、その中、Ｙは、第１の車線の消失点に対応する縦軸座標値であり、ｐｉｔｃｈは、第１の車線の消失点に対応するピッチ角であり、ｆｙは、カメラの焦点距離であり、ｃｙは、カメラの感光ユニットの画素サイズである。
選択可能に、３次元座標決定モジュール４３０は、さらに、最適化して取得された変換行列の逆行列に基づいて、現在の画像における目標物体の２次元座標を世界座標系に逆投影して、目標物体の第１の３次元座標を取得する。
選択可能に、３次元座標決定モジュール４３０は、さらに、第１の３次元座標を目標物体の最終的な３次元座標として決定するか、又は、第１の３次元座標と設定された検出アルゴリズムに基づいて取得された目標物体の第２の３次元座標とを比較し、比較結果が一致しない場合、第１の３次元座標に基づいて第２の３次元座標を修正して、修正された第２の３次元座標を目標物体の最終的な３次元座標とする。
選択可能に、３次元座標決定モジュール４３０は、さらに、第２の３次元座標と第１の３次元座標との差に基づいて第２の損失関数を決定し、第２の損失関数が小さくなる方向に従って、第２の３次元座標を少なくとも一回調整し、少なくとも一回調整された第２の３次元座標を、目標物体の最終的な３次元座標として決定する。
選択可能に、前記位置検出装置は、毎回第２の３次元座標を調整した後、現在の画像における位置決め要素の３次元位置座標を取得し、位置決め要素とカメラとの距離が目標物体とカメラとの距離より大きい場合、調整された第２の３次元座標が位置決め要素の３次元位置座標より小さいか否かを判断し、「はい」の場合、今回の調整は有効であり、「いいえ」の場合、今回の調整は無効であり、第２の３次元座標を逆方向に再調整するための位置決め要素３次元座標取得モジュールと、位置決め要素とカメラとの距離が目標物体とカメラとの距離より小さい場合、調整された第２の３次元座標が位置決め要素の３次元位置座標以上であるか否かを判断し、「はい」の場合、今回の調整は有効であり、「いいえ」の場合、今回の調整は無効であり、第２の３次元座標を逆方向に再調整するための調整モジュールと、をさらに含む。
選択可能に、位置決め要素は、交通標識と、街灯と、電柱とのうち少なくとも一つを含む。
上記の装置は、本発明の前述のすべての実施例により提供される方法を実行することができ、上記の方法を実行することに対応する機能モジュールと有益な効果を備える。未在本実施例に詳細に記載されていない技術的詳細は、本発明の前述のすべての実施例により提供される方法を参照することができる。
実施例４
図５は、本発明の実施例４により提供される電子機器の概略構成図である。図５は、本発明の実施形態を実現するのに適する電子機器５１２のブロック図である。図５に示される電子機器５１２は、単なる一つの例であり、本発明の実施例の機能及び使用範囲を一切制限しない。機器５１２は、一般的に、位置検出機能を担うコンピューティングデバイスである。
図５に示すように、電子機器５１２は、汎用コンピューティングデバイスの形態で表現される。電子機器５１２のコンポーネントは、一つ又は複数のプロセッサ５１６又は記憶装置５２８と、異なるシステムコンポーネント（記憶装置５２８とプロセッサ５１６とを含む）を接続するバス５１８と、を含むことができるが、これらに限定されない。
バス５１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち一つ又は複数のものを表す。例をあげると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＭＣＡ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスを含むが、これらに限定されない。
電子機器５１２は、典型的には、多種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、電子機器５１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。
記憶装置５２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）５３０及び／又はキャッシュメモリ５３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでもよい。電子機器５１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。単なる一例として、ストレージシステム５３４は、ノンリムーバブル、不揮発性磁気媒体（図５に示されていないが、通常「ハードアクチュエー」と呼ぶ）に対して読み出し及び書き込みをするために用いることができる。図５に示されていないが、リムーバブル、不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクアクチュエー、及びリムーバブル、不揮発性光学ディスク（例えば、コンパクトディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）、デジタルビデオディスク読み取り専用メモリ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＤＶＤ−ＲＯＭ）又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクアクチュエーを提供することができる。この場合、各アクチュエーは、一つ又は複数のデータメディアインターフェイスを介してバス５１８に接続することがきる。記憶装置５２８は、本発明の各実施例に記載の機能を実行するように構成されるワンセットのプログラムモジュール（例えば、少なくとも一つ）を有する少なくとも一つのプログラム製品を含んでもよい。
ワンセットのプログラムモジュール５２６（少なくとも一つ）を有するプログラム５３６は、例えば、記憶装置５２８に記憶されてもよく、このようなプログラムモジュール５２６は、オペレーティングシステム、一つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができるがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール５２６は、通常本発明に記載の実施例における機能及び／又は方法を実行する。
電子機器５１２は、一つ又は複数の外部デバイス５１４（例えば、キーボード、ポインティング機器、カメラ、ディスプレイ５２４など）と通信することができ、ユーザが電子機器５１２とインタラクションすることを可能にする一つ又は複数の機器と通信することもでき、及び／又は電子機器５１２が一つ又は複数の他のコンピューティングデバイスと通信することを可能にする任意の機器（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス５２２を介して行うことができる。また、電子機器５１２は、ネットワークアダプタ５２０を介して、一つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図５に示すように、ネットワークアダプタ５２０は、バス５１８を介して、電子機器５１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードや機器ドライブ、冗長処理ユニット、外部ディスクドライブアレイ、ディスクアレイ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋｓ、ＲＡＩＤ）システム、テープドライバ、及びデータバックアップトレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、電子機器５１２と組み合わせて使用することができる。
プロセッサ５１６は、記憶装置５２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の上記の実施例が提供する位置検出方法を実現する。
実施例５
本発明の実施例５は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例により提供される位置検出方法を実現する。
無論、本発明の実施例により提供されるコンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体は、上記に示す方法の動作に限定されず、本発明の任意の実施例により提供される位置検出方法における関連動作も実行することができる。
本発明の実施例に係るコンピュータ記憶媒体は、一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この文書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。
コンピュータ読み取り可能なの信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中のにはコンピュータ読み取り可能なのプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能なの信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。
コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体によって伝送することができる。
一つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよく、部分的にユーザーコンピュータに実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよく、又は完全にリモートコンピュータ又はサーバで実行してもよい。リモートコンピュータに係る場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、或いは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することもできる。
さらに、図６は、本発明の実施例５により提供される車両の概略構成図である。図６に示すように、当該車両は、車体６１０と、上記の実施例の電子機器６２０と、車体に設けられたカメラ６３０と、を含む。
なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むごくができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims (15)

  1. 位置検出方法であって、
    前記方法は、
    カメラによって撮影された現在の画像における第１の車線を検出するステップと、
    第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するステップと、
    最適化して取得された変換行列に基づいて、前記現在の画像における目標物体の第１の３次元座標を取得し、第１の３次元座標に基づいて前記目標物体の最終的な３次元座標を決定するステップと、を含む。
    ことを特徴とする位置検出方法。
  2. 第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するステップは、
    世界座標系とカメラ座標系との間の初期の変換行列に基づいて、地図における車線を前記現在の画像に投影して、第２の車線を取得するステップと、
    第１の車線と第２の車線との前記現在の画像における位置に基づいて、前記初期の変換行列を最適化して、最適化された変換行列に基づいて地図における車線を前記現在の画像に再投影して取得された新たな第２の車線と第１の車線との距離が、調整前の第２の車線と第１の車線との距離より小さくなるようにするステップと、を含む、
    ことを特徴とする請求項１に記載の位置検出方法。
  3. 第１の車線と第２の車線との前記現在の画像における位置に基づいて、前記初期の変換行列を最適化するステップは、
    第１の車線と第２の車線との画像における位置に基づいて、第１の車線における設定された数の点から第２の車線までの最短距離を決定し、前記最短距離に基づいて第１の損失関数を決定するステップと、
    前記第１の損失関数が小さくなる方向に従って、第２の車線の位置を少なくとも一回調整するステップと、
    少なくとも一回調整して取得された新たな第２の車線の前記現在の画像における位置と、世界座標系における車線の位置とに基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得するステップと、を含む、
    ことを特徴とする請求項２に記載の位置検出方法。
  4. 第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するステップは、
    第１の車線の消失点に対応するピッチ角を決定するステップであって、前記ピッチ角はカメラの光軸と地平面との間の角度を指すステップと、
    前記ピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得するステップと、を含む、
    ことを特徴とする請求項１に記載の位置検出方法。
  5. 前記ピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列に基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得するステップは、
    前記現在の画像を撮影する前に撮影された履歴画像における車線の消失点に対応するピッチ角に基づいて、設定されたフィルタリングアルゴリズムを使用して前記第１の車線の消失点に対応するピッチ角を平滑化してノイズ除去するステップと、
    平滑化してノイズ除去して取得されたピッチ角及び世界座標系とカメラ座標系との間の初期の変換行列とに基づいて、最適化された世界座標系とカメラ座標系との間の変換行列を取得するステップと、を含む、
    ことを特徴とする請求項４に記載の位置検出方法。
  6. 下記の式によって第１の車線の消失点に対応するピッチ角を決定し、
    Ｙ＝ｔａｎ（ｐｉｔｃｈ）＊ｆｙ＋ｃｙ
    ただし、Ｙは、第１の車線の消失点に対応する縦軸座標値であり、ｐｉｔｃｈは、第１の車線の消失点に対応するピッチ角であり、ｆｙは、カメラの焦点距離であり、ｃｙは、カメラの感光ユニットの画素サイズである、
    ことを特徴とする請求項４に記載の位置検出方法。
  7. 最適化して取得された変換行列に基づいて、前記現在の画像における目標物体の第１の３次元座標を取得するステップは、
    最適化して取得された変換行列の逆行列に基づいて、前記現在の画像における目標物体の２次元座標を世界座標系に逆投影して、目標物体の第１の３次元座標を取得するステップを含む、
    ことを特徴とする請求項１〜６のいずれかに記載の位置検出方法。
  8. 第１の３次元座標に基づいて前記目標物体の最終的な３次元座標を決定するステップは、
    第１の３次元座標を前記目標物体の最終的な３次元座標として決定するステップ、又は、
    第１の３次元座標と設定された検出アルゴリズムに基づいて取得された目標物体の第２の３次元座標とを比較し、比較結果が一致しない場合、第１の３次元座標に基づいて第２の３次元座標を修正し、修正された第２の３次元座標を前記目標物体の最終的な３次元座標をするステップ、を含む、
    ことを特徴とする請求項１〜６のいずれかに記載の位置検出方法。
  9. 第１の３次元座標に基づいて第２の３次元座標を修正し、修正された第２の３次元座標を前記目標物体の最終的な３次元座標をするステップは、
    第２の３次元座標と第１の３次元座標との差に基づいて第２の損失関数を決定するステップと、
    前記第２の損失関数が小さくなる方向に従って、第２の３次元座標を少なくとも一回調整するステップと、
    少なくとも一回調整して取得された第２の３次元座標を、前記目標物体の最終的な３次元座標として決定するステップと、を含む、
    ことを特徴とする請求項８に記載の位置検出方法。
  10. 前記方法は、
    毎回第２の３次元座標を調整した後、前記現在の画像における位置決め要素の３次元位置座標を取得し、前記位置決め要素とカメラとの距離が目標物体とカメラとの距離より大きい場合、調整された第２の３次元座標が位置決め要素の３次元位置座標より小さいか否かを判断し、「はい」の場合、今回の調整は有効であり、「いいえ」の場合、今回の調整は無効であり、第２の３次元座標を逆方向に再調整するステップと、
    位置決め要素とカメラとの距離が目標物体とカメラとの距離より小さい場合、調整された第２の３次元座標が位置決め要素の３次元位置座標以上であるか否かを判断し、「はい」の場合、今回の調整は有効であり、「いいえ」の場合、今回の調整は無効であり、第２の３次元座標を逆方向に再調整するステップと、をさらに含む、
    ことを特徴とする請求項９に記載の位置検出方法。
  11. 前記位置決め要素は、交通標識と、街灯と、電柱とのうち少なくとも一つを含む、
    ことを特徴とする請求項１０に記載の位置検出方法。
  12. 位置検出装置であって、
    前記装置は、
    カメラによって撮影された現在の画像における第１の車線を検出するための第１の車線検出モジュールと、
    第１の車線の検出結果に基づいて、世界座標系とカメラ座標系との間の初期の変換行列を最適化するための初期の変換行列最適化モジュールと、
    最適化して取得された変換行列に基づいて、前記現在の画像における目標物体の第１の３次元座標を取得し、第１の３次元座標に基づいて前記目標物体の最終的な３次元座標を決定するための３次元座標決定モジュールと、を含む、
    ことを特徴とする位置検出装置。
  13. 電子機器であって、
    メモリと、
    プロセッサと、
    メモリに記憶され、プロセッサによって実行可能なコンピュータプログラムと、を含み、
    前記プログラムが前記プロセッサによって実行される場合に、請求項１〜１１のいずれかに記載の位置検出方法を実現する、
    ことを特徴とする電子機器。
  14. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    当該プログラムがプロセッサによって実行される場合に、請求項１〜１１のいずれかに記載の位置検出方法を実現する、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
  15. 車体を含む車両であって、
    前記車両は、
    請求項１３に記載の電子機器と、
    車体に設けられたカメラと、をさらに含む、
    ことを特徴とする車両。
JP2019155990A 2018-09-07 2019-08-28 位置検出方法とその装置、機器、記憶媒体及び車両 Active JP6866439B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811044487.8 2018-09-07
CN201811044487.8A CN109300159B (zh) 2018-09-07 2018-09-07 位置检测方法、装置、设备、存储介质及车辆

Publications (2)

Publication Number Publication Date
JP2020042804A true JP2020042804A (ja) 2020-03-19
JP6866439B2 JP6866439B2 (ja) 2021-04-28

Family

ID=65166401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019155990A Active JP6866439B2 (ja) 2018-09-07 2019-08-28 位置検出方法とその装置、機器、記憶媒体及び車両

Country Status (4)

Country Link
US (1) US11210534B2 (ja)
EP (1) EP3633539A3 (ja)
JP (1) JP6866439B2 (ja)
CN (3) CN109300159B (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300159B (zh) * 2018-09-07 2021-07-20 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
CN113392809B (zh) * 2019-02-21 2023-08-15 百度在线网络技术（北京）有限公司 一种自动驾驶信息处理方法、装置及存储介质
CN109949367B (zh) * 2019-03-11 2023-01-20 中山大学 一种基于圆形投影的可见光成像定位方法
CN109839937B (zh) * 2019-03-12 2023-04-07 百度在线网络技术（北京）有限公司 确定车辆自动驾驶规划策略的方法、装置、计算机设备
CN109931944B (zh) * 2019-04-02 2021-12-07 阿波罗智联(北京)科技有限公司 一种ar导航方法、装置、车端设备、服务端及介质
CN111775944B (zh) * 2019-04-04 2021-12-28 富泰华工业（深圳）有限公司 辅助驾驶装置、方法及计算机可读存储介质
CN110148173B (zh) * 2019-05-21 2021-08-06 北京百度网讯科技有限公司 车路协同中目标定位的方法和装置、电子设备、介质
CN110163930B (zh) * 2019-05-27 2023-06-27 北京百度网讯科技有限公司 车道线生成方法、装置、设备、***及可读存储介质
CN112184799B (zh) * 2019-07-05 2024-07-09 北京地平线机器人技术研发有限公司 车道线空间坐标确定方法、装置、存储介质和电子设备
CN112304293B (zh) * 2019-08-02 2022-09-13 北京地平线机器人技术研发有限公司 道路高度检测方法、装置、可读存储介质和电子设备
CN112348875B (zh) * 2019-08-08 2024-04-16 北京地平线机器人技术研发有限公司 一种标志杆的结构化参数表示确定方法及装置
CN112348874B (zh) * 2019-08-08 2024-05-14 北京地平线机器人技术研发有限公司 一种车道线的结构化参数表示确定方法及装置
CN111275662B (zh) * 2019-08-29 2024-02-06 上海飞机制造有限公司 基于二维码的工件定位方法、装置、设备和存储介质
CN111160132B (zh) * 2019-12-12 2022-08-19 苏州智加科技有限公司 障碍物所在车道的确定方法、装置、电子设备和存储介质
CN111443704B (zh) * 2019-12-19 2021-07-06 苏州智加科技有限公司 用于自动驾驶***的障碍物定位方法及装置
DE102020202964A1 (de) * 2020-03-09 2021-09-09 Continental Automotive Gmbh Die Erfindung betrifft ein Verfahren zur Erhöhung der Sicherheit von Fahrfunktionen.
CN111445533B (zh) * 2020-03-27 2023-08-01 广东博智林机器人有限公司 一种双目相机标定方法、装置、设备及介质
CN111477013B (zh) * 2020-04-01 2021-06-25 清华大学苏州汽车研究院（吴江） 一种基于地图影像的车辆测量方法
CN111524185A (zh) * 2020-04-21 2020-08-11 上海商汤临港智能科技有限公司 定位方法及装置、电子设备和存储介质
CN111540020B (zh) * 2020-04-28 2023-10-10 浙江大华技术股份有限公司 目标行为的确定方法及装置、存储介质、电子装置
CN111667539B (zh) * 2020-06-08 2023-08-29 武汉唯理科技有限公司 一种相机标定及平面测量方法
CN112101209B (zh) * 2020-09-15 2024-04-09 阿波罗智联(北京)科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112037316B (zh) * 2020-09-22 2024-04-16 阿波罗智联(北京)科技有限公司 映射的生成方法、装置和路侧设备
CN112419423A (zh) * 2020-10-30 2021-02-26 上海商汤临港智能科技有限公司 一种标定方法、装置、电子设备及存储介质
CN114531580B (zh) * 2020-11-23 2023-11-21 北京四维图新科技股份有限公司 图像处理方法及装置
CN112668428A (zh) * 2020-12-21 2021-04-16 北京百度网讯科技有限公司 车辆变道的检测方法、路侧设备、云控平台和程序产品
CN112560769B (zh) * 2020-12-25 2023-08-29 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN112750166B (zh) * 2020-12-29 2023-07-28 上海西井科技股份有限公司 岸桥球机摄像头自动标定方法、***、设备及存储介质
CN112561990B (zh) * 2021-01-21 2022-05-31 禾多科技（北京）有限公司 定位信息生成方法、装置、设备和计算机可读介质
CN113052904B (zh) * 2021-03-19 2022-12-13 上海商汤临港智能科技有限公司 一种定位方法、装置、电子设备及存储介质
CN113066135A (zh) * 2021-04-26 2021-07-02 深圳市商汤科技有限公司 图像采集设备的标定方法及装置、电子设备和存储介质
CN113432620B (zh) * 2021-06-04 2024-04-09 苏州智加科技有限公司 误差估计方法、装置、车载终端及存储介质
CN113296131B (zh) * 2021-06-23 2023-04-11 国能黄骅港务有限责任公司 一种船舶以及装船机的定位方法、装置
CN113392794B (zh) * 2021-06-28 2023-06-02 北京百度网讯科技有限公司 车辆跨线识别方法、装置、电子设备和存储介质
CN113588058A (zh) * 2021-07-09 2021-11-02 中车大同电力机车有限公司 一种机车车体称重调平识别方法及***
CN113899377B (zh) * 2021-08-23 2023-10-27 武汉光庭信息技术股份有限公司 一种基于相机的自动泊车终点相对坐标的测量方法及***
CN113639639A (zh) * 2021-08-31 2021-11-12 追觅创新科技(苏州)有限公司 位置数据的数据处理方法、装置及存储介质
CN113792674B (zh) * 2021-09-17 2024-03-26 支付宝(杭州)信息技术有限公司 空座率的确定方法、装置和电子设备
CN114140538B (zh) * 2021-12-03 2022-09-27 禾多科技（北京）有限公司 车载相机位姿调整方法、装置、设备和计算机可读介质
CN116563814A (zh) * 2022-01-28 2023-08-08 灵动科技（北京）有限公司 自主移动机器人及利用其进行车道线检测的方法
CN116772804A (zh) * 2022-03-10 2023-09-19 华为技术有限公司 一种定位方法和相关设备
CN114937091B (zh) * 2022-04-28 2023-07-11 广州导远电子科技有限公司 一种车道线的检测方法、***、电子设备及存储介质
CN115511938A (zh) * 2022-11-02 2022-12-23 清智汽车科技(苏州)有限公司 基于单目摄像头的高度确定方法和装置
CN116612459B (zh) * 2023-07-18 2023-11-17 小米汽车科技有限公司 目标检测方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620189A (ja) * 1992-06-29 1994-01-28 Nissan Motor Co Ltd 道路形状計測装置
JPH0777431A (ja) * 1993-09-08 1995-03-20 Sumitomo Electric Ind Ltd カメラ姿勢パラメータ算出方法
JPH0793693A (ja) * 1993-09-21 1995-04-07 Nissan Motor Co Ltd 車両用物体検出装置
JP2003329411A (ja) * 2002-05-14 2003-11-19 Matsushita Electric Ind Co Ltd カメラ校正装置
JP2010218226A (ja) * 2009-03-17 2010-09-30 Suzuki Motor Corp 計測マップ生成装置及び走行環境確認装置
JP2011215063A (ja) * 2010-04-01 2011-10-27 Tottori Univ カメラ姿勢パラメータ推定装置
JP2012075060A (ja) * 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置及びそれを用いた撮像装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986439B2 (ja) * 1998-01-12 1999-12-06 松下電器産業株式会社 車両用画像処理装置
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
JP4222411B2 (ja) * 2006-11-08 2009-02-12 日本電気株式会社 消失点検出システム、消失点検出方法および消失点検出用プログラム
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
CN102592124B (zh) * 2011-01-13 2013-11-27 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉***
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
DE102011017697A1 (de) * 2011-04-28 2012-10-31 Robert Bosch Gmbh Verfahren zur Leuchtweitenregulierung zumindest eines Scheinwerfers eines Fahrzeugs und Lichtsteuergerät
EP2562681B1 (de) * 2011-08-25 2014-08-13 Delphi Technologies, Inc. Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
KR101841668B1 (ko) * 2012-02-15 2018-03-27 한국전자통신연구원 입체 모델 생성 장치 및 방법
CN102682292B (zh) * 2012-05-10 2014-01-29 清华大学 基于单目视觉的道路边缘检测及粗定位方法
CN103020941A (zh) * 2012-12-28 2013-04-03 昆山市工业技术研究院有限责任公司 基于全景拼接的旋转摄像头背景建立法及运动物体检测法
CN103324936B (zh) * 2013-05-24 2016-05-25 北京理工大学 一种基于多传感器融合的车辆下边界检测方法
US10112303B2 (en) * 2013-10-25 2018-10-30 Aleksandar Vakanski Image-based trajectory robot programming planning approach
CN103559791B (zh) * 2013-10-31 2015-11-18 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
FR3014553A1 (fr) * 2013-12-11 2015-06-12 Parrot Procede de calibration angulaire de la position d'une camera video embarquee dans un vehicule automobile
CN103996049B (zh) * 2014-05-05 2017-02-15 南京大学 一种基于视频图像的船舶超长超宽检测方法
CN105224908A (zh) * 2014-07-01 2016-01-06 北京四维图新科技股份有限公司 一种基于正射投影的道路标线采集方法及装置
US9792664B2 (en) * 2015-01-29 2017-10-17 Wipro Limited System and method for mapping object coordinates from a video to real world coordinates using perspective transformation
KR102267562B1 (ko) * 2015-04-16 2021-06-22 한국전자통신연구원 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN104751151B (zh) * 2015-04-28 2017-12-26 苏州安智汽车零部件有限公司 一种实时多车道识别及跟踪方法
CN104859563B (zh) * 2015-05-28 2017-07-04 北京汽车股份有限公司 车道偏离预警方法和***
US10282914B1 (en) * 2015-07-17 2019-05-07 Bao Tran Systems and methods for computer assisted operation
US10694175B2 (en) * 2015-12-28 2020-06-23 Intel Corporation Real-time automatic vehicle camera calibration
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
CN108885106A (zh) * 2016-01-08 2018-11-23 国际智能技术公司 使用地图的车辆部件控制
WO2017120669A1 (en) * 2016-01-12 2017-07-20 Bigmotion Technologies Inc. Systems and methods for human body motion capture
EP3236286B1 (en) * 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
CN106384085A (zh) * 2016-08-31 2017-02-08 浙江众泰汽车制造有限公司 一种无人车偏航角计算方法
US10529083B2 (en) * 2016-12-08 2020-01-07 Lighmetrics Technologies Pvt. Ltd. Methods and systems for estimating distance of an object from a moving vehicle
JP2018116369A (ja) * 2017-01-16 2018-07-26 株式会社Ｓｏｋｅｎ 車線認識装置
US10489965B1 (en) * 2017-03-24 2019-11-26 Mappedin Inc. Systems and methods for positioning a virtual camera
CN107389026B (zh) * 2017-06-12 2019-10-01 江苏大学 一种基于固定点射影变换的单目视觉测距方法
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及***
CN107578002B (zh) * 2017-08-28 2021-01-05 沈阳中科创达软件有限公司 一种车道线识别结果的监测方法、装置、设备和介质
US10699135B2 (en) * 2017-11-20 2020-06-30 Here Global B.V. Automatic localization geometry generator for stripe-shaped objects
CN109300159B (zh) * 2018-09-07 2021-07-20 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620189A (ja) * 1992-06-29 1994-01-28 Nissan Motor Co Ltd 道路形状計測装置
JPH0777431A (ja) * 1993-09-08 1995-03-20 Sumitomo Electric Ind Ltd カメラ姿勢パラメータ算出方法
JPH0793693A (ja) * 1993-09-21 1995-04-07 Nissan Motor Co Ltd 車両用物体検出装置
JP2003329411A (ja) * 2002-05-14 2003-11-19 Matsushita Electric Ind Co Ltd カメラ校正装置
JP2010218226A (ja) * 2009-03-17 2010-09-30 Suzuki Motor Corp 計測マップ生成装置及び走行環境確認装置
JP2011215063A (ja) * 2010-04-01 2011-10-27 Tottori Univ カメラ姿勢パラメータ推定装置
JP2012075060A (ja) * 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置及びそれを用いた撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ERNST S ET AL: ""Camera calibration for lane and obstacle detection"", INTELLIGENT TRANSPORTATION SYSTEM, 1999. PROCEEDINGS. 1999. IEEE/IEEJ/JSAI INTERNATIONAL CONFERENCE, JPN6020034963, 8 October 1999 (1999-10-08), US, pages 356 - 361, XP010369932, ISSN: 0004346500, DOI: 10.1109/ITSC.1999.821081 *

Also Published As

Publication number Publication date
CN113486796B (zh) 2023-09-05
EP3633539A2 (en) 2020-04-08
CN113486797B (zh) 2023-08-11
US20200082183A1 (en) 2020-03-12
CN109300159A (zh) 2019-02-01
JP6866439B2 (ja) 2021-04-28
CN109300159B (zh) 2021-07-20
EP3633539A3 (en) 2020-09-09
CN113486796A (zh) 2021-10-08
CN113486797A (zh) 2021-10-08
US11210534B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
JP6866439B2 (ja) 位置検出方法とその装置、機器、記憶媒体及び車両
JP6830139B2 (ja) ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体
US11629964B2 (en) Navigation map updating method and apparatus and robot using the same
US11763575B2 (en) Object detection for distorted images
CN109781119B (zh) 一种激光点云定位方法和***
EP3627180A1 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN107016705B (zh) 计算机视觉***中的地平面估计
JP2020042816A (ja) 物体検出方法、装置、機器、記憶媒体及び車両
JP2020042028A (ja) コレクターの相対パラメータのキャリブレーション方法、装置、機器及び媒体
JP6469905B2 (ja) 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ３ｄ位置特定
CN112017246B (zh) 一种基于逆透视变换的图像获取方法及装置
CN111307163B (zh) 可移动设备的定位方法、定位装置及电子设备
KR20190062852A (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
KR20200076628A (ko) 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스
CN113911110A (zh) 一种泊车轨迹修正方法、***、电子设备及存储介质
KR102438490B1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
CN112348874B (zh) 一种车道线的结构化参数表示确定方法及装置
CN112068547A (zh) 一种基于amcl的机器人定位方法、装置和机器人
JP2020065218A (ja) 画像処理プログラム、画像処理装置、画像処理システム及び画像処理方法
CN112348875B (zh) 一种标志杆的结构化参数表示确定方法及装置
US20220351485A1 (en) Device and a method for merging candidate areas
CN113129437B (zh) 一种标志物的空间坐标确定方法及装置
JP2016176919A (ja) 画像処理装置、撮影装置、プログラム、機器制御システム及び機器
CN116645406A (zh) 深度图生成方法、装置、计算机可读存储介质及电子设备
CN117809276A (zh) 车位识别方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210407

R150 Certificate of patent or registration of utility model

Ref document number: 6866439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350