WO2024035034A1 - Electronic device and sensor self-calibration method - Google Patents

Electronic device and sensor self-calibration method Download PDF

Info

Publication number
WO2024035034A1
WO2024035034A1 PCT/KR2023/011580 KR2023011580W WO2024035034A1 WO 2024035034 A1 WO2024035034 A1 WO 2024035034A1 KR 2023011580 W KR2023011580 W KR 2023011580W WO 2024035034 A1 WO2024035034 A1 WO 2024035034A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor module
electronic device
reference object
position coordinates
processor
Prior art date
Application number
PCT/KR2023/011580
Other languages
French (fr)
Korean (ko)
Inventor
김택한
정한수
이은일
Original Assignee
주식회사 아이나비시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230100707A external-priority patent/KR20240020675A/en
Application filed by 주식회사 아이나비시스템즈 filed Critical 주식회사 아이나비시스템즈
Publication of WO2024035034A1 publication Critical patent/WO2024035034A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude

Definitions

  • Vehicles can be equipped with various vehicle convenience systems such as black boxes, autonomous driving systems, around view systems, and advanced driver assist systems (ADAS).
  • vehicle convenience systems such as black boxes, autonomous driving systems, around view systems, and advanced driver assist systems (ADAS).
  • ADAS advanced driver assist systems
  • Sensor modules such as GPS sensors, cameras, lidar, and radar are installed inside and outside the driver assistance system to detect the surrounding environment.
  • Sensor modules may have errors in their measurement results (e.g., detection position) depending on their installation environment, mounting location, or attitude angle. Errors in the sensor module may occur due to inexperience in installing the sensor module, or may occur due to distortion of the sensor module due to vehicle shaking.
  • sensor modules To prevent vehicle accidents, sensor modules must have a certain degree of reliability (or error correction), and in the case of advanced vehicle systems, this must be secured.
  • the reliability of the sensor module can be ensured by periodically checking and correcting the errors at the inspection/calibration laboratory.
  • visiting a prosecution/correction center located on the outskirts can be costly in terms of money, time, and effort.
  • the vehicle convenience system may be equipped to self-correct the error between the preset absolute coordinate value and the measured value by the sensor module. However, if the vehicle convenience system does not accurately measure the preset absolute coordinate value, self-correction of the error may also be difficult.
  • Various embodiments disclosed in this document may provide an electronic device and sensor calibration method capable of self-calibrating measuring equipment (sensor) based on the absolute position coordinates of an object.
  • An electronic device includes a first sensor module that detects a location; a second sensor module that detects or photographs the external environment; a memory that stores precision map data including absolute position coordinates of reference objects provided at each first specified distance on the road surface or around the road; And the absolute position coordinates of the reference object include absolute position coordinate values for three or more vertices of the reference object according to an absolute reference coordinate system.
  • the sensor module can be calibrated.
  • a sensor calibration method using an electronic device includes: acquiring the current location coordinates of a vehicle using a first sensor module; Obtaining an image by detecting and photographing a real object corresponding to a reference object using a second sensor module and obtaining a distance to the real object;
  • the reference object is provided at a first specified distance on the road surface or around the road and includes three or more vertices, and is based on the current position coordinates, the acquired distance, and the acquired image for the vertices of the real object.
  • An operation of determining measurement position coordinate values; Including an operation of calibrating the first sensor module and the second sensor module based on the difference between the absolute position coordinate values for the vertices of the reference object stored in precision map data and the measured position coordinate values. can do.
  • the detection result can be corrected based on the absolute coordinates of the object.
  • various effects that can be directly or indirectly identified through this document may be provided.
  • FIG. 1 is a diagram related to an implementation environment of an electronic device according to an embodiment.
  • FIG. 2 is a configuration diagram of an electronic device according to an embodiment.
  • Figure 7 is an example of detection of measured position coordinates of a real object according to an embodiment.
  • Figure 8 is a flowchart of a sensor calibration method according to one embodiment.
  • Figure 1 shows an implementation environment of an electronic device according to an embodiment.
  • the electronic device 200 may be a device mounted on a vehicle and capable of detecting the environment surrounding the vehicle.
  • the electronic device 200 may be at least one of an autonomous driving system, a driver assistance system, an around view system, or a black box system, or may be a device linked to the at least one device.
  • the electronic device 200 may store absolute position coordinates of feature points of a reference object related to precision map data.
  • the reference object may be an object that has three or more vertices and is repeatedly provided at least at a first designated distance on the road surface or surroundings.
  • the reference object may include an object having three or more vertices among road marks or guide signs on the road.
  • the reference object may include at least one object selected from the group consisting of a direction indicator arrow on the road, a crosswalk warning sign on the road, and caution signs around the road.
  • the first designated distance may be, for example, the distance between crosswalk warning signs. However, it is not limited to this.
  • the electronic device 200 may use a sensor module (measuring device) to obtain the current location coordinates of the vehicle while the vehicle is driving.
  • the electronic device 200 can photograph and sense the surrounding environment including actual objects corresponding to the reference object.
  • the electronic device 200 determines (e.g., calculates) measurement position coordinates for each feature point (vertex) of the real object based on the current position coordinates of the vehicle, the captured real object image, and the distance between the vehicle and the real object. )can do.
  • the measured position coordinate values may be three-dimensional position coordinate values according to the coordinate system of the sensor module provided in the electronic device 200.
  • the electronic device 200 may check the difference between absolute position coordinate values for feature points of a reference object and measured position coordinate values for feature points of an actual object. In one embodiment, the electronic device 200 may determine a calibration value for the sensor module to improve the identified difference and self-calibrate the sensor module based on the determined correction value.
  • the electronic device 200 stores the absolute position coordinates of a reference object that frequently appears on the road and has easily detectable features (more than one vertex), for example, in association with precision map data, and stores the The error of the sensor module can be precisely detected based on the absolute position coordinates of the reference object. Accordingly, the sensor module can be precisely self-calibrated.
  • Figure 2 shows a configuration diagram of an electronic device according to an embodiment.
  • the electronic device 200 includes a first sensor module 210, a second sensor module 220, an output device 230, a memory 240, and a processor 250. can do.
  • the electronic device 200 may omit some components or may further include additional components.
  • the electronic device 200 may further include a communication module (not shown) capable of performing designated communication (e.g., V2X) with an external electronic device.
  • the memory 240 may include a first memory included in the electronic device 200 and a second memory included in a server device (not shown).
  • the electronic device 200 further includes a communication module (not shown) and can use the data stored in the second memory by transmitting and receiving data with a server device (not shown) through the communication module (not shown).
  • the first sensor module 210 may include at least one first sensor selected from a GPS receiver, an acceleration sensor, a gyro (angular velocity) sensor, or an inertial measurement device.
  • the first sensor module 210 may detect the location coordinates (eg, latitude, longitude, altitude) of the vehicle under the control of the processor 250. Alternatively, the first sensor module 210 may detect vehicle control conditions such as vehicle speed or steering angle.
  • the first sensor may output its measured value (e.g., measurement position coordinate value) according to a first relative coordinate system (e.g., a coordinate system based on the vehicle body).
  • the second sensor module 220 may include at least one second sensor selected from a LIDAR sensor, a radar sensor, an infrared sensor, or a camera.
  • the second sensor module 220 may photograph the environment surrounding a vehicle equipped with the electronic device 200 or detect the distance to a reference object in the surrounding environment under the control of the processor 250.
  • the camera may include a plurality of cameras provided at a predetermined interval in the front, rear, or side of the vehicle.
  • the camera may include at least one image sensor selected from a charge coupled device (CCD) and a metal oxide semi-conductor (MOS). Each second sensor may determine a position coordinate value according to a second coordinate system (eg, a camera coordinate system).
  • a second coordinate system eg, a camera coordinate system
  • the output device 230 may output at least one data of symbols, numbers, or letters visually, audibly, or tactilely under the control of the processor 250.
  • the output device 230 may include at least one output device selected from, for example, a liquid crystal display, OLED, a touch screen display, and a speaker.
  • the memory 240 may store various data used by at least one component (eg, the processor 250) of the electronic device 200. Data may include, for example, input data or output data for software and instructions related thereto. For example, the memory 240 may store at least one instruction for providing a calibration (or correction) function.
  • Memory 240 may include various types of volatile memory or non-volatile memory. For example, memory may include read only memory (ROM) and random access memory (RAM). In an embodiment of the present disclosure, the memory may be located inside or outside the processor, and the memory 240 may be connected to the processor 250 through various known means.
  • the memory 240 may store precision map data including (or related to) absolute position coordinate values for feature points of reference objects provided on the road surface or around the road.
  • the memory 240 may further store a reference object image related to absolute position coordinate values for feature points of the reference object.
  • the precision map data may include, for example, a high definition (HD) map.
  • the reference object may be an object that has three or more vertices and is repeatedly provided at least at a first specified distance (eg, about 3 km) on the road.
  • the reference object may be an object with a color that contrasts with the surrounding environment.
  • the reference object is a two-dimensional or three-dimensional structure installed (or prepared) on a road, and may include an object having three or more vertices among road marks or guidance signs on the road.
  • the reference object may include at least one object selected from the group consisting of a direction indicator arrow on the road, a crosswalk warning sign on the road, and caution signs around the road.
  • the first designated distance may be, for example, the distance between crosswalk warning signs.
  • the absolute position coordinate values of the reference object may include absolute position coordinate values (position coordinate values according to the absolute coordinate system) of feature points including each vertex of the reference object.
  • the processor 250 may control at least one other component (eg, hardware or software component) of the electronic device 200 and may perform various data processing or calculations.
  • the processor 250 may include, for example, a central processing unit (CPU), a graphics processing unit (GPU), a microprocessor, an application processor, an application specific integrated circuit (ASIC), or a field programmable gate arrays (FPGA). )), and may have a plurality of cores.
  • the processor 250 may obtain the current location coordinates of the vehicle using the first sensor module 210. For example, if the processor 250 is capable of receiving a GPS signal, the processor 250 may determine the current location coordinates of the vehicle based on time information included in the GPS signal and location information of GPS satellites, for example, using triangulation. When a GPS signal cannot be received, the processor 250 may generate vehicle mobility information based on an acceleration sensor and a gyro sensor, and determine the current location coordinates of the vehicle based on the previous location coordinates and the mobility information.
  • the processor 250 may use the second sensor module 220 to photograph the external environment of the vehicle including actual objects corresponding to the reference object.
  • the processor 250 may acquire a road image including a real object using a camera or LiDAR sensor.
  • the acquired road image may be a 3D image captured based on a stereo camera.
  • the processor 250 may obtain the distance between the vehicle and the actual object using at least one sensor selected from a plurality of cameras, a lidar sensor, an infrared sensor, or an ultrasonic sensor.
  • the processor 250 may determine the measured position coordinates of the real object corresponding to the reference object based on the current position coordinates, the acquired distance, and the acquired image. For example, the processor 250 may match a real object image (a road image including a real object) with a reference object image stored in the memory 240 to detect feature points including each vertex of the real object. For example, the processor 250 may check (eg, detect) feature points including vertices of a real object from an image obtained based on the similarity between the real object image and the reference object image.
  • a real object image a road image including a real object
  • a reference object image stored in the memory 240 to detect feature points including each vertex of the real object.
  • the processor 250 may check (eg, detect) feature points including vertices of a real object from an image obtained based on the similarity between the real object image and the reference object image.
  • the processor 250 may use the second sensor module 220 (e.g., at least one of a radar sensor, a LiDAR sensor, or a stereo camera) to check distance information between feature points of an actual object and a vehicle.
  • the processor 250 may determine measured position coordinate values for each feature point of the real object based on the relationship between the current position coordinates and the confirmed distance information.
  • the processor 250 configures the first sensor module 210 and the second sensor module 220 based on the difference between the measured position coordinate values of the actual object and the absolute position coordinate values of the reference object.
  • the first sensor module 210 and the second sensor module 220 may self-calibrate.
  • the processor 250 operates the first sensor module (e.g., 0) so that the difference between the measured position coordinate values of the feature points of the actual object and the absolute position coordinate values of the feature points of the reference object is less than or equal to a specified value (e.g., 0).
  • the correction value of 210 (hereinafter, may be referred to as a 'first correction value') and the correction value of the second sensor module 220 (hereinafter, may be referred to as a 'second correction value') may be determined, respectively.
  • the processor 250 configures the position and posture of one camera according to the absolute coordinate system to improve the difference between the measured position coordinate values and the absolute position coordinate values based on one camera of the first sensor module 210.
  • the angle can be corrected (or updated).
  • the processor 250 may correct the position and attitude angle of another camera or inertial measurement sensor based on the position and attitude angle of one camera.
  • the processor 250 may correct the position and attitude angle of each sensor included in the second sensor module 220 according to the absolute coordinate system.
  • the processor 250 may repeat the above-described process and calculate a first correction value and a second correction value such that the difference between the measured position coordinate values and the absolute position coordinate values is less than or equal to a specified value.
  • the reliability of the measurement is increased by repeatedly self-calibrating the first and second sensor modules 210 and 220 based on the detection or shooting results of the actual object corresponding to one reference object. and accuracy can be improved.
  • the processor 250 stores the first correction value and the second correction value in the memory 240, and then adds the first correction value to the detection result using the first sensor module 210 and the second sensor module 220.
  • a self-calibration function may be performed for the first and second sensor modules 210 and 220 to apply the correction value and the second correction value.
  • the processor 250 may not perform the self-calibration function for the first sensor module 210 and the second sensor module 220 all the time, but may perform it when specified conditions are met.
  • the specified condition is when the driving distance after performing the self-calibration function is more than a second specified distance (e.g., 10 km), arrives within a specified period (e.g., one week), or reaches a size specified through the first sensor module 210.
  • the calibration may be performed in at least one of the cases where the above movement is detected.
  • the specified size is a movement that causes a change in the position or attitude angle of at least one of the first sensor module 210 or the second sensor module 220, and can be determined experimentally.
  • the processor 250 may predict the proximity of the reference object based on the absolute position coordinates of the reference object included in the precision map data before detecting the reference object.
  • the processor 250 may execute the self-calibration function when the reference object approaches within a third specified distance (eg, 2 m) based on the position coordinates detected through the first sensor module 210.
  • a third specified distance eg, 2 m
  • the processor 250 may activate the second sensor module 220 that is in an inactive state when performing the self-calibration function. In this way, the electronic device 200 according to one embodiment can perform the specified self-calibration function even in a deactivated state of the second sensor module 220.
  • the processor 250 performs the self-calibration function to correct the error between the measured position coordinates and the absolute position coordinates when the error cannot be corrected even though the process has been performed a specified number of times (e.g., 10 times).
  • the output device 230 may indicate that calibration is not possible using at least one of an image or a sound.
  • the electronic device 200 is capable of self-calibrating the sensor modules 210 and 220 based on the absolute position coordinates of the reference object included in the precision map data, allowing the user to use the sensor module ( 210, 220), the effort and cost of visiting a distant inspection/calibration center to check or correct can be reduced.
  • the location of the feature point e.g. edge
  • error correction of the first and second sensor modules 210 and 220 based on reference objects in the form of points or lines may have low reliability.
  • the electronic device 200 has three or more points (vertices) with high discriminability due to sharply changing edges, and has a color that contrasts with the surrounding environment (e.g., a driving direction marker that contrasts with a black road). (or signs with strong colors) are used as reference objects, so the feature points can be easily detected. Accordingly, according to the reference object according to one embodiment, error correction of the first and second sensor modules 210 and 220 based on the feature points may be easy.
  • the electronic device 200 can improve the measurement accuracy of the measurement device (sensor module) by performing self-calibration (self-calibration) regardless of low-cost/expensive equipment.
  • the electronic device 200 provides pre-selected reference point information (absolute coordinates of the reference object) from a high-definition digital map stored or downloaded in the autonomous driving system or vehicle support system. Using this, measuring devices such as black boxes can be automatically self-calibrated.
  • FIGS 3, 4, 5, and 6 show reference object images according to one embodiment.
  • the reference object may include a straight lane guidance arrow on the road surface (FIG. 3), a left turn lane guidance arrow (FIG. 4), and a crosswalk notice mark (FIG. 5).
  • the electronic device 200 may store a reference object image including a straight lane guidance arrow (FIG. 3), a left turn lane guidance arrow (FIG. 4), and a crosswalk notice mark (FIG. 5) on the road surface as shown in FIGS. 3 to 5. .
  • the electronic device 200 may store the absolute position coordinate values of the feature points f 1 to f 5 including each vertex of the reference object in relation to the reference object image.
  • the reference object may include caution signs around the road.
  • the electronic device 200 may store the absolute position coordinate values of the three vertices of the triangle (f 1 to f 3 in FIG. 6 ) displayed on the caution sign in relation to the caution sign image (reference object image).
  • the reference object has a plurality of vertices and is provided in a color that contrasts with the surrounding environment, such as white or red and yellow in contrast to the black road surface, so that the electronic device 200 can easily identify the characteristic point. and can be detected.
  • Figure 7 shows an example of detection of measured position coordinates of a real object according to an embodiment.
  • the electronic device 200 matches the image 410 of the real object with the reference object image 420 included in (or related to) the precision map data to obtain the measured position coordinate values of the feature points of the real object.
  • the electronic device 200 includes measurement position coordinate values ⁇ (x 1 , y 1 , z 1 ), (x 2 , y 2 , z 2 ), (x 3 , y 3 , z 3 ), (x 4 , y 4 , z 4 ) ⁇ to the sub-position coordinate values of the reference object ⁇ (X 1 , Y 1 , Z 1 ), ( X 2 , Y 2 , Z 2 ) , ( Correction values of each sensor module 210 and 220, such as the position and attitude angle of the first sensor module 210 and the second sensor module 220, may be determined to substantially match Z 4 , Y 4 , Z 4 ).
  • Figure 8 shows a flowchart of a sensor calibration method according to one embodiment.
  • the electronic device 200 may obtain the current location coordinates of the vehicle using the first sensor module 210.
  • the electronic device 200 may detect and photograph a real object corresponding to the reference object using the second sensor module 220 to obtain an image and obtain a distance to the real object.
  • the reference object is provided at a first designated distance on the road surface or around the road and may include three or more vertices.
  • the electronic device 200 may determine measurement position coordinate values for feature points of a real object based on the current position coordinates, the acquired distance, and the acquired image. For example, the electronic device 200 may detect feature points including each vertex of the reference object by matching the actual object image and the reference object image.
  • the processor 250 may check distance information between feature points of an actual object and a vehicle. The processor 250 may determine the measured position coordinate values of each feature point of the real object based on the relationship between the current position coordinates and the confirmed distance information.
  • the electronic device 200 may calibrate the first and second sensor modules 210 and 220 so that the difference between the absolute position coordinate values of the feature points of the reference object and the measured position coordinate values is reduced. .
  • the electronic device 200 configures the first sensor module so that the difference between the measured position coordinate values of the feature points of the actual object and the absolute position coordinate values of the feature points of the reference object is less than or equal to a specified value (e.g., 0).
  • the correction value of 210 hereinafter, may be referred to as a 'first correction value'
  • the correction value of the second sensor module 220 hereinafter, may be referred to as a 'second correction value'
  • the electronic device 200 is capable of self-calibrating the sensor modules 210 and 220 based on a reference object having easily detectable feature points, thereby accurately self-calibrating the sensor modules 210 and 220. -Can be corrected.
  • first, second, or first or second may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”. Where mentioned, it means that any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium e.g., 240
  • a machine e.g., an electronic device
  • a processor e.g., processor 250
  • a device e.g., electronic device 200
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a readable storage medium may be provided in the form of a non-transitory storage medium, where 'non-transitory' refers to a device in which the storage medium is tangible and a signal (e.g. electromagnetic wave). ), and this term does not distinguish between cases where data is semi-permanently stored in a storage medium and cases where data is stored temporarily.
  • 'non-transitory' refers to a device in which the storage medium is tangible and a signal (e.g. electromagnetic wave).
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • Components according to various embodiments of this document may be implemented in the form of software or hardware such as a digital signal processor (DSP), field programmable gate array (FPGA), or application specific integrated circuit (ASIC), and perform certain roles. can do.
  • DSP digital signal processor
  • FPGA field programmable gate array
  • ASIC application specific integrated circuit
  • 'Components' are not limited to software or hardware, and each component may be configured to reside on an addressable storage medium or may be configured to run on one or more processors.
  • a component may include components such as software components, object-oriented software components, class components, and task components, as well as processes, functions, properties, procedures, and subroutines. , may include segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • each component (eg, module or program) of the above-described components may include a single entity or a plurality of entities.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)

Abstract

An electronic device, according to one embodiment, comprises: a first sensor module which detects a position; a second sensor module which detects or photographs an external environment; a memory which stores precise map data including absolute position coordinates of reference objects provided at specified distances on a road surface or in the vicinity of roads, wherein the absolute position coordinates of the reference objects include absolute position coordinate values for three or more vertices of the reference objects according to the absolute reference coordinate system; and a processor. The processor may: obtain current position coordinates of a vehicle by using the first sensor module; detect and photograph, by using the second sensor module, real objects corresponding to the reference objects so as to obtain images and obtain distances to the real objects; determine measured position coordinates of the real objects on the basis of the current position coordinates, the obtained distances, and the obtained images; and calibrate the first sensor module and the second sensor module on the basis of differences between the measured position coordinates and the absolute position coordinates.

Description

전자 장치 및 센서 셀프-캘리브레이션 방법How to Self-Calibrate Electronics and Sensors
본 연구는 산업통상자원부와 한국산업기술평가관리원이 지원하는 자율주행기술개발혁신사업(20018198)으로 수행된 연구결과입니다.This study is the result of research conducted under the Autonomous Driving Technology Development and Innovation Project (20018198) supported by the Ministry of Trade, Industry and Energy and the Korea Evaluation Institute of Industrial Technology.
본 문서에서 개시되는 다양한 실시 예들은, 측정 장비 교정 기술과 관련된다.Various embodiments disclosed in this document relate to measurement equipment calibration techniques.
차량은 블랙박스, 자율 주행 시스템, 어라운드 뷰(around view) 시스템 및 첨단 운전자 지원 시스템(ADAS: Advanced Driver Assist System)과 같은 다양한 차량 편의 시스템을 구비할 수 있다. Vehicles can be equipped with various vehicle convenience systems such as black boxes, autonomous driving systems, around view systems, and advanced driver assist systems (ADAS).
차량 편의 시스템은 운전자의 부담을 줄이면서 그 편의성을 증진시키기 위해서 주행 환경에 대한 정보를 능동적으로 제공하고 있다. 운전자 지원 시스템의 내/외부에는 주변 환경을 감지하기 위한 GPS 센서, 카메라, 라이다 및 레이더와 같은 센서 모듈(또는, 측정 장치)이 설치된다. 이러한 센서 모듈은 그 설치 환경, 장착 위치나, 자세각에 따라서 그 측정 결과(예: 감지 위치)에 오차가 발생할 수 있다. 센서 모듈의 오차는 센서 모듈의 설치 시의 미숙련으로 인해 발생할 수 있고, 차량 흔들림으로 센서 모듈의 틀어짐으로 발생할 수 있다.Vehicle convenience systems actively provide information about the driving environment to reduce the driver's burden and improve convenience. Sensor modules (or measurement devices) such as GPS sensors, cameras, lidar, and radar are installed inside and outside the driver assistance system to detect the surrounding environment. These sensor modules may have errors in their measurement results (e.g., detection position) depending on their installation environment, mounting location, or attitude angle. Errors in the sensor module may occur due to inexperience in installing the sensor module, or may occur due to distortion of the sensor module due to vehicle shaking.
차량 사고 예방을 위해서, 센서 모듈은 그 신뢰도(또는, 오차 교정)가 어느 정도 확보되어야 하고, 첨단 차량 시스템의 경우 반드시 확보되어야 한다. 센서 모듈의 신뢰도는 검/교정소에서 그 오차를 주기적으로 점검 및 교정함에 따라 확보될 수 있다. 하지만, 변두리에 위치하는 검/교정소에 방문하는 것은 금전, 시간과 노력면에서 비용이 소요될 수 있다.To prevent vehicle accidents, sensor modules must have a certain degree of reliability (or error correction), and in the case of advanced vehicle systems, this must be secured. The reliability of the sensor module can be ensured by periodically checking and correcting the errors at the inspection/calibration laboratory. However, visiting a prosecution/correction center located on the outskirts can be costly in terms of money, time, and effort.
차량 편의 시스템은 기설정된 절대 좌표값과 센서 모듈에 의한 계측값 간의 오차를 자가 교정하도록 마련될 수 있다. 하지만, 차량 편의 시스템이 기설정된 절대 좌표값을 정확히 측정하지 못한다면, 그 오차의 자가 교정 또한 어려울 수 있다.The vehicle convenience system may be equipped to self-correct the error between the preset absolute coordinate value and the measured value by the sensor module. However, if the vehicle convenience system does not accurately measure the preset absolute coordinate value, self-correction of the error may also be difficult.
본 문서에 개시되는 다양한 실시 예들은 객체의 절대 위치 좌표에 기반하여 측정 장비(센서)를 자가 교정(self-calibration)할 수 있는 전자 장치 및 센서 보정 방법을 제공할 수 있다.Various embodiments disclosed in this document may provide an electronic device and sensor calibration method capable of self-calibrating measuring equipment (sensor) based on the absolute position coordinates of an object.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 위치를 감지하는 제1 센서 모듈; 외부 환경을 감지 또는 촬영하는 제2 센서 모듈; 노면 또는 도로 주변에 제1 지정된 거리 마다 구비되는 기준 객체의 절대 위치 좌표를 포함하는 정밀 지도 데이터를 저장하는 메모리; 및 상기 기준 객체의 절대 위치 좌표는, 절대 기준 좌표계에 따른 상기 기준 객체의 세 개 이상의 꼭지점들에 대한 절대 위치 좌표값들을 포함하고. 상기 제1 센서 모듈, 상기 제2 센서 모듈 및 상기 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 제1 센서 모듈을 이용하여 상기 차량의 현 위치 좌표를 획득하고, 상기 제1 센서 모듈 및 상기 제2 센서 모듈에 대한 자가 교정 기능을 수행함으로써, 상기 제2 센서 모듈을 이용하여 상기 기준 객체에 대응하는 실제 객체를 감지 및 촬영하여 이미지를 획득하고 상기 실제 객체와의 거리를 획득하고, 상기 현 위치 좌표, 상기 획득된 거리 및 상기 획득된 이미지에 기반하여 상기 실제 객체의 계측 위치 좌표를 결정하고, 상기 계측 위치 좌표 및 상기 절대 위치 좌표 간의 차이에 기반하여 상기 제1 센서 모듈 및 상기 제2 센서 모듈을 캘리브레이션(calibration)할 수 있다.An electronic device according to an embodiment disclosed in this document includes a first sensor module that detects a location; a second sensor module that detects or photographs the external environment; a memory that stores precision map data including absolute position coordinates of reference objects provided at each first specified distance on the road surface or around the road; And the absolute position coordinates of the reference object include absolute position coordinate values for three or more vertices of the reference object according to an absolute reference coordinate system. and a processor functionally connected to the first sensor module, the second sensor module, and the memory, wherein the processor acquires the current location coordinates of the vehicle using the first sensor module, and the first sensor module And by performing a self-calibration function for the second sensor module, detecting and photographing a real object corresponding to the reference object using the second sensor module to obtain an image and obtain a distance to the real object, Determine the measured position coordinates of the real object based on the current position coordinates, the acquired distance, and the acquired image, and determine the first sensor module and the second based on the difference between the measured position coordinates and the absolute position coordinates. 2 The sensor module can be calibrated.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치에 의한 센서 캘리브레이션 방법은, 제1 센서 모듈을 이용하여 차량의 현 위치 좌표를 획득하는 동작; 제2 센서 모듈을 이용하여 기준 객체에 대응하는 실제 객체를 감지 및 촬영하여 이미지를 획득하고 상기 실제 객체와의 거리를 획득하는 동작; 상기 기준 객체는, 노면 또는 도로 주변에 제1 지정된 거리 마다 구비되고 세 개 이상의 꼭지점들을 포함하고, 상기 현 위치 좌표, 상기 획득된 거리 및 상기 획득된 이미지에 기반하여 상기 실제 객체의 꼭지점들에 대한 계측 위치 좌표값들을 결정하는 동작; 정밀 지도 데이터에 저장된 상기 기준 객체의 꼭지점들에 대한 절대 위치 좌표값들 및 상기 계측 위치 좌표값들 간의 차이에 기반하여 상기 제1 센서 모듈 및 상기 제2 센서 모듈을 캘리브레이션(calibration)하는 동작을 포함할 수 있다.In addition, a sensor calibration method using an electronic device according to an embodiment disclosed in this document includes: acquiring the current location coordinates of a vehicle using a first sensor module; Obtaining an image by detecting and photographing a real object corresponding to a reference object using a second sensor module and obtaining a distance to the real object; The reference object is provided at a first specified distance on the road surface or around the road and includes three or more vertices, and is based on the current position coordinates, the acquired distance, and the acquired image for the vertices of the real object. An operation of determining measurement position coordinate values; Including an operation of calibrating the first sensor module and the second sensor module based on the difference between the absolute position coordinate values for the vertices of the reference object stored in precision map data and the measured position coordinate values. can do.
본 문서에 개시되는 다양한 실시 예들에 따르면, 객체의 절대 좌표에 기반하여 그 감지 결과값을 보정할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.According to various embodiments disclosed in this document, the detection result can be corrected based on the absolute coordinates of the object. In addition, various effects that can be directly or indirectly identified through this document may be provided.
도 1은 일 실시예에 따른 전자 장치의 구현 환경 관련 도면.1 is a diagram related to an implementation environment of an electronic device according to an embodiment.
도 2는 일 실시예에 따른 전자 장치의 구성도.2 is a configuration diagram of an electronic device according to an embodiment.
도 3, 4, 5 및 6은 일 실시예에 따른 기준 객체 이미지.3, 4, 5, and 6 are reference object images according to one embodiment.
도 7는 일 실시예에 따른 실제 객체의 계측 위치 좌표의 검출 예.Figure 7 is an example of detection of measured position coordinates of a real object according to an embodiment.
도 8는 일 실시예에 따른 센서 캘리브레이션 방법의 흐름도.Figure 8 is a flowchart of a sensor calibration method according to one embodiment.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.In relation to the description of the drawings, identical or similar reference numerals may be used for identical or similar components.
도 1은 일 실시예에 따른 전자 장치의 구현 환경을 나타낸다.Figure 1 shows an implementation environment of an electronic device according to an embodiment.
도 1을 참조하면, 일 실시예에 따른 전자 장치(200)는 차량에 장착되어 차량 주변 환경을 감지할 수 있는 장치일 수 있다. 예를 들어, 전자 장치(200)는 자율 주행 시스템, 운전자 지원 시스템, 어라운드 뷰 시스템 또는 블랙박스 시스템 중 적어도 하나의 장치이거나, 상기 적어도 하나의 장치와 연계된 장치일 수 있다.Referring to FIG. 1, the electronic device 200 according to one embodiment may be a device mounted on a vehicle and capable of detecting the environment surrounding the vehicle. For example, the electronic device 200 may be at least one of an autonomous driving system, a driver assistance system, an around view system, or a black box system, or may be a device linked to the at least one device.
일 실시예에 따르면, 전자 장치(200)는 정밀 지도 데이터와 관련된 기준 객체의 특징점들의 절대 위치 좌표를 저장할 수 있다. 상기 기준 객체는 세 개 이상의 꼭지점을 가지고, 도로의 노면 또는 주변에 적어도 제1 지정된 거리 마다 반복적으로 구비된 객체일 수 있다. 상기 기준 객체는 노면 마크 또는 도로 상의 안내 표지판 중 세 개 이상의 꼭지점들을 갖는 객체를 포함할 수 있다. 예를 들어, 기준 객체는 노면상의 진행방향 표시 화살표, 노면상의 횡단보도예고 표식, 또는 도로 주변의 주의 표지판 중 적어도 하나의 객체를 포함할 수 있다. 상기 제1 지정된 거리는 예를 들면, 횡단보도예고 표식 간의 거리일 수 있다. 하지만, 이에 한정되지 않는다.According to one embodiment, the electronic device 200 may store absolute position coordinates of feature points of a reference object related to precision map data. The reference object may be an object that has three or more vertices and is repeatedly provided at least at a first designated distance on the road surface or surroundings. The reference object may include an object having three or more vertices among road marks or guide signs on the road. For example, the reference object may include at least one object selected from the group consisting of a direction indicator arrow on the road, a crosswalk warning sign on the road, and caution signs around the road. The first designated distance may be, for example, the distance between crosswalk warning signs. However, it is not limited to this.
일 실시예에 따르면, 전자 장치(200)는 센서 모듈(측정 장치)를 이용하여 차량 주행 중에 차량의 현 위치 좌표를 획득할 수 있다. 전자 장치(200)는 기준 객체에 대응하는 실제 객체를 포함하는 주변 환경을 촬영 및 감지할 수 있다. 전자 장치(200)는 차량의 현 위치 좌표, 촬영된 실제 객체 이미지 및 차량과 실제 객체와의 거리에 기반하여 실제 객체의 각 특징점들(꼭지점들)에 대한 계측 위치 좌표값들을 결정(예: 산출)할 수 있다. 상기 계측 위치 좌표값들은 전자 장치(200)에 구비된 센서 모듈의 좌표계에 따른 3차원 위치 좌표값들일 수 있다.According to one embodiment, the electronic device 200 may use a sensor module (measuring device) to obtain the current location coordinates of the vehicle while the vehicle is driving. The electronic device 200 can photograph and sense the surrounding environment including actual objects corresponding to the reference object. The electronic device 200 determines (e.g., calculates) measurement position coordinates for each feature point (vertex) of the real object based on the current position coordinates of the vehicle, the captured real object image, and the distance between the vehicle and the real object. )can do. The measured position coordinate values may be three-dimensional position coordinate values according to the coordinate system of the sensor module provided in the electronic device 200.
일 실시예에 따르면, 전자 장치(200)는 기준 객체의 특징점들에 대한 절대 위치 좌표값들과 실제 객체의 특징점들에 대한 계측 위치 좌표값들 간의 차이를 확인할 수 있다. 일 실시예에서, 전자 장치(200)는 확인된 차이가 개선되도록 센서 모듈에 대한 보정치(calibration value)를 결정하고, 결정된 보정치에 기반하여 센서 모듈을 자가 교정(self-calibration))할 수 있다. According to one embodiment, the electronic device 200 may check the difference between absolute position coordinate values for feature points of a reference object and measured position coordinate values for feature points of an actual object. In one embodiment, the electronic device 200 may determine a calibration value for the sensor module to improve the identified difference and self-calibrate the sensor module based on the determined correction value.
이와 같이, 일 실시예에 따른 전자 장치(200)는 도로에서 빈번히 출현하여 쉽게 검출 가능한 특징(세게 이상의 꼭지점들)들을 갖는 기준 객체의 절대 위치 좌표를 예컨대, 정밀 지도 데이터와 연관하여 저장하고, 해당 기준 객체의 절대 위치 좌표에 기반하여 센서 모듈의 오차를 정교하게 검출할 수 있다. 그에 따라, 센서 모듈을 정밀하게 자가-교정할 수 있다. In this way, the electronic device 200 according to one embodiment stores the absolute position coordinates of a reference object that frequently appears on the road and has easily detectable features (more than one vertex), for example, in association with precision map data, and stores the The error of the sensor module can be precisely detected based on the absolute position coordinates of the reference object. Accordingly, the sensor module can be precisely self-calibrated.
도 2는 일 실시예에 따른 전자 장치의 구성도를 나타낸다.Figure 2 shows a configuration diagram of an electronic device according to an embodiment.
도 2를 참조하면, 일 실시예에 따른 전자 장치(200)는 제1 센서 모듈(210), 제2 센서 모듈(220), 출력 장치(230), 메모리(240) 및 프로세서(250)를 포함할 수 있다. 일 실시 예에서, 전자 장치(200)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함할 수 있다. 또는, 전자 장치(200)는 외부 전자 장치와 지정된 통신(예: V2X)할 수 있는 통신 모듈(미도시)을 더 포함할 수 있다. 또한, 전자 장치(200)의 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다. 예를 들어, 메모리(240)는 전자 장치(200)에 포함된 제1 메모리 및 서버 장치(미도시)에 포함된 제2 메모리를 포함할 수 있다. 이 경우, 전자 장치(200)는 통신 모듈(미도시)을 더 포함하고, 통신 모듈(미도시)를 통해 서버 장치(미도시)와 데이터를 송수신하여 제2 메모리에 저장된 데이터를 이용할 수 있다.Referring to FIG. 2, the electronic device 200 according to one embodiment includes a first sensor module 210, a second sensor module 220, an output device 230, a memory 240, and a processor 250. can do. In one embodiment, the electronic device 200 may omit some components or may further include additional components. Alternatively, the electronic device 200 may further include a communication module (not shown) capable of performing designated communication (e.g., V2X) with an external electronic device. Additionally, some of the components of the electronic device 200 may be combined to form a single entity, but the functions of the components before combination may be performed in the same manner. For example, the memory 240 may include a first memory included in the electronic device 200 and a second memory included in a server device (not shown). In this case, the electronic device 200 further includes a communication module (not shown) and can use the data stored in the second memory by transmitting and receiving data with a server device (not shown) through the communication module (not shown).
제1 센서 모듈(210)은 GPS 수신기, 가속도 센서, 자이로(각속도) 센서 또는 관성 측정 장치 중 적어도 하나의 제1 센서를 포함할 수 있다. 제1 센서 모듈(210)은 프로세서(250)의 제어에 따라 차량의 위치 좌표(예: 위도, 경도, 고도)를 감지할 수 있다. 또는, 제1 센서 모듈(210)은 차량 속도이나 조향각과 같은 차량 제어 상태를 감지할 수 있다. 상기 제1 센서는 각기 제1 상대 좌표계(예: 차량 몸체에 기반한 좌표계)에 따라 그 측정치(예: 계측 위치 좌표값)를 출력할 수 있다.The first sensor module 210 may include at least one first sensor selected from a GPS receiver, an acceleration sensor, a gyro (angular velocity) sensor, or an inertial measurement device. The first sensor module 210 may detect the location coordinates (eg, latitude, longitude, altitude) of the vehicle under the control of the processor 250. Alternatively, the first sensor module 210 may detect vehicle control conditions such as vehicle speed or steering angle. The first sensor may output its measured value (e.g., measurement position coordinate value) according to a first relative coordinate system (e.g., a coordinate system based on the vehicle body).
제2 센서 모듈(220)은 라이다(LIDAR) 센서, 레이더 센서, 적외선 센서, 또는 카메라 중 적어도 하나의 제2 센서를 포함할 수 있다. 상기 제2 센서 모듈(220)은 프로세서(250)의 제어에 따라 전자 장치(200)가 구비된 차량 주변 환경을 촬영하거나, 주변 환경에 있는 기준 객체와의 거리를 감지할 수 있다. 상기 카메라는 예를 들어, 차량의 전방, 후방 또는 측방에 일정 간격 이격되어 구비된 복수의 카메라들을 포함할 수 있다. 상기 카메라는 CCD(charge coupled device) 및 MOS(metal oxide semi-conductor) 중 적어도 하나의 이미지 센서를 포함할 수 있다. 각 제2 센서는 제2 좌표계(예: 카메라 좌표계)에 따라 위치 좌표값을 결정할 수 있다.The second sensor module 220 may include at least one second sensor selected from a LIDAR sensor, a radar sensor, an infrared sensor, or a camera. The second sensor module 220 may photograph the environment surrounding a vehicle equipped with the electronic device 200 or detect the distance to a reference object in the surrounding environment under the control of the processor 250. For example, the camera may include a plurality of cameras provided at a predetermined interval in the front, rear, or side of the vehicle. The camera may include at least one image sensor selected from a charge coupled device (CCD) and a metal oxide semi-conductor (MOS). Each second sensor may determine a position coordinate value according to a second coordinate system (eg, a camera coordinate system).
출력 장치(230)는 프로세서(250)의 제어에 따라 기호, 숫자 또는 문자 중 적어도 하나의 데이터를 시각, 청각 또는 촉각적으로 출력할 수 있다. 출력 장치(230)는 예를 들면, 액정 디스플레이, OLED, 터치스크린 디스플레이, 스피커 중 적어도 하나의 출력 장치를 포함할 수 있다.The output device 230 may output at least one data of symbols, numbers, or letters visually, audibly, or tactilely under the control of the processor 250. The output device 230 may include at least one output device selected from, for example, a liquid crystal display, OLED, a touch screen display, and a speaker.
메모리(240)는 전자 장치(200)의 적어도 하나의 구성요소(예: 프로세서(250))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는 예를 들어, 소프트웨어 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 예를 들어, 메모리(240)는 캘리브레이션(또는, 교정) 기능 제공을 위한 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(240)는 다양한 형태의 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리(240)는 이미 알려진 다양한 수단을 통해 프로세서(250)와 연결될 수 있다. The memory 240 may store various data used by at least one component (eg, the processor 250) of the electronic device 200. Data may include, for example, input data or output data for software and instructions related thereto. For example, the memory 240 may store at least one instruction for providing a calibration (or correction) function. Memory 240 may include various types of volatile memory or non-volatile memory. For example, memory may include read only memory (ROM) and random access memory (RAM). In an embodiment of the present disclosure, the memory may be located inside or outside the processor, and the memory 240 may be connected to the processor 250 through various known means.
일 실시예에 따르면, 메모리(240)는 노면 또는 도로 주변에 구비된 기준 객체의 특징점들에 대한 절대 위치 좌표값들을 포함하는(또는, 관련된) 정밀 지도 데이터를 저장할 수 있다. 메모리(240)는 해당 기준 객체의 특징점들에 대한 절대 위치 좌표값과 관련된 기준 객체 이미지를 더 저장할 수 있다. 상기 정밀 지도 데이터는 예를 들면, HD(high definition) 맵을 포함할 수 있다. 상기 기준 객체는 세 개 이상의 꼭지점을 가지고 도로에서 적어도 제1 지정된 거리(예: 약 3km) 마다 반복적으로 구비되는 객체일 수 있다. 상기 기준 객체는 주변 환경에 대비되는 색상을 가진 객체일 수 있다. 상기 기준 객체는 도로에 설치(또는, 마련)된 2차원 또는 3차원 구조물로서, 노면 마크 또는 도로 상의 안내 표지판 중 세 개 이상의 꼭지점들을 갖는 객체를 포함할 수 있다. 예를 들어, 기준 객체는 노면상의 진행방향 표시 화살표, 노면상의 횡단보도예고 표식, 또는 도로 주변의 주의 표지판 중 적어도 하나의 객체를 포함할 수 있다. 상기 제1 지정된 거리는 예를 들면, 횡단보도예고 표식 간의 거리일 수 있다. 상기 기준 객체의 절대 위치 좌표값들은 기준 객체의 각 꼭지점들을 포함하는 특징점들의 절대 위치 좌표값들(절대 좌표계에 따른 위치 좌표값)을 포함할 수 있다. According to one embodiment, the memory 240 may store precision map data including (or related to) absolute position coordinate values for feature points of reference objects provided on the road surface or around the road. The memory 240 may further store a reference object image related to absolute position coordinate values for feature points of the reference object. The precision map data may include, for example, a high definition (HD) map. The reference object may be an object that has three or more vertices and is repeatedly provided at least at a first specified distance (eg, about 3 km) on the road. The reference object may be an object with a color that contrasts with the surrounding environment. The reference object is a two-dimensional or three-dimensional structure installed (or prepared) on a road, and may include an object having three or more vertices among road marks or guidance signs on the road. For example, the reference object may include at least one object selected from the group consisting of a direction indicator arrow on the road, a crosswalk warning sign on the road, and caution signs around the road. The first designated distance may be, for example, the distance between crosswalk warning signs. The absolute position coordinate values of the reference object may include absolute position coordinate values (position coordinate values according to the absolute coordinate system) of feature points including each vertex of the reference object.
프로세서(250)는 전자 장치(200)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(250)는 예를 들어, 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 애플리케이션 프로세서(application processor), 주문형 반도체(ASIC(application specific integrated circuit), FPGA(field programmable gate arrays)) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다.The processor 250 may control at least one other component (eg, hardware or software component) of the electronic device 200 and may perform various data processing or calculations. The processor 250 may include, for example, a central processing unit (CPU), a graphics processing unit (GPU), a microprocessor, an application processor, an application specific integrated circuit (ASIC), or a field programmable gate arrays (FPGA). )), and may have a plurality of cores.
일 실시예에 따르면, 프로세서(250)는 제1 센서 모듈(210)을 이용하여 차량의 현 위치 좌표를 획득할 수 있다. 예를 들어, 프로세서(250)는 GPS 신호를 수신 가능한 경우에는 GPS 신호에 포함된 시간 정보 및 GPS 위성들의 위치 정보에 기반하여 예컨대, 삼각측량법으로 차량의 현 위치 좌표를 결정할 수 있다. 프로세서(250)는 GPS 신호를 수신 불가한 경우에는 가속도 센서 및 자이로 센서 등에 기반하여 차량의 운동성 정보를 생성하고, 이전의 위치 좌표 및 상기 운동성 정보에 기반하여 차량의 현 위치 좌표를 결정할 수 있다.According to one embodiment, the processor 250 may obtain the current location coordinates of the vehicle using the first sensor module 210. For example, if the processor 250 is capable of receiving a GPS signal, the processor 250 may determine the current location coordinates of the vehicle based on time information included in the GPS signal and location information of GPS satellites, for example, using triangulation. When a GPS signal cannot be received, the processor 250 may generate vehicle mobility information based on an acceleration sensor and a gyro sensor, and determine the current location coordinates of the vehicle based on the previous location coordinates and the mobility information.
일 실시예에 따르면, 프로세서(250)는 제2 센서 모듈(220)을 이용하여 기준 객체에 대응하는 실제 객체를 포함하는 차량의 외부 환경을 촬영할 수 있다. 프로세서(250)는 카메라 또는 라이다 센서를 이용하여 실제 객체를 포함하는 도로 이미지를 획득할 수 있다. 상기 획득된 도로 이미지는 예를 들면, 스테레오 카메라에 기반하여 촬영된 3차원 이미지일 수 있다. 프로세서(250)는 복수의 카메라들, 라이다 센서, 적외선 센서 또는 초음파 센서 중 적어도 하나의 센서를 이용하여 차량과 실제 객체 간의 거리를 획득할 수 있다.According to one embodiment, the processor 250 may use the second sensor module 220 to photograph the external environment of the vehicle including actual objects corresponding to the reference object. The processor 250 may acquire a road image including a real object using a camera or LiDAR sensor. For example, the acquired road image may be a 3D image captured based on a stereo camera. The processor 250 may obtain the distance between the vehicle and the actual object using at least one sensor selected from a plurality of cameras, a lidar sensor, an infrared sensor, or an ultrasonic sensor.
일 실시예에 따르면, 프로세서(250)는 현 위치 좌표, 획득된 거리 및 획득된 이미지에 기반하여 기준 객체에 대응하는 실제 객체의 계측 위치 좌표를 결정할 수 있다. 예를 들어, 프로세서(250)는 실제 객체 이미지(실제 객체를 포함하는 도로 이미지)와 메모리(240)에 저장된 기준 객체 이미지를 매칭하여 실제 객체의 각 꼭지점들을 포함하는 특징점들을 검출할 수 있다. 프로세서(250)는 예를 들면, 실제 객체 이미지와 기준 객체 이미지 간의 유사도에 기반하여 획득된 이미지로부터 실제 객체의 꼭지점들을 포함하는 특징점들을 확인(예: 검출)할 수 있다. 프로세서(250)는 제2 센서 모듈(220)(예: 레이더 센서, 라이다 센서 또는 스테레오 카메라 중 적어도 하나)을 이용하여 실제 객체의 특징점들과 차량 간의 거리 정보를 확인할 수 있다. 프로세서(250)는 현 위치 좌표와 확인된 거리 정보 간의 관계에 기반하여 실제 객체의 각 특징점들에 대한 계측 위치 좌표값들을 결정할 수 있다.According to one embodiment, the processor 250 may determine the measured position coordinates of the real object corresponding to the reference object based on the current position coordinates, the acquired distance, and the acquired image. For example, the processor 250 may match a real object image (a road image including a real object) with a reference object image stored in the memory 240 to detect feature points including each vertex of the real object. For example, the processor 250 may check (eg, detect) feature points including vertices of a real object from an image obtained based on the similarity between the real object image and the reference object image. The processor 250 may use the second sensor module 220 (e.g., at least one of a radar sensor, a LiDAR sensor, or a stereo camera) to check distance information between feature points of an actual object and a vehicle. The processor 250 may determine measured position coordinate values for each feature point of the real object based on the relationship between the current position coordinates and the confirmed distance information.
일 실시예에 따르면, 프로세서(250)는 실제 객체의 계측 위치 좌표값들과 기준 객체의 절대 위치 좌표값들 간의 차이에 기반하여, 제1 센서 모듈(210) 및 제2 센서 모듈(220)의 오차를 보정할 수 있도록, 제1 센서 모듈(210) 및 제2 센서 모듈(220)을 자가 교정할 수 있다. 예를 들어, 프로세서(250)는 실제 객체의 특징점들에 대한 계측 위치 좌표값들과 기준 객체의 특징점들의 절대 위치 좌표값들 간의 차이가 지정된 값(예: 0) 이하가 되도록 제1 센서 모듈(210)의 보정치 (이하, '제1 보정치'로 언급될 수 있음) 및 제2 센서 모듈(220)의 보정치(이하, '제2 보정치'로 언급될 수 있음)를 각기 결정할 수 있다. 예를 들어, 프로세서(250)는 제1 센서 모듈(210) 중 한 카메라에 기반하여 상기 계측 위치 좌표값들과 상기 절대 위치 좌표값들 간의 차이가 개선되도록 절대 좌표계에 따른 한 카메라의 위치 및 자세각을 보정(또는, 갱신)할 수 있다. 프로세서(250)는 한 카메라의 위치 및 자세각에 기반하여 다른 카메라 또는 관성 측정 센서의 위치 및 자세각을 보정할 수 있다. 프로세서(250)는 제2 센서 모듈(220)에 포함된 센서에 대해서 각기 절대 좌표계에 맞추어 위치 및 자세각을 보정할 수 있다. 프로세서(250)는 상술된 과정을 반복하면서 계측 위치 좌표값들과 절대 위치 좌표값들 간의 차이가 지정된 값 이하가 되는 제1 보정치 및 제2 보정치를 산출할 수 있다. 이와 같이, 일 실시예에 따르면 하나의 기준 객체에 대응하는 실제 객체에 대한 감지 또는 촬영 결과에 기반하여 제1 및 제2 센서 모듈(210, 220)을 반복적으로 자가-교정함에 따라 그 측정의 신뢰도 및 정확도를 향상시킬 수 있다.According to one embodiment, the processor 250 configures the first sensor module 210 and the second sensor module 220 based on the difference between the measured position coordinate values of the actual object and the absolute position coordinate values of the reference object. To correct errors, the first sensor module 210 and the second sensor module 220 may self-calibrate. For example, the processor 250 operates the first sensor module (e.g., 0) so that the difference between the measured position coordinate values of the feature points of the actual object and the absolute position coordinate values of the feature points of the reference object is less than or equal to a specified value (e.g., 0). The correction value of 210 (hereinafter, may be referred to as a 'first correction value') and the correction value of the second sensor module 220 (hereinafter, may be referred to as a 'second correction value') may be determined, respectively. For example, the processor 250 configures the position and posture of one camera according to the absolute coordinate system to improve the difference between the measured position coordinate values and the absolute position coordinate values based on one camera of the first sensor module 210. The angle can be corrected (or updated). The processor 250 may correct the position and attitude angle of another camera or inertial measurement sensor based on the position and attitude angle of one camera. The processor 250 may correct the position and attitude angle of each sensor included in the second sensor module 220 according to the absolute coordinate system. The processor 250 may repeat the above-described process and calculate a first correction value and a second correction value such that the difference between the measured position coordinate values and the absolute position coordinate values is less than or equal to a specified value. In this way, according to one embodiment, the reliability of the measurement is increased by repeatedly self-calibrating the first and second sensor modules 210 and 220 based on the detection or shooting results of the actual object corresponding to one reference object. and accuracy can be improved.
일 실시예에 따르면, 프로세서(250)는 제1 보정치 및 제2 보정치를 메모리(240)에 저장하고, 이후 제1 센서 모듈(210) 및 제2 센서 모듈(220)을 이용한 감지 결과에 제1 보정치 및 제2 보정치를 적용하도록 제1 및 제2 센서 모듈(210, 220)에 대한 자가 교정 기능을 수행할 수 있다. According to one embodiment, the processor 250 stores the first correction value and the second correction value in the memory 240, and then adds the first correction value to the detection result using the first sensor module 210 and the second sensor module 220. A self-calibration function may be performed for the first and second sensor modules 210 and 220 to apply the correction value and the second correction value.
일 실시예에 따르면, 프로세서(250)는 제1 센서 모듈(210)과 제2 센서 모듈(220)에 대한 자가 교정 기능을 상시적으로 수행하지 않고, 지정된 조건에 부합할 때에 수행할 수 있다. 상기 지정된 조건은 자가 교정 기능의 수행 후 주행 거리가 제2 지정된 거리(예: 10km) 이상인 경우, 지정된 기간(예: 1주일)에 도래한 경우, 또는 제1 센서 모듈(210)을 통해 지정된 크기 이상의 움직임을 감지한 경우 중 적어도 하나의 경우에 상기 캘리브레이션을 수행할 수 있다. 상기 지정된 크기는 제1 센서 모듈(210) 또는 제2 센서 모듈(220) 중 적어도 하나의 위치 또는 자세각의 변화를 일으킬 정도의 움직임으로서, 실험적으로 결정될 수 있다.According to one embodiment, the processor 250 may not perform the self-calibration function for the first sensor module 210 and the second sensor module 220 all the time, but may perform it when specified conditions are met. The specified condition is when the driving distance after performing the self-calibration function is more than a second specified distance (e.g., 10 km), arrives within a specified period (e.g., one week), or reaches a size specified through the first sensor module 210. The calibration may be performed in at least one of the cases where the above movement is detected. The specified size is a movement that causes a change in the position or attitude angle of at least one of the first sensor module 210 or the second sensor module 220, and can be determined experimentally.
일 실시예에 따르면, 프로세서(250)는 기준 객체를 감지하기 전에 정밀 지도 데이터에 포함된 기준 객체의 절대 위치 좌표에 기반하여 기준 객체의 근접을 예측할 수 있다. 프로세서(250)는 제1 센서 모듈(210)을 통해 감지된 위치 좌표에 기반하여 기준 객체와 제3 지정된 거리(예: 2m) 이내로 근접하면, 상기 자가 교정 기능을 실행할 수 있다. 프로세서(250)는 자가 교정 기능을 수행함에 따라 제2 센서 모듈(220)에 의해 차량의 전방, 후방 또는 측방에 위치한 기준 객체를 감지 및 촬영하여 제1 센서 모듈(210) 및 제2 센서 모듈(220)을 캘리브레이션(오차를 교정)할 수 있다. 프로세서(250)는 자가 교정 기능을 수행할 때 비활성화 상태에 있는 제2 센서 모듈(220)을 활성화할 수 있다. 이 같이, 일 실시예에 따른 전자 장치(200)는 제2 센서 모듈(220)의 비활성화 상태에서도 상기 지정된 자가 교정 기능을 수행할 수 있다. According to one embodiment, the processor 250 may predict the proximity of the reference object based on the absolute position coordinates of the reference object included in the precision map data before detecting the reference object. The processor 250 may execute the self-calibration function when the reference object approaches within a third specified distance (eg, 2 m) based on the position coordinates detected through the first sensor module 210. As the processor 250 performs a self-calibration function, it detects and photographs a reference object located in the front, rear, or side of the vehicle by the second sensor module 220, and uses the first sensor module 210 and the second sensor module ( 220) can be calibrated (correcting errors). The processor 250 may activate the second sensor module 220 that is in an inactive state when performing the self-calibration function. In this way, the electronic device 200 according to one embodiment can perform the specified self-calibration function even in a deactivated state of the second sensor module 220.
일 실시예에 따르면, 프로세서(250)는 상기 자가 교정 기능을 수행하여 계측 위치 좌표와 절대 위치 좌표 간의 오차를 보정하는 과정을 지정된 횟수(예: 10번) 수행하였음에도 상기 오차를 보정하지 못할 경우에 출력 장치(230)를 통해 이미지 또는 소리 중 적어도 하나로 캘리브레이션 불가를 안내할 수 있다. According to one embodiment, the processor 250 performs the self-calibration function to correct the error between the measured position coordinates and the absolute position coordinates when the error cannot be corrected even though the process has been performed a specified number of times (e.g., 10 times). The output device 230 may indicate that calibration is not possible using at least one of an image or a sound.
이와 같이, 일 실시예에 따른 전자 장치(200)는 정밀 지도 데이터에 포함된 기준 객체의 절대 위치 좌표에 기반하여 자체적으로 센서 모듈(210, 220)을 자가 교정할 수 있어, 사용자가 센서 모듈(210, 220)을 점검 또는 교정하기 위하여 원거리에 위치한 검/교정소에 방문하는 노력과 비용을 절감할 수 있다. In this way, the electronic device 200 according to one embodiment is capable of self-calibrating the sensor modules 210 and 220 based on the absolute position coordinates of the reference object included in the precision map data, allowing the user to use the sensor module ( 210, 220), the effort and cost of visiting a distant inspection/calibration center to check or correct can be reduced.
만약, 하나의 점 형태의 기준 객체나, 차선과 같은 이어지는 선 형태의 객체는 로컬 특징만을 포함하므로 특징점(예: 에지) 위치가 부족하거나, 불명료하여 그 계측 위치 좌표를 정확히 검출하기 어려울 수 있다. 그에 따라, 점 또는 선 형태의 기준 객체에 기반한 제1 및 제2 센서 모듈(210, 220)의 오차 보정은 신뢰도가 낮을 수 있다. 하지만, 일 실시예에 따른 전자 장치(200)는 에지가 급격히 변하여 분별력이 높은 세 개 이상의 점(꼭지점)들을 가지면서, 주변 환경과 대비되는 색상을 갖는(예: 검은 도로와 대비되는 주행방향 표식이나 강력한 색감을 갖는 표지판) 기준 객체를 이용하므로, 그 특징점을 쉽게 검출할 수 있다. 그에 따라, 일 실시예에 따른 기준 객체에 따르면 특징점에 기반한 제1 및 제2 센서 모듈(210, 220)의 오차 보정이 용이할 수 있다. If a reference object in the form of a single point or an object in the form of a continuous line such as a lane contains only local features, the location of the feature point (e.g. edge) may be insufficient or unclear, making it difficult to accurately detect the measurement location coordinates. Accordingly, error correction of the first and second sensor modules 210 and 220 based on reference objects in the form of points or lines may have low reliability. However, the electronic device 200 according to one embodiment has three or more points (vertices) with high discriminability due to sharply changing edges, and has a color that contrasts with the surrounding environment (e.g., a driving direction marker that contrasts with a black road). (or signs with strong colors) are used as reference objects, so the feature points can be easily detected. Accordingly, according to the reference object according to one embodiment, error correction of the first and second sensor modules 210 and 220 based on the feature points may be easy.
뿐만 아니라, 일 실시예에 따른 전자 장치(200)는 저가형/고가형 장비에 상관없이 셀프-캘리브레이션(자가 교정)을 수행함에 따라 측정 장치(센서 모듈)의 측정 정확도를 향상시킬 수 있다.In addition, the electronic device 200 according to one embodiment can improve the measurement accuracy of the measurement device (sensor module) by performing self-calibration (self-calibration) regardless of low-cost/expensive equipment.
또한, 일 실시예에 따른 전자 장치(200)는 자율 주행 시스템 또는 차량 지원 시스템에 저장 또는 다운로드된 고정밀 디지털 맵(high-definition digital map)에서 미리 선정된 기준점 정보(기준 객체의 절대 좌표값)를 이용하여 블랙박스와 같은 측정 장치를 자동으로 자가 교정할 수 있다.In addition, the electronic device 200 according to one embodiment provides pre-selected reference point information (absolute coordinates of the reference object) from a high-definition digital map stored or downloaded in the autonomous driving system or vehicle support system. Using this, measuring devices such as black boxes can be automatically self-calibrated.
도 3, 4, 5 및 6은 일 실시예에 따른 기준 객체 이미지를 나타낸다.Figures 3, 4, 5, and 6 show reference object images according to one embodiment.
도 3, 4, 5 및 6을 참조하면, 기준 객체는 노면상의 직진차선 안내 화살표(도 3), 좌회전 차선 안내 화살표(도 4) 및 횡단보도예고 표식(도 5)을 포함할 수 있다. 전자 장치(200)는 도 3 내지 5와 같은 노면상의 직진차선 안내 화살표(도 3), 좌회전 차선 안내 화살표(도 4) 및 횡단보도예고 표식(도 5)을 포함하는 기준 객체 이미지를 저장할 수 있다. 전자 장치(200)는 기준 객체의 각 꼭지점들을 포함하는 특징점들(f1~f5)의 절대 위치 좌표값을 기준 객체 이미지와 관련하여 저장할 수 있다.Referring to FIGS. 3, 4, 5, and 6, the reference object may include a straight lane guidance arrow on the road surface (FIG. 3), a left turn lane guidance arrow (FIG. 4), and a crosswalk notice mark (FIG. 5). The electronic device 200 may store a reference object image including a straight lane guidance arrow (FIG. 3), a left turn lane guidance arrow (FIG. 4), and a crosswalk notice mark (FIG. 5) on the road surface as shown in FIGS. 3 to 5. . The electronic device 200 may store the absolute position coordinate values of the feature points f 1 to f 5 including each vertex of the reference object in relation to the reference object image.
도 6를 참조하면, 기준 객체는 도로 주변의 주의 표지판을 포함할 수 있다. 전자 장치(200)는 주의 표지판 상에 표시된 삼각형의 세 꼭지점(도 6의 f1~f3)의 절대 위치 좌표값을 주의 표지판 이미지(기준 객체 이미지)와 관련하여 저장할 수 있다. Referring to FIG. 6, the reference object may include caution signs around the road. The electronic device 200 may store the absolute position coordinate values of the three vertices of the triangle (f 1 to f 3 in FIG. 6 ) displayed on the caution sign in relation to the caution sign image (reference object image).
일 실시예에 따르면, 기준 객체는 복수의 꼭지점들을 가지고, 검은색 노면과 대비되는 흰색 또는 빨간색과 노란색과 같이 주변 환경과 대비되는 색상으로 구비됨에 따라 전자 장치(200)는 그 특징점을 용이하게 식별 및 검출할 수 있다.According to one embodiment, the reference object has a plurality of vertices and is provided in a color that contrasts with the surrounding environment, such as white or red and yellow in contrast to the black road surface, so that the electronic device 200 can easily identify the characteristic point. and can be detected.
도 7는 일 실시예에 따른 실제 객체의 계측 위치 좌표의 검출 예를 나타낸다.Figure 7 shows an example of detection of measured position coordinates of a real object according to an embodiment.
도 7를 참조하면, 전자 장치(200)는 실제 객체의 이미지(410)와 정밀 지도 데이터에 포함(또는, 관련)된 기준 객체 이미지(420)를 매칭하여 실제 객체의 특징점들의 계측 위치 좌표값들{(x1, y1, z1), (x2, y2, z2), (x3, y3, z3), (x4, y4, z4)}을 검출할 수 있다. 전자 장치(200)는 계측 위치 좌표값들{(x1, y1, z1), (x2, y2, z2), (x3, y3, z3), (x4, y4, z4)}을 기준 객체의 전대 위치 좌표값들{(X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3), (Z4, Y4, Z4)과 거의 일치하도록 제1 센서 모듈(210) 및 제2 센서 모듈(220)의 위치 및 자세각과 같은 각 센서 모듈(210, 220)의 보정치를 결정할 수 있다.Referring to FIG. 7, the electronic device 200 matches the image 410 of the real object with the reference object image 420 included in (or related to) the precision map data to obtain the measured position coordinate values of the feature points of the real object. Can detect {(x 1 , y 1 , z 1 ), (x 2 , y 2 , z 2 ), (x 3 , y 3 , z 3 ), (x 4 , y 4 , z 4 )} . The electronic device 200 includes measurement position coordinate values {(x 1 , y 1 , z 1 ), (x 2 , y 2 , z 2 ), (x 3 , y 3 , z 3 ), (x 4 , y 4 , z 4 )} to the sub-position coordinate values of the reference object {(X 1 , Y 1 , Z 1 ), ( X 2 , Y 2 , Z 2 ) , ( Correction values of each sensor module 210 and 220, such as the position and attitude angle of the first sensor module 210 and the second sensor module 220, may be determined to substantially match Z 4 , Y 4 , Z 4 ).
도 8는 일 실시예에 따른 센서 캘리브레이션 방법의 흐름도를 나타낸다.Figure 8 shows a flowchart of a sensor calibration method according to one embodiment.
도 8를 참조하면, 동작 510에서, 전자 장치(200)는 제1 센서 모듈(210)을 이용하여 차량의 현 위치 좌표를 획득할 수 있다.Referring to FIG. 8 , in operation 510, the electronic device 200 may obtain the current location coordinates of the vehicle using the first sensor module 210.
동작 520에서, 전자 장치(200)는 제2 센서 모듈(220)을 이용하여 기준 객체에 대응하는 실제 객체를 감지 및 촬영하여 이미지를 획득하고 상기 실제 객체와의 거리를 획득할 수 있다. 상기 기준 객체는 노면 또는 도로 주변에 제1 지정된 거리 마다 구비되고 세 개 이상의 꼭지점들을 포함할 수 있다. In operation 520, the electronic device 200 may detect and photograph a real object corresponding to the reference object using the second sensor module 220 to obtain an image and obtain a distance to the real object. The reference object is provided at a first designated distance on the road surface or around the road and may include three or more vertices.
동작 530에서, 전자 장치(200)는 현 위치 좌표, 획득된 거리 및 획득된 이미지에 기반하여 실제 객체의 특징점들에 대한 계측 위치 좌표값들을 결정할 수 있다. 예를 들어, 전자 장치(200)는 실제 객체 이미지와 기준 객체 이미지를 매칭하여 기준 객체의 각 꼭지점들을 포함하는 특징점들을 검출할 수 있다. 프로세서(250)는 실제 객체의 특징점들과 차량 간의 거리 정보를 확인할 수 있다. 프로세서(250)는 현 위치 좌표와 확인된 거리 정보 간의 관계에 기반하여 실제 객체의 각 특징점들의 계측 위치 좌표값들을 결정할 수 있다.In operation 530, the electronic device 200 may determine measurement position coordinate values for feature points of a real object based on the current position coordinates, the acquired distance, and the acquired image. For example, the electronic device 200 may detect feature points including each vertex of the reference object by matching the actual object image and the reference object image. The processor 250 may check distance information between feature points of an actual object and a vehicle. The processor 250 may determine the measured position coordinate values of each feature point of the real object based on the relationship between the current position coordinates and the confirmed distance information.
동작 540에서, 전자 장치(200)는 기준 객체의 특징점들들의 절대 위치 좌표값들 및 상기 계측 위치 좌표값들 간의 차이가 줄어들도록 제1 및 제2 센서 모듈(210, 220)을 캘리브레이션할 수 있다. 예를 들어, 전자 장치(200)는 실제 객체의 특징점들에 대한 계측 위치 좌표값들과 기준 객체의 특징점들의 절대 위치 좌표값들 간의 차이가 지정된 값(예: 0) 이하가 되도록 제1 센서 모듈(210)의 보정치 (이하, '제1 보정치'로 언급될 수 있음) 및 제2 센서 모듈(220)의 보정치(이하, '제2 보정치'로 언급될 수 있음)를 각기 결정할 수 있다.In operation 540, the electronic device 200 may calibrate the first and second sensor modules 210 and 220 so that the difference between the absolute position coordinate values of the feature points of the reference object and the measured position coordinate values is reduced. . For example, the electronic device 200 configures the first sensor module so that the difference between the measured position coordinate values of the feature points of the actual object and the absolute position coordinate values of the feature points of the reference object is less than or equal to a specified value (e.g., 0). The correction value of 210 (hereinafter, may be referred to as a 'first correction value') and the correction value of the second sensor module 220 (hereinafter, may be referred to as a 'second correction value') may be respectively determined.
이와 같이, 일 실시예에 따른 전자 장치(200)는 용이하게 검출 가능한 특징점들을 갖는 기준 객체에 기반하여 센서 모듈(210, 220)을 자가 교정할 수 있어, 센서 모듈(210, 220)을 정확하게 자가-교정할 수 있다. In this way, the electronic device 200 according to one embodiment is capable of self-calibrating the sensor modules 210 and 220 based on a reference object having easily detectable feature points, thereby accurately self-calibrating the sensor modules 210 and 220. -Can be corrected.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.The various embodiments of this document and the terms used herein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various changes, equivalents, or replacements of the embodiments. In connection with the description of the drawings, similar reference numbers may be used for similar or related components. The singular form of a noun corresponding to an item may include one or more of the above items, unless the relevant context clearly indicates otherwise. In this document: “A or B”, “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C” and “A, Each of phrases such as “at least one of B, or C” may include any one of the items listed together in the corresponding phrase, or any possible combination thereof. Terms such as "first", "second", or "first" or "second" may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited. One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”. Where mentioned, it means that any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.The term “module” used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example. A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치) 의해 읽을 수 있는 저장 매체(storage medium)(예: 240)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(200))의 프로세서(예: 프로세서(250)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document are software that includes one or more instructions stored in a storage medium (e.g., 240) (e.g., internal memory or external memory) that can be read by a machine (e.g., an electronic device). It can be implemented as (e.g. a program). For example, a processor (e.g., processor 250) of a device (e.g., electronic device 200) may call at least one command among one or more commands stored from a storage medium and execute it. This means that the device It enables operation to perform at least one function according to the at least one instruction called.The one or more instructions may include code generated by a compiler or code executable by an interpreter. A readable storage medium may be provided in the form of a non-transitory storage medium, where 'non-transitory' refers to a device in which the storage medium is tangible and a signal (e.g. electromagnetic wave). ), and this term does not distinguish between cases where data is semi-permanently stored in a storage medium and cases where data is stored temporarily.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be included and provided in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online. In the case of online distribution, at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
본 문서의 다양한 실시예에 따른 구성 요소들은 소프트웨어 또는 DSP(digital signal processor), FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다. '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. Components according to various embodiments of this document may be implemented in the form of software or hardware such as a digital signal processor (DSP), field programmable gate array (FPGA), or application specific integrated circuit (ASIC), and perform certain roles. can do. 'Components' are not limited to software or hardware, and each component may be configured to reside on an addressable storage medium or may be configured to run on one or more processors. As an example, a component may include components such as software components, object-oriented software components, class components, and task components, as well as processes, functions, properties, procedures, and subroutines. , may include segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a single entity or a plurality of entities. According to various embodiments, one or more of the components or operations described above may be omitted, or one or more other components or operations may be added. Alternatively or additionally, multiple components (eg, modules or programs) may be integrated into a single component. In this case, the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Claims (10)

  1. 전자 장치에 있어서,In electronic devices,
    위치를 감지하는 제1 센서 모듈;A first sensor module that detects a location;
    외부 환경을 감지 또는 촬영하는 제2 센서 모듈; a second sensor module that detects or photographs the external environment;
    노면 또는 도로 주변에 제1 지정된 거리 마다 구비되는 기준 객체의 절대 위치 좌표를 포함하는 정밀 지도 데이터를 저장하는 메모리; 및 상기 기준 객체의 절대 위치 좌표는, 절대 기준 좌표계에 따른 상기 기준 객체의 세 개 이상의 꼭지점들에 대한 절대 위치 좌표값들을 포함하고 a memory that stores precision map data including absolute position coordinates of reference objects provided at each first specified distance on the road surface or around the road; And the absolute position coordinates of the reference object include absolute position coordinate values for three or more vertices of the reference object according to an absolute reference coordinate system,
    상기 제1 센서 모듈, 상기 제2 센서 모듈 및 상기 메모리와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는,A processor functionally connected to the first sensor module, the second sensor module, and the memory, wherein the processor,
    상기 제1 센서 모듈을 이용하여 상기 차량의 현 위치 좌표를 획득하고,Obtaining the current location coordinates of the vehicle using the first sensor module,
    상기 제1 센서 모듈 및 상기 제2 센서 모듈에 대한 자가 교정 기능을 수행함으로써,By performing a self-calibration function for the first sensor module and the second sensor module,
    상기 제2 센서 모듈을 이용하여 상기 기준 객체에 대응하는 실제 객체를 감지 및 촬영하여 이미지를 획득하고 상기 실제 객체와의 거리를 획득하고,Using the second sensor module, detect and photograph a real object corresponding to the reference object to obtain an image and obtain a distance to the real object,
    상기 현 위치 좌표, 상기 획득된 거리 및 상기 획득된 이미지에 기반하여 상기 실제 객체의 계측 위치 좌표를 결정하고,Determine the measured position coordinates of the real object based on the current position coordinates, the acquired distance, and the acquired image,
    상기 계측 위치 좌표 및 상기 절대 위치 좌표 간의 차이에 기반하여 상기 제1 센서 모듈 및 상기 제2 센서 모듈을 캘리브레이션하는 것인 전자 장치.An electronic device that calibrates the first sensor module and the second sensor module based on the difference between the measurement position coordinates and the absolute position coordinates.
  2. 청구항 1에 있어서, 상기 기준 객체는,The method of claim 1, wherein the reference object is:
    노면 마크 중 진행방향 표시 화살표, 횡단보도예고 표식 또는, 도로 주변 안내 표지 중 주의 표지판 중 적어도 하나의 객체를 포함하는 전자 장치.An electronic device that includes at least one object among road markings such as a direction indicator arrow, a crosswalk warning sign, or a caution sign among roadside guidance signs.
  3. 청구항 1에 있어서, 상기 제2 센서 모듈은,The method of claim 1, wherein the second sensor module,
    카메라 모듈, 라이다, 또는 레이더 중 적어도 하나의 센서를 포함하는 전자 장치.An electronic device that includes at least one sensor: a camera module, lidar, or radar.
  4. 청구항 1에 있어서, 상기 프로세서는,The method of claim 1, wherein the processor:
    상기 기준 객체와 상기 획득된 이미지상의 실제 객체를 매칭하여 상기 실제 객체의 각 꼭지점들을 포함하는 특징점들을 검출하고, Matching the reference object with a real object on the acquired image to detect feature points including each vertex of the real object,
    상기 제2 센서 모듈을 이용하여 상기 검출된 특징점들의 거리를 각기 검출하고, Detecting the distances of the detected feature points using the second sensor module,
    상기 현 위치 좌표 및 상기 각기 검출된 거리들을 이용하여 상기 실제 객체의 특징점들에 대한 계측 위치 좌표값들을 결정하는 것인 전자 장치.An electronic device that determines measurement position coordinate values for feature points of the real object using the current position coordinates and the respective detected distances.
  5. 청구항 1에 있어서, 상기 프로세서는,The method of claim 1, wherein the processor:
    상기 실제 객체의 각 꼭지점들을 포함하는 특징점들에 대한 계측 위치 좌표값들을 확인하고,Confirm the measured position coordinate values for feature points including each vertex of the real object,
    상기 확인된 계측 위치 좌표값들과 상기 절대 위치 좌표값들 간의 차이가 지정된 값 이하가 되도록 상기 제1 센서 모듈의 보정치 및 상기 제2 센서 모듈의 보정치를 각기 결정하고,Determine a correction value of the first sensor module and a correction value of the second sensor module so that the difference between the confirmed measured position coordinate values and the absolute position coordinate values is less than or equal to a specified value,
    이후 상기 제1 센서 모듈 및 상기 제2 센서 모듈에 기반한 감지 결과를 상기 각기 결정된 보정치로 보정하는 것인 전자 장치.The electronic device then corrects the detection results based on the first sensor module and the second sensor module with the respective determined correction values.
  6. 청구항 1에 있어서, 상기 프로세서는,The method of claim 1, wherein the processor:
    상기 제1 센서 모듈 또는 상기 제2 센서 모듈 중 적어도 하나의 모듈을 통해 차량의 주행 방향을 감지하고,Detect the driving direction of the vehicle through at least one of the first sensor module or the second sensor module,
    상기 현 위치 좌표와 상기 주행 방향에 기반하여 상기 기준 객체에 대응하는 실제 객체와 제2 지정된 거리 이내 근접한 것을 감지하면, 상기 자가 교정 기능을 수행하는 것인 전자 장치.An electronic device that performs the self-calibration function when detecting that a real object corresponding to the reference object is within a second specified distance based on the current location coordinates and the driving direction.
  7. 청구항 1에 있어서, 상기 프로세서는,The method of claim 1, wherein the processor:
    상기 자가 교정 기능의 수행 후 지정된 기간 경과한 경우, 상기 기능의 수행 후 제3 지정된 거리 이상 누적 주행한 경우, 또는 상기 제2 센서 모듈을 통해 지정된 크기 이상의 움직임을 감지한 경우 중 적어도 하나의 경우에 해당하면, 상기 자가 교정 기능을 수행하는 것인 전자 장치.In at least one of the following cases: when a specified period of time has elapsed after performing the self-calibration function, when a third specified distance has been accumulated after performing the function, or when a movement of a specified size or more is detected through the second sensor module. If applicable, an electronic device that performs the self-calibration function.
  8. 전자 장치에 의한 센서 캘리브레이션 방법으로서,A sensor calibration method using an electronic device, comprising:
    제1 센서 모듈을 이용하여 차량의 현 위치 좌표를 획득하는 동작; Obtaining the current location coordinates of the vehicle using a first sensor module;
    제2 센서 모듈을 이용하여 기준 객체에 대응하는 실제 객체를 감지 및 촬영하여 이미지를 획득하고 상기 실제 객체와의 거리를 획득하는 동작; 상기 기준 객체는, 노면 또는 도로 주변에 제1 지정된 거리 마다 구비되고 세 개 이상의 꼭지점들을 포함하고 Obtaining an image by detecting and photographing a real object corresponding to a reference object using a second sensor module and obtaining a distance to the real object; The reference object is provided at every first specified distance on the road surface or around the road and includes three or more vertices.
    상기 현 위치 좌표, 상기 획득된 거리 및 상기 획득된 이미지에 기반하여 상기 실제 객체의 꼭지점들에 대한 계측 위치 좌표값들을 결정하는 동작;determining measured position coordinate values for vertices of the real object based on the current position coordinates, the acquired distance, and the acquired image;
    정밀 지도 데이터에 저장된 상기 기준 객체의 꼭지점들에 대한 절대 위치 좌표값들 및 상기 계측 위치 좌표값들 간의 차이에 기반하여 상기 제1 센서 모듈 및 상기 제2 센서 모듈을 캘리브레이션(calibration)하는 동작An operation of calibrating the first sensor module and the second sensor module based on the difference between the absolute position coordinate values for the vertices of the reference object stored in precision map data and the measured position coordinate values.
    을 포함하는 센서 캘리브레이션 방법.A sensor calibration method comprising:
  9. 청구항 8에 있어서, 상기 기준 객체는,The method of claim 8, wherein the reference object is:
    노면 마크 중 진행방향 표시 화살표, 횡단보도예고 표식 또는, 도로 주변 안내 표지 중 주의 표지판 중 적어도 하나의 객체를 포함하는 센서 캘리브레이션 방법.A sensor calibration method including at least one object among road markings such as a direction indicator arrow, a crosswalk warning sign, or a caution sign among road surrounding guide signs.
  10. 청구항 8에 있어서, In claim 8,
    상기 제1 센서 모듈 또는 상기 제2 센서 모듈을 통해 차량의 주행 방향을 감지하는 동작을 더 포함하고, Further comprising detecting the driving direction of the vehicle through the first sensor module or the second sensor module,
    상기 이미지 및 상기 거리를 획득하는 동작 내지 상기 보정하는 동작을 포함하는 자가 교정 기능은, The self-calibration function, which includes the operation of acquiring the image and the distance and the operation of correcting,
    상기 현 위치 좌표와 상기 주행 방향에 기반하여 상기 기준 객체에 대응하는 실제 객체와 제2 지정된 거리 이내 근접한 것을 감지하면, 실행되는 것인 캘리브레이션 방법.A calibration method that is executed when it is detected that a real object corresponding to the reference object is within a second specified distance based on the current location coordinates and the driving direction.
PCT/KR2023/011580 2022-08-08 2023-08-07 Electronic device and sensor self-calibration method WO2024035034A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220098509 2022-08-08
KR10-2022-0098509 2022-08-08
KR10-2023-0100707 2023-08-01
KR1020230100707A KR20240020675A (en) 2022-08-08 2023-08-01 Electronic device and the method for self-calibrating of sensor

Publications (1)

Publication Number Publication Date
WO2024035034A1 true WO2024035034A1 (en) 2024-02-15

Family

ID=89852170

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011580 WO2024035034A1 (en) 2022-08-08 2023-08-07 Electronic device and sensor self-calibration method

Country Status (1)

Country Link
WO (1) WO2024035034A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128077A (en) * 2015-04-28 2016-11-07 한국전자통신연구원 Auto calibration apparatus for vihicle sensor and method thereof
JP2019066445A (en) * 2017-10-05 2019-04-25 日産自動車株式会社 Position correction method, vehicle control method, and position correction device
KR20190131799A (en) * 2018-05-17 2019-11-27 에스케이텔레콤 주식회사 Apparatus and method for providing camera calibration for vehicle
US20200191927A1 (en) * 2018-12-18 2020-06-18 Denso Corporation Sensor calibration method and sensor calibration apparatus
KR20200084934A (en) * 2018-12-20 2020-07-14 삼성전자주식회사 Apparatus for controlling driving of vehicle and method for performing calibration thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128077A (en) * 2015-04-28 2016-11-07 한국전자통신연구원 Auto calibration apparatus for vihicle sensor and method thereof
JP2019066445A (en) * 2017-10-05 2019-04-25 日産自動車株式会社 Position correction method, vehicle control method, and position correction device
KR20190131799A (en) * 2018-05-17 2019-11-27 에스케이텔레콤 주식회사 Apparatus and method for providing camera calibration for vehicle
US20200191927A1 (en) * 2018-12-18 2020-06-18 Denso Corporation Sensor calibration method and sensor calibration apparatus
KR20200084934A (en) * 2018-12-20 2020-07-14 삼성전자주식회사 Apparatus for controlling driving of vehicle and method for performing calibration thereof

Similar Documents

Publication Publication Date Title
CN101216937B (en) Parameter calibration method for moving containers on ports
CN110869700B (en) System and method for determining vehicle position
JP4600357B2 (en) Positioning device
US10641617B2 (en) Calibration device and calibration method
CN113710988A (en) Method for detecting the functional capability of an environmental sensor, control unit and vehicle
KR100587405B1 (en) Method of updating gis numerical map of surveying information structural facilities along road by using vehicle with gps receiver, laser measuring instrument and camera
US20180154901A1 (en) Method and system for localizing a vehicle
US20160063704A1 (en) Image processing device, image processing method, and program therefor
CN111243029B (en) Calibration method and device of vision sensor
CN111351502B (en) Method, apparatus and computer program product for generating a top view of an environment from a perspective view
CN103843035B (en) The apparatus and method of the sensing data formed by the sensing system of vehicle for geometric calibration
CN108731673A (en) Robot autonomous navigation locating method and system
CN113847930A (en) Multi-sensor calibration system
CN111353453B (en) Obstacle detection method and device for vehicle
JP2018105742A (en) Position calculation device
US20180328733A1 (en) Position determining unit and a method for determining a position of a land or sea based object
WO2024035034A1 (en) Electronic device and sensor self-calibration method
US20210080264A1 (en) Estimation device, estimation method, and computer program product
KR20240020675A (en) Electronic device and the method for self-calibrating of sensor
US20210016794A1 (en) System and method for adjusting external position information of a vehicle
CN114035167A (en) Target high-precision sensing method based on roadside multi-sensors
EP3729000A1 (en) Method, device and system for displaying augmented reality poi information
JP2018125706A (en) Imaging apparatus
He et al. Stereo camera system calibration with relative orientation constraints
CN109029438B (en) Vehicle positioning method in limited area

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852913

Country of ref document: EP

Kind code of ref document: A1