KR20210144623A - 노변 감지 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 노변 기기 - Google Patents

노변 감지 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 노변 기기 Download PDF

Info

Publication number
KR20210144623A
KR20210144623A KR1020210154891A KR20210154891A KR20210144623A KR 20210144623 A KR20210144623 A KR 20210144623A KR 1020210154891 A KR1020210154891 A KR 1020210154891A KR 20210154891 A KR20210154891 A KR 20210154891A KR 20210144623 A KR20210144623 A KR 20210144623A
Authority
KR
South Korea
Prior art keywords
wide
image
angle
projection
coordinate system
Prior art date
Application number
KR1020210154891A
Other languages
English (en)
Inventor
리빈 위안
Original Assignee
아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. filed Critical 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디.
Publication of KR20210144623A publication Critical patent/KR20210144623A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 출원은 감지 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 노변 기기를 개시하고 있으며, 스마트 교통의 차량-도로 협력 분야에 관한 것이다. 구체적으로 다음 기술적 수단에 의해 구현된다. 광각 카메라에서 촬영된 광각 이미지를 획득하고; 상기 광각 이미지를 왜곡 보정(undistortion)하여, 상기 광각 카메라의 정하방의 이미지를 얻고; 구면 투영 모델을 통해 상기 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하여, 하나의 상기 시야각에 각각 대응하는 적어도 하나 이상의 평면 투영 이미지를 얻는다. 본 출원은 가장 적은 개수의 카메라를 배치하여 데드존 프리(Dead Zone Free) 감지를 구현하며, 감지 시스템의 유지보수 비용을 절감하고, 감지 시스템의 안정성을 높일 수 있다.

Description

노변 감지 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 노변 기기{ROADSIDE SENSING METHOD, DEVICE, ELECTRONIC EQUIPMENT, STORAGE MEDIUM AND COMPUTER PROGRAM AND ROADSIDE EQUIPMENT }
본 출원은 스마트 교통 분야에 관한 것으로, 특히 차량-도로 협력 분야에 관한 것이다.
뉴 인프라의 큰 환경에서, 차량용 무선 통신 기술(V2X, vehicle to everything)의 노변 감지 시스템은 가시 거리를 벗어나 감지 정보를 차량-도로 협력 차량에 제공한다. 카메라는 노변 감지 시스템의 가장 중요한 센서 중 하나로서, 장애물을 3차원(3D)적으로 감지한다. 종래의 노변 감지 방법은 복수의 카메라를 이용하여 모든 영역을 커버하나, 가끔은 광각 카메라(예컨대, 어안 카메라)를 증설하여 하드웨어 기기의 개수를 줄일 수 있다. 하지만, 한 방식은 다음과 같은 결함이 존재한다. 결함 1) 많은 카메라를 사용해야 하므로 카메라 외부 파라미터의 캘리브레이션(calibration)의 비용이 높고, 추후 카메라 유지보수 비용이 높을 뿐만 아니라, 감지 시스템의 안정성을 저하시킨다. 결함2) 복수의 카메라를 사용할 지라도 누락된 데드존이 존재할 수밖에 없으며, 이를 해결하기는 어려운 실정이다.
본 출원은 노변 감지 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 노변 기기를 제공한다.
본 출원의 일 측면에 따르면, 노변 감지 방법을 제공한다. 상기 방법은,
광각 카메라에서 촬영된 광각 이미지를 획득하는 단계;
상기 광각 이미지를 왜곡 보정(undistortion)하여 상기 광각 카메라의 정하방의 이미지를 얻는 단계;
구면 투영 모델을 통해 상기 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하여, 하나의 상기 시야각에 각각 대응하는 적어도 하나 이상의 평면 투영 이미지를 얻는 단계;를 포함한다.
본 출원의 다른 일 측면에 따르면, 노변 감지 장치를 제공한다. 상기 장치는,
광각 카메라에서 촬영된 광각 이미지를 획득하는 획득 모듈;
상기 광각 이미지를 왜곡 보정하여 상기 광각 카메라 정하방의 이미지를 얻는 왜곡 보정 모듈;
구면 투영 모델을 통해 상기 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하여, 하나의 상기 시야각에 각각 대응하는 적어도 하나 이상의 평면 투영 이미지를 얻는 투영 모듈;을 포함한다.
본 출원의 다른 일 측면에 따르면, 전자 기기를 제공한다. 상기 전자 기기는,
적어도 하나 이상의 프로세서; 및
상기 적어도 하나 이상의 프로세서에 통신 연결되는 메모리;를 포함하며,
상기 적어도 하나 이상의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나 이상의 프로세서에 의해 실행되어 상기 적어도 하나 이상의 프로세서가 상기 방법을 수행하도록 한다.
본 출원의 다른 일 측면에 따르면, 비일시적 컴퓨터 판독 가능한 저장 매체를 제공한다. 상기 컴퓨터 명령은 컴퓨터가 상기 방법을 수행하도록 한다.
본 출원의 다른 일 측면에 따르면, 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램 을 제공하며, 해당 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 본 출원의 임의의 하나의 실시예 중의 방법을 실현한다.
본 출원의 다른 일 측면에 따르면, 상기 전자 기기를 포함하는 노변 기기를 제공한다.
본 출원은 광각 이미지를 획득한 후 광각 이미지를 왜곡 보정하고 서로 다른 시야각으로 투영 변환하여 광각 카메라 정하방의 이미지 및 서로 다른 시야각의 평면 투영 이미지를 얻으므로 최소 개수의 카메라를 배치하여 데드존 프리(Dead Zone Free) 감지를 구현할 수 있을 뿐만 아니라, 감지 시스템의 유지보수 비용을 절감하고, 감지 시스템의 안정성을 높일 수 있다.
본 부분에 기재된 내용은 본 출원의 실시예의 관건 또는 중요한 특징을 표시하거나 본 출원의 범위를 한정하기 위한 것이 아님을 이해해야 한다. 본 출원의 기타 특징은 아래 명세서의 내용에 의해 쉽게 이해될 것이다.
첨부된 도면은 본 발명의 기술적 수단을 더욱 잘 이해하도록 사용되며, 본 출원을 한정하기 위해 사용되지 않는다.
도 1은 본 출원의 실시예에 따른 노변 감지 방법을 구현하는 흐름도이다.
도 2A는 하나의 어안 이미지의 개략도이다.
도 2B는 하나의 어안 이미지에 대해 왜곡 보정한 후의 이미지이다.
도 3은 본 출원 실시예에 따른 감지 방법 중의 단계S103을 구현하는 흐름도이다.
도 4는 어안 카메라의 구면 모델의 개략도이다.
도 5는 어안 이미지의 좌표계의 개략도이다.
도 6은 본 출원의 실시예에 따른 노변 감지 방법에서, 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계를 확정하는 방식을 나타내는 개략도이다.
도 7은 본 출원의 실시예에 따른 노변 감지 방법에서, 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계에 따라, 구면 투영 모델을 통해 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하는 개략도이다.
도 8A는 어안 이미지를 제1 시야각으로 투영 변환하여 얻은 불렛식 평면 투영도이다.
도 8B는 어안 이미지를 제2 시야각으로 투영 변환하여 얻은 불렛식(bullet) 평면 투영도이다.
도 8C는 어안 이미지를 제3 시야각으로 투영 변환하여 얻은 불렛식 평면 투영도이다.
도 8D는 어안 이미지를 제4 시야각으로 투영 변환하여 얻은 불렛식 평면 투영도이다.
도 8E는 어안 이미지를 제5 시야각으로 투영 변환하여 얻은 불렛식 평면 투영도이다.
도 8F는 어안 이미지를 제6 시야각으로 투영 변환하여 얻은 불렛식 평면 투영도이다.
도 9는 본 출원의 실시예에 따른 노변 감지 장치(900)의 구조를 나타낸 개략도이다.
도 10은 본 출원의 실시예에 따른 노변 감지 장치(1000)의 구조를 나타낸 개략도이다.
도 11은 본 출원의 실시예에 따른 노변 감지 방법을 구현하기 위한 전자 기기의 블록도다.
이하, 첨부 도면을 결합하여 본 출원의 예시적 실시예를 설명하며, 이해를 돕기 위해 본 출원 실시예의 다양한 세부내용이 포함되며, 이들은 예시적인 것으로 보아야 한다. 따라서, 본 기술분야의 일반 기술자는 여기에 기재된 실시예에 의해 본 출원의 범위 및 기술사상을 벗어나지 않고 다양한 수정과 변경이 가능함을 알 수 있다. 또한, 명세서를 명백하고 간결하게 하기 위하여 이하 설명 중 공지 기능 및 구조의 설명은 생략된다.
차량-도로 협력 시스템에서는 노변에 설치된 복수의 카메라를 통해 전 영역을 커버한다. 적은 개수의 하드웨어 기기를 이용하여 길목을 데드존 없이(Dead Zone Free) 완전 커버하고 감지하므로 원가를 낮추고 시스템의 안정성을 높이는 목적을 구현하는 것은, 현재 차량-도로 협력에서 노변 시각 감지의 핵심 연구 과제이다.
상기 문제에 대하여, 본 해결수단은 길목에 광각 카메라(예컨대, 어안 카메라)를 설치하여 차량-도로 협력에서 길목을 데드존 없이 감지할 수 있다.
어안 카메라는 초점거리가 6-16mm이고, 시야각의 대부분이 180도 이상인 초광각 카메라이다. 카메라가 최대의 촬영 각도에 도달하기 위하여, 상기 카메라의 앞단 렌즈는 포물선 모양을 이루면서 앞으로 돌출되고, 물고기의 눈과 아주 유사하다. 그리하여 어안 카메라라고도 부른다. 어안 카메라는 초광각 카메라 중의 특수한 카메라에 속하며 그 시야각은 가능한 사람의 가시적 범위를 초과하거나 이에 도달해야 한다. 어안 카메라와 사람의 눈에 보이는 현실세계의 그림은 아주 큰 차이가 있다. 이는 실제 보이는 경치와 물체가 규칙적이고 고정불변한 형태를 가지는 반면, 어안 카메라를 통해 생성된 화면 효과는 이러한 범주를 벗어나기 때문이다.
본 출원의 실시방식에서, 카메라, 렌즈, 캠코더, 캠코더 렌즈 등은 모두 커버리지 내의 이미지를 획득할 수 있는 기기로서 유사한 의미를 가지며 서로 호환할 수 있는 것으로 이해되어야 한다. 본 출원은 이에 대해 한정하지 않는다.
본 출원의 실시예는 노변 감지 방법을 제공하며, 상기 방법은 차량-도로 협력 시스템에서 길목을 데드존 없이 감지하는데 사용된다. 본 출원의 실시예는 최소 수량의 어안 카메라를 이용하여 길목을 데드존 없이((Dead Zone Free) 전 영역 커버가능하며, 일반 사거리 길목에서는 4개의 어안 카메라(한 방향에 하나)만 설치하는 것으로 모든 길목의 전 영역 감지를 구현할 수 있다. 각각의 어안 카메라는 두 단계를 통해 전 영역의 이차원 이미지를 얻을 수 있다. 제1단계: Ocam모델 또는Open CV모델을 이용하여 어안 이미지를 왜곡 보정하여, 어안 카메라 정하방의 이미지를 얻는다. 제2단계: 구면 투영 모델을 이용하여 원형 어안 카메라의 최초 이미지를 특정 시야각의 평면 투영 이미지로 변환한다. 이하, 첨부된 도면을 참조하여 구체적인 실시예를 통해 상세하게 설명한다.
도 1은 본 출원의 실시예에 따른 노변 감지 방법을 구현하는 흐름도이며, 상기 방법은, 적어도 다음 단계를 포함한다.
단계S101: 광각 카메라에서 촬영된 광각 이미지를 획득하다.
단계S102: 광각 이미지를 왜곡 보정하여 광각 카메라 정하방의 이미지를 얻다.
단계S103: 구면 투영 모델을 통해 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하여 하나의 시야각에 각각 대응하는 적어도 하나 이상의 평면 투영 이미지를 얻다.
본 출원 실시예에서, 상기 광각 카메라는 어안 카메라를 포함하고, 상기 광각 이미지는 어안 이미지를 포함할 수 있다.
도 2A는 하나의 어안 이미지의 개략도이다. 도 2A로부터 어안 이미지는 가장자리에 가까울수록 왜곡이 심하고, 중심에 가까울수록 진실 세계의 이미지에 더 유사하는 원형 이미지임을 알 수 있다.
상기 단계S102에서, Ocam모듈 또는 OpenCV 모델을 이용하여 어안 이미지를 왜곡 보정할 수 있다. 도 2B는 하나의 어안 이미지에 대해 왜곡 보정한 후의 이미지를 나타낸 개략도이다.
본 출원의 실시예는 어안 카메라를 길목에 설치하여 어안 카메라에서 촬영한 어안 이미지를 왜곡 보정하므로 어안 카메라 정하방의 이미지를 얻을 수 있다.
도 3은 본 출원의 실시예에 따른 노변 감지 방법에서, 단계S103를 구현하는 흐름도이다. 도 3에 도시된 바와 같이, 상기 단계S103은 적어도 다음 단계를 포함한다.
단계S301: 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계를 확정한다.
단계S302: 상기 대응관계에 따라 구면 투영 모델을 통해 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환한다.
이하, 상기 단계S103의 구체적인 실시방식을 명확하게 설명하기 위하여 어안 카메라의 구면 모델을 참조하여 상세하게 설명한다.
도 4는 어안 카메라의 구면 모델의 개략도이다. 도 4에 도시된 바와 같이, 어안 카메라 구면 모델은 XYZ 3차원 공간 좌표계를 이용하고, 평면 투영 이미지(불렛식 평면 투영면으로 부르기도 함)는 uv 이차원 좌표계를 이용한다. 도 4는 1/8의 구면을 나타내며, 어안 카메라의 구면 투영면의 1/4이다. 완전한 어안 카메라의 구면 투영면은 XOY 평면과 접하는 반 구형이다.
어안 이미지는 어안 카메라의 구면 투영면이 XOY평면에 투영하여 얻은 원형 이미지이다. 도 5는 어안 이미지의 좌표계 개략도이다. 도 5 중의 원형은 어안 이미지를 표시하고, O점은 상기 어안 이미지의 중심점을 표시하고, 상기 중심점은 또한 어안 카메라 구면 모델의 투영 중심 즉, XYZ 3차원 좌표계의 원점이다. 어안 이미지는 u'v' 이차원 좌표계를 이용하고, 상기 좌표계의 원점o'은 어안 이미지 외연(外延) 영역의 좌측 상단 코너에 있는 점이다. 도 2A를 참조하면, 도 2A에 도시된 원형 어안 이미지 외측의 흑색 영역은 상기 외연 영역이고, 상기 흑색 영역의 좌측 상단 코너에 있는 점은 어안 이미지에 사용되는 좌표계의 원점o'이다.
도 4 및 도 5의 이미지 그리고 좌표계를 설명하고나서, 아래 도 4 및 도 5를 바탕으로 본 출원의 실시예에서 구면 투영 모델을 통해 광각 이미지(예컨대, 원형 어안 이미지)를 특정 시야각으로 투영 변환함으로써 상기 원형 어안 이미지를 어느 한 각도의 평면 투영 이미지(예컨대, 불렛식 이미지)로 변환하는 구체적인 실시방식을 설명한다.
도 4에 도시된 바와 같이, 점O은 어안 카메라의 구면 모델의 투영 중심이고, 점D은 불렛식 평면 투영면의 기하학적 중심이고, 불렛식 평면 투영면은 어안 카메라의 구면 투영면과 점D에서 접하며,
Figure pat00001
는
Figure pat00002
Z축 방향의 협각을 표시하고,
Figure pat00003
는 X축 방향에서 XOY평면 상의
Figure pat00004
의 투영까지 역 시계 방향으로 회전할 각도를 표시한다. 어안 이미지의 반지름 및 구면 투영면의 반지름이 모두 r이면,
Figure pat00005
이다.
P를 불렛식 평면 투영면 상의 임의의 점으로, XOY 평면 상에서의 P의 투영점을 Q로 가정한다.
Figure pat00006
는 Z축에서
Figure pat00007
까지의 각도이고,
Figure pat00008
는 X축에서
Figure pat00009
까지 역 시계 방향으로 화전한 각도이다. 교정 이미지 평면 좌표계 상에서 점 P 및 점D의 좌표는 각각 (uP, vP) 및 (uD, vD)이다. 점P가 공간 좌표계상에서의 좌표를 쉽게 계산하기 위하여,
Figure pat00010
를
Figure pat00011
과
Figure pat00012
로 분할하며, 이 두 벡터는 각각 u축 및 v축에 평행한다. 기하학적 관계식에 의해 다음 것을 얻을 수 있다.
Figure pat00013
직선OP 및 구면 투영면은 한점에서 만나며, 상기 교점이 XOY 평면 상에서의 투영점은 M이다.
XYZ 세 축의 단위 벡터를 각각
Figure pat00014
로 가정하면,
Figure pat00015
Figure pat00016
이다.
본 실시예에서, 어안 원형 이미지의 반지름은 r=593 화소이고, 그 중
Figure pat00017
이고, 동거리 투영 모델(equidistance projection model)에 의해 어안 카메라의 초점거리를 얻을 수 있다. 즉,
동거리 투영 모델에 의하면 식(1)이 존재한다.
Figure pat00018
Figure pat00019
및 상기 식(1)을 이용하여 어안 카메라의 초점거리인 focal을 얻을 수 있다.
다음, focal의 값을 통해 이때 u'v'좌표계에 투영된
Figure pat00020
의 길이
Figure pat00021
, 즉
Figure pat00022
을 얻고,
점P에 대응하는 어안 원형 이미지의 화소 좌표는,
Figure pat00023
여기서,
Figure pat00024
는 어안 원형 이미지의 중심점의 화소 좌표를 표시한다.
이를 통해, 불렛식 평면 투영면의 화소 좌표와 어안 원형 이미지의 화소 좌표의 대응관계를 얻는다.
다음, 구면 모델을 통해 원형 어안 카메라의 원시 이미지를 특정 시야각으로 투영 변환하여, 즉 특정한
Figure pat00025
및
Figure pat00026
를 선택하여 어안 이미지를 어느 한 각도의 불렛식 이미지로 등가 변환할 수 있다.
상기 도시한 바를 결합하면, 본 출원의 실시예에서, 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계를 결정하는 방식은 도 6에 도시된 바와 같이, 적어도 다음 단계를 포함한다.
단계S601: 광각 이미지의 반지름을 이용하여 광각 카메라의 초점거리를 확정하다.
이 단계에서 상기 식(1)을 이용하여 광각 카메라의 초점거리인 상기 focal을 확정할 수 있다.
단계S602: 광각 카메라의 초점거리 및 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계(상기 각도
Figure pat00027
와 같음)를 이용하여, 구면 투영 모델의 투영 중심에서 상기 임의의 점까지의 벡터(상기
Figure pat00028
과 같음)가 광각 이미지의 좌표계 상에 투영된 길이(상기
Figure pat00029
와 같음)를 확정한다. 여기서, 공간 좌표계는 광각 카메라의 구면 투영면에 대응되는 좌표계(예컨대, 상기 XYZ 3차원 좌표계)이다.
단계S603: 상기 길이, 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계(상기
Figure pat00030
,
Figure pat00031
과 같음), 및 광각 이미지의 중심점의 화소 좌표(상기
Figure pat00032
과 같음)를 이용하여, 상기 임의의 점이 광각 이미지의 해당 평면 상에서의 투영점의 화소 좌표(상기
Figure pat00033
과 같음)를 확정한다.
단계S604: 상기 임의의 점이 평면 투영 이미지의 좌표계 상에서의 화소 좌표 및 상기 임의의 점이 광각 이미지의 해당 평면 상에서의 투영점의 화소 좌표에 따라 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계를 확정한다.
상기 도시한 바를 결합하면, 본 출원의 실시예에서, 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계에 따라, 구면 투영 모델을 통해 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하는 방식은 도 7에 도시된 바와 같으며, 적어도 다음 단계를 포함한다.
단계S701: 적어도 하나 이상의 시야각을 선택한다.
단계S702: 상기 시야각과 상기 공간 좌표계의 각도관계(상기
Figure pat00034
및
Figure pat00035
와 같음)를 확정한다.
단계S703: 상기 시야각과 상기 공간 좌표계의 각도관계를 이용하여, 평면 투영 이미지 중 임의의 점과 상기 공간 좌표계의 각도관계(상기
Figure pat00036
및
Figure pat00037
와 같음)를 확정한다.
단계S704: 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계 및 상기 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계를 이용하여, 광각 이미지를 상기 시야각으로 투영 변환한다.
도 8A 내지 8F는 어안 이미지를 서로 시야각으로 투영 변환하여 얻는 불렛식 평면 투영도이다. 여기서,
도 8A의 투영 변환 시야각은
Figure pat00038
;
도 8B의 투영 변환 시야각은
Figure pat00039
;
도 8C의 투영 변환 시야각은
Figure pat00040
;
도 8D의 투영 변환 시야각은
Figure pat00041
;
도 8E의 투영 변환 시야각은
Figure pat00042
;
도 8F의 투영 변환 시야각은
Figure pat00043
.
이로부터 어안 이미지를 서로 다른 시야각으로 투영 변환하여 서로 다른 시야각의 불렛식 평면 투영도를 얻으므로 길목을 데드존 없이 감지할 수 있음을 알 수 있다. 따라서, 본 출원의 실시예는 카메라를 최소 개수 사용하여 전체 영역을 데드존 없이 커버하고 감지하므로, 하드웨어 원가를 대폭 줄일 수 있다. 카메라가 많을 수록 불가항력으로 인해 일부 카메라가 움직이게 되어 카메라를 자주 유지보수하거나 또는 카메라의 외부 파라미터를 캘리브레이션(calibration)　해야 하는데, 이들은 시스템의 안정성을 저하시키게 된다. 따라서, 본 출원의 실시예는 카메라의 개수를 줄여 추후 유지보수의 비용을 대폭으로 감소시킬 뿐만 아니라 노변 감지의 정밀도 및 안전성을 간접적으로 향상시킬 수 있다.
본 출원의 실시예는 노변 감지 장치를 더 제공한다. 도 9는 본 출원의 실시예에 따른 노변 감지 장치(900)의 구조를 나타낸 개략도로서 다음 구성을 포함한다.
획득 모듈(910): 광각 카메라에서 촬영된 광각 이미지를 획득한다.
왜곡 보정 모듈(920): 광각 이미지를 왜곡 보정하여 광각 카메라 정하방의 이미지를 얻는다.
투영 모듈(930): 구면 투영 모델을 통해 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하여 하나의 시야각에 각각 대응하는 적어도 하나 이상의 평면 투영 이미지를 얻는다.
도 10은 본 출원의 실시예에 따른 노변 감지 장치(1000)의 구조를 나타낸 개략도이다. 선택적으로, 상기 투영 모듈(930)은 다음 구성을 포함한다.
대응관계 확정 서브 모듈(931): 평면 투영 이미지의 화소 좌표 및 광각 이미지의 화소 좌표의 대응관계를 확정한다.
투영 서브 모듈 (932): 대응관계에 따라 구면 투영 모델을 통해 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환한다.
선택적으로, 상기 대응관계 확정 서브 모듈(931)은,
광각 이미지의 반지름을 이용하여 광각 카메라의 초점거리를 확정하고;
광각 카메라의 초점거리, 및 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계를 이용하여, 구면 투영 모델의 투영 중심에서 임의의 점까지의 벡터가 광각 이미지의 좌표계에 투영된 길이를 확정하되, 공간 좌표계는 광각 카메라의 구면 투영면에 대응되는 좌표계이며;
상기 길이, 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계, 및 광각 이미지 중심점의 화소 좌표를 이용하여, 임의의 점이 광각 이미지의 해당 평면상에서의 투영점의 화소 좌표를 확정하고;
임의의 점이 평면 투영 이미지의 좌표계 상에서의 화소 좌표, 및 임의의 점이 광각 이미지의 해당 평면 상에서의 투영점의 화소 좌표를 이용하여, 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계를 확정하는데 사용된다.
선택적으로, 상기 투영 서브 모듈(932)은,
적어도 하나 이상의 시야각을 선정하고;
시야각과 공간 좌표계의 각도관계를 확정하고;
시야각과 공간 좌표계의 각도관계를 이용하여, 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계를 확정하고;
대응관계, 및 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계를 이용하여, 광각 이미지를 시야각으로 투영 변환하는데 사용된다.
선택적으로, 상기 광각 카메라는 어안 카메라이고, 광각 이미지는 어안 이미지이다.
선택적으로, 상기 광각 카메라는 도로 길목에 설치되며, 도로 길목의 각 방향에 하나의 상기 광각 카메라를 설치한다.
본 출원 실시예의 각 장치 중 각 모듈의 기능은 상기 방법의 해당 설명을 참조할 수 있으며, 여기서 중복 설명하지 않는다.
본 출원의 실시예에 따른 노변 감지 방법 및 장치는 다양한 유형의 도로 상황, 예를 들어 사거리, 삼거리, L형 길목 등에 적용할 수 있다. 본 출원은 이에 대해 한정하지 않는다. 길목 양측에 모두 도로가 존재하는 경우, 투영 변환 방식은 앞서 설명한 실시예의 방식을 참고할 수 있다. 길목의 일 측에만 도로가 존재하는 경우, 차량 흐름 방향에 따라 투영 변환하여 데이터를 수집할 수 있다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다. 또한, 본 출원은 상기 전자 기기를 포함하는 노변 기기를 더 제공한다.
도 11에 도시된 바와 같이, 본 출원의 실시예에 따른 감지 방법의 전자 기기의 블록도다. 전자 기기는 랩 컴퓨터, 데스크탑 컴퓨터, 워크스테이션, PDA, 서버, 블레이드 서버(blade server), 대형 컴퓨터 및 기타 적절한 컴퓨터와 같은 여러 종류의 디지털 컴퓨터를 지칭한다. 전자 기기는 PDA(Personal Digital Assistant), 이동전화(Cellular phone), 스마트폰(smartphone), 웨어러블 디바이스(wearable device) 및 기타 유사한 컴퓨팅 장치와 같은 다양한 이동식 장치를 지칭할 수도 있다. 본 명세서에 언급된 부재, 이들의 연결 및 관계, 그리고 이들의 기능은 예시에 불과하고, 기재 및/또는 청구한 본 출원의 구현을 한정하는데 있는 것이 아니다.
도 11에 도시된 바와 같이, 상기 전자 기기는 하나 또는 복수의 프로세서(1101), 메모리(1102), 및 각 부재를 연결하고 고속 인터페이스 및 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각 부재는 서로 다른 버스를 이용하여 상호 연결되며, 공동 메인 보드에 장착될 수 있으며 필요에 따라 다른 방식으로도 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링되는 디스플레이 장치) 상에 GUI 이미지 정보를 출력하는 명령을 포함한다. 기타 실시방식에서, 필요하다면 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있으며, 각 기기는 일부 필요한 동작(예를 들어, 서버 어레이, 한 세트의 블레이드 서버 또는 멀티 프로세서 시스템으로서)을 제공한다. 도 11은 하나의 프로세서(1101)를 예로 한다.
메모리(1102)는 본 출원에서 제공되는 비일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 하나 이상의 프로세서가 본 출원에 따른 감지 방법을 구현하도록 메모리에 하나 이상의 프로세서에 의해 실행되는 명령이 저장되어 있다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장한다. 상기 컴퓨터 명령은 컴퓨터가 본 출원에 따른 감지 방법을 구현하도록 한다.
메모리(1102)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈, 예를 들어 본 출원의 실시예에 따른 감지 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 9에 도시된 획득 모듈(910), 왜곡 보정 모듈(920) 및 투영 모듈(650))을 저장하는데 사용된다. 프로세서(1101)는 메모리(1102)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 활용 및 데이터 처리를 수행하여 상기 실시예의 감지 방법을 구현한다.
메모리(1102)는 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영 체제, 하나 이상의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 감지에 의한 전자 기기의 사용으로 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(1102)는 고속 랜덤 액세스 메모리(high speed random access memory)을 포함하고, 비일시적 메모리, 예를 들어 하나 이상의 디스크 메모리, 플래시 메모리 또는 기타 비일시적 고체 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(1102)는 프로세서(1101)에 대해 원격 설치되는 메모리를 선택할 수 있으며, 이러한 원격 메모리(remote memory)는 네트워크를 통해 감지에 의한 전자 기기에 연결될 수 있다. 상기 네트워크의 실제 예로는 인터넷, 기업 내부 네트워크, LAN, 이동통신망 및 그 조합을 포함할 수 있으나 이에 한정되지 않는다.
감지 방법의 전자 기기는 입력장치(1103) 및 출력장치(1104)를 더 포함할 수 있다. 프로세서(1101), 메모리(1102), 입력장치(1103) 및 출력장치(1104)는 버스 또는 기타 방식을 통해 연결될 수 있으며, 도 11에는 버스를 통해 연결되는 것을 일 예로 한다.
입력장치(1103)는 입력된 숫자 또는 문자 정보를 수신하고, 감지된 전자 기기의 사용자 설정 및 기능 제어에 관한 키 입력 신호를 생성할 수 있으며, 예를 들어 터치스크린, 키보드, 마우스, 트랙패드, 터치패드, 지시스틱, 하나 또는 복수의 마우스 버턴, 트랙볼, 조이스틱 등 입력장치이다. 출력장치(1104)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동 모터)등을 포함할 수 있다. 상기 디스플레이 장치는 액정 디스플레이(LCD), 발광다이오드(LED) 디스플레이 및 플라스마 디스플레이를 포함하나 이에 한정되지 않는다. 일부 실시방식에서, 디스플레이 장치는 터치스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시양태는 디지털 회로 시스템, 집적회로 시스템, 전용 ASIC(전용 접적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및 /또는 이들의 조합에서 구현될 수 있다. 상기 다양한 실시양태는 하나 또는 복수의 컴퓨터 프로그램에서 실시되고, 상기 하나 또는 복수의 컴퓨터 프로그램은 하나 이상의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 실행 및/또는 해석된다. 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있으며, 저장 시스템, 하나 이상의 입력장치 및 하나 이상의 출력장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 상기 저장 시스템, 상기 하나 이상의 입력장치 및 상기 하나 이상의 출력장치로 전송할 수 있다.
이들 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려짐)은 프로그램 가능 프로세서를 위한 기계 명령어를 포함하고, 높은 레벨 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 "기계 판독 가능 매체", "컴퓨터 판독 가능 매체"라는 용어는, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함하는, 프로그램 가능 프로세서로 기계 명령어 및/또는 데이터를 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예컨대, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))을 지칭한다. "기계 판독 가능 신호"라는 용어는 프로그램 가능 프로세서로 기계 명령어 및/또는 데이터를 제공하기 위해 사용되는 임의의 신호를 지칭한다.
사용자와의 상호 작용을 제공하기 위해, 본 명세서에 기술된 시스템 및 기술은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예컨대, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터) 및 사용자가 컴퓨터에 입력하는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 갖는 컴퓨터상에서 구현될 수 있다. 다른 종류의 디바이스도 사용자와의 상호 작용을 제공하기 위해 사용될 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예컨대, 시각적 피드백, 청각 피드백 또는 촉각적 피드백)일 수 있으며, 사용자로부터의 입력은 임의의 형태(음향, 음성 또는 촉각 입력을 포함)로 수신될 수 있다.
본 명세서에서 설명된 시스템 및 기술은 백 엔드(back end) 컴포넌트(예컨대, 데이터 서버)를 포함하거나 미들웨어 컴포넌트(예컨대, 애플리케이션 서버)를 포함하거나, 또는 프론트 엔드 컴포넌트(예컨대, 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 사용자 컴퓨터이며 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 본 명세서에서 기술된 시스템 및 기술의 실시양태와 연동할 수 있다.)를 포함하거나, 또는 백 엔드, 미들웨어 또는 프런트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN), 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트단 및 서버를 포함할 수 있다. 클라이언트단과 서버는 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 연동된다. 상응한 컴퓨터 상에서 실행되고 각각 클라이언트단-서버 관계를 갖는 컴퓨터 프로그램을 통해 클라이언트단과 서버의 관계를 생성한다. 서버는 클라우드 서버일 수 있으며, 클라우드 컴퓨팅 서버 또는 클라우드 호스트로도 불리며, 클라우드 컴퓨팅 서비스 체계 중의 호스트 제품 중 하나로서, 전통 물리적 호스트와 가상 전용 서버(VPS) 서비스에 존재하는, 관리가 어렵고 서비스 확장성이 취약한 단점을 해결한다.
위에 기술된 다양한 형식의 프로세스, 재 배열, 추가 또는 삭제의 단계가 적용될 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병렬로 진행할 수도, 순차적으로 진행할 수도, 다른 순서로 진행될 수도 있는 바, 본 출원에 개시된 기술적 수단이 목표한 결과를 구현할 수만 있다면 특별히 한정하지 않는다.
상기 구체적 실시양태는 본 출원의 보호범위를 한정하지 않는다. 본 기술분야의 일반 기술자는 설계 요구 및 기타 요소에 따라 다양한 수정, 조합, 서브 조합 및 대체가 가능하다는 것을 알 수 있다. 본 출원의 사상 및 원칙 내에서 진행한 그 어떠한 수정, 균등한 치환 및 개선 등은 모두 본 출원의 보호 범위 내에 속한다.

Claims (16)

  1. 광각 카메라에서 촬영된 광각 이미지를 획득하는 단계;
    상기 광각 이미지를 왜곡 보정(undistortion)하여 상기 광각 카메라의 정하방의 이미지를 얻는 단계;
    구면 투영 모델을 통해 상기 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하여, 하나의 상기 시야각에 각각 대응하는 적어도 하나 이상의 평면 투영 이미지를 얻는 단계;를 포함하는 노변 감지 방법.
  2. 청구항 1에 있어서,
    상기 구면 투영 모델을 통해 상기 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하는 단계는,
    상기 평면 투영 이미지의 화소 좌표와 상기 광각 이미지의 화소 좌표의 대응관계를 확정하는 단계;
    상기 대응관계에 따라 구면 투영 모델을 통해 광각 이미지를 상기 적어도 하나 이상의 시야각으로 투영 변환하는 단계;를 포함하는 노변 감지 방법.
  3. 청구항 2에 있어서,
    상기 평면 투영 이미지의 화소 좌표와 상기 광각 이미지의 화소 좌표의 대응관계를 확정하는 단계는,
    상기 광각 이미지의 반지름을 이용하여 상기 광각 카메라의 초점거리를 확정하는 단계;
    상기 광각 카메라의 초점거리 및 상기 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계를 이용하여, 상기 구면 투영 모델의 투영 중심에서 상기 임의의 점까지의 벡터가 상기 광각 이미지의 좌표계에 투영된 길이를 확정하는 단계, -상기 공간 좌표계는 상기 광각 카메라의 구면 투영면에 대응하는 좌표계임-;
    상기 길이, 상기 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계, 및 광각 이미지 중심점의 화소 좌표를 이용하여, 상기 임의의 점이 상기 광각 이미지의 해당 평면상에서의 투영점의 화소 좌표를 확정하는 단계;
    상기 임의의 점이 평면 투영 이미지의 좌표계 상의 화소 좌표, 및 상기 임의의 점이 상기 광각 이미지의 해당 평면 상에서의 투영점의 화소 좌표를 이용하여, 상기 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계를 확정하는 단계;를 포함하는 노변 감지 방법.
  4. 청구항 3에 있어서,
    상기 대응관계에 따라 구면 투영 모델을 통해 광각 이미지를 상기 적어도 하나 이상의 시야각으로 투영 변환하는 단계는,
    적어도 하나 이상의 상기 시야각을 선정하는 단계;
    상기 시야각과 상기 공간 좌표계의 각도관계를 확정하는 단계;
    상기 시야각과 상기 공간 좌표계의 각도관계를 이용하여, 상기 평면 투영 이미지 중 임의의 점과 상기 공간 좌표계의 각도관계를 확정하는 단계;
    상기 대응관계, 및 상기 평면 투영 이미지 중 임의의 점과 상기 공간 좌표계의 각도관계를 이용하여, 광각 이미지를 상기 시야각으로 투영 변환하는 단계;를 포함하는 노변 감지 방법.
  5. 청구항 1 내지 4 중 어느 한 항에 있어서,
    상기 광각 카메라는 어안 카메라를 포함하고, 상기 광각 이미지는 어안 이미지를 포함하는 노변 감지 방법.
  6. 청구항 1 내지4 중 어느 한 항에 있어서,
    상기 광각 카메라는 도로 길목에 설치되며, 상기 도로 길목의 각 방향마다 하나의 상기 광각 카메라를 설치하는 노변 감지 방법.
  7. 광각 카메라에서 촬영된 광각 이미지를 획득하는 획득 모듈;
    상기 광각 이미지를 왜곡 보정하여 상기 광각 카메라 정하방의 이미지를 얻는 왜곡 보정 모듈;
    구면 투영 모델을 통해 상기 광각 이미지를 적어도 하나 이상의 시야각으로 투영 변환하여, 하나의 상기 시야각에 각각 대응하는 적어도 하나 이상의 평면 투영 이미지를 얻는 투영 모듈;을 포함하는 노변 감지 장치.
  8. 청구항 7에 있어서,
    상기 투영 모듈은,
    상기 평면 투영 이미지의 화소 좌표와 상기 광각 이미지의 화소 좌표의 대응관계를 확정하는 대응관계 확정 서브 모듈;
    상기 대응관계에 따라 구면 투영 모델을 통해 광각 이미지를 상기 적어도 하나 이상의 시야각으로 투영 변환하는 투영 서브 모듈;을 포함하는 노변 감지 장치.
  9. 청구항 8에 있어서,
    상기 대응관계 확정 서브 모듈은,
    상기 광각 이미지의 반지름을 이용하여 상기 광각 카메라의 초점거리를 확정하고;
    상기 광각 카메라의 초점거리, 및 상기 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계를 이용하여, 상기 구면 투영 모델의 투영 중심에서 상기 임의의 점까지의 벡터가 상기 광각 이미지의 좌표계에 투영된 길이를 확정하되, 상기 공간 좌표계는 상기 광각 카메라의 구면 투영면에 대응되는 좌표계이며;
    상기 길이, 상기 평면 투영 이미지 중 임의의 점과 공간 좌표계의 각도관계, 및 광각 이미지 중심점의 화소 좌표를 이용하여, 상기 임의의 점이 상기 광각 이미지의 해당 평면상에서의 투영점의 화소 좌표를 확정하고;
    상기 임의의 점이 평면 투영 이미지의 좌표계 상에서의 화소 좌표, 및 상기 임의의 점이 상기 광각 이미지의 해당 평면 상에서의 투영점의 화소 좌표를 이용하여, 상기 평면 투영 이미지의 화소 좌표와 광각 이미지의 화소 좌표의 대응관계를 확정하는데 사용되는, 노변 감지 장치.
  10. 청구항 9에 있어서,
    상기 투영 서브 모듈은,
    적어도 하나 이상의 상기 시야각을 선정하고;
    상기 시야각과 상기 공간 좌표계의 각도관계를 확정하고;
    상기 시야각과 상기 공간 좌표계의 각도관계를 이용하여, 상기 평면 투영 이미지 중 임의의 점과 상기 공간 좌표계의 각도관계를 확정하고;
    상기 대응관계, 및 상기 평면 투영 이미지 중 임의의 점과 상기 공간 좌표계의 각도관계를 이용하여, 광각 이미지를 상기 시야각으로 투영 변환하는데 사용되는, 노변 감지 장치.
  11. 청구항 7항 내지 10항 중 어느 한 항에 있어서,
    상기 광각 카메라는 어안 카메라를 포함하고, 상기 광각 이미지는 어안 이미지를 포함하는 노변 감지 장치.
  12. 청구항 7항 내지 10항 중 어느 한 항에 있어서,
    상기 광각 카메라는 도로 길목에 설치되며, 상기 도로 길목의 각 방향마다 하나의 상기 광각 카메라를 설치하는 노변 감지 장치.
  13. 적어도 하나 이상의 프로세서; 및
    상기 적어도 하나 이상의 프로세서에 통신 연결되는 메모리;를 포함하며,
    상기 적어도 하나 이상의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나 이상의 프로세서에 의해 실행되어 상기 적어도 하나 이상의 프로세서가 청구항 제1항 내지 제4항 중 어느 한 항에 따른 상기 방법을 수행하도록 하는 전자 기기.
  14. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 컴퓨터가 청구항 제1항 내지 제4항 중 어느 한 항에 따른 상기 방법을 수행하도록 하는 저장 매체.
  15. 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제4항 중 어느 한 항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
  16. 청구항 제13항에 따른 전자 기기를 포함하는 노변 기기.
KR1020210154891A 2020-12-03 2021-11-11 노변 감지 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 노변 기기 KR20210144623A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011393954.5 2020-12-03
CN202011393954.5A CN112565730B (zh) 2020-12-03 2020-12-03 路侧感知方法、装置、电子设备、存储介质及路侧设备

Publications (1)

Publication Number Publication Date
KR20210144623A true KR20210144623A (ko) 2021-11-30

Family

ID=75047324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210154891A KR20210144623A (ko) 2020-12-03 2021-11-11 노변 감지 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 노변 기기

Country Status (5)

Country Link
US (1) US20220044560A1 (ko)
EP (1) EP4071703A1 (ko)
JP (1) JP7223072B2 (ko)
KR (1) KR20210144623A (ko)
CN (1) CN112565730B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115186359A (zh) * 2022-07-25 2022-10-14 中建钢构工程有限公司 设计图的处理方法、***、电子设备及存储介质

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US20050058360A1 (en) * 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
JP4892965B2 (ja) 2005-12-26 2012-03-07 住友電気工業株式会社 移動体判定システム、移動体判定方法、及びコンピュータプログラム
US8670001B2 (en) * 2006-11-30 2014-03-11 The Mathworks, Inc. System and method for converting a fish-eye image into a rectilinear image
WO2009013845A1 (ja) 2007-07-20 2009-01-29 Techwell Japan K.K. 画像処理装置及びカメラシステム
KR100882011B1 (ko) * 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
US8525871B2 (en) * 2008-08-08 2013-09-03 Adobe Systems Incorporated Content-aware wide-angle images
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
CN101814181B (zh) * 2010-03-17 2012-05-23 天津理工大学 一种鱼眼图像复原的展开方法
JP5569329B2 (ja) * 2010-10-15 2014-08-13 大日本印刷株式会社 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
CN103108154A (zh) * 2011-11-14 2013-05-15 辉达公司 一种汽车导航设备
US9052393B2 (en) * 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
EP3016065B1 (en) 2013-06-24 2019-07-10 Mitsubishi Electric Corporation Coordinate computation device and method, and image processing device and method
WO2015079702A1 (ja) * 2013-11-27 2015-06-04 京セラ株式会社 撮像設定変更装置、撮像システム、および撮像設定変更方法
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10339544B2 (en) * 2014-07-02 2019-07-02 WaitTime, LLC Techniques for automatic real-time calculation of user wait times
US10449899B2 (en) * 2015-05-08 2019-10-22 Magna Electronics Inc. Vehicle vision system with road line sensing algorithm and lane departure warning
US9930752B2 (en) * 2015-11-10 2018-03-27 General Electric Company Image sensor controlled lighting fixture
US10440307B2 (en) * 2015-12-22 2019-10-08 Casio Computer Co., Ltd. Image processing device, image processing method and medium
US10652459B2 (en) * 2016-03-07 2020-05-12 Ricoh Company, Ltd. Information processing system, information processing method, and non-transitory computer-readable storage medium
US10699389B2 (en) * 2016-05-24 2020-06-30 Qualcomm Incorporated Fisheye rendering with lens distortion correction for 360-degree video
CN107993276B (zh) * 2016-10-25 2021-11-23 杭州海康威视数字技术股份有限公司 一种全景图像的生成方法及装置
CN106600546B (zh) * 2016-11-14 2020-12-22 深圳市Tcl高新技术开发有限公司 一种超广角摄像头畸变校正方法及***
EP3523777A4 (en) * 2016-12-06 2019-11-13 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE
JP6721112B2 (ja) * 2017-03-27 2020-07-08 日本電気株式会社 カメラパラメータ推定装置、方法およびプログラム
US11373335B2 (en) * 2017-03-27 2022-06-28 Nec Corporation Camera parameter estimation device, method and program
JP6891954B2 (ja) * 2017-06-23 2021-06-18 日本電気株式会社 物体検知装置、物体検知方法、及びプログラム
KR102028469B1 (ko) * 2018-01-15 2019-10-04 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
JP2021144257A (ja) * 2018-06-06 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
US10878595B2 (en) * 2018-07-02 2020-12-29 Intel Corporation Dual model for fisheye lens distortion and an algorithm for calibrating model parameters
EP3624001B1 (en) * 2018-09-13 2024-05-01 Volvo Car Corporation Methods and systems for parking line marker detection and pairing and parking spot detection and classification
US10796402B2 (en) * 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
EP3885701A4 (en) * 2018-11-20 2022-01-26 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
CN111353945B (zh) * 2018-12-21 2023-10-20 杭州海康威视数字技术股份有限公司 鱼眼图像校正方法、装置及存储介质
CN109741241B (zh) * 2018-12-26 2023-09-05 斑马网络技术有限公司 鱼眼图像的处理方法、装置、设备和存储介质
JP6802864B2 (ja) * 2019-01-30 2020-12-23 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視装置、監視方法、及び、コンピュータプログラム
JP7192582B2 (ja) * 2019-03-11 2022-12-20 オムロン株式会社 物体追跡装置および物体追跡方法
JP7188240B2 (ja) * 2019-04-01 2022-12-13 オムロン株式会社 人検出装置および人検出方法
US11244431B2 (en) * 2019-10-18 2022-02-08 Apical Limited Image processing
CN110728622B (zh) * 2019-10-22 2023-04-25 珠海研果科技有限公司 鱼眼图像处理方法、装置、电子设备及计算机可读介质
CN111369796A (zh) * 2020-03-11 2020-07-03 北京百度网讯科技有限公司 路侧感知***
CN115447568A (zh) * 2020-04-08 2022-12-09 华为技术有限公司 数据处理的方法和装置

Also Published As

Publication number Publication date
CN112565730A (zh) 2021-03-26
JP7223072B2 (ja) 2023-02-15
JP2021180017A (ja) 2021-11-18
CN112565730B (zh) 2023-07-25
US20220044560A1 (en) 2022-02-10
EP4071703A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
US11625896B2 (en) Face modeling method and apparatus, electronic device and computer-readable medium
KR102581429B1 (ko) 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN109308686B (zh) 一种鱼眼图像处理方法及装置、设备和存储介质
CN104778656B (zh) 基于球面透视投影的鱼眼图像校正方法
KR101493946B1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
CN112288825B (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
US20220036731A1 (en) Method for detecting vehicle lane change, roadside device, and cloud control platform
CN104272726A (zh) 显示影像形成装置及显示影像形成方法
KR20210040876A (ko) 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체
Yang et al. Driving assistance system based on data fusion of multisource sensors for autonomous unmanned ground vehicles
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN112509058B (zh) 外参的计算方法、装置、电子设备和存储介质
CN111294580B (zh) 基于gpu的摄像头视频投影方法、装置、设备及存储介质
WO2022166868A1 (zh) 漫游视图的生成方法、装置、设备和存储介质
KR20210144623A (ko) 노변 감지 방법, 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램 및 노변 기기
US11893884B2 (en) Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device
CN112541553B (zh) 目标对象的状态检测方法、装置、介质以及电子设备
JP2010217984A (ja) 像検出装置及び像検出方法
CN112530173A (zh) 路侧感知方法、装置、电子设备、存储介质及路侧设备
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
CN116030139A (zh) 摄像头检测方法、装置、电子设备及车辆
EP4075789A1 (en) Imaging device, imaging method, and program
KR101559739B1 (ko) 가상 모델과 카메라 영상의 융합시스템
JP2014165866A (ja) 画像処理装置及びその制御方法、プログラム
KR20220112870A (ko) 틸트 카메라를 이용한 차량의 svm 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal