KR20210080129A - 자율 주행 카메라시스템의 실시간 영상정보 처리 및 네트워크송신 장치 - Google Patents

자율 주행 카메라시스템의 실시간 영상정보 처리 및 네트워크송신 장치 Download PDF

Info

Publication number
KR20210080129A
KR20210080129A KR1020190172562A KR20190172562A KR20210080129A KR 20210080129 A KR20210080129 A KR 20210080129A KR 1020190172562 A KR1020190172562 A KR 1020190172562A KR 20190172562 A KR20190172562 A KR 20190172562A KR 20210080129 A KR20210080129 A KR 20210080129A
Authority
KR
South Korea
Prior art keywords
vehicle
image
camera
information
transmission
Prior art date
Application number
KR1020190172562A
Other languages
English (en)
Inventor
박지후
박철수
Original Assignee
박지후
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박지후 filed Critical 박지후
Priority to KR1020190172562A priority Critical patent/KR20210080129A/ko
Publication of KR20210080129A publication Critical patent/KR20210080129A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

다수의 카메라 영상을 입력으로, 이를 운전이나 현재의 차량 주위 정보를 획득하며, 이 data를 차량내의 무선 Telematics 통신 모듈을 이용 타 차량에 공유 함으로써, 자율 주행에 도움이 되는 차량 정보 시스템을 제안하며, 이렇게 차량 주변의 정보를 갖는 영상data를 네트워크를 통해 전달 함으로써, 관련된 사람의 스마트폰이나 단말기를 통하여 상황을 공유하고, 이 내용을 원거리 저장장치에 기록할 수 있는 시스템을 제안한다.

Description

자율 주행 카메라시스템의 실시간 영상정보 처리 및 네트워크송신 장치{Real-Time Image Information Processing, Communication Device for Camera System in the Autonomous Vehicle}
최근의 자동차는 기계적이고 물리적인 장치이외에, 멀티미디어와 통신 기술의 발달과 관련된 차량 전장 장치의 소형화 저전력화 첨단화로, 단순한 이동 수단의 수준을 넘어선 종합적인 기계 전자 시스템의 구조를 가지게 되었다.
특히 차세대 기술로 주목받는 자율 주행 자동차 기술의 대두로 자동차 단독 주행을 위한 주변 물체나 장애물, 타 차량, 도로 노면의 정보를 수집하기 위한 자동차 주위의 다중 카메라 영상 장치와 이로부터 차량 주행을 보조하는 ADAS 장치.
그리고 기존에 차량내 전기 전자 장치의 상호 동작을 위한 통신에 사용되던 단순 구조의 CAN network 에서 다양한 차량내 고해상도 디스플레이용 고용량 동영상 등의 Data 를 전달하기 위하여 개발된 고속 멀티 미디어 Ethernet AVB 망이 적용중이고, 또한 차세대 통신인 Gigabit 대용량 고속 인터넷 무선망 5G, LTE을 자동차에도 사용하기 위한 무선 Telematics 장치가 차량에 추가 되어 사용되고 있다.
이 뿐만 아니라 자동차의 이동중 외부를 촬영하고, 사고 등을 기록하기 위한 블랙박스등의 영상 장치가 차량에 설치되어 단순한 운전 뿐만아니라, 정보의 송,수신과 기록같은 다양한 기능을 가진 복잡한 시스템이 현재의 자동차에는 사용되고 있다.
현재의 최신 자동차의 경우 차량 전후방에 설치된 다수의 카메라를 이용하여 얻어지는 차량주위의 도로에 존재하는 타 차량과 장애물, 차량이 위치한 도로에서의 차선위치 인식등의 정보를 영상과 비전 데이터로 ADAS 등의 유닛을 거쳐 인식하고 분석하는 구조의 기능을 가지고 있다. (도1)
이러한 카메라 비전을 이용한 차량 주행 보조기능은 해당 차량 단독 주행에 대한 보조기능으로 구현활용되는 것으로, 차세대 자율자동차 시스템에서는 차량 단독 주행 보조와 더불어 다수의 차량이 고속으로 같은 도로를 이용하여 이동하는 경우에 대처하기 위하여 차량간 현재 교통상황과 도로 상황에 대한 정보 공유가 필수적이다.
이를 위하여 자율주행 차량 카메라의 정보를 수집하고, 각 영상 정보를 합성 분석하여 교통관련 현황 파악 후, 이러한 정보를 차량내의 Gigabit Ethernet인 AVB network를 통하여 외부 고속 5G망에 전송함으로써, 이러한 정보를 차량간 공유하거나, 상기 차량의 외부 이동 현황과 차량 운행 정보를 망에 연결된 기록 장치에
원격으로 저장하는 장치를 제안한다.
1. 자율 주행 차량간(V2V)의 5G 고속 통신망을 통한 실시간 정보 공유로 교통상황에 대한 적응적인 주행 시스템 구축
2. 차량의 이동 경로와 주위 상황에 대한 원격 기록을 통해 실시간 remote 블랙 박스 기능 지원
3. 상기 차량의 실시간 영상 정보를 사용자의 스마트폰이나 단말기를 통하여 관련된 사람이 공유하여, 운전자의 안전운전과 상호 작용을 가능하게 함.
도1) 기존의 카메라 영상 입력, 처리 시스템 구조도
도2) 차량내 전자기기의 Ethernet AVB 망 구조도
도3) 제안된 차량 카메라 영상 처리, 송수신 시스템 구조도
도4) 본 제안의 실시예
본 발명은,
차량 카메라로부터 주변 환경을 FHD 또는 HD영상으로 입력받아 Component 비디오포맷인 Y,Cb,Cr 신호로 변환하여 출력하는 카메라 리시버(303)
상기 카메라 리시버로부터 출력되는 Y,Cb,Cr 신호를
영상처리에 사용되는 R,G,B 신호로 변환하여 영상 복원을 위한 이미지 프로세싱을 수행하는 이미지변환부(302)
를 거쳐서 차량의 AVN(320)에 전달하게 되며,
상기 이미지변환부에 의하여 이미지 프로세싱을 마친 R,G,B 신호를 수신받아 AVN내의 신호를 영상처리, 압축을 위해 인코딩하는 AVN 내의 GPU 등에서
에서 이미지 코딩(321)을 수행하고, 이러한 처리를 거쳐 코딩된 신호를 차량 Ethernet AVB 네트워크로 통해 송수신하도록 변환하는 AVN 내의 네트워크 인터페이스부(322)를 거쳐서 차량 내 AVB network를 통하여
네트워크 스트림으로 무선망으로 전송해 주는 차량 Telematics Unit(310)를 거치면 외부의 일반 고속 통신망에 영상관련 신호를 송수신하게 된다.
본 발명의 개별적인 구현 사례로서, 이미지 변환부(302)는 카메라 리시버에서 획득되는, 상대적으로 용량이 크고 전송처리에 시간이 걸리는 FHD 혹은 HD 카메라 영상자체 뿐만 아니라 차량의 주위 정보등에 대한 기본적인 비전정보data를 영상에 삽입하거나 빠른 응답이 요구되는 이벤트가 발생한 상황에서, 주요 비전data정보만을 우선적으로 차량 AVN(320)에 전달하여 주위의 차량등에 즉시 해당 내용을 전달하는 형태로 이미지 변환부를 구성하여 활용할수 있다
그리고 AVN내의 이미지 코딩부(321)는 상기 입력되는 카메라 영상신호와 비전정보Data외에도 상기 차량이 주행중에 수집하게 되는 차량좌표 위치나 시간정보 그리고, 차량의 상태 정보등을 삽입하여 영상을 합성, 인코딩하여 외부에 공유하는 기능을 가진 형태로 구현 실시예를 들수 있다.
또한 상기 이미지 코딩부(321)는 기본적으로 카메라에서의 영상 신호가 HD 나 FHD급의 영상일 경우 이를 통신망으로 전송하기 위해서 이러한 조합된 영상신호를 압축률과 네트웍 포맷에 뛰어난 호환성을 가져서 현재 널리 사용되는 H264방식으로 압축하여 network stream형태로 변환하는 기능을 가진 형태로 구현되며,
상기 AVN 이미지코딩부(321)로부터 차량 내부 Ethernet AVB를 통해 전달받은 data는 차량내에서 차량과 외부 무선망으로의 접속기능의 Telematics Unit(310)를 통해서 송신된다.
상기 송신data는 기본적으로 주위 차량으로 보내져서현재의 교통상황에 대한 주요 data로 활용될 뿐 아니라, 또 다른 활용의 구현 예로서 무선망을 통하여 상기 data를 해당 차량의 주위 정보나 차량 상태등을 관련된 사람의 스마트폰(420)이나 단말기(421)로 전송함으로써 차량의 현 운전상황을 알릴수 있게되고, 사고 등의 경우에
차량내의 블랙박스의 유실등을 대비하는 목적으로 원거리의 DVR(422)에 차량의 운행 정보를 기록하는 기능을 가진 형태로 구현될수 있다.
또한 상기 Telematics Unit(310)를 이용하여 해당 차량의 정보를 보낼뿐 아니라, 무선망을 통하여 유사한 시스템을 가진 타 차량의 영상신호나 비전data 등의 운전 환경 정보를 수신하는 기능도 더불어 구현된다.
이러한 상기 구조로 구성되는 카메라 영상 인코딩, 통신 시스템은 상기 영상정보를 송신할뿐아니라 동일 구조의 시스템을 가진 타 차량으로부터 그 차량 주변의 영상신호 정보신호를 수신하여 자기 차량의 카메라 영상 정보와 조합함으로써 차량
자율주행에 사용되는 입력 data로 활용하는 AVN 영상 Data 처리, 분석부(323)를 가진 구조로 구현할수 있다.

Claims (7)

  1. 차량 카메라로부터 주변 환경을 FHD 또는 HD영상으로 입력받아 Component 비디오포맷인 Y,Cb,Cr 신호로 변환하여 출력하는 카메라 리시버;
    상기 리시버로부터 출력되는 Y,Cb,Cr 신호를 R,G,B 신호로 변환하여 영상 복원을 위한 이미지 프로세싱을 수행하는 이미지변환부;
    상기 이미지변환부에 의하여 이미지 프로세싱을 마친 R,G,B 신호를 수신받아 이 신호를 영상처리, 압축을 위해 인코딩하는 AVN 내의 이미지 코딩부;
    상기 코딩된 신호를 차량 Ethernet AVB 네트워크로 통해 송수신하도록 변환하는 AVN 내의 네트워크 인터페이스부;
    상기 변환된 네트워크 스트림을 무선망으로 전송해 주는 차량 Telematics Unit;

    으로 구성되는 카메라 영상 인코딩, 송수신 시스템
  2. 청구항 1에 있어서,
    이미지 변환부는 FHD 혹은 HD 카메라 영상자체 뿐만 아니라 차량의 주위 정보등에 대한 기본적인 비전정보Data를 영상에 삽입하거나 이 정보만을 우선적으로
    차량 AVN 에 전달할수 있는 기능을 가진 이미지 변환부로 구성되는 카메라 영상 인코딩, 송수신 시스템
  3. 청구항 1항에 있어서,
    이미지 코딩부는 상기 입력되는 카메라 영상신호와 비전정보Data외에도 상기 차량이 주행중에 수집하게 되는 차량좌표 위치나 시간정보 그리고 차량의 상태 정보등을 삽입하여 영상을 합성, 인코딩하는 기능을 가진 이미지코딩부로

    구성되는 카메라 영상 인코딩, 송수신 시스템
  4. 청구항 2에 있어서,
    상기 이미지 코딩부는 조합된 영상신호를 H264방식으로 압축하고 이를 network stream형태로 변환하는 기능을 가진 이미지 코딩부로

    구성되는 카메라 영상 인코딩, 송수신 시스템
  5. 청구항 1에 있어서,
    AVN 이미지 코딩부로부터 차량 내부 Ethernet AVB를 통해 전달받은 외부 무선망으로 송신하는 기능의
    Telematics Unit으로 구성되는 카메라 영상 인코딩, 송수신 시스템
  6. 청구항 1에 있어서
    외부 무선망을 통하여 타 차량의 영상신호나
    비전data 등의 운전 환경 정보를 수신하는 기능의

    Telematics Unit으로 구성되는 카메라 영상 인코딩, 송수신 시스템
  7. 청구항 6에 있어서

    수신된 정보를 통하여 차량 속도나 차량간 거리 제어등의 운전 환경정보를 입력, 활용하는 AVN 영상 Data 처리, 분석부(323)를 구성요소로 가지는

    Telematics Unit으로 구성되는 카메라 영상 인코딩, 송수신 시스템
KR1020190172562A 2019-12-21 2019-12-21 자율 주행 카메라시스템의 실시간 영상정보 처리 및 네트워크송신 장치 KR20210080129A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190172562A KR20210080129A (ko) 2019-12-21 2019-12-21 자율 주행 카메라시스템의 실시간 영상정보 처리 및 네트워크송신 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190172562A KR20210080129A (ko) 2019-12-21 2019-12-21 자율 주행 카메라시스템의 실시간 영상정보 처리 및 네트워크송신 장치

Publications (1)

Publication Number Publication Date
KR20210080129A true KR20210080129A (ko) 2021-06-30

Family

ID=76602255

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190172562A KR20210080129A (ko) 2019-12-21 2019-12-21 자율 주행 카메라시스템의 실시간 영상정보 처리 및 네트워크송신 장치

Country Status (1)

Country Link
KR (1) KR20210080129A (ko)

Similar Documents

Publication Publication Date Title
KR101384332B1 (ko) 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
WO2018074252A1 (ja) 画像処理装置および画像処理方法
KR102362596B1 (ko) 화상 수신 장치, 화상 전송 시스템 및 화상 수신 방법
CN112286166A (zh) 一种基于5g网络的车辆远程驾驶控制***及方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
WO2019054070A1 (ja) 画像処理装置
KR20190067806A (ko) 화상 처리 장치 및 화상 처리 방법
CN115695871A (zh) 汽车智能座舱的摄像头接入方法、***及存储介质
US9136945B2 (en) Vehicle communication system for visible light communication and optical networking and communication method thereof
CN108322498A (zh) 一种车联网中的车辆远程查看***及方法
JPWO2018016151A1 (ja) 画像処理装置と画像処理方法
US20080130984A1 (en) Apparatus and Method for Compressing Three-Dimensional Stereoscopic Images
CN210745353U (zh) 一种车内摄像单元数据复用的实现装置及汽车
KR20210080129A (ko) 자율 주행 카메라시스템의 실시간 영상정보 처리 및 네트워크송신 장치
CN215599528U (zh) 一种自动驾驶汽车远程控制驾驶***
US11563881B2 (en) Electronic device for transmitting a video stream and associated vehicle
CN114143749B (zh) 一种远程驾驶汽车的方法及***
CN204929056U (zh) 一种具有八路视频监控的车载北斗定位终端
JPWO2018025642A1 (ja) 画像処理装置および画像処理方法
WO2018192585A1 (zh) 传输方法和传输装置
KR20210082326A (ko) 차량용 다중 카메라영상 통합 코딩 시스템
KR101028510B1 (ko) 차량용 영상 전송 장치 및 그 방법
CN111757045A (zh) 数据发送方法、数据接收方法及相关终端和存储介质
CN110139052B (zh) 视频信息采集***及汽车
CN218888598U (zh) 图像处理设备和车载***