KR102545453B1 - 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션 - Google Patents

차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션 Download PDF

Info

Publication number
KR102545453B1
KR102545453B1 KR1020210061837A KR20210061837A KR102545453B1 KR 102545453 B1 KR102545453 B1 KR 102545453B1 KR 1020210061837 A KR1020210061837 A KR 1020210061837A KR 20210061837 A KR20210061837 A KR 20210061837A KR 102545453 B1 KR102545453 B1 KR 102545453B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
processing device
quality
road
Prior art date
Application number
KR1020210061837A
Other languages
English (en)
Other versions
KR20220154381A (ko
Inventor
권정호
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020210061837A priority Critical patent/KR102545453B1/ko
Publication of KR20220154381A publication Critical patent/KR20220154381A/ko
Application granted granted Critical
Publication of KR102545453B1 publication Critical patent/KR102545453B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 전술한 문제점 및 이와 연관된 다양한 문제점을 해결하기 위해 제안되는 것으로서, 차량에서 도로 영상 분석 서버로 전송하는 영상 및 데이터를 주행상황 및 서버 시스템의 상황에 맞게 최적화하여 서버로 전송하여, 통신 데이터를 줄일 수 있어 안정적인 통신 환경을 유지할 수 있는 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션을 제공하기 위한 것이다,

Description

차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션 {VEHICLE IMAGE PROCESSING DEVICE, ROAD IMAGE ANALYSIS, AND INTERCONNECTION THEREBETWEEN}
본 발명은 차량으로부터 수집된 차량 영상 데이터를 이용하여 도로 객체를 인식하고 지도 데이터를 생성하거나 업데이트하기 위한 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션에 관한 것이다.
차량으로부터 수집된 차량 영상 데이터가 도로 영상 분석 서버에 전달되어 지도 데이터를 생성하거나 업데이트하기 위해 사용될 수 있다.
차량 내에 설치된 장치, 즉 차량 단말에서 영상 정보를 수집, 분석하여 객체를 인식하고, 차량 단말에서 영상 분석된 객체 인식 정보가 도로 영상 분석 서버로 전송될 수도 있다. 이러한 경우 인공지능칩과 인공지능 영상분석(딥러닝)이 가능한 샘플데이터를 가지는 고가의 차량 단말이 필요하다는 단점이 있다. 즉 차량의 가격이 많이 상승하는 문제가 있다. 또한, 도로의 객체 인식에 순간적으로 많은 처리량이 요구되는 경우에는, 차량의 자율주행에 있어 인지/판단/제어의 성능에 문제가 야기될 수 있다.
그런데, 차량 단말의 가격을 줄이기 위해, 차량 단말에서 수집한 센서 및 영상 정보를 모두 도로 영상 분석 서버(또는 도로 영상 처리 서버)로 전송하는 경우에는 차량의 고용량 카메라 영상을 서버로 보내기 위해 대용량 전송의 또다른 문제가 발생할 수 있다. 차량이 많은 사거리와 같은 곳에서 다수의 차량이 카메라 영상을 서버로 전송 시, 네트워크 문제 발생 및 전송 비용의 문제가 발생할 수 있다.
본 발명은 전술한 문제점 및 이와 연관된 다양한 문제점을 해결하기 위해 제안되는 것으로서, 차량에서 도로 영상 분석 서버로 전송하는 영상 및 데이터를 주행상황 및 서버 시스템의 상황에 맞게 최적화하여 서버로 전송하여, 통신 데이터를 줄일 수 있어 안정적인 통신 환경을 유지할 수 있는 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션을 제공하기 위한 것이다.
또한, 도로 영상 분석 서버 입장에서는 일정 거리 주기 간격의 도로 영상을 받으면 되기 때문에 보다 효율적으로 적은 컴퓨팅 리소스로도 처리할 수 있다. 또한 서버의 상황에 맞추어 상기 거리 주기 간격을 조정하여 서버의 컴퓨팅 리소스 문제 야기를 미연에 방지하기 위한 것이다.
상기와 같은 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 영상을 촬영하기 위한 카메라, 외부 서버와 통신하기 위한 무선통신부, 차량의 이동 속도에 기반하여 상기 카메라가 촬영하는 영상의 화질을 조절하고, 상기 조절된 화질에 따라 촬영된 영상을 상기 외부 서버로 전송하도록 제어하는 제어부를 포함하는 차량용 영상 처리 장치를 제공한다.
상기 제어부는 상기 차량 내부의 속도 측정 장치에서 측정된 상기 이동 속도에 기반하여 상기 영상의 화질을 조절할 수 있다.
상기 차량용 영상 처리 장치는 상기 차량의 위치 변화를 감지하기 위한 위치정보센서를 더욱 구비하고, 상기 제어부는 상기 위치정보센서를 통해 파악된 상기 차량의 위치 변화로부터 산출된 상기 차량의 이동 속도에 기반하여 상기 영상의 화질을 조절할 수 있다.
상기 위치정보센서는 GPS(Global Positioning System) 센서, 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), 및 IMU (Inertial Measurement Unit) 센서 중 적어도 하나를 포함할 수 있다.
상기 제어부는 상기 영상의 FPS (Frame Per Second) 및 해상도 중 어느 하나를 변경함으로써 상기 영상의 화질을 조절할 수 있다.
상기 제어부는 사전 설정된 영상 수집 거리를 고려하여, 상기 차량의 이동 속도가 높아짐에 따라 상기 영상의 화질을 높일 수 있다.
상기 영상 수집 거리가 상기 차량의 위치 및 시간 중 어느 하나에 따라서 변할 수 있다.
상기 제어부는 상기 외부 서버로부터 수신된 영상 수집 거리 값을 고려하여, 상기 차량의 이동 속도가 높아짐에 따라 상기 영상의 화질을 높이도록 제어할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 영상을 촬영하는 단계, 차량의 위치 변화를 감지하는 단계, 상기 차량의 위치 변화로부터 산출된 상기 차량의 이동 속도에 기반하여 상기 카메라가 촬영하는 영상의 화질을 조절하는 단계, 및, 상기 조절된 화질에 따라 촬영된 영상을 외부 서버로 전송하는 단계를 포함하는 차량 영상 처리 방법을 제공한다.
또한, 본 발명의 다른 측면에 따르면, 적어도 하나의 외부 차량과 통신하기 위한 무선통신부, 상기 외부 차량으로부터 수신한 영상을 분석하여 도로 객체를 검출하고, 상기 영상의 분석에 필요한 컴퓨팅 리소스의 사용량에 따라 변경되는 영상 수집 거리 값을 상기 외부 차량에 전송하도록 제어하는 제어부를 포함하는 도로 영상 분석 서버를 제공한다.
상기 컴퓨팅 리소스의 사용량이 높아지는 경우, 상기 영상 수집 거리 값이 커지도록 변경될 수 있다.
상기 검출된 도로 객체를 이용하여 지도 데이터가 생성되거나 업데이트될 수 있다.
본 발명에 따른 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션 의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 차량에서 도로 영상 분석 서버로 전송하는 영상 및 데이터를 주행상황 및 서버 시스템의 상황에 맞게 최적화하여 서버로 전송하여, 통신 데이터를 줄일 수 있어 안정적인 통신 환경을 유지할 수 있다는 장점이 있다.
또한, 도로 영상 분석 서버 입장에서는 일정 거리 주기 간격의 도로 영상을 받으면 되기 때문에 보다 효율적으로 적은 컴퓨팅 리소스로도 처리할 수 있고, 서버의 상황에 맞추어 상기 거리 주기 간격을 조정함으로써 서버의 컴퓨팅 리소스 문제 야기를 미연에 방지할 수 있다는 장점이 있다.
도 1은 본 발명의 일실시예에 따라 통신망을 통해 서로 무선통신이 가능한 차량 및 도로 영상 분석 서버를 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 따른 차량 내에 구비될 수 있는 영상 처리 장치를 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 따른 외부 차량으로부터 차량 영상을 수신하여 처리하는 도로 영상 분석 서버를 나타내는 블록도이다.
도 4는 본 발명의 일실시예에 따른 차량용 영상 처리 장치의 동작을 설명하기 위한 순서도이다.
도 5는 본 발명의 일실시예에 따라 준비되는 차량 영상의 화질을 나타내는 도면이다.
도 6는 본 발명의 일실시예에 따른 도로 영상 분석 서버의 동작을 설명하기 위한 순서도이다.
도 7은 본 발명의 일실시예에 따른 차량용 영상 처리 장치의 동작을 설명하기 위한 순서도이다.
도 8는 본 발명의 일실시예에 따라 준비되는 차량 영상의 화질을 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 일실시예에 따라 통신망(3000)을 통해 서로 무선통신이 가능한 차량(1000) 및 도로 영상 분석 서버(2000)를 나타내는 블록도이다.
도 1에 도시된 바에 같이, 승용차, 버스, 트럭 등과 같은 차량(1000)에 차량용 영상 처리 장치(1100)가 구비될 수 있다. 상기 차량(1000)은 내연기관 차량이든, 전기 또는 하이브리드 차량이든, 자율주행 차량이든 그 종류에 상관 없을 수 있다. 상기 영상 처리 장치(1100)는 차량 영상을 획득하여 이를 상기 통신망(3000)을 통해 상기 도로 영상 분석 서버(2000)로 전송할 수 있다.
상기 차량 영상 분석 서버(2000)는 상기 차량 영상을 수신하고 분석하여 지도를 검증하거나 업데이트하거나 새롭게 생성하는데 활용할 수 있다.
이하, 상기 차량용 영상 처리 장치(1100) 및 상기 도로 영상 분석 서버(2000)에 대해 좀더 구체적으로 살펴보겠다.
도 2를 더욱 참조하여, 상기 영상 처리 장치(1100)에 대해 먼저 설명하겠다. 도 2는 본 발명의 일실시예에 따른 차량 내에 구비될 수 있는 영상 처리 장치를 나타내는 블록도이다.
도 2에 도시된 바와 같이, 상기 차량용 영상 처리 장치(1100)는, 카메라(1110), 위치정보센서(1120), 메모리(1130), 무선통신부(1140), 및 제어부(1150)을 포함할 수 있다.
상기 카메라(1110)는 차량의 주변 환경(예를 들면, 상기 차량의 전/후/좌/우 중 적어도 한 방향)을 촬영하여 전기적 신호로 변환할 수 있다. 상기 카메라(1110)에서 촬영되어 전기적 신호로 변환된 영상(정지 영상 또는 동영상)는 상기 제어부(1150)로 제공될 수 있다. 상기 촬영된 영상은, 상기 차량(1000) 내부에 구비된 디스플레이(미도시)에서 디스플레이될 수 있다.
상기 차량용 영상 처리 장치(1100)에는 하나 또는 복수의 상기 카메라(1110)가 구비될 수 있다.
상기 카메라(1110)가 상기 차량용 영상 처리 장치(1100) 내에 반드시 구비되어야 하는 것은 아니다. 상기 카메라(1110)는 하나 또는 복수 개가 상기 차량(1000)에 구비되고, 상기 차량용 영상 처리 장치(1100)는 상기 차량(1000)에 구비된 상기 카메라(1110)로부터 차량 영상을 수신하여 이용할 수 있다.
상기 위치정보센서(1120)는 상기 차량(1000)의 위치(또는 현재 위치)를 획득하기 위한 것으로서, 그의 대표적인 예로는 GPS(Global Positioning System) 센서가 있다. 예를 들어, 상기 차량(1000)은 GPS 센서를 활용하면, GPS 위성에서 보내는 신호를 이용하여 상기 차량(1000)의 위치를 획득할 수 있다.
상기 위치정보센서(1120)는 상기 차량(1000)의 절대적 위치를 획득하는 모듈로 한정되지 않고, 상기 차량(1000)의 상대적인 위치를 획득하기 위한 모듈을 포함할 수 있다. 예를 들어, 상기 위치정보센서(1120)는, 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), 및 IMU (Inertial Measurement Unit) 센서 중 적어도 하나를 포함하여, 상기 차량의 상대적 위치 (또는 위치 이동)를 센싱할 수 있다.
상기 차량용 영상 처리 장치(1100) 내에 상기 위치정보센서(1120)가 반드시 구비되어야 하는 것은 아니다. 상기 차량용 영상 처리 장치(1100)는 상기 차량(1000)에 별도로 구비된 위치정보센서(1120)를 이용하여 상기 차량의 절대적 위치를 센싱하거나, 상기 차량(1000)에 별도로 구비된 속도 측정 장치(미도시)를 이용하여 상기 차량의 상대적 위치 변화를 센싱할 수 있다.
상기 메모리(1130)는, 상기 차량용 영상 처리 장치(1100)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 상기 메모리(1130)는 상기 차량용 영상 처리 장치(1100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 상기 영상 처리 장치(1100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
상기 메모리(1130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
상기 무선통신부(1140)는 통신망(3000)을 통해 상기 차량(1000)과 무선 통신 시스템 사이, 상기 차량(1000)와 다른 차량 사이, 또는 상기 차량(1000)와 외부서버(2000) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
상기 무선통신부(1140)는 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시) 중 적어도 하나를 포함할 수 있다.
상기 이동통신 모듈은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), 5G NR (5th Generation New Radio)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
상기 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 상기 차량(1000)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
WiBro, HSDPA, HSUPA, GSM, CDMA, WCDMA, LTE, LTE-A, 5G NR에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈은 상기 이동통신 모듈의 일종으로 이해될 수도 있다.
상기 근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신 모듈은, 근거리 무선 통신망(Wireless Area Networks)을 통해 상기 차량(1000)과 무선 통신 시스템 사이, 상기 차량(1000)과 다른 차량 사이, 또는 상기 차량(1000)과 상기 외부 서버(2000) 사이의 무선 통신을 지원할 수 있다. 상기 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
상기 차량용 영상 처리 장치(1100) 내에 상기 무선통신부(1140)가 반드시 구비되어야 하는 것은 아니다. 상기 차량용 영상 처리 장치(1100)는 상기 차량(1000)에 별도로 구비된 무선통신부(1140)를 이용하여 통신을 수행할 수도 있다.
상기 제어부(1150)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 상기 영상 처리 장치(1100)의 전반적인 동작을 제어한다. 상기 제어부(1150)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 상기 메모리(130)에 저장된 응용 프로그램을 구동함으로써, 상기 차량에 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
상기 제어부(1150)는 본 발명의 동작을 수행하기 위한 주행상황인식 모듈(1151), 영상수집거리 결정 모듈(1153), 및 영상화질 조절 모듈(1155)을 포함하는 것으로 이해될 수 있다. 상기 모듈들(1151, 1153, 1155)은 단지 본 발명의 동작을 설명하기 위한 것으로서, 상기 제어부(1150)는 본 발명의 동작을 수행하기 위한 더 적거나 많은 수의 모듈을 포함할 수 있는 것으로 이해될 수 있다. 또한, 상기 모듈들은 하드웨어 형태 뿐만 아니라 소프트웨어 형태로 구성될 수 있는 것으로 이해될 수 있다. 즉, 상기 모듈들은 반드시 하드웨어적으로 구분되어 구비될 필요는 없고, 단지 본 발명의 동작을 설명하기 위한 개념적인 것일 수 있다.
상기 주행상황인식 모듈(1151)은, 상기 위치정보센서(1120), 상기 차량 (1000)에 구비된 속도 측정 장치(미도시) 등과 같은 구성요소에서 수집된 데이터를 이용하여, 상기 차량(1000)의 현재 위치, 현재 시간, 이동 속도 등과 같은 주행 상황을 파악할 수 있다.
상기 영상수집거리 결정 모듈(1153)는 상기 파악된 주행 상황 및 상기 외부 서버(2000)로부터 수신하는 정보 중 적어도 하나를 이용하여 영상수집거리를 결정할 수 있다. 상기 영상수집거리에 대해서는 나중에 다시 설명하겠다.
그리고, 상기 영상화질조절 모듈(1155)는 상기 결정된 영상수집거리에 기반하여 상기 카메라(1110)의 차량 영상의 화질을 조절할 수 있다. 상기 제어부(1150)는 상기 결정된 화질에 부합하도록 상기 카메라(1110)이 상기 차량 영상을 촬영하도록 제어할 수도 있고, 상기 카메라(1110)에 의해 촬영된 차량 영상을 상기 결정된 화질에 부합하도록 변환하도록 제어할 수도 있다.
이상에서는 상기 파악된 주행 상황 등을 통해 영상수집거리가 결정되고, 상기 결정된 영상수집거리에 따라 상기 차량 영상의 화질이 조절되는 것으로 설명되었다. 그러나, 본 발명은 이에 한정되지 않고, 상기 파악된 주행 상황 등으로부터 바로 상기 차량 영상의 화질이 조절될 수도 있다. 이 경우, 상기 제어부(1150)는 상기 영상수집거리 결정 모듈(1153)을 구비되지 않도록 구성되어도 무방하다. 이에 대해서는 나중에 다시 설명하겠다.
이하, 도 3을 참조하여, 적어도 하나의 외부 차량(1000)으로부터 차량 영상을 수신하여 처리하는 도로 영상 분석 서버(2000)에 대해 설명하겠다. 도 3은 본 발명의 일실시예에 따른 외부 차량으로부터 차량 영상을 수신하여 처리하는 도로 영상 분석 서버를 나타내는 블록도이다.
도 3에 도시된 바와 같이, 상기 도로 영상 분석 서버(2000)는 무선통신부(2140) 및 제어부(2150)을 포함할 수 있다. 상기 도로 영상 분석 서버(2000)의 상기 무선통신부(2140) 및 상기 제어부(2150)와 상기 차량용 영상 처리 장치(1100)의 상기 무선통신부(1140) 및 상기 제어부(1150)를 각각 서로 구분할 필요가 있을 수 있다. 이 경우, 상기 차량용 영상 처리 장치(1100)의 상기 무선통신부(1140) 및 상기 제어부(1150)는 제 1 무선통신부(1140) 및 제 1 제어부(1150)으로 호칭하고, 상기 도로 영상 분석 서버(2000)의 상기 무선통신부(2140) 및 상기 제어부(2150)는 제 2 무선통신부(2140) 및 제 2 제어부(2150)로 호칭하겠다.
제 2 무선통신부(2140)는 통신망(3000)을 통해 적어도 하나의 외부차량 (즉, 제 1 무선통신부(1140))과 통신하도록 구성될 수 있다. 제 2 무선통신부(2140) 자체에 대한 설명은 앞서 설명한 제 1 무선통신부(1140)과 대동소이하므로, 자세한 설명은 생략하도록 하겠다.
제 2 제어부(2150)는 통상적으로 상기 도로 영상 분석 서버(2000)의 전반적인 동작을 제어한다. 제 2 제어부(2150)는 상기 적어도 하나의 외부 차량으로부터 수신한 차량 영상을 분석할 수 있다.
좀더 구체적으로, 제 2 제어부(2150)는 영상분석모듈(2152), 영상수집거리결정모듈(2154), 도로객체분석모듈(2156), 및 지도 데이터 모듈(2158)을 포함하는 것으로 이해될 수 있다. 상기 모듈들(2152, 2154, 2156, 2158)은 단지 본 발명의 동작을 설명하기 위한 것으로서, 제 2 제어부(2150)는 본 발명의 동작을 수행하기 위한 더 적거나 많은 수의 모듈을 포함할 수 있는 것으로 이해될 수 있다. 또한, 상기 모듈들은 하드웨어 형태 뿐만 아니라 소프트웨어 형태로 구성될 수 있는 것으로 이해될 수 있다. 즉, 상기 모듈들은 반드시 하드웨어적으로 구분되어 구비될 필요는 없고, 단지 본 발명의 동작을 설명하기 위한 개념적인 것일 수 있다.
상기 영상분석 모듈(2152)은 제 2 무선통신부(2140)을 통해 상기 외부차량(1000)에서 수신한 차량 영상을 분석하여 도로 객체(도로 및 그 주변의 지형 및 지물 등)을 추출할 수 있다. 이를 위해 상기 영상분석 모듈(2152)는 인공지능을 활용할 수 있다.
예컨대, 영상 또는 음성 등과 같은 데이터의 분석에 필요한 인공지능 모델은 학습을 통해 만들어질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 명세서에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
상기 영상수집거리결정모듈(2154)는 상기 차량 영상의 분석에 필요한 상기 서버(1000)의 컴퓨팅 리소스 사용량에 기반하여, 상기 외부 차량(1000)이 송신하는 차량 영상의 획득 또는 변환에 필요한 영상수집거리에 대해 결정할 수 있다. 상기 결정된 영상수집거리는 상기 무선통신부(2140)을 통해 상기 외부 차량(1000)으로 송신될 수 있다. 상기 송신된 영상수집거리는 상기 차량(1000)의 상기 영상 처리 장치(1100)에서 촬영되는 차량 영상의 화질을 결정하는데 사용될 수 있다. 상기 영상수집거리에 대해서는 나중에 다시 설명하겠다. 상기 컴퓨팅 리소스 사용량은 상기 영상분석 모듈(2152)만의 컴퓨팅 리소스 사용량일 수도 있고, 상기 영상분석 모듈(2152) 및 다른 모듈(예를 들면, 도로객체분석 모듈(2156))의 컴퓨팅 리소스 사용량일 수 있고, 또는 상기 서버(1000) 전체의 컴퓨팅 리소스 사용량일 수 있다.
상기 도로객체분석모듈(2156)은 상기 영상분석모듈(2152)에서 추출된 상기 도로 객체를 분석하여, 상기 도로 객체와 관한 정보(종류, 크기, 및 위치 등)을 파악하여, 상기 서버(1000)에 저장되어 있는 기존의 도로 객체와 비교하여 달라진 점이 있는지 파악할 수 있다. 여기에도 앞서 설명된 인공지능이 활용될 수도 있다.
상기 지도 데이터 모듈(2158)을 상기 비교되는 도로 객체에 기반하여 상기 서버(1000)에 저장되어 있는 지도(예를 들면, 동적 지도(Local Dynamic Map))를 검증하거나 업데이트하거나 새롭게 생성할 수 있다.
이하, 도 4를 참조하여, 본 발명이 일실시예에 따라 차량에서 영상이 획득되어 서버로 전송되는 것에 대해 좀더 구체적으로 설명하겠다. 도 4는 본 발명의 일실시예에 따른 차량용 영상 처리 장치의 동작을 설명하기 위한 순서도이다.
먼저, 상기 차량(1000)에 구비된 상기 영상 처리 장치(1100)의 상기 카메라(1110)는 상기 차량의 주변 환경에 대한 동영상을 촬영할 수 있다[S410].
그리고, 상기 영상 처리 장치(1100)의 제 1 제어부(1150)는 상기 차량의 주행 상황을 인식할 수 있다[S420]. 상기 주행 상황은 상기 차량의 이동 속도, 현재 위치, 현재 시간 (이에 한정되지 않음) 중 적어도 하나를 포함할 수 있다.
상기 S410 단계와 상기 S420 단계는 서로 순서가 바뀌어 실행될 수도 있고 함께 같이 실행될 수도 있다.
그 다음, 상기 영상 처리 장치(1100)의 제 1 제어부(1150)는 상기 주행 상황에 기반하여 상기 차량 영상의 화질을 결정할 수 있다. 상기 화질은 FPS (Frame Per Second) 및 해상도 (이에 한정되지 않음) 중 적어도 하나에 해당될 수 있다. 주행 상황에 기반하여 화질을 결정하는 것에 대해서는 나중에 다시 설명하겠다.
그 다음, 상기 영상 처리 장치(1100)의 제 1 제어부(1150)는, 상기 결정된 화질에 따른 차량 영상을 준비할 수 있다[S430].
제 1 제어부(1150)는, 상기 카메라(1110)에 의해 제 1 화질로 촬영된 차량 영상을 상기 주행 상황에 기반하여 결정된 제 2 화질로 변환함으로써 상기 차량 영상을 준비할 수 있다. 또는, 제 1 제어부(1150)는, 상기 주행 상황에 기반하여 결정된 제 2 화질로 촬영하도록 상기 카메라(1110)을 제어하고, 이에 따라 상기 카메라(111)에 의해 촬영된 제 2 화질을 획득함으로써 상기 차량 영상을 준비할 수 있다.
그 다음, 상기 영상 처리 장치(1100)의 제 1 제어부(1150)는, 상기 주행 상황에 기반하여 결정된 제 2 화질의 차량 영상을 상기 무선통신부(1140)을 통해 외부 서버, 즉 도로 영상 분석 서버(2000)으로 전송할 수 있다.
이하, 도 5를 참고하여, 차량 영상의 제 1 화질에서 제 2 화질로 변경되는 것에 대해 설명하겠다. 도 5는 본 발명의 일실시예에 따라 준비되는 차량 영상의 화질을 나타내는 도면이다. 설명의 간편함을 위해, 상기 주행 상황은 상기 차량의 주행 속도인 것으로 가정하고, 상기 화질은 상기 차량 영상의 FPS인 것으로 가정하겠다.
상기 차량(1000)의 속도가 100km/h이라면, 상기 차량(1000)은 약 1초에 약 27.7m를 이동하는 것에 해당한다. 상기 도로 영상 분석 서버(2000)가 1m 당 한 프레임이 필요하다고 가정한다면, 상기 영상 처리 장치(1100)가 준비하는 영상은 그 화질이 27FPS이면 약 1m당 한 프레임에 해당된다.
그런데, 약 1m 당 한 프레임보다 더 많은 프레임을 상기 도로 영상 분석 서버(2000)로 보내면, 오히려 상기 도로 영상 분석 서버(2000) 입장에서는 시간 당 필요 이상의 프레임들을 수신하게 되므로, 컴퓨팅 리소스의 부족을 초래할 수 있다. 특히, 상기 도로 영상 분석 서버(2000)는 상기 차량(1000) 뿐만 아니라 상기 차량(1000)이 위치하는 동일 지역 내의 다른 차량들로부터 차량 영상을 받을 수 있고, 차량 영상의 과도한 화질은 상기 도로 영상 분석 서버(2000)가 상기 동일지역 내에서 차량 영상을 수신하는 차량의 개수만큼 배가 되어 컴퓨팅 리소스 사용량이 크게 증가하기 때문이다.
앞서 설명한 "1m 당 한 프레임"에서 "1m"는 한 프레임에 해당하는 거리가 될 수 있는데, 상기 한 프레임에 해당하는 단위 거리(또는 거리 주기 간격)이 앞서 설명한 영상수집거리이다.
상기 차량의 속도가 100m/h 이하가 된다면, 상기 차량 영상의 화질을 27FPS를 유지할 필요가 없고 더 낮은 FPS의 영상이 준비될 필요가 있다. 즉, 상기 영상수집거리가 1m로 유지되는 선에서 차량 속도에 따라 상기 차량 영상의 FPS를 변경되는 것이 필요하다. 도 5의 (5-1)에서는, 정지 시에는 0 FPS, 20km/h에는 5FPS, 60Km/h에는 15FPS, 100km/h에는 27FPS, … 등과 같이 상기 영상수집거리가 약 1m로 유지되는 선에서 상기 차량 영상의 FPS가 변경되는 것에 대해 예시되어 있다.
이상에서는 차량 속도에 따라 차량 영상의 FPS가 비례하여 변경되는 것에 대해 설명되었으나, 이는 차량 속도에 따라 차량 영상의 해상도가 비례하여 변경되는 것에도 그대로 적용될 수 있다.
한편, 상기 영상수집거리는 상기 차량 속도 이외의 상기 주행 환경 (예를 들면, 현재 위치 또는 현재 시간)에 따라 변경될 수도 있다.
예를 들어, 상기 차량의 현재 위치가 도로 지형지물이 복잡한 지역(예를들면, 시내 주요간선도로 구간, 고속도로 진출입 IC 구간 등)인 경우와 그렇지 않은 경우(예를 들면, 지방 국도 구간, 진출입이 없는 고속도로 구간)인 경우는 영상수집거리가 달라질 수 있다.
또는, 현재 시간이 차량이 많은 출퇴근 시간대인 경우와 그렇지 않은 경우에 영상수집거리가 달라질 수 있다.
만약, 상기 차량의 현재 위치가 도로 지형지물이 복잡한 지역인 경우 또는 현재 시간이 차량 트래픽이 많은 출퇴근 시간대인 경우에 상기 영상수집거리가 1m였다면, 상기 차량의 현재 위치가 도로 지형지물이 복잡하지 않은 지역인 경우 또는 현재 시간이 차량 트래픽이 적은 심야 시간대인 경우에는 상기 영상 수집거리가 도 5의 (5-2)에 도시된 바와 같이 예컨대 3m로 늘어날 수 있다. 도 5의 (5-2)에서는, 정지 시에는 0 FPS, 20km/h에는 2FPS, 60Km/h에는 5FPS, 100km/h에는 9FPS, … 등과 같이 상기 영상수집거리가 약 3m로 유지되는 선에서 상기 차량 영상의 FPS가 변경되는 것에 대해 예시되어 있다.
이상에서는 상기 차량의 주행 환경에 따라 상기 영상수집거리가 변경될 수 있음에 대해 설명되었다. 그러나 본 발명은 이에 한정되지 않고, 상기 도로 영상 분석 서버(2000)의 컴퓨팅 리소스 사용률에 따라 변경될 수도 있다.
이하, 도 6을 참조하여 상기 도로 영상 분석 서버(2000)에 의해 영상수집거리가 변경되는 것에 대해 설명하겠다. 도 6는 본 발명의 일실시예에 따른 도로 영상 분석 서버의 동작을 설명하기 위한 순서도이다.
상기 도로 영상 분석 서버(1000)의 제 2 제어부(2150)는 제 2 무선통신부(2140)을 통해 외부 차량(1000)으로부터 차량 영상을 수신할 수 있다[S610]. 상기 차량 영상 정보에는 상기 외부 차량(1000)의 식별자가 포함되어 있을 수 있다.
그 다음, 제 2 제어부(2150)는 상기 수신된 차량 영상을 분석하여 상기 외부차량(1000)에서 수신한 차량 영상을 분석하여 도로 객체(도로 및 그 주변의 지형 및 지물 등)을 추출할 수 있다[S620]. 상기 차량 영상의 분석 및 상기 도로 객체의 추출에는 인공지능이 활용될 수 있음은 전술한 바와 같다.
제 2 제어부(2150)는 상기 차량 영상의 분석 및 상기 도로 객체 추출을 진행하면서 이에 필요한 컴퓨팅 리소스의 사용량을 모니터링할 수 있다[S630].
만약 상기 컴퓨팅 리소스의 사용량이 일정 레벨 이상이거나 초과를 하면[S640], 제 2 제어부(2150)는 상기 컴퓨팅 리소스의 사용량을 고려하여 변경되는 영상수집거리를 산출하고 상기 차량 영상에 포함된 식별자에 해당하는 상기 외부차량(1000)으로 상기 산출된 영상수집거리를 전송할 수 있다[S650].
좀더 구체적으로 설명하면, 제 2 제어부(2150)는 상기 차량 영상의 화질(예를 들면, FPS)를 확인함으로써, 상기 수신된 차량 영상의 영상수집거리(이하, "제 1 영상수집거리")를 확인할 수 있다. 그 다음, 제 2 제어부(2150)는 상기 컴퓨팅 리소스의 사용량이 일정 레벨 이상이거나 초과를 하면, 상기 컴퓨팅 리소스의 사용량을 고려하여 제 1 영상수집거리를 제 2 영상수집거리로 변경을 하고, 상기 변경된 제 2 영상수집거리를 상기 외부 차량(1000)으로 전송할 수 있다.
상기 외부 차량(1000)이 상기 전송된 제 2 영상수집거리를 고려하여 차량 영상을 준비하는 것에 대해서는 나중에 다시 설명하겠다.
그 다음, 제 2 제어부(2150)는 상기 추출된 도로 객체를 분석하여, 상기 도로 객체와 관한 정보(종류, 크기, 및 위치 등)을 파악하여, 상기 서버(1000)에 저장되어 있는 기존의 도로 객체와 비교하여 달라진 점이 있는지 파악할 수 있다[S660]. 여기에도 앞서 설명된 인공지능이 활용될 수도 있다.
그 다음, 제 2 제어부(2150)는 상기 비교되는 도로 객체에 기반하여 상기 서버(1000)에 저장되어 있는 지도(예를 들면, 동적 지도(Local Dynamic Map))를 검증하거나 업데이트하거나 새롭게 생성할 수 있다[S670].
이하, 도 7을 참조하면서, 상기 차량(1000)이 상기 도로 영상 분석 서버(2000)부터 제 2 영상수집거리를 수신하고 이를 이용하여 차량 영상을 준비하는 것에 대해 설명하겠다. 도 7은 본 발명의 일실시예에 따른 차량용 영상 처리 장치의 동작을 설명하기 위한 순서도이다.
먼저, 상기 차량 영상 처리 장치(1000)는 외부 서버(즉, 상기 도로 영상 분석 서버)(2000)로 차량 영상을 전송할 수 있다[S710]. 상기 전송되는 차량 영상은 도 4에서 설명된 바와 같이 준비된 것으로서 제 1 영상수집거리(예를 들면, 1m)에 따른 제 1 화질(도 5의 (5-1))인 것으로 가정하겠다.
그 후, 상기 차량 영상 처리 장치(1000)의 제 1 제어부(1150)는 상기 외부 서버(2000)로부터 제 2 영상수집거리(예를 들면, 3m)를 수신하는지 여부를 판단할 수 있다[S720].
제 2 영상수집거리가 수신되지 않는다면, 상기 차량 영상 처리 장치(1000)는 상기 외부 서버(2000)로 제 1 화질의 차량 영상을 계속 전송할 수 있다[S710].
제 2 영상수집거리가 수신된다면, 상기 영상 처리 장치(1100)의 제 1 제어부(1150)는, 제 2 영상수집거리를 고려한 영상 화질(제 2 화질)을 결정할 수 있다[S730].
상기 영상 처리 장치(1100)의 제 1 제어부(1150)는, 제 2 화질에 따른 차량 영상(도 5의 (5-2))을 준비할 수 있다[S740].
제 1 제어부(1150)는, 상기 카메라(1110)에 의해 제 1 화질로 촬영된 차량 영상을 제 2 영상수집거리에 부합하는 제 2 화질로 변환함으로써 상기 차량 영상을 준비할 수 있다.
또는, 제 1 제어부(1150)는, 제 2 영상수집거리에 부합하는 제 2 화질로 촬영하도록 상기 카메라(1110)을 제어하고, 이에 따라 상기 카메라(111)에 의해 촬영된 제 2 화질을 획득함으로써 상기 차량 영상을 준비할 수 있다.
그 다음, 상기 영상 처리 장치(1100)의 제 1 제어부(1150)는, 상기 주행 상황에 기반하여 결정된 제 2 화질의 차량 영상을 상기 무선통신부(1140)을 통해 외부 서버, 즉 도로 영상 분석 서버(2000)으로 전송할 수 있다[S750].
즉, 상기 차량(1000)이 동일한 주행 환경(예를 들면, 현재 위치 또는 현재 시간)에 따라 운행 중에 있더라도, 상기 도로 영상 분석 서버(2000)의 컴퓨팅 리소스의 사용량에 따라서 다른 화질의 차량 영상을 상기 도로 영상 분석 서버(2000)로 전송할 수 있다.
한편, 도 5에서는 상기 차량의 주행 환경에 따라 영상수집거리가 변경되는 경우에 대해 설명되었고, 도 7에서는 상기 도로 영상 분석 서버(2000)의 컴퓨팅 리소스의 사용량에 따라서 영상수집거리가 변경되는 경우에 대해 설명되었다. 이들이 반드시 각각 개별적으로 고려되어 영상수집거리가 변경될 필요는 없고, 함께 고려되어 영상수집거리가 변경될 수도 있다.
이에 대해 도 8을 더욱 참조하여 좀더 구체적으로 설명하겠다. 도 8는 본 발명의 일실시예에 따라 준비되는 차량 영상의 화질을 나타내는 도면이다.
도 5에서는 상기 차량이 제 1 영상수집거리(1m) 에 따른 제 1 화질(도 5의 (5-1))의 차량 영상을 송신하는 중에 소정 주행 상황이 되면 제 2 영상수집거리(3m)에 따른 제 2 화질((도 5의 (5-2))) 차량 영상을 송신하는 것이 설명되어 있다. 또한, 도 7에서는 상기 차량이 제 1 영상수집거리(1m)에 따른 제 1 화질(도 5의 (5-1))의 차량 영상을 송신하는 중에 상기 도로 영상 분석 서버가 소정 컴퓨팅 리소스 사용량이 되면 제 2 영상수집거리(3m)에 따른 제 2 화질(도 5의 (5-2))의 차량 영상을 송신하는 것이 설명되어 있다.
그런데, 상기 차량이 제 1 영상수집거리(1m)에 따른 제 1 화질(도 5의 (5-1))의 차량 영상을 송신하는 중에 상기 소정 주행 상황이 될 뿐 아니라 상기 영성 분석 서버가 상기 소정 컴퓨팅 리소스 사용량이 될 수도 있다.
이 경우에는, 도 8에 도시된 바와 같이, 제 2 영상수집거리(3m)이 아닌 제 3 영상수집거리(5m)에 따른 제 3 화질의 차량 영상을 송신할 수도 있다. 도 8에서는, 정지 시에는 0 FPS, 20km/h에는 1FPS, 60Km/h에는 3FPS, 100km/h에는 5FPS, … 등과 같이 상기 영상수집거리가 약 5m로 유지되는 선에서 상기 차량 영상의 FPS가 변경되는 것에 대해 예시되어 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
1000: 차량 1100: 차량용 영상처리장치
2000: 도로 영상 분석 서버 3000: 통신망

Claims (16)

  1. 영상을 촬영하기 위한 카메라;
    외부 서버와 통신하기 위한 무선통신부;
    차량의 이동 속도에 기반하여 상기 카메라가 촬영하는 영상의 화질을 조절하고,
    상기 조절된 화질에 따라 촬영된 영상을 상기 외부 서버로 전송하도록 제어하는 제어부;를 포함하고,
    상기 제어부는,
    상기 외부 서버로부터 수신되는 영상 수집 거리 값과 상기 차량의 이동 속도에 기반하여 상기 영상의 화질을 조절하도록 제어하고,
    상기 영상 수집 거리 값은 상기 영상의 분석에 필요한 상기 외부 서버의 컴퓨팅 리소스 사용량에 따라 정해지는 것을 특징으로 하는 차량용 영상 처리 장치.
  2. 제 1 항에 있어서, 상기 제어부는,
    상기 차량 내부의 속도 측정 장치에서 측정된 상기 이동 속도에 기반하여 상기 영상의 화질을 조절하는 것을 특징으로 하는 차량용 영상 처리 장치.
  3. 제 1 항에 있어서,
    상기 차량용 영상 처리 장치는 상기 차량의 위치 변화를 감지하기 위한 위치정보센서를 더욱 구비하고, 상기 제어부는,
    상기 위치정보센서를 통해 파악된 상기 차량의 위치 변화로부터 산출된 상기 차량의 이동 속도에 기반하여 상기 영상의 화질을 조절하는 것을 특징으로 하는 차량용 영상 처리 장치.
  4. 제 3 항에 있어서, 상기 위치정보센서는,
    GPS(Global Positioning System) 센서, 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), 및 IMU (Inertial Measurement Unit) 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 차량용 영상 처리 장치.
  5. 제 1 항에 있어서, 상기 제어부는,
    상기 영상의 FPS (Frame Per Second) 및 해상도 중 어느 하나를 변경함으로써 상기 영상의 화질을 조절하는 것을 특징으로 하는 차량용 영상 처리 장치.
  6. 제 1 항에 있어서, 상기 제어부는,
    상기 영상 수집 거리에 기반하여, 상기 차량의 이동 속도가 높아짐에 따라 상기 영상의 화질을 높이도록 제어하는 것을 특징으로 하는 차량용 영상 처리 장치.
  7. 제 6 항에 있어서, 상기 제어부는
    상기 영상 수집 거리가, 상기 차량의 위치 및 시간 중 어느 하나에 따라서 더욱 변하도록 제어하는 것을 특징으로 하는 차량용 영상 처리 장치.
  8. 제 1 항에 있어서,
    상기 외부 서버는 도로 영상 분석 서버인 것을 특징으로 하는 차량용 영상 처리 장치.
  9. 영상을 촬영하는 단계;
    차량의 위치 변화를 감지하는 단계;
    상기 차량의 위치 변화로부터 산출된 상기 차량의 이동 속도에 기반하여 카메라가 촬영하는 영상의 화질을 조절하는 단계; 및,
    상기 조절된 화질에 따라 촬영된 영상을 외부 서버로 전송하는 단계를 포함하고,
    상기 외부 서버로부터 수신되는 영상 수집 거리 값과 상기 차량의 이동 속도에 기반하여 상기 영상의 화질이 조절되고,
    상기 영상 수집 거리 값은 상기 영상의 분석에 필요한 상기 외부 서버의 컴퓨팅 리소스 사용량에 따라 정해지는 것을 특징으로 하는 차량용 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 영상의 FPS (Frame Per Second) 및 해상도 중 어느 하나를 변경함으로써 상기 영상의 화질이 조절되는 것을 특징으로 하는 차량용 영상 처리 방법.
  11. 제 9 항에 있어서,
    상기 영상 수집 거리 값에 기반하여, 상기 차량의 이동 속도가 높아짐에 따라 상기 영상의 화질이 높아지는 것을 특징으로 하는 차량용 영상 처리 방법.
  12. 제 11 항에 있어서, 상기 영상 수집 거리 값이, 상기 차량의 위치 및 시간 중 어느 하나에 따라서 더욱 변하는 것을 특징으로 하는 차량용 영상 처리 방법.
  13. 제 10 항에 있어서,
    상기 외부 서버는 도로 영상 분석 서버인 것을 특징으로 하는 차량용 영상 처리 방법.
  14. 적어도 하나의 외부 차량과 통신하기 위한 무선통신부;
    상기 외부 차량으로부터 수신한 영상을 분석하여 도로 객체를 검출하고,
    상기 영상의 분석에 필요한 컴퓨팅 리소스의 사용량에 따라 변경되는 영상 수집 거리 값을 상기 외부 차량에 전송하도록 제어하는 제어부;를 포함하고,
    상기 영상 수집 거리 값은 상기 영상의 한 프레임당 상기 외부 차량의 이동 거리에 대응되는 것을 특징으로 하는 도로 영상 분석 서버.
  15. 제 14 항에 있어서, 상기 제어부는,
    상기 컴퓨팅 리소스의 사용량이 높아지는 경우, 상기 영상 수집 거리 값이 커지도록 변경하도록 제어하는 것을 특징으로 하는 도로 영상 분석 서버.
  16. 제 14 항에 있어서, 상기 제어부는,
    상기 검출된 도로 객체를 이용하여 지도 데이터를 생성하거나 업데이트하는 것을 특징으로 하는 도로 영상 분석 서버.
KR1020210061837A 2021-05-13 2021-05-13 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션 KR102545453B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210061837A KR102545453B1 (ko) 2021-05-13 2021-05-13 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210061837A KR102545453B1 (ko) 2021-05-13 2021-05-13 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션

Publications (2)

Publication Number Publication Date
KR20220154381A KR20220154381A (ko) 2022-11-22
KR102545453B1 true KR102545453B1 (ko) 2023-06-20

Family

ID=84236510

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210061837A KR102545453B1 (ko) 2021-05-13 2021-05-13 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션

Country Status (1)

Country Link
KR (1) KR102545453B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013109638A (ja) 2011-11-22 2013-06-06 Pioneer Electronic Corp 画像処理装置、サーバ、携帯端末装置、及び画像処理方法
JP2013109639A (ja) 2011-11-22 2013-06-06 Pioneer Electronic Corp 画像処理装置、サーバ、携帯端末装置、及び画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013109638A (ja) 2011-11-22 2013-06-06 Pioneer Electronic Corp 画像処理装置、サーバ、携帯端末装置、及び画像処理方法
JP2013109639A (ja) 2011-11-22 2013-06-06 Pioneer Electronic Corp 画像処理装置、サーバ、携帯端末装置、及び画像処理方法

Also Published As

Publication number Publication date
KR20220154381A (ko) 2022-11-22

Similar Documents

Publication Publication Date Title
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
CN110543814A (zh) 一种交通灯的识别方法及装置
US9686451B2 (en) Real time driving difficulty categorization
CN111292351A (zh) 车辆检测方法及执行其的电子设备
KR101837096B1 (ko) 차량용 프록시 장치 및 데이터관리서버의 차량데이터 관리방법
US20190009790A1 (en) Resource optimization in vehicles
CN110648539B (zh) 车载装置以及控制方法
KR20230010262A (ko) 경찰차를 활용한 포트홀 실시간 탐지 방법
CN110673647B (zh) 全向避障方法及无人飞行器
CN111319560B (zh) 信息处理***、程序和信息处理方法
KR101428008B1 (ko) 사고 감지 기능을 구비한 블랙박스 장치 및 그 사고 감지 방법
US20240185644A1 (en) Drive recorder, method of operating drive recorder, and recording medium storing instructions for operating same
US11245909B2 (en) Timestamp and metadata processing for video compression in autonomous driving vehicles
KR20220142590A (ko) 차량 외관의 검출을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 저장 매체
KR102545453B1 (ko) 차량용 영상 처리 장치, 도로 영상 분석 서버, 및 이들 간의 인터커넥션
EP3669358B1 (en) Server, method, non-transitory computer-readable medium, and system
US20240025394A1 (en) System for parking an autonomous vehicle
US11386670B2 (en) Methods and systems for tracking non-connected vehicles
US20190347805A1 (en) Adaptive data collecting and processing system and methods
KR20210146891A (ko) 정보 처리 장치 및 정보 처리 방법
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
US20220391634A1 (en) Systems and methods for scheduling environment perception-based data offloading for numerous connected vehicles
US20240127105A1 (en) Systems and methods for contribution-aware federated learning
US20210362749A1 (en) Hardware accelerated network interface for an autonomous vehicle switched-network
US20240196462A1 (en) Electronic device and method for providing cloud-based vehicle information

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant