KR102270799B1 - Around View Monitor System with camera blind spot restoration - Google Patents

Around View Monitor System with camera blind spot restoration Download PDF

Info

Publication number
KR102270799B1
KR102270799B1 KR1020190162344A KR20190162344A KR102270799B1 KR 102270799 B1 KR102270799 B1 KR 102270799B1 KR 1020190162344 A KR1020190162344 A KR 1020190162344A KR 20190162344 A KR20190162344 A KR 20190162344A KR 102270799 B1 KR102270799 B1 KR 102270799B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
blind spot
avm
vehicle position
Prior art date
Application number
KR1020190162344A
Other languages
Korean (ko)
Other versions
KR20200070137A (en
Inventor
김종효
박성령
엄태정
하수영
성동진
정명환
Original Assignee
아진산업(주)
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 오토아이티(주) filed Critical 아진산업(주)
Publication of KR20200070137A publication Critical patent/KR20200070137A/en
Application granted granted Critical
Publication of KR102270799B1 publication Critical patent/KR102270799B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템은, 차량 주행 속도, 차량 주행 방향 및 차량 회전각 중 적어도 하나에 기반하여, 차량 위치값을 획득하는 차량 위치 추적부; 차량에 설치된 다수의 카메라를 통해 전방 영상, 후방 영상, 좌측 영상, 우측 영상을 획득한 후, 상기 차량 위치값을 매핑하여 저장하는 주변 영상 획득부; 상기 전방 영상, 후방 영상, 좌측 영상, 우측 영상을 이용하여 AVM 영상을 생성하는 AVM 영상 생성부; 상기 AVM 영상내 사각지대를 식별하고, 상기 차량 위치값과 상기 사각지대의 영상 좌표 정보에 기반하여 사각지대 위치값을 추출하는 사각지대 위치 추출부; 및 기 저장된 전방 영상 또는 후방 영상들을 검색하여 상기 사각지대 위치값에 대응되는 차량 위치값을 가지는 관심 영상을 획득하고, 상기 관심 영상을 이용하여 상기 AVM 영상내 사각지대를 복원하는 AVM 영상 보정부를 포함할 수 있다. An around-view monitor system according to an embodiment of the present invention includes: a vehicle location tracking unit configured to obtain a vehicle location value based on at least one of a vehicle traveling speed, a vehicle traveling direction, and a vehicle rotation angle; a peripheral image acquisition unit that acquires a front image, a rear image, a left image, and a right image through a plurality of cameras installed in the vehicle, and maps and stores the vehicle position value; an AVM image generator configured to generate an AVM image using the front image, the rear image, the left image, and the right image; a blind spot location extractor that identifies a blind spot in the AVM image and extracts a location value of the blind spot based on the vehicle location value and image coordinate information of the blind spot; and an AVM image correction unit configured to search pre-stored front images or rear images to obtain an image of interest having a vehicle position value corresponding to the blind spot position value, and to restore a blind spot in the AVM image using the interest image. can do.

Description

카메라 사각지대 복원 기능을 가지는 어라운드 뷰 모니터 시스템{Around View Monitor System with camera blind spot restoration}Around View Monitor System with camera blind spot restoration}

본 출원은 카메라 사각지대를 영상 처리 방식으로 제거할 수 있도록 하는 카메라 사각지대 영상을 복원 가능한 어라운드 뷰 모니터 시스템에 관한 것이다.The present application relates to an around-view monitor system capable of reconstructing a camera blind spot image that allows the camera blind spot to be removed by an image processing method.

어라운드 뷰 모니터(Around View Monitor; AVM) 시스템이란, 차량에 부착된 카메라가 촬영한 차량 주변의 영상을 차량 내에 있는 모니터에 표시하여, 운전자가 모니터의 영상을 통해 차량 주변의 상황을 인지한 상태에서 운전을 할 수 있게 해주는 시스템을 말한다.The Around View Monitor (AVM) system displays the images around the vehicle captured by the camera attached to the vehicle on the monitor inside the vehicle, allowing the driver to recognize the situation around the vehicle through the monitor image. A system that allows you to drive.

일반적으로 어라운드 뷰 모니터 시스템은 모니터를 통해 차량의 전방 영상과 더불어 차량의 위에서 내려다본 탑 뷰(Top View)를 표시해 줌으로써, 운전자가 차량의 전방뿐만 아니라, 좌측, 우측 및 후방의 상황도 인지할 수 있게 한다.In general, the around-view monitor system displays the top view of the vehicle along with the front image of the vehicle through the monitor, so that the driver can recognize not only the front of the vehicle, but also the left, right, and rear conditions. let there be

그러나, 카메라가 차량에 설치되는 위치에 따라 카메라의 사각지대가 존재할 수 있으며, 이로 인해 차량 주변의 영상을 정확하게 보여주는데 한계가 있다.However, depending on the location where the camera is installed in the vehicle, there may be a blind spot of the camera, which limits the ability to accurately display images around the vehicle.

따라서, 당해 기술분야에서는 어라운드 뷰 모니터 시스템에 있어서, 기 저장된 전방 영상 또는 후방 영상을 이용하여 영상 처리 방식으로 현재 AVM 영상내 사각지대 영상을 복원할 수 있도록 하는 카메라 사각지대 영상을 복원 가능한 어라운드 뷰 모니터 시스템을 제공하고자 한다. Therefore, in the related art, in an around-view monitor system, an around-view monitor capable of restoring a camera blind spot image that can restore a blind spot image in the current AVM image using an image processing method using a pre-stored front image or a rear image We want to provide a system.

상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 어라운드 뷰 모니터 시스템을 제공한다.In order to solve the above problems, an embodiment of the present invention provides an around-view monitor system.

상기 어라운드 뷰 모니터 시스템은, 차량 주행 속도, 차량 주행 방향 및 차량 회전각 중 적어도 하나에 기반하여, 차량 위치값을 획득하는 차량 위치 추적부; 차량에 설치된 다수의 카메라를 통해 전방 영상, 후방 영상, 좌측 영상, 우측 영상을 획득한 후, 상기 차량 위치값을 매핑하여 저장하는 주변 영상 획득부; 상기 전방 영상, 후방 영상, 좌측 영상, 우측 영상을 이용하여 AVM 영상을 생성하는 AVM 영상 생성부; 상기 AVM 영상내 사각지대를 식별하고, 상기 차량 위치값과 상기 사각지대의 영상 좌표 정보에 기반하여 사각지대 위치값을 추출하는 사각지대 위치 추출부; 및 기 저장된 전방 영상 또는 후방 영상들을 검색하여 상기 사각지대 위치값에 대응되는 차량 위치값을 가지는 관심 영상을 획득하고, 상기 관심 영상을 이용하여 상기 AVM 영상내 사각지대를 복원하는 AVM 영상 보정부를 포함할 수 있다. The around-view monitor system may include: a vehicle position tracking unit configured to obtain a vehicle position value based on at least one of a vehicle traveling speed, a vehicle traveling direction, and a vehicle rotation angle; a peripheral image acquisition unit that acquires a front image, a rear image, a left image, and a right image through a plurality of cameras installed in the vehicle, and maps and stores the vehicle position value; an AVM image generator configured to generate an AVM image using the front image, the rear image, the left image, and the right image; a blind spot location extractor that identifies a blind spot in the AVM image and extracts a location value of the blind spot based on the vehicle location value and image coordinate information of the blind spot; and an AVM image correction unit configured to search pre-stored front images or rear images to obtain an image of interest having a vehicle position value corresponding to the blind spot position value, and to restore a blind spot in the AVM image using the interest image. can do.

상기 차량 위치 추적부는 차량 운행 시작시 차량 위치를 시작 위치로 설정한 후, 차량 주행 속도, 차량 주행 방향 및 차량 회전각을 통해 단위 시간당 차량 위치 변화량을 산출 및 누적함으로써, 현재의 차량 위치값을 산출하는 것을 특징으로 한다. The vehicle position tracking unit sets the vehicle position as the starting position at the start of vehicle operation, and then calculates and accumulates the vehicle position change per unit time through the vehicle traveling speed, the vehicle traveling direction, and the vehicle rotation angle, thereby calculating the current vehicle position value. characterized in that

또한 상기 차량 위치 추적부는 전방 영상과 후방 영상 각각에 대응되는 2개의 차량 위치값을 획득 및 저장하되, 2개의 차량 위치값 중 어느 하나는 차량 주행 속도, 차량 주행 방향 및 차량 회전각 기반으로 직접 산출하고, 나머지 하나는 전방 카메라와 후방 카메라간의 위치관계에 기반하여 상기 직접 산출된 차량 위치값으로부터 유추되는 것을 특징으로 한다. In addition, the vehicle position tracking unit acquires and stores two vehicle position values corresponding to the front image and the rear image, respectively, and any one of the two vehicle position values is directly calculated based on the vehicle traveling speed, the vehicle traveling direction, and the vehicle rotation angle and the other one is inferred from the directly calculated vehicle position value based on the positional relationship between the front camera and the rear camera.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.Incidentally, the means for solving the above problems do not enumerate all the features of the present invention. Various features of the present invention and its advantages and effects may be understood in more detail with reference to the following specific embodiments.

본 발명의 일 실시예에 따르면, 기 저장된 전방 영상 또는 후방 영상을 이용하여 현재 AVM 영상내 사각지대 영상을 복원함으로써, 보다 정확한 차량 주변의 영상을 제공할 수 있다.According to an embodiment of the present invention, a more accurate image around the vehicle may be provided by reconstructing a blind spot image in the current AVM image using a pre-stored front image or rear image.

도 1은 본 발명의 일 실시예에 따른 전후방 영상을 이용하여 카메라 사각지대 영상을 복원 가능한 어라운드 뷰 모니터 시스템의 구성도이다.
도 2는 차량에 설치된 카메라에 의해 획득한 차량 주변 영상을 도시하는 도면이다.
도 3 및 도 4는 카메라의 설치 위치에 따른 사각지대를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 전방 또는 후방 영상을 이용하여 사각지대 영상을 복원하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템의 상세 구성도이다. 1 is a block diagram of an around-view monitor system capable of reconstructing a camera blind spot image using front and rear images according to an embodiment of the present invention.
2 is a view showing an image around the vehicle acquired by a camera installed in the vehicle.
3 and 4 are diagrams for explaining a blind spot according to an installation position of a camera.
5 is a diagram for explaining the concept of reconstructing a blind spot image using a front or rear image according to an embodiment of the present invention.
6 is a detailed configuration diagram of an around-view monitor system according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is 'connected' with another part, it is not only 'directly connected' but also 'indirectly connected' with another element interposed therebetween. include In addition, 'including' a certain component means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 1은 본 발명의 일 실시예에 따른 카메라 사각지대 복원 기능을 가지는 어라운드 뷰 모니터 시스템 의 구성도이다.1 is a block diagram of an around-view monitor system having a camera blind spot restoration function according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템(200)은 차량에 설치된 카메라(100)에 의해 촬영된 차량의 주변 영상, 즉 전방, 후방, 좌측 및 우측 영상을 이용하여 AVM 영상을 생성하고, 기 저장된 AVM 영상을 이용하여 새로이 생성되는 AVM 영상의 사각지대를 보정한 후, 보정된 AVM 영상을 모니터(300)를 통해 표시할 수 있다.Referring to FIG. 1 , an around-view monitor system 200 according to an embodiment of the present invention uses images around a vehicle captured by a camera 100 installed in the vehicle, that is, front, rear, left and right images. After generating an AVM image and correcting a blind spot of a newly created AVM image using a pre-stored AVM image, the corrected AVM image may be displayed on the monitor 300 .

여기서, 카메라(100)는 차량의 전방, 후방, 좌측 및 우측의 영상을 획득하기 위한 복수의 카메라를 포함할 수 있다. 예를 들어, 카메라(100)는 차량의 전방, 후방, 좌측 및 우측의 영상을 각각 획득하기 위해 설치된 4대의 카메라를 포함할 수 있다.Here, the camera 100 may include a plurality of cameras for acquiring images of the front, rear, left and right sides of the vehicle. For example, the camera 100 may include four cameras installed to acquire images of the front, rear, left, and right sides of the vehicle, respectively.

어라운드 뷰 모니터 시스템(200)은 상술한 바와 같이 AVM 영상을 생성하고, 생성된 AVM 영상의 사각지대를 보정하기 위한 것으로, 이의 구체적인 구성 및 기능은 도 5 및 도 6을 참조하여 후술한다.The around-view monitor system 200 generates an AVM image as described above and corrects a blind spot of the generated AVM image, and its specific configuration and function will be described later with reference to FIGS. 5 and 6 .

모니터(300)는 어라운드 뷰 모니터 시스템(200)으로부터 제공된 보정된 AVM 영상을 표시할 수 있다. 예를 들어, 모니터(300)는 차량에 구비된 디스플레이 패널, 차량의 내부에 설치된 디스플레이 장치 등으로 구현될 수 있다.The monitor 300 may display the corrected AVM image provided from the around-view monitor system 200 . For example, the monitor 300 may be implemented as a display panel provided in a vehicle, a display device installed inside the vehicle, or the like.

도 2는 차량에 설치된 카메라에 의해 획득한 차량 주변 영상을 도시하는 도면이다.2 is a diagram illustrating an image around a vehicle acquired by a camera installed in the vehicle.

도 2를 참조하면, 차량의 전방(상좌), 후방(하우), 좌측(하좌) 및 우측(상우)의 영상을 각각 획득하기 위해 설치된 4대의 카메라에 의해 획득한 영상을 도시한다. Referring to FIG. 2 , it shows images acquired by four cameras installed to acquire images of the front (upper left), rear (lower), left (lower left) and right (upper right) of the vehicle, respectively.

도 3 및 도 4는 카메라의 설치 위치에 따른 사각지대를 설명하기 위한 도면이다.3 and 4 are diagrams for explaining a blind spot according to an installation position of a camera.

도 3 및 도 4를 참조하면, 차량의 좌측 및 우측의 영상을 획득하기 위한 측면 카메라는 설치의 편의를 위해 차량의 상부 측면에 설치될 수 있다.3 and 4 , a side camera for acquiring images of the left and right sides of the vehicle may be installed on the upper side of the vehicle for convenience of installation.

그러나, 이 경우 차량의 형상으로 인해 차량 측면의 바닥면의 일부가 보이지 않고 차량의 측면이 보이는 현상이 발생한다.However, in this case, due to the shape of the vehicle, a phenomenon in which the side surface of the vehicle is not seen occurs instead of a part of the floor surface of the vehicle side.

따라서, 본 발명의 일 실시예에 따르면, 이와 같은 문제를 해결하기 위해 기 저장된 AVM 영상을 이용하여 현재 AVM 영상내 사각지대 영상을 복원함으로써 보다 정확한 차량 주변의 영상을 제공할 수 있도록 한다.Therefore, according to an embodiment of the present invention, in order to solve this problem, a more accurate image around the vehicle can be provided by reconstructing a blind spot image in the current AVM image using a pre-stored AVM image.

도 5는 본 발명의 일 실시예에 따라 전방 또는 후방 영상을 이용하여 사각지대 영상을 복원하는 개념을 설명하기 위한 도면이다.5 is a diagram for explaining the concept of reconstructing a blind spot image using a front or rear image according to an embodiment of the present invention.

도 5를 참조하면, 차량이 이동함에 따라 전방 또는 후방 영역이 차량의 측면 영역으로 이동하게 된다. Referring to FIG. 5 , as the vehicle moves, the front or rear area moves to the side area of the vehicle.

차량의 측면 영상에는 사각지대가 존재하나, 차량의 전방 또는 후방 영역은 사각지대 없이 전체 영상을 획득할 수 있다. Although there is a blind spot in the side image of the vehicle, the entire image can be obtained without the blind spot in the front or rear area of the vehicle.

따라서, 기 저장된 전방 또는 후방 영상으로부터 현재 AVM 영상의 사각지대에 해당하는 영상을 추출하고, 추출한 영상을 이용하여 현재 AVM 영상의 사각지대의 사각지대 영상을 보정함으로써 차량 주변의 전체 영상을 보여줄 수 있다.Therefore, by extracting the image corresponding to the blind spot of the current AVM image from the pre-stored front or rear image, and correcting the image of the blind spot of the blind spot of the current AVM image using the extracted image, the entire image around the vehicle can be displayed. .

도 5는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템의 상세 구성도이다. 5 is a detailed configuration diagram of an around-view monitor system according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터 시스템(200)은 차량 위치 추적부(210), 주변 영상 획득부(220), AVM 영상 생성부(230), 사각지대 위치 추적부(240), 및 AVM 영상 보정부(250) 등을 포함한다. Referring to FIG. 5 , the around-view monitor system 200 according to an embodiment of the present invention includes a vehicle position tracking unit 210 , a surrounding image acquisition unit 220 , an AVM image generation unit 230 , and a blind spot position tracking unit. It includes a unit 240 and an AVM image correction unit 250 , and the like.

차량 위치 추적부(210)는 차량 센서 또는 ECU와 상호 연동되어, 이들로부터 차량 주행 속도, 차량 주행 방향 및 차량 회전각에 대한 정보를 수신 및 분석하여, 차량 위치값을 실시간 획득 및 출력한다. The vehicle position tracking unit 210 interworks with a vehicle sensor or ECU, receives and analyzes information on vehicle traveling speed, vehicle traveling direction, and vehicle rotation angle from them, and obtains and outputs a vehicle position value in real time.

즉, 차량 운행 시작시 차량 위치를 시작 위치로 설정한 후, 차량 주행 속도, 차량 주행 방향 및 차량 회전각을 통해 단위 시간당 차량 위치 변화량을 산출한다. 그리고 단위 시간당 차량 위치 변화량을 누적시킴으로써, 현재의 차량 위치값을 산출할 수 있도록 한다. That is, after setting the vehicle position as the starting position at the start of vehicle operation, the vehicle position change amount per unit time is calculated through the vehicle traveling speed, the vehicle traveling direction, and the vehicle rotation angle. In addition, by accumulating the vehicle position change amount per unit time, the current vehicle position value can be calculated.

더하여, 차량 위치값은 전방 영상과 후방 영상 각각에 대응되도록 2개일 수 있다. 다만, 2개의 차량 위치값 중 어느 하나는 차량 주행 속도, 차량 주행 방향 및 차량 회전각 기반으로 직접 산출되고, 나머지 하나는 전방 카메라와 후방 카메라간의 위치관계에 기반하여 상기 차량 위치값으로부터 유추될 수 있도록 한다. In addition, the vehicle position value may be two to correspond to each of the front image and the rear image. However, one of the two vehicle position values is directly calculated based on the vehicle traveling speed, the vehicle traveling direction, and the vehicle rotation angle, and the other one can be inferred from the vehicle position value based on the positional relationship between the front camera and the rear camera. let it be

이때, 전방 카메라와 후방 카메라간의 위치관계는 복수의 카메라 각각의 캘리브레이션 정보(즉, 카메라 내외부 파라미터)를 이용하여 자동 산출 가능하나, 필요시에는 사용자가 수동 설정할 수도 있도록 한다. In this case, the positional relationship between the front camera and the rear camera can be automatically calculated using calibration information (ie, camera internal/external parameters) of each of the plurality of cameras, but if necessary, the user may manually set the positional relationship.

주변 영상 획득부(220)는 차량에 분산 설치된 복수의 카메라에 의해 획득한 전방, 후방, 좌측 및 우측 영상을 획득한 후, 차량 위치 추적부(210)를 통해 획득된 차량 위치값을 매핑하여 저장한다. The surrounding image acquisition unit 220 acquires the front, rear, left and right images acquired by a plurality of cameras distributed and installed in the vehicle, and then maps and stores the vehicle position values acquired through the vehicle position tracking unit 210 . do.

AVM 영상 생성부(230)는 복수의 카메라 각각의 캘리브레이션 정보(즉, 카메라 내외부 파라미터)를 사전 획득 및 저장하고, 이를 기반으로 복수의 카메라를 통해 획득된 전방, 후방, 좌측 및 우측 영상을 합성하여 하나의 AVM 영상을 생성한다. 그리고 AVM 영상을 모니터(300)를 통해 표시한다. The AVM image generator 230 pre-acquires and stores the calibration information (ie, camera internal and external parameters) of each of the plurality of cameras, and synthesizes the front, rear, left and right images obtained through the plurality of cameras based on this. Creates one AVM image. Then, the AVM image is displayed through the monitor 300 .

사각지대 위치 추적부(240)는 AVM 영상내 사각지대를 식별한 후, 현재 차량 위치값과 사각지대의 영상 좌표 정보에 기반하여 사각지대 위치값을 추출한다. 이때, 사각지대는 영상 처리 방식으로 자동 검출되거나, 사용자 등에 의해 수동 설정될 수 있다. After identifying the blind spot in the AVM image, the blind spot location tracking unit 240 extracts the blind spot location value based on the current vehicle location value and image coordinate information of the blind spot. In this case, the blind spot may be automatically detected by an image processing method or may be manually set by a user or the like.

AVM 영상 보정부(250)는 기 저장된 전방 또는 후방 영상을 검색하여, 사각지대 위치값에 대응되는 차량 위치값을 가지는 영상들을 관심 영상으로 획득한다. 그리고 관심 영상으로부터 사각지대에 대응되는 영상 정보를 추출한 후, 추출된 영상 정보를 AVM 영상내 사각지대에 영상 매칭시킴으로써, AVM 영상내 사각지대를 복원되도록 한다. The AVM image compensator 250 searches for a pre-stored front or rear image, and acquires images having a vehicle position value corresponding to a blind spot position value as an image of interest. And after extracting image information corresponding to the blind spot from the image of interest, by matching the extracted image information to the blind spot in the AVM image, the blind spot in the AVM image is restored.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.The present invention is not limited by the above embodiments and the accompanying drawings. For those of ordinary skill in the art to which the present invention pertains, it will be apparent that the components according to the present invention can be substituted, modified and changed without departing from the technical spirit of the present invention.

100: 카메라
200: 어라운드 뷰 모니터 시스템
210: 차량 위치 추적부
220: 주변 영상 획득부
230: AVM 영상 생성부
240: 사각지대 위치 추적부
250: AVM 영상 보정부
300: 모니터100: camera
200: around view monitor system
210: vehicle location tracking unit
220: surrounding image acquisition unit
230: AVM image generator
240: blind spot location tracking unit
250: AVM image correction unit
300: monitor

Claims (3)

차량 주행 속도, 차량 주행 방향 및 차량 회전각 중 적어도 하나에 기반하여, 차량 위치값을 획득하는 차량 위치 추적부;
차량에 설치된 다수의 카메라를 통해 전방 영상, 후방 영상, 좌측 영상, 우측 영상을 획득한 후, 상기 차량 위치값을 매핑하여 저장하는 주변 영상 획득부;
상기 전방 영상, 후방 영상, 좌측 영상, 우측 영상을 이용하여 AVM(Around View Monitor) 영상을 생성하는 AVM 영상 생성부;
상기 AVM 영상내 사각지대를 식별하고, 상기 차량 위치값과 상기 사각지대의 영상 좌표 정보에 기반하여 사각지대 위치값을 추출하는 사각지대 위치 추출부; 및
기 저장된 전방 영상 또는 후방 영상들을 검색하여 상기 사각지대 위치값에 대응되는 차량 위치값을 가지는 관심 영상을 획득하고, 상기 관심 영상을 이용하여 상기 AVM 영상내 사각지대를 복원하는 AVM 영상 보정부를 포함하며,
상기 차량 위치 추적부는
전방 영상과 후방 영상 각각에 대응되는 2개의 차량 위치값을 획득 및 저장하되, 2개의 차량 위치값 중 어느 하나는 차량 주행 속도, 차량 주행 방향 및 차량 회전각 기반으로 직접 산출하고, 나머지 하나는 전방 카메라와 후방 카메라간의 위치관계에 기반하여 상기 직접 산출된 차량 위치값으로부터 유추되는 것을 특징으로 하는 카메라 사각지대 복원 기능을 가지는 어라운드 뷰 모니터 시스템. a vehicle position tracking unit configured to obtain a vehicle position value based on at least one of a vehicle traveling speed, a vehicle traveling direction, and a vehicle rotation angle;
a peripheral image acquisition unit for acquiring a front image, a rear image, a left image, and a right image through a plurality of cameras installed in the vehicle, and then mapping and storing the vehicle position value;
an AVM image generator generating an AVM (Around View Monitor) image using the front image, the rear image, the left image, and the right image;
a blind spot location extraction unit that identifies a blind spot in the AVM image and extracts a location value of the blind spot based on the vehicle location value and image coordinate information of the blind spot; and
An AVM image correction unit configured to retrieve a pre-stored front image or rear image to obtain an image of interest having a vehicle position value corresponding to the blind spot position value, and to restore a blind spot in the AVM image by using the image of interest, ,
The vehicle location tracking unit
Acquire and store two vehicle position values corresponding to each of the front image and the rear image, but any one of the two vehicle position values is directly calculated based on the vehicle driving speed, the vehicle driving direction and the vehicle rotation angle, and the other is the front An around-view monitor system having a camera blind spot restoration function, characterized in that it is inferred from the directly calculated vehicle position value based on the positional relationship between the camera and the rear camera. 제1항에 있어서, 상기 차량 위치 추적부는
차량 운행 시작시 차량 위치를 시작 위치로 설정한 후, 차량 주행 속도, 차량 주행 방향 및 차량 회전각을 통해 단위 시간당 차량 위치 변화량을 산출 및 누적함으로써, 현재의 차량 위치값을 산출하는 것을 특징으로 하는 카메라 사각지대 복원 기능을 가지는 어라운드 뷰 모니터 시스템.
According to claim 1, wherein the vehicle location tracking unit
After setting the vehicle position as the starting position at the start of vehicle operation, the current vehicle position value is calculated by calculating and accumulating the amount of vehicle position change per unit time through the vehicle traveling speed, vehicle traveling direction, and vehicle rotation angle Around-view monitor system with camera blind spot restoration function.
 삭제delete
KR1020190162344A 2018-12-07 2019-12-09 Around View Monitor System with camera blind spot restoration KR102270799B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180157422 2018-12-07
KR1020180157422 2018-12-07

Publications (2)

Publication Number Publication Date
KR20200070137A KR20200070137A (en) 2020-06-17
KR102270799B1 true KR102270799B1 (en) 2021-06-29

Family

ID=71405483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190162344A KR102270799B1 (en) 2018-12-07 2019-12-09 Around View Monitor System with camera blind spot restoration

Country Status (1)

Country Link
KR (1) KR102270799B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018506768A (en) 2015-02-16 2018-03-08 アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド Method and apparatus for estimating car egomotion from surround view images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101954199B1 (en) * 2016-12-09 2019-05-17 엘지전자 주식회사 Around view monitoring apparatus for vehicle, driving control apparatus and vehicle
KR20180067199A (en) * 2016-12-12 2018-06-20 현대모비스 주식회사 Apparatus and method for recognizing object
KR20180094717A (en) * 2017-02-16 2018-08-24 이래에이엠에스 주식회사 Driving assistance apparatus using avm
KR102285424B1 (en) * 2017-04-05 2021-08-04 엘지이노텍 주식회사 Blind spot display apparatus and method for vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018506768A (en) 2015-02-16 2018-03-08 アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド Method and apparatus for estimating car egomotion from surround view images

Also Published As

Publication number Publication date
KR20200070137A (en) 2020-06-17

Similar Documents

Publication Publication Date Title
JP6099333B2 (en) Image generation apparatus, image display system, parameter acquisition apparatus, image generation method, and parameter acquisition method
US10290080B2 (en) Method for displaying a vehicle environment of a vehicle
MX367989B (en) Display assistance device and display assistance method.
JP4914365B2 (en) Line-of-sight measurement equipment
JP5178454B2 (en) Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method
JP6151535B2 (en) Parameter acquisition apparatus, parameter acquisition method and program
US20170259830A1 (en) Moving amount derivation apparatus
KR20150115488A (en) Apparatus and method for peripheral image generation of vehicle
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
MX2020007721A (en) Video monitoring system and method and device for operating a video monitoring system for a motor vehicle.
JP6375633B2 (en) Vehicle periphery image display device and vehicle periphery image display method
US9802539B2 (en) Distance and direction estimation of a target point from a vehicle using monocular video camera
US11816787B2 (en) Method for representing an environmental region of a motor vehicle with virtual, elongated distance markers in an image, computer program product as well as display system
JP2013246606A (en) Data derivation device and data derivation method
JP2015154125A5 (en)
EP2487666A3 (en) Method and driver assistance system for displaying images in a motor vehicle
EP3634809B1 (en) Display device with level correction
KR101428094B1 (en) A system for offering a front/side image with a lane expression
US9928430B2 (en) Dynamic stixel estimation using a single moving camera
KR102270799B1 (en) Around View Monitor System with camera blind spot restoration
KR20180011552A (en) Apparatus and method for generating around view
JP6369897B2 (en) Self-position calculation device and self-position calculation method
EP3389015A1 (en) Roll angle calibration method and roll angle calibration device
KR102522609B1 (en) Around view monitoring system and operating method thereof
KR101709009B1 (en) System and method for compensating distortion of around view

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant