KR102559686B1 - 차량 및 차량 영상 제어방법 - Google Patents

차량 및 차량 영상 제어방법 Download PDF

Info

Publication number
KR102559686B1
KR102559686B1 KR1020180162924A KR20180162924A KR102559686B1 KR 102559686 B1 KR102559686 B1 KR 102559686B1 KR 1020180162924 A KR1020180162924 A KR 1020180162924A KR 20180162924 A KR20180162924 A KR 20180162924A KR 102559686 B1 KR102559686 B1 KR 102559686B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
reference image
matrix
viewpoint
Prior art date
Application number
KR1020180162924A
Other languages
English (en)
Other versions
KR20200074490A (ko
Inventor
성갑제
안준식
이중렬
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180162924A priority Critical patent/KR102559686B1/ko
Priority to CN201911192809.8A priority patent/CN111327877A/zh
Priority to DE102019218971.7A priority patent/DE102019218971A1/de
Priority to US16/704,383 priority patent/US11463614B2/en
Publication of KR20200074490A publication Critical patent/KR20200074490A/ko
Application granted granted Critical
Publication of KR102559686B1 publication Critical patent/KR102559686B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

일 실시예에 따르면, 차량이 획득한 영상을 단일 기준으로 변경하여 사용자 단말에 제공하여 표준화 된 정확한 차량 주변의 영상을 제공하는 차량 및 차량 영상 제어방법을 제공한다.
일 실시예에 따른 차량은, 사용자 단말 및 서버 중 적어도 하나와 통신하는 통신부; 차량 주변의 영상을 획득하는 적어도 하나의 카메라; 및 상기 카메라가 획득한 상기 주변 영상을 미리 결정된 하나의 파라미터로 구현되는 기준 영상으로 변환하고, 상기 기준 영상을 상기 사용자 단말에 송신하는 제어부;를 포함한다.

Description

차량 및 차량 영상 제어방법{VEHICLE AND VEHICLE IMAGE CONTROLLING METHOD}
본 발명은 차량이 획득한 영상 변경하는 차량 및 차량 영상 제어방법에 관련된 기술이다.
서라운드 뷰(Surround View)는 차량의 앞뒤와 좌우 사이드 미러 하단에 1개씩 4개의 카메라를 이용해, 내비게이션 화면에 마치 차를 위에서 찍은 듯한 탑 뷰(top view)화면을 만들어 주는 기능이다. 이러한 서라운드 뷰 모니터링 시스템을 이용하여, 운전자는 차량 주변의 상황을 한 눈에 파악하고 안전하게 주차를 하거나, 좁은 길을 지날 수 있다.
최근에는 원격으로 사용자 단말을 통해 서라운드 뷰를 확인할 수 있는 기술이 제공되고 있다. 한편 사용자 단말을 통하여 서라운드 뷰를 제공할 경우, 가상 카메라의 시점에 따라 영상이 제공하는 정보가 부정확하고, 특히 영상의 경계부의 정보가 불분명한 문제점이 존재한다. 따라서 차량 주변의 영상을 사용자 단말에 제공하는데 있어서 이러한 문제점의 해결이 필요한 실정이다.
일 실시예에 따르면, 차량이 획득한 영상을 단일 기준으로 변경하여 사용자 단말에 제공하여 표준화 된 정확한 차량 주변의 영상을 제공하는 차량 및 차량 영상 제어방법을 제공한다.
일 실시예에 따른 차량은, 사용자 단말 및 서버 중 적어도 하나와 통신하는 통신부; 차량 주변의 영상을 획득하는 적어도 하나의 카메라; 상기 카메라가 획득한 상기 주변 영상을 미리 결정된 하나의 파라미터로 구현되는 기준 영상으로 변환하고, 상기 기준 영상을 상기 사용자 단말에 송신하는 제어부;를 포함하고, 상기 사용자 단말은, 상기 기준 영상의 시점을 변경하는 사용자의 명령을 입력받고, 상기 사용자의 명령에 기초하여 상기 시점을 변경하여, 상기 기준 영상을 출력하고, 상기 사용자의 명령이 미리 결정된 범위를 초과하면, 상기 기준 영상을 미리 결정된 시점으로 출력할 수 있다.
상기 사용자 단말은, 상기 기준 영상을 수신하고, 상기 기준 영상과 미리 결정된 좌표 정보를 대응시킬 수 있다.
상기 사용자 단말은, 상기 기준 영상의 시점을 결정하는 가상 카메라에 대응되는 적어도 하나의 매트릭스(matrix)를 생성할 수 있다.
상기 적어도 하나의 매트릭스는, 상기 기준 영상의 기준 시점을 결정하는 모델 매트릭스를 포함할 수 있다.
상기 적어도 하나의 매트릭스는, 상기 가상 카메라의 위치를 결정하는 시점 매트릭스를 포함할 수 있다.
상기 적어도 하나의 매트릭스는, 상기 가상 카메라의 내부 파라미터를 결정하는 프로젝션 매트릭스를 포함할 수 있다.
삭제
삭제
상기 사용자 단말은, 상기 차량 주변의 관심 영역을 포함하는 사용자 명령을 입력 받고, 상기 관심 영역에 대응되는 상기 기준 영상을 출력할 수 있다.
일 실시예에 따른 차량 영상 제어방법은, 사용자 단말 및 서버 중 적어도 하나와 통신하고, 차량 주변의 영상을 획득하고, 상기 카메라가 획득한 상기 주변 영상을 미리 결정된 하나의 파라미터로 구현되는 기준 영상으로 변환하고, 상기 기준 영상을 상기 사용자 단말에 송신하고, 상기 기준 영상의 시점을 변경하는 사용자의 명령을 입력받고, 상기 사용자의 명령에 기초하여 상기 시점을 변경하여, 상기 기준 영상을 출력하고, 상기 사용자의 명령이 미리 결정된 범위를 초과하면, 상기 기준 영상을 미리 결정된 시점으로 출력하는 것을 포함한다.
일 실시예에 따른 차량 영상 제어방법은, 상기 기준 영상과 미리 결정된 좌표 정보를 대응시키는 것을 더 포함할 수 있다.
일 실시예에 따른 차량 영상 제어방법은, 상기 기준 영상의 시점을 결정하는 가상 카메라에 대응되는 적어도 하나의 매트릭스(matrix)를 생성하는 것을 더 포함할 수 있다.
상기 적어도 하나의 매트릭스는, 상기 기준 영상의 기준 시점을 결정하는 모델 매트릭스를 포함할 수 있다.
상기 적어도 하나의 매트릭스는, 상기 가상 카메라의 위치를 결정하는 시점 매트릭스를 포함할 수 있다.
상기 적어도 하나의 매트릭스는, 상기 가상 카메라의 내부 파라미터를 결정하는 프로젝션 매트릭스를 포함할 수 있다.
삭제
삭제
삭제
상기 기준 영상을 출력하는 것은, 상기 차량 주변의 관심 영역을 포함하는 사용자 명령을 입력받고, 상기 관심 영역에 대응되는 상기 기준 영상을 출력할 수 있다.
일 실시예에 따른 차량, 사용자 단말 및 차량 영상 제어방법은, 차량이 획득한 영상을 단일 기준으로 변경하여 사용자 단말에 제공하여 표준화 된 정확한 차량 주변의 영상을 제공할 수 있다.
도1은 일 실시예에 차량, 서버 및 사용자 단말의 통신을 설명하기 위한 도면이다.
도2는 차량에 마련된 카메라를 설명하기 위한 도면이다.
도3은 일 실시예 따른 제어 블록도이다.
도4는 일 실시예에 따른 기준 영상을 생성하는 동작을 설명하기 위한 도면이다.
도5는 일 실시예에 따른 기준 영상에 좌표 정보를 대응시키는 동작을 설명하기 위한 도면이다.
도6은 일 실시예에 따른 기준 영상에 매트릭스를 대응시키는 동작을 설명하기 위한 도면이다.
도7 내지 도9는 일 실시예에 따른 사용자의 명령에 기초하여 기준 영상의 시점을 변경하는 동작을 설명하기 위한 도면이다.
도10는 일 실시예에 따른 관심 영역을 입력하는 동작을 설명하기 위한 도면이다.
도11및 도12은 일 실시예에 따른 가상 카메라의 시점을 변경하는 동작을 설명하기 위한 도면이다.
도13및 도14는 일 실시예에 따른 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도1은 일 실시예에 차량(1), 서버(300) 및 사용자 단말(200)의 통신을 설명하기 위한 도면이다.
도1을 참고하면 차량(1)은 서버(300)와 통신할 수 있고, 서버(300)는 사용자 단말(200)과 통신할 수 있다.
서버(300)는 네트워크 전체를 감시ㅇ제어하거나, 메인 프레임이나 공중망을 통한 다른 네트워크와의 연결, 소프트웨어 자원이나 기타 장비 등 하드웨어 자원을 공유할 수 있도록 하는 프로세서 등으로 구성될 수 있다.
사용자 단말(200)은 네트워크를 통해 서버 및 차량에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다.여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
사용자 단말(200)은 서버와 통신하여 영상 전송 요청 신호를 송신할 수 있다.
서버(300)는 개시 명령(Wake up 명령)을 포함한 영상 전송 명령을 차량에 송신할 수 있다.
차량(1)은 서버로부터 수신한 신호를 기초로 차량 주변의 영상을 획득하고, 획득한 영상을 후술하는 동작으로 변환하여 서버에 송신할 수 있다. 서버는 차량으로부터 영상을 수신하여 사용자 단말에 전달할 수 있다.
사용자 단말(200)은 수신한 영상을 후술하는 동작을 기초로 변환하여 사용자 단말에 출력할 수 있다. 이와 관련된 자세한 동작은 후술한다.
도2는 차량에 마련된 카메라를 설명하기 위한 도면이다.
도 2를 조하면, 차량(1)은 외관을 형성하는 차체(10), 차량(1)을 이동시키는 차륜(12, 13)을 포함할 수 있다.
차체(10)는 엔진 등과 같이 차량(1)에 구동에 필요한 각종 장치를 보호하는 후드(11a), 실내 공간을 형성하는 루프 패널(11b), 수납 공간이 마련된 트렁크 리드(11c), 차량(1)의 측면에 마련된 프런트 휀더(11d)와 쿼터 패널(11e)을 포함할 수 있다. 또한, 차체(11)의 측면에는 차체와 흰지 결합된 복수 개의 도어(15)가 마련될 수 있다.
후드(11a)와 루프 패널(11b) 사이에는 차량(1) 전방의 시야를 제공하는 프런트 윈도우(19a)가 마련되고, 루프 패널(11b)과 트렁크 리드(11c) 사이에는 후방의 시야를 제공하는 리어 윈도우(19b)가 마련될 수 있다. 또한, 도어(15)의 상측에는 측면의 시야를 제공하는 측면 윈도우(19c)가 마련될 수 있다.
또한, 차량(1)의 전방에는 차량(1)의 진행 방향으로 조명을 조사하는 헤드램프(15, Headlamp)가 마련될 수 있다.
또한, 차량(1)의 전방, 후방에는 차량(1)의 진행 방향을 지시하기 위한 방향지시램프(16, Turn Signal Lamp)가 마련될 수 있다.
차량(1)은 방향지시램프(16)의 점멸하여 그 진행방향으로 표시할 수 있다. 또한, 차량(1)의 후방에는 테일램프(17)가 마련될 수 있다. 테일램프(17)는 차량(1)의 후방에 마련되어 차량(1)의 기어 변속 상태, 브레이크 동작 상태 등을 표시할 수 있다.
차량(1)의 내부에는 적어도 하나의 차량 제어부(130)가 마련될 수 있다. 차량 제어부(130)는 차량(1)의 동작과 관련된 전자적 제어를 수행하는 기능을 수행할 수 있다. 차량 제어부(130)는 설계자의 선택에 따라 차량(1) 내부의 임의적 위치에 설치될 수 있다. 예를 들어 차량 제어부(130)는 엔진룸과 대시 보드 사이에 설치될 수도 있고, 센터페시아의 내측에 마련될 수도 있다. 차량 제어부(130)는, 전기적 신호를 입력 받고, 입력 받은 전기적 신호를 처리한 후 출력할 수 있는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 적어도 하나의 반도체 칩 및 관련 부품으로 구현될 수 있다. 적어도 하나의 반도체 칩 및 관련 부품은, 차량(1) 내부에 설치 가능한 인쇄 회로 기판에 설치된다. 또한 차량(1)에는 영상 카메라(130)가 마련되어 차량의 자율 주행에 필요한 영상을 획득 할 수 있다.
또한 차량은 카메라(101-1, 101-2, 101-3, 101-4)를 포함하는 카메라(110)를 포함할 수 있다. 카메라(110)를 구성하고 차량의 주변 영상을 획득하는 카메라(101-1, 101-2, 101-3, 101-4)는 차량의 전방, 후방 및 측방에 마련되어 영상을 획득할 수 있고, 각 카메라(101-1, 101-2, 101-3, 101-4)가 획득한 영상은 후술하는 방법을 통하여 차량 주변 영상으로 도출될 수 있다.
도3은 일 실시예 따른 제어 블록도이다.
도3을 참고하면, 일 실시예에 따른 차량(1)은 카메라(110), 통신부(120) 및 제어부(130)를 포함 할 수 있고, 차량은 서버(300) 및 사용자 단말(200)과 통신할 수 있다.
카메라(110)는 차량 주변의 영상을 획득할 수 있다.
일 실시예에 따르면 카메라(110)는 차량(1)에 마련된 사이드 미러(14R, 14L)에 마련되어 차량(1) 주변 영상을 획득할 수 있다.
차량(1)에 설치된 카메라(110) 는 CCD(Charge-Coupled Device) 카메라(110) 또는 CMOS 컬러 이미지 센서를 포함할 수 있다. 여기서 CCD 및 CMOS는 모두 카메라(101)의 렌즈를 통해 들어온 빛을 전기 신호로 바꾸어 저장하는 센서를 의미한다. 구체적으로CCD(Charge-Coupled Device) 카메라(110)는 전하 결합 소자를 사용하여 영상을 전기 신호로 변환하는 장치이다. 또한, CIS(CMOS Image Sensor)는 CMOS 구조를 가진 저소비, 저전력형의 촬상소자를 의미하며, 디지털 기기의 전자 필름 역할을 수행한다. 일반적으로 CCD는 CIS보다 감도가 좋아 차량(1)에 많이 쓰이지만, 반드시 이에 한정되는 것은 아니다.
제어부(130)는 카메라가 획득한 상기 주변 영상을 미리 결정된 하나의 파라미터로 구현되는 기준 영상으로 변환할 수 있다. 이와 관련된 자세한 동작은 후술한다.
제어부(130)는 통신부를 제어하여 기준 영상을 상기 사용자 단말에 송신할 수 있다. 한편, 제어부는 영상 변환부(131), 탑뷰 합성부(132) 및 영상 압축부(133)를 포함할 수 있다. 상술한 내용과 관련된 자세한 내용은 후술한다.
제어부(130)는 차량 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
통신부(120)는 사용자 단말 및 서버 중 적어도 하나와 통신할 수 있다.
통신부(120)는 통신부는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈 , 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
도 3에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 3에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도4는 일 실시예에 따른 기준 영상을 생성하는 동작을 설명하기 위한 도면이다.
도4를 참고하면, 사용자가 사용자 단말을 통해 사용자 명령을 입력하면 차량(2)에서는 카메라를 통해 차량 주변 영상(V41)을 획득할 수 있다.
제어부는 카메라가 획득한 차량 주변 영상(V41)을 각각 기준 영상(V42)으로 변환시킬 수 있다.
제어부가 주변 영상을 기준 영상으로 변환시켜 카메라 사양과 관계 없이 동작하도록 할 수 있다.
제어부는 레퍼런스 영상은 원본 영상을 하나의 고정된 하나의 파라미터 영상으로 변환시킨 영상을 의미할 있다. 제어부는 본질적인 파라미터(Intrinsic parameter)를 변경하고 그외 파라미터는 변환시키지 않을 수 있다.
구체적으로 제어부는 향후 카메라 렌즈나 해상도 등이 바뀌더라도 레퍼런스 영상으로 변환하면 해상도나 왜곡 특성이 하나의 파라미터 값으로 변환 될 수 있다. 상술한 동작을 기초로 사용자 단말은 에서는 항상 같은 기준 영상을 수신하여 카메라가 변경되더라도 업데이트 필요 없이 영상을 출력할 수 있다.
상술한 동작은 제어부에 마련된 영상 변환부에서 동작될 수 있다.
또한 제어부에 마련된 영상 압축부는 기준 영상과 탑 뷰 영상을 압축하고 통신부에 전달할 수 있고, 통신부는 영상과 데이터를 서버에 송신할 수 있다.
상술한 동작은 차량의 획득한 영상을 하나의 파라미터로 구현되는 기준 영상으로 변환하여 차량 카메라로 취득한 영상을 전송 받아 사용자 단말에서 차량 주변 영상을 자유로운 시점으로 확인 할 수 있는 동작을 의미하며, 차량에서 기준 영상으로 변환하는 동작이면 그 동작에 제한은 없다.
도5는 일 실시예에 따른 기준 영상에 좌표 정보를 대응시키는 동작을 설명하기 위한 도면이다.
도5를 참고하면, 차량으로부터 기준 영상(V51)을 수신받은 사용자 단말은 기준 영상과 미리 결정된 좌표 정보를 대응(V52)시킬 수 있다.
구체적으로 사용자 단말은 3D 렌더링 기법을 이용하여 자유로운 시점의 뷰를 제공할 수 있다. 사용자 단말은 구 형태의 3D 메쉬(mesh)를 구성하고, 각 꼭지점(vertex)에 매핑될 텍스쳐의 좌표를 구성할 수 있다. 이 때 메쉬의 꼭지점 3D 좌표와2D 텍스쳐 좌표는 LUT (Look-Up Table)로 구성해 사용자 단말에 저장해 놓을 수 있다. 사용자 단말은 기준 영상을 전송 받아 사용하기 때문에 차종, 카메라 사양, 카메라 위치에 관계 없이 통일된 하나의LUT로 적용이 가능하다.
사용자 단말은LUT를 이용하여 구 형태의 Mesh를 구성하고 전/후/좌/우 레퍼런스 영상을 텍스쳐로 매핑하면 도5처럼 구면의 중심부에 기준 영상의 중심부가 매핑될 수 있다.
도6은 일 실시예에 따른 기준 영상에 매트릭스를 대응시키는 동작을 설명하기 위한 도면이다. 도5에 동작에 이어서 사용자 단말은 기준 영상의 시점을 결정하는 가상 카메라에 대응되는 적어도 하나의 매트릭스(matrix)를 생성할 수 있다.
한편, 사용자 단말이 기준 영상에 적용되는 매트릭스는 하기와 같이 적용될 수 있다.
Figure 112018126366209-pat00001
기준 영상에 적용되는 매트릭스는(Mat) 모델 매트릭스(Mm), 시점 매트릭스(Vm) 및 프로젝션 매트릭스(Pm)의 곱으로 표현될 수 있다.
시점 매트릭스는 기준 영상이 매핑되어 있는 구면에 각 카메라 별 장착 각도를 반영시킬 수 있다. 사용자 단말은 전송 받은 피치(pitch), 요 값(yaw) 및 롤(roll) 값을 이용하여 하기와 같이 시점 매트릭스를 구현할 수 있다.
모델 매트릭스(Mm)는 상술한 매트릭스로 구현될 수 있고, Yreal, Preal, Rreal각각은 에 장착된 카메라의 요, 피치 및 롤 값을 의미할 수 있다.
사용자 단말은 카메라 별로 각각의 모델 매트릭스(Mm)를 가지며, 장착 각도 값 전송 받을 때 계산해 놓으면 그 이후에는 별도의 연산 없이 영상을 수신하여 출력할 수 있다. 한편, 기준 영상에 매트릭스를 적용하면 카메라의 틀어진 정도를 보상해주기 때문에 아래 그림처럼 초기 가상카메라의 각도가 모두 같도록 설정될 수 있다(V61->V62)
한편 시점 매트릭스(Vm)는 아래와 같이 마련될 수 있다.
시점 매트릭스(Vm)는 가상 카메라의 회전/위치를 나타내는 매트릭스로 사용자 사용자 명령을 입력을 받는 동작과 관련될 수 있다. 수학식3의Yvirtual는 가상 카메라의 요 값을 의미할 수 있고, Pvirtual 는 가상 카메라의 피치 값을 의미할 수 있다.
한편 프로젝션 매트릭스(Pm)의 곱으로 표현될 수 있다.
수학식4를 참고하면, fovy는 가상 카메라의 세로 시야각 을 의미할 수 있다. 또만 aspect는 출력되는 영상의 가로/세로 비율 (가로 해상도/세로 해상도) 을 의미할 수 있다. zFar 및 zNear는 각각 렌더링 시 표현되는 최대 및 최소 거리를 의미할 수 있다.
사용자 단말은 상술한 매트릭스를 기초로 차량으로부터 수신 받은 영상을 변환할 수 있다.
일 실시예에 따르면 변환된 영상을 사용자 단말에 마련된 디스플레이에 출력할 수 있다.
또한 도 4내지 도6에서 설명한 동작은 본 발명의 일 실시예에 불과하며 카메라가 영상을 획득하여 차량이 일률적인 기준 영상으로 변환하여 사용자 단말이 해당 영상을 이용하는 동작이라면 그 동작에 제한은 없다.
도7 내지 도9는 일 실시예에 따른 사용자의 명령에 기초하여 기준 영상의 시점을 변경하는 동작을 설명하기 위한 도면이다.
도7을 참고하면 사용자는 사용자 단말에 사용자 명령을 입력할 수 있다(P7). 사용자가 영상을 위로 드래그 하는 사용자 명령을 입력한 경우, 사용자는 기준 영상의 아래 부분을 보고자 하는 명령을 입력한 것으로 사용자 단말은 기준 영상의 시점을 처음 시점(A71)에서 사용자 명령에 대응되는 시점(A72)로 변경할 수 있다.
한편, 기준 영상의 시점의 변경은 제한이 없이 이루어 질 수 있다.
도8을 참고하면, 사용자는 기준 영상의 시점을 자유롭게 변경할 수 있다(A81->A82). 한편 시점을 변경하는데 있어서, 시점 자체의 요(yaw)를 변경시켜 온전한 영상을 출력할 수 있다.
도9를 참고하면 사용자는 사용자 단말에 출력되는 영상을 확대하거나 축소하는 사용자 명령을 입력할 수 있다(P9).
즉 사용자는 디스플레이를 스와이프(swipe) 혹은 드래그(Drag)하는 명령을 사용자 단말에 입력하여, 사용자 단말에 출력되는 영상(v91, v92)의 출력 배율을 조절할 수 있다. 사용자의 명령에 기초하여 출력되는 시점은 A91에서 A92로 변경될 수 있다.
한편 상술한 동작을 기초로 사용자는 기준 영상의 시점을 변경할 수 있으나 사용자의 명령이 미리 결정된 범위를 초과하면, 사용자 단말은 범위가 초과된 시점의 기준 영상을 미리 결정된 시점으로 출력할 수 있다.
또한 도7 내지 도9은 기준 영상의 시점을 변경하는 일 실시예에 불과하며, 기준 영상의 시점을 변경하여 사용자가 원하는 시점의 기준 영상을 출력하는 동작의 제한은 없다.
도10는 일 실시예에 따른 관심 영역을 입력하는 동작을 설명하기 위한 도면이다.
도10을 참고하면, 사용자는 관심 영역에 관련된 사용자 명령을 입력할 수 있다(P10). 도 10에서는 사용자가 차량의 전면을 관심 영역으로 입력한 것을 나타내고 있으며, 사용자 단말은 사용자의 명령을 입력받으면, 차량을 기준으로 해당 영역의 기준 영역 영상(V10)을 사용자 단말에 출력할 수 있다.
도11및 도12은 일 실시예에 따른 가상 카메라의 시점을 변경하는 동작을 설명하기 위한 도면이다.
도11및 도12는 도7내지 도9에 출력되는 영상을 가상 카메라의 개념을 이용하여 설명하기 위한 도면이다.
본 발명에서는 차량의 주변영상을 직접적으로 획득하는 실제 카메라와 시점의 변경을 위한 가상 카메라가 구분될 수 있으며 도7내지 도9에서 설명한 동작은 가상 카메라의 시점을 변경하는 것으로 설명될 수 있다.
도11을 참고하면, 사용자는 사용자 단말이 출력하는 기준영상(V11)의 시점을 오른쪽으로 드래그할 수 있으며, 오른쪽으로 드래그 한 것은 이동하는 것은 차량의 주변 영상의 왼쪽의 영상을 출력하고자 하는 의도인 것으로 가상 카메라(110)는 시점을 왼쪽으로 이동하여 기준 영상을 출력할 수 있다.
도12를 참고하면, 사용자는 사용자 단말이 출력하는 기준영상(V12)의 시점을 위쪽으로 드래그할 수 있으며(P12), 위쪽으로 드래그 한 것은 차량의 주변 영상의 아래의 영상을 출력하고자 하는 의도인 것으로 가상 카메라(110)는 시섬을 아래쪽으로 이동하여 기준 영상을 출력할 수 있다.
상술한 도 11 및 도12에서 설명한 동작은 기준 영상의 출력 형태를 설명하기 위한 일 실시예에 불과하며 가상 카메라의 시점 변경에 대한 동작의 제한은 없다.
도13및 도14는 일 실시예에 따른 순서도이다.
도13은 차량에서 구현되는 동작을 일 실시예를 제시한 순서도이다. 차량은 차량 주변 영상을 획득할 수 있다(1001). 차량은 획득한 차량 주변 영상을 기준 영상으로 변환할 수 있다(1002).
한편, 차량은 변환한 기준 영상을 서버에 송신할 수 있다(1003).
도14는 사용자 단말에서 구현되는 동작을 일 실시예를 제시한 순서도이다.
도14를 참고하면, 사용자 단말은 수신한 기준영상을 좌표 정보에 매칭할 수 있다(1011). 또한, 사용자 단말은 좌표 정보가 매칭된 기준 영상에 적용되는 매트릭스를 생성될 수 있다(1012). 한편, 사용자 단말은 상술한 매트릭스를 기초로 사용자 명령에 기초한 영상을 사용자 단말에 출력할 수 있다(1013).
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 차량
110 : 카메라
120 : 통신부
130 :제어부
200 : 사용자 단말
300 : 서버

Claims (18)

  1. 사용자 단말 및 서버 중 적어도 하나와 통신하는 통신부;
    차량 주변의 영상을 획득하는 적어도 하나의 카메라;
    상기 카메라가 획득한 상기 주변 영상을 미리 결정된 하나의 파라미터로 구현되는 기준 영상으로 변환하고,
    상기 기준 영상을 상기 사용자 단말에 송신하는 제어부;를 포함하고,
    상기 사용자 단말은,
    상기 기준 영상의 시점을 변경하는 사용자의 명령을 입력받고, 상기 사용자의 명령에 기초하여 상기 시점을 변경하여, 상기 기준 영상을 출력하고, 상기 사용자의 명령이 미리 결정된 범위를 초과하면, 상기 기준 영상을 미리 결정된 시점으로 출력하는 차량.
  2. 제1항에 있어서,
    상기 사용자 단말은,
    상기 기준 영상을 수신하고,
    상기 기준 영상과 미리 결정된 좌표 정보를 대응시키는 차량.
  3. 제2항에 있어서,
    상기 사용자 단말은,
    상기 기준 영상의 시점을 결정하는 가상 카메라에 대응되는 적어도 하나의 매트릭스(matrix)를 생성하는 차량.
  4. 제3항에 있어서,
    상기 적어도 하나의 매트릭스는,
    상기 기준 영상의 기준 시점을 결정하는 모델 매트릭스를 포함하는 차량.
  5. 제3항에 있어서,
    상기 적어도 하나의 매트릭스는,
    상기 가상 카메라의 위치를 결정하는 시점 매트릭스를 포함하는 차량.
  6. 제3항에 있어서,
    상기 적어도 하나의 매트릭스는,
    상기 가상 카메라의 내부 파라미터를 결정하는 프로젝션 매트릭스를 포함하는 차량.
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 사용자 단말은,
    상기 차량 주변의 관심 영역을 포함하는 사용자 명령을 입력받고,
    상기 관심 영역에 대응되는 상기 기준 영상을 출력하는 차량.
  10. 사용자 단말 및 서버 중 적어도 하나와 통신하고,
    차량 주변의 영상을 획득하고,
    카메라가 획득한 상기 주변 영상을 미리 결정된 하나의 파라미터로 구현되는 기준 영상으로 변환하고,
    상기 기준 영상을 상기 사용자 단말에 송신하고,
    상기 기준 영상의 시점을 변경하는 사용자의 명령을 입력받고,
    상기 사용자의 명령에 기초하여 상기 시점을 변경하여, 상기 기준 영상을 출력하고,
    상기 사용자의 명령이 미리 결정된 범위를 초과하면, 상기 기준 영상을 미리 결정된 시점으로 출력하는 것을 포함하는 차량 영상 제어방법.
  11. 제10항에 있어서,
    상기 기준 영상과 미리 결정된 좌표 정보를 대응시키는 것을 포함하는 차량 영상 제어방법.
  12. 제11항에 있어서,
    상기 기준 영상의 시점을 결정하는 가상 카메라에 대응되는 적어도 하나의 매트릭스(matrix)를 생성하는 것을 더 포함하는 차량 영상 제어방법.
  13. 제12항에 있어서,
    상기 적어도 하나의 매트릭스는,
    상기 기준 영상의 기준 시점을 결정하는 모델 매트릭스를 포함하는 차량 영상 제어방법.
  14. 제12항에 있어서,
    상기 적어도 하나의 매트릭스는,
    상기 가상 카메라의 위치를 결정하는 시점 매트릭스를 포함하는 차량 영상 제어방법.
  15. 제12항에 있어서,
    상기 적어도 하나의 매트릭스는,
    상기 가상 카메라의 내부 파라미터를 결정하는 프로젝션 매트릭스를 포함하는 차량 영상 제어방법.
  16. 삭제
  17. 삭제
  18. 제10항에 있어서,
    상기 기준 영상을 출력하는 것은, 상기 차량 주변의 관심 영역을 포함하는 사용자 명령을 입력받고,
    상기 관심 영역에 대응되는 상기 기준 영상을 출력하는 차량 영상 제어방법.
KR1020180162924A 2018-12-17 2018-12-17 차량 및 차량 영상 제어방법 KR102559686B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180162924A KR102559686B1 (ko) 2018-12-17 2018-12-17 차량 및 차량 영상 제어방법
CN201911192809.8A CN111327877A (zh) 2018-12-17 2019-11-28 车辆及控制车辆图像的方法
DE102019218971.7A DE102019218971A1 (de) 2018-12-17 2019-12-05 Fahrzeug und Verfahren zum Steuern eines Fahrzeugbilds
US16/704,383 US11463614B2 (en) 2018-12-17 2019-12-05 Vehicle and method of controlling vehicle image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180162924A KR102559686B1 (ko) 2018-12-17 2018-12-17 차량 및 차량 영상 제어방법

Publications (2)

Publication Number Publication Date
KR20200074490A KR20200074490A (ko) 2020-06-25
KR102559686B1 true KR102559686B1 (ko) 2023-07-27

Family

ID=71071952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180162924A KR102559686B1 (ko) 2018-12-17 2018-12-17 차량 및 차량 영상 제어방법

Country Status (4)

Country Link
US (1) US11463614B2 (ko)
KR (1) KR102559686B1 (ko)
CN (1) CN111327877A (ko)
DE (1) DE102019218971A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
JP2020182070A (ja) * 2019-04-24 2020-11-05 トヨタ自動車株式会社 情報処理装置、情報処理システム及び情報処理プログラム
JP7065068B2 (ja) * 2019-12-13 2022-05-11 本田技研工業株式会社 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
KR102513762B1 (ko) * 2021-03-02 2023-03-27 주식회사 켐트로닉스 사이드미러 가상 영상 생성 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009292254A (ja) * 2008-06-04 2009-12-17 Sanyo Electric Co Ltd 車両操作システム及び車両操作方法
KR101413231B1 (ko) * 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101387548B1 (ko) * 2011-12-12 2014-04-29 자동차부품연구원 차량 영상 시스템 및 차량 센서 시스템
FR3013487B1 (fr) * 2013-11-18 2017-04-21 Univ De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009292254A (ja) * 2008-06-04 2009-12-17 Sanyo Electric Co Ltd 車両操作システム及び車両操作方法
US20090309970A1 (en) 2008-06-04 2009-12-17 Sanyo Electric Co., Ltd. Vehicle Operation System And Vehicle Operation Method
KR101413231B1 (ko) * 2013-02-18 2014-06-30 인하대학교 산학협력단 증강현실 기반 차량 주변 모니터링 장치 및 방법, 그리고 차량

Also Published As

Publication number Publication date
US20200195839A1 (en) 2020-06-18
KR20200074490A (ko) 2020-06-25
DE102019218971A1 (de) 2020-07-02
US11463614B2 (en) 2022-10-04
CN111327877A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
KR102559686B1 (ko) 차량 및 차량 영상 제어방법
EP3410390B1 (en) Image processing method and device, computer readable storage medium and electronic device
US9456202B2 (en) Attachable three-dimensional scan module
US20150199167A1 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
KR20190017303A (ko) 이동 단말기
US20170161881A1 (en) Method and apparatus for view-dependent tone mapping of virtual reality images
TWI818211B (zh) 眼部定位裝置、方法及3d顯示裝置、方法
US10192297B2 (en) Method and apparatus for creating, streaming, and rendering HDR images
US20130271508A1 (en) Display device, display control method, and recording medium
CN112927271A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
KR20200113522A (ko) 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
CN102253735B (zh) 信息处理装置和显示装置及其控制方法以及显示***
CN113424548A (zh) 播放高动态范围视频的电子装置及其方法
KR20160031819A (ko) 이동단말기 및 그 제어방법
US8964058B2 (en) On-board camera system for monitoring an area around a vehicle
WO2023207445A1 (zh) 图像去噪方法、装置、***及电子设备
WO2023011215A1 (zh) 一种显示方法及电子设备
US9407938B2 (en) Method for processing image and electronic device for the method
CN113052884A (zh) 信息处理方法、信息处理装置、存储介质与电子设备
CN114758601A (zh) 屏幕显示颜色调整方法及电子设备
CN112200130A (zh) 一种三维目标检测方法、装置及终端设备
US20240179399A1 (en) Electronic device for cropping subject within image frames and method thereof
KR102579511B1 (ko) 영상감시장치 및 그 장치의 구동방법, 영상감시시스템 및 컴퓨터 판독가능 기록매체
US11153018B2 (en) Electronic device and method for controlling electronic device
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right