KR20010032902A - 운전조작 보조장치 및 기록매체 - Google Patents

운전조작 보조장치 및 기록매체 Download PDF

Info

Publication number
KR20010032902A
KR20010032902A KR1020007006236A KR20007006236A KR20010032902A KR 20010032902 A KR20010032902 A KR 20010032902A KR 1020007006236 A KR1020007006236 A KR 1020007006236A KR 20007006236 A KR20007006236 A KR 20007006236A KR 20010032902 A KR20010032902 A KR 20010032902A
Authority
KR
South Korea
Prior art keywords
image
vehicle
pattern
expected
driving operation
Prior art date
Application number
KR1020007006236A
Other languages
English (en)
Other versions
KR100568396B1 (ko
Inventor
오카모토슈사쿠
이시이히로후미
나카가와마사미치
노보리구니오
모리무라아츠시
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20010032902A publication Critical patent/KR20010032902A/ko
Application granted granted Critical
Publication of KR100568396B1 publication Critical patent/KR100568396B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

차량의 주위상황을 카메라를 이용하여 영상화하여, 주위상황화상을 생성하는 주위상황 영상화수단과, 미리 상기 차량에 대하여 소정의 일련의 운전조작을 하는 경우의 상기 차량의 운동을 나타내는 화상데이터인 예상운동패턴을 상기 주위상황화상 상에 중첩하여 합성화상을 생성하는 합성화상 생성수단과, 상기 합성화상을 표시하는 표시수단을 구비하고, 상기 주위상황 화상화수단은 1대 혹은 복수대의 카메라와, 상기 각 카메라의 특성인 카메라 파라미터를 저장하는 카메라 파라미터표를 갖고, 상기 각 카메라의 출력으로부터 상기 카메라 파라미터에 기초하여 상기 주위상황화상을 생성하는 운전조작 보조장치.

Description

운전조작 보조장치 및 기록매체{DRIVING ASSISITING DEVICE AND RECORDING MEDIUM}
종래의 일반적인 운전조작 보조장치는 핸들의 조향각을 검출하는 스티어링 센서에 의해 후퇴시의 핸들의 조향각에 대응하는 차량의 이동궤적을 예측하는 것이다. 차량의 후퇴시에는 카메라로 촬영된 후방 또는 측후방 시계(視界)의 영상이 표시되는 것과 아울러, 핸들을 조작하면 그 핸들 조향각에 대응하여 예측된 차량의 이동궤적이 후방 또는 측후방 시계의 영상 상에 중복된다. 본 장치에 의하면 운전자의 운전조작은 다음과 같이 된다. 즉 우선 핸들을 고정한 상태로 주차할 수 있는 장소로 차량을 이동시킨다. 다음으로 그 장소에서 핸들조작에 의해 예측되는 차량이동궤적을 확인하면서 핸들을 조작하지 않고 주차하고자 하는 공간으로 차량을 이동할 수 있는 조향각을 찾아낸다. 그리고 그 조향각을 보유한 채 차량을 후진시켜 주차공간으로 이동시키면 원리적으로는 주차가 완료된다는 것이다.
또 이러한 운전조작 보조장치의 종래예가 일본국 특개평 1-14700호 공보에 개시되어 있다.
그러나 상기 장치를 이용하여 주차하기 위해서는 차량을 주차공간으로 이동시킬 수 있는 장소를 찾아내고, 계속해서 어떤 조향각으로 핸들을 고정하면 되는지를 정할 필요가 있지만, 이들의 조작에 익숙하려면 숙련을 요한다. 더구나 운전하는 차량의 크기 등이 변하면 감각이 달라지기 때문에 숙련 단계에서 쌓인 운전의 노하우를 그만큼 살릴 수 없게 된다.
그런데 차량을 주차시키는 경우, 주위에 전혀 장해물이 없는 경우를 제외하고, 주차조작시작으로부터 일반적으로 핸들 조향각을 일정하게 보유한 채 주차조작을 완료시키는 일은 일반적으로 곤란하다. 예를 들면 종렬주차를 하는 경우, 운전자는 주차조작 시작장소에서 주차하고자 하는 장소로 차량을 이동시키는 동안 처음에는 원하는 방향으로 핸들을 돌려 차량을 후퇴시키고, 적당히 후퇴한 상태에서 다음에 반대방향으로 핸들을 돌려 목표장소로 차량을 이동시킨다. 즉 종렬주차를 예로 든 경우, 핸들 조향각을 일정하게 보유한 채로는 주차가 곤란하다고 할 수 있다.
또 종래의 장치에서는 운전자가 조금이라도 핸들을 움직이면 그 조금의 조향각 변화에 의해 다시 예측된 차량의 이동경로가 표시되기 때문에 운전자가 혼란스럽게 될 우려가 있다.
즉 종래의 운전조작 보조장치에 있어서는 운전자가 주차공간과 그 공간 주위의 상황과 차량을 주차공간으로 유도하는 경로를 합성표시한 화상을 확인하면서 주차공간으로 용이하게 차량을 이동할 수 있는 장소를 한눈에 직감적으로 찾아 낼 수 없었다.
본 발명은 차량의 운전조작을 지원하는 운전조작 보조장치 및 상기 운전조작 보조장치의 각 수단의 기능의 전부 또는 일부를 컴퓨터에 실행시키는 프로그램을 저장하는 기록매체에 관한 것이다.
도 1은 본 발명의 제 1 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 제 1 실시예에서의 운전조작 보조장치의 촬상부(101)의 각 카메라를 차량에 부착시킨 일례를 도시한 차량의 평면도 및 입면도이다.
도 3은 본 발명의 제 1 실시예에서의 운전조작 보조장치의 가상카메라의 시점의 일례를 도시한 입면도이다.
도 4는 본 발명의 제 1 실시예에서의 운전조작 보조장치의 가상카메라로부터의 주위상황화상의 일례를 도시한 도면이다.
도 5는 본 발명의 제 1 실시예에서의 운전조작 보조장치의 예상운동 데이터의 일례를 도시한 도면이다.
도 6은 본 발명의 제 1 실시예에서의 운전조작 보조장치의 예상운동 데이터의 일례를 도시한 도면이다.
도 7은 본 발명의 제 1 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 8은 본 발명의 제 1 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 9는 좌측으로의 종렬주차를 행하는 경우의 차량의 운동을 도시한 도면이다.
도 10은 본 발명의 제 1 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 11은 본 발명의 제 1 실시예에서의 운전조작 보조장치의 예상운동패턴 저장수단(108)에 저장되어 있는 예상운동패턴의 편차의 일례를 도시한 도면이다.
도 12는 본 발명의 제 1 실시예에서의 운전조작 보조장치의 합성화상의 변형예를 도시한 도면이다.
도 13은 본 발명의 제 2 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 14는 본 발명의 제 2 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 15는 본 발명의 제 3 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 16은 본 발명의 제 3 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 17은 본 발명의 제 4 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 18은 본 발명의 제 5 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 19는 본 발명의 제 5 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 20은 본 발명의 제 6 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 21은 본 발명의 제 6 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 22는 본 발명의 제 6 실시예에서의 운전조작 보조장치의 변형예의 구성을 도시한 블록도이다.
도 23은 본 발명의 제 7 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 24는 본 발명의 제 7 실시예에서의 운전조작 보조장치의 매핑표(2302)에 저장되어 있는 매핑표의 일례를 도시한 개념도이다.
도 25는 본 발명의 제 8 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 26은 본 발명의 제 8 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 27은 본 발명의 제 9 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 28은 본 발명의 제 9 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 29는 본 발명의 제 10 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 30은 본 발명의 제 10 실시예에서의 운전조작 보조장치의 합성화상의 일례 등을 도시한 도면이다.
도 31은 본 발명의 제 11 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 32는 본 발명의 제 11 실시예에서의 운전조작 보조장치의 합성화상의 일례 등을 도시한 도면이다.
도 33은 본 발명의 제 11 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 34는 본 발명의 제 11 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 35는 본 발명의 제 11 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 36은 본 발명의 제 11 실시예에서의 운전조작 보조장치의 접촉위험 평가함수를 설명하기 위한 그래프이다.
도 37은 본 발명의 제 11 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 38은 본 발명의 제 11 실시예에서의 운전조작 보조장치의 접촉위험 평가함수의 일례를 도시한 도면이다.
도 39는 본 발명의 제 11 실시예에서의 운전조작 보조장치의 예상운동 데이터의 일례를 도시한 도면이다.
도 40은 본 발명의 제 11 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 41은 본 발명의 제 11 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 42는 본 발명의 제 12 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 43은 본 발명의 제 12 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 44는 본 발명의 제 12 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다.
도 45는 본 발명의 제 12 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
도 46은 본 발명의 제 12 실시예에서의 운전조작 보조장치의 합성화상의 일례를 도시한 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
101 : 촬상부 102 : 중복수단
103 : 카메라 파라미터표 104 : 공간 재구성수단
105 : 공간데이터 버퍼 106 : 시점변환수단
107 : 표시수단 108 : 예상운동패턴 저장수단
1301, 1501 : 시작검출수단 1302, 1703 : 적분수단
1303, 1503, 1704 : 공간변환수단
1502 : 화상추적수단 1701 : 시작입력수단
1702 : 운전제어수단 1801 : 궤적수정수단
2001 : CG화상 합성수단 2201 : 카메라
2301 : 매핑수단 2302 : 매핑표
2501 : 최종위치 입력수단 2502 : 시작위치 결정수단
2503 : 공간고정수단
본 발명은 이러한 종래의 운전조작 보조장치가 갖는 문제점을 고려하여 운전자가 소정의 일련의 운전조작을 하고자 하는 경우, 상기 소정의 일련의 운전조작을 하였을 때의 차량의 운동을 주위상황과 동시에 표시함으로써 운전자가 상기 소정의 일련의 운수조작에 의한 차량의 운동과 주위상황의 관계를 직접 확인할 수 있어 운전자의 부담을 줄일 수 있는 운전조작 보조장치를 제공하는 것을 목적으로 하는 것이다.
또 상기 운전조작 보조장치의 각 수단의 기능의 전부 또는 일부를 컴퓨터에 실행시키는 프로그램을 저장하는 기록매체를 제공하는 것을 목적으로 하는 것이다.
상기 문제점을 해결하기 위해 본 발명은 차량의 주위상황을 카메라를 이용하여 영상화하고, 주위상황화상을 생성하며, 및/또는 생성한 상기 주위상황화상을 저장하는 주위상황 영상화수단과, 미리 상기 차량에 대하여 소정의 일련의 운전조작을 하는 경우의 상기 차량의 운동을 나타내는 화상데이터인 예상운동패턴을 상기 주위상황화상 상에 중첩하여 합성화상을 생성하는 합성화상 생성수단과, 상기 합성화상을 표시하는 표시수단을 구비하는 것을 특징으로 하는 운전조작 보조장치이다.
또 제 2의 본 발명은 본 발명의 운전조작 보조장치의 각 수단의 기능의 전부 또는 일부를 컴퓨터에 실행시키는 프로그램을 저장하는 것을 특징으로 하는 기록매체이다.
이하에 본 발명의 실시예를 도면을 참조하여 설명하기로 한다.
(제 1 실시예)
우선 본 발명의 제 1 실시예를 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 제 1 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치는 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다.
도 1에 도시된 바와 같이 본 실시예에서의 운전조작 보조장치는 N개의 카메라(카메라 1∼카메라 N)로 된 촬상부(101)와, 각 카메라의 특성인 카메라 파라미터를 저장하는 카메라 파라미터표(103)와, 카메라 파라미터에 기초하여 각 카메라로부터의 출력화상을 구성하는 각각의 화소를 3차원공간의 점에 대응시킨 공간데이터를 작성하는 공간 재구성수단(104)과, 공간데이터를 참조하여 소정의 시점에서 본 화상을 주위상황화상으로서 생성하는 시점변환수단(106)과, 공간데이터를 일시적으로 저장하는 공간데이터 버퍼(105)과, 예상운동패턴을 포함하는 예상운동 데이터를 보유하는 예상운동패턴 저장수단(108)와, 예상운동패턴을 주위상황화상 상에 중첩하여 합성화상을 생성하는 중복수단(102)과, 합성화상을 표시하는 표시수단(107)으로 구성되어 있다.
또 촬상부(101), 카메라 파라미터표(103), 공간 재구성수단(104) 및 시점변환수단(106)을 합한 것은 본 발명의 주위상황 영상화수단에 대응하는 것이며, 중복수단(102)은 본 발명의 합성화상 생성수단에 대응하는 것이다.
우선 촬상부(101)의 상세한 구성 및 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서를 설명하기로 한다.
도 2는 촬상부(101)의 각 카메라를 차량에 부착시킨 일례를 도시한 차량의 평면도 및 입면도이다. 이 예에서는 N=6으로서, 6개의 카메라(201∼206)를 차량의 루프부에 배치한 것이다. 6개의 카메라(201∼206)의 개개의 촬상범위의 일부는 다른 카메라의 촬상범위의 일부와 겹치도록, 또 평면적으로 사각(死角)이 생기지 않도록 배치되어 있다.
카메라 파라미터표(103)에는 상기 각 카메라의 카메라 파라미터(카메라의 부착위치, 카메라의 부착각도, 카메라의 렌즈비틀림 보정값, 카메라 렌즈의 초점거리 등의 카메라 특성을 나타내는 파라미터)가 기억되어 있다. 공간 재구성수단(104)은 이 카메라 파라미터에 기초하여 각 카메라로부터의 출력화상을 구성하는 각각의 화소를 차량을 기준으로 하는 3차원공간의 점에 대응시킨 공간데이터를 작성한다. 공간버퍼(105)에는 상기 공간데이터가 일시적으로 저장되고, 시점변환수단(106)은 임의의 시점, 예를 들면 도 3에 도시한 가상카메라(301)의 시점에서 본 화상을 공간데이터를 참조하여 각 화소를 합성함으로써 주위상황화상으로서 생성한다.
도 4에 도 3에 도시된 가상카메라(301)의 시점으로부터의 주위상황화상의 일례를 도시한다. 이것은 종렬주차를 하는 경우의 예이며, 주차중인 2대의 차량이 장해물(401) 및 장해물(402)로서 주위상황화상 상에 나타나 있다.
다음으로 중복수단(102)이 본 발명의 합성화상을 생성하고, 그것을 표시수단(107)이 표시하기까지의 순서를 설명한다.
예상운동패턴 저장수단(108)은 차량이 전형적인 운전조작을 그 차량에 대하여 하는 경우의 차량의 운동을 나타내는 화상데이터인 예상운동패턴과, 차량의 이동거리(타이어회전 이동량)와 핸들의 조향각(핸들의 회전각)의 관계를 나타내는 시계열 데이터를 본 발명의 예상운동 데이터로서 저장하고 있다.
저장되어 있는 예상운동 데이터 중 도 5에 좌측으로의 종렬주차의 운전조작을 하는 경우의 예상운동 데이터를 나타내고, 도 6에 우측으로의 차고입고의 운전조작을 하는 경우의 예상운동 데이터를 각각 나타낸다. 예상운동패턴은 각 도면의 (a)에 도시되어 있고, 각 도면의 (b)에 도시한 시계열 데이터에 따른 운전조작을 한 경우에 대응하는, 조작시작위치(501, 601)(본 발명의 예상운동 시작영역에 대응), 조작종료위치(502, 602)(본 발명의 예상운동 종료영역에 대응) 및 타이어궤적(503, 603)(본 발명의 차량의 타이어의 궤적을 나타내는 화상데이터에 대응)을 나타낸 화상데이터이다.
우선 운전자는 패턴선택수단(도시 생략)에 의해 예상운동패턴 저장수단(108)에 저장되어 있는 예상운동패턴 중 하나를 선택한다. 중복수단(102)은 선택된 예상운동패턴(예를 들면 도 5의 (a))을 시점변환수단(106)이 생성한 주위상황화상(예를 들면 도 4)에 중첩하여 합성하고, 본 발명의 합성화상을 생성하고, 표시수단(107)은 이 합성화상을 표시한다. 이 때 예를 들면 도 5의 (a)의 조작시작위치(501)를 해당 차량의 현재위치와 일치시킴으로써 조작종료위치(502)는 그 예상운동패턴에 대응하는 운전조작을 현재위치로부터 시작한 경우의 조작종료위치, 즉 주차위치가 된다.
도 7에 도 5에 도시된 예상운동패턴을 합성한 합성화상의 일례를 나타내고, 도 8에 도 6에 도시된 예상운동패턴을 합성한 합성화상의 일례를 각각 나타낸다.
즉 운전자는 도 7(도 8)에서 장해물(401, 402(803, 804))이 주차위치(702 (802)), 타이어궤적(503(603)) 및 시작위치(701(801))와 간섭하지 않는 시작위치(701(801))에 해당 차량을 이동하고, 거기에서 시계열 데이터에 따른 일련의 운전조작을 시작함으로써 주차위치(702(802))에 주차하는 좌측으로의 종렬주차(우측으로의 차고입고)를 할 수 있다.
시작위치(701)(801)에 차량을 이동할 때의 상세한 순서에 대하여 좌측으로의 종렬주차를 하는 경우를 예를 들어 도 9, 도 10을 이용하여 설명하기로 한다.
도 9는 좌측으로의 종렬주차를 하는 경우의 차량의 운동을 도시한 도면이다. 도 9에 도시된 바와 같이 차량의 운전자는 목표주차위치(902)의 위치에 차량을 주차하기 위해서는 우선 좌측에의 종렬주차를 하는 예상운동패턴(도 5의 (a))의 조작종료위치(502)를 이 목표주차위치(902)와 일치시켰을 때의 조작시작위치(501)를 목표시작위치(903)로 하여 이 목표시작위치(903)에 현재위치(901)에 위치하는 차량을 이동시킬 필요가 있다.
도 5의 (a)의 조작종료위치(502)와 조작시작위치(501)의 상대적인 위치관계는 도 5의 (b)의 시계열 데이터에 따라 운전조작을 한 경우에 대응하는 것이고, 실제의 운전조작에 있어서는 조작 중의 핸들조작 등의 미세조정 등에 의해 미세조정이 가능하다.
본 실시예에서의 운전조작 보조장치와 같은 장치를 이용하지 않는 경우, 운전자는 차의 내부로부터 직시나 미러 등으로부터 확인할 수 있는 정경으로부터 장해물(401, 402)이나, 목표주차위치(902)를 예상하여 목표시작위치(903)로 차량을 이동시킬 필요가 있다. 이 경우에 있어서, 운전자가 차의 내부에서 직시나 미러 등으로부터 확인할 수 있는 정경으로부터 장해물(401, 402)이나, 목표주차위치(902)를 예상하는 작업은 숙련을 요한다는 문제점이 있다. 또 차량의 크기나 미러의 위치가 변한 경우라도 운전자는 그 변화에 금방 대응하기 어렵다는 문제점이 있다.
이에 대하여 본 실시예에서의 운전조작 보조장치를 이용하는 경우, 차량에 부착된 카메라가 촬상한 화상을 이용하여 도 4에 도시된 바와 같이, 차량의 바로 위에서 촬상한 것 같은 가상카메라의 시점으로부터의 주위상황화상에 도 5의 (a)에 도시된 바와 같은 예상운동패턴을 중첩하여 도 7에 도시된 바와 같은 합성화상이 생성되어 운전자에게 표시된다.
따라서 도 9의 목표시작위치(903)에 차량을 이동시키는 운전조작을 할 때 도 10의 (a)∼(c)에 도시된 바와 같이 차량의 현재위치(901)와, 도 5의 (a)의 조작시작위치(501)를 일치시켜 표시하면 현재위치(901)를 조작시작위치(501)로 하였을 때의 조작종료위치(502)가 타이어궤적과 함께 현재 위치에 대응한 주차위치(1001)로서 표시된다. 이 주차위치(1001)가 목표주차위치(902)와 일치하는 현재위치(901)에 차량이 위치되었을 때 목표시작위치(903)로의 이동이 완료된다.
즉 도 10의 (a)의 합성화상(1)이 표시수단(107)에 표시된 시점에서는 이 위치로부터 주차조작을 시작한 경우, 주차위치(1001)가 장해물(402)과 겹치기 때문에 다시 차량을 전방(도 10의 (a)의 상방향)으로 진행한 위치로부터 주차조작을 시작해야 하는 것을 운전자는 한눈에 파악할 수 있다.
또 도 10의 (b)의 합성화상(2)이 표시수단(107)에 표시된 시점에서는 이 위치로부터 주차조작을 시작한 경우, 타이어궤적이 장해물(401)과 겹치기 때문에 다시 차량을 후방(도 10의 (a)의 하방향)으로 이동한 위치로부터 주차조작을 시작해야 하는 것을 운전자는 한눈에 파악할 수 있다.
또 도 10의 (c)의 합성화상(3)이 표시수단(107)에 표시된 시점의 위치로부터 주차조작을 시작한 경우, 타이어궤적이 장해물(401, 402)에 겹치지 않고, 또 주차위치(1001)가 주차에 알맞는 장소인 것을 한눈에 파악할 수 있으므로 이 위치로부터 주차조작을 시작하면 되는 것을 확인할 수 있다.
이와 같이, 바로 위에서 보았을 때의 차량과, 주위의 장해물, 주차종료위치, 타이어궤적의 위치관계를 나타내는 화상을 가상적으로 합성하여 운전자에게 나타냄으로써 운전자는 그들의 위치관계를 직접 한눈에 파악할 수 있다. 그 결과, 운전자는 주차조작시작에 알맞는 장소를 한눈에 파악하여 그 장소로 차량을 용이하게 이동시키고나서 주차조작을 시작할 수 있으므로 더욱 안전하고 또 정확하게 원하는 위치에 주차 조작할 수 있다.
또 예상운동패턴의 조작시작위치, 조작종료위치 및 타이어궤적은 차량마다 고유이며, 예를 들어 소형차량과 대형차량에서는 크게 다르다. 이것에 대해서는 도 1의 예상운동패턴 저장수단(108)에 차량마다 예상운동패턴을 저장함으로써 대응할 수 있다. 따라서 운전자는 차량이 변하더라도 그 차량에 대응한 예상운동패턴과, 주위의 장해물 등의 관계를 보면서 운전조작을 할 수 있다.
또 차량이 변하는 것에 따라 도 2에 도시된 차재용 카메라의 위치, 수도 변화하는 것을 생각할 수 있는데, 이것도 도 1의 카메라 파라미터표(103)가 각 카메라의 카메라 파라미터를 차량마다 저장함으로써 대응되어 운전자에게 표시되는 표시화상에 직접 영향을 주는 변화는 없다. 따라서 운전자는 차량이 바뀌어 카메라위치가 변화하더라도 차량이 바뀌기 전과 거의 마찬가지로 합성화상에 표시되며, 그 차량에 대응한 예상운동패턴과, 주위의 장해물 등의 관계를 보면서 운전조작을 할 수 있다.
이상과 같이 본 실시예에 의하면, 종래 운전자에게 상당의 숙련을 요하는 종렬주차 등의 운전조작에 있어서, 운전차량과 장해물 및 목적위치 등을 직접 한눈에 파악할 수 있게 되어 더욱 안전하고 정확한 운전조작이 가능하고 또 운전자의 조작 부담을 대폭 경감한다.
또 차량 등이 바뀐 경우라도 운전자는 차량이 변하기 전과 거의 마찬가지로 그 차량에 대응한 예상운동패턴과, 주위의 장해물 등의 관계를 보면서 운전조작을 할 수 있으므로 차량의 변경에 대한 운전자의 숙련 부담을 대폭 줄일 수 있다.
여기에서 도 1의 예상운동패턴 저장수단(108)에 저장되어 있는 예상운동패턴의 편차의 일례를 도 11에 도시한다. 좌우의 종렬주차의 예상운동패턴(1101, 1102)과, 좌우의 차고입고 주차의 예상운동패턴(1103, 1104)이다. 상술한 바와 같이 운전자는 패턴선택수단(도시 생략)에 의해 이들 중 어느 하나를 선택한다. 이 4개의 예상운동패턴의 선택에 대응하여 합성화상으로서 표시하는 영역도 도 11의 각 예상운동패턴(1101∼1104)의 바깥틀과 같이 결정된다. 즉 조작시작위치를 현시점의 차량위치로 하고, 거기에서부터 타이어궤적 및 조작종료위치를 포함하는 직사각형 영역을 합성화상영역으로 하는 것이다.
또 차재용 카메라로부터는 차량 본체는 일반적으로 촬상되어 있지 않지만, 여기에서는 차량의 CG데이터, 실차데이터 등을 보유하고, 궤적데이터와 마찬가지로 합성화상 중에 중첩하여 표시해도 된다.
또 본 실시예에서 본 발명의 예상운동패턴은 조작시작위치(본 발명의 예산운동 시작영역), 조작종료위치(본 발명의 예상운동 종료영역) 및 타이어궤적(본 발명의 차량의 타이어의 궤적을 나타내는 화상데이터)을 나타내는 화상데이터라고 설명하였지만, 이것에 한정되는 것은 아니고, 예를 들면 타이어궤적 대신/타이어궤적과 함께 차량 자신의 평면투영이 움직이는 궤적(본 발명의 차량의 이동영역을 나타내는 화상데이터)을 포함한다고 해도 된다. 즉 본 발명의 예상운동패턴은 미리 차량에 대하여 소정의 일련의 운전조작을 한 경우의 상기 차량의 운동을 나타내는 화상데이터이기만 하면 된다.
또 상술한 바와 같이 타이어궤적 및/또는 차량의 이동영역을 그대로 표시하면 차량과 장해물 등과의 접촉에 대한 여유가 없으므로 도 12에 도시된 바와 같이 타이어궤적 또는 차량의 이동영역의 바깥가장자리로부터 소정의 양(예를 들면 50cm)만큼 바깥쪽에 배치한 여유선(1201)을 표시한다고 해도 된다.
또 본 실시예에서 본 발명의 주위상황화상은 촬상부(101)가 실시간으로 촬상한 화상데이터가 합성된 것이라고 설명하였지만, 이것에 한정되는 것은 아니고, 예를 들면 빈번히 동일한 운전조작을 하는 장소이고, 주위상황의 변동이 거의 없는 장소에서 운전조작을 하는 경우는 이미 촬상된 화상데이터로부터 작성한 데이터를 공간데이터 버퍼(105)에 저장해 두고 이것을 이용해도 된다.
(제 2 실시예)
다음으로 본 발명의 제 2 실시예를 도면을 참조하여 설명하기로 한다.
도 13은 본 발명의 제 2 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치도 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다. 따라서 본 실시예에서 특히 설명이 없는 것에 대해서는 제 1 실시예와 같다고 하고, 제 1 실시예와 동일부호를 부여하고 있는 구성부재에 대하여는 특별히 설명이 없는 한 제 1 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않은 한 같은 변형을 행함으로써 본 실시예에 적용되는 것으로 한다.
도 13에 도시된 바와 같이 본 실시예에서의 운전조작 보조장치의 구성이 제 1 실시예에서의 운전조작 보조장치의 구성과 다른 것은 시작검출수단(1301)과, 적분수단(1302)과, 공간변환수단(1303)을 구비하는 점이다.
진행인지 후퇴인지를 나타내는 기어신호와, 전륜의 조향각을 나타내는 핸들회전각신호가 입력되어 있고, 시작검출수단(1301)은 기어신호가 후퇴의 상태이고 또 핸들회전각신호가 전륜의 조향각이 일정 이상 커졌을 때 예상운동패턴 저장수단(108)에 저장되어 있는 예상운동패턴에 대응하는 운전조작(주차조작)이 시작되었다고 판단하는 것이며, 본 발명의 조작시작 검출수단에 대응하는 것이다.
적분수단(1302)은 상기 핸들회전각과, 상기 후륜회전수를 적분하여 운전조작(주차조작)을 시작하고 나서 현시점까지의 차량의 공간이동변화를 산출하는 것이며 본 발명의 이동위치 산출수단에 대응하는 것이다.
공간변환수단(1303)은 상기 공간이동변화에 따라 예상운동패턴을 이동시키는 것이며, 중복수단(102) 및 공간변환수단(1303)을 합한 것은 본 발명의 합성화상 생성수단에 대응하는 것이다.
본 실시예에서 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서는 제 1 실시예에서 설명한 것과 같다. 또 중복수단(102)이 본 발명의 합성화상을 생성하여, 그것을 표시수단(107)이 표시하기까지의 순서 중 예상운동패턴에 대응하는 실제의 운전조작이 시작되기까지의 순서는 제 1 실시예에서 설명한 것과 같다.
예상운동패턴에 대응하는 실제의 운전조작이 시작된 시점 이후의 중복수단(102)이 본 발명의 합성화상을 생성하여, 그것을 표시수단(107)이 표시하기까지의 순서를 좌측으로의 종렬주차를 하는 경우를 예로 들어 이하에 설명하기로 한다.
운전자가 좌측으로의 종렬주차에 대응하는 운전조작을 시작하면 기어신호가 후퇴의 상태이고 또 핸들회전각신호가 전륜의 조향각이 일정 이상 커지므로 시작검출수단(1301)이 좌측으로의 종렬주차에 대응하는 운전조작(주차조작)이 시작되었다고 판단하여 적분수단(1302)으로 운전조작(주차조작)이 시작된 것을 전하는 것과 아울러, 그 이후 핸들회전각신호 및 후륜회전수신호를 적분수단(1302)으로 입력한다.
적분수단(1302)은 입력되는 운전조작 시작 이후의 핸들회전각신호와, 후륜회전수신호를 적분하여 도 14의 (a)에 도시된 바와 같이 차량 현재위치(1402)에 대한 주차조작 시작위치(1401)의 위치관계를 산출한다.
산출된 위치관계에 따라 공간변환수단(1303)은 도 14의 (b)에 도시된 바와 같이 좌측으로의 종렬주차에 대응하는 예상운동패턴(1403)을 그 조작시작위치(도 5의 501)와 주차조작 시작위치(1401)가 일치하도록 이동시킨다. 바꾸어 말하면 공간변환수단(1303)은 운전조작 시작 이후 예상운동패턴(1403)을 주차조작 시작시의 위치에 공간 고정한다.
중복수단(102)은 운전조작 시작 이후에서는 주차조작 시작시의 위치에 공간 고정된 예상운동패턴(1403)과, 차량현재위치(1402)를 주위상황화상에 중첩하여 합성하여 도 14의 (c)에 도시된 바와 같이 본 발명의 합성화상을 생성한다. 표시수단(107)은 이 합성화상을 표시한다. 장해물(401, 402) 등의 주위상황화상은 물론 공간에 고정되어 있는 것이므로 이 합성화상에 있어서 주위상황화상과 예상운동패턴(1403)의 위치관계는 고정되어 있다. 또 합성화상은 차량 상에 고정된 시점에서 본 화상이기 때문에 도 14의 (c)에 있어서는 차량이 움직이면 차량 현재위치(1402)만 화면 상에 고정되고, 주위상황화상 및 예상운동패턴(1403)은 상대적으로 움직여 표시된다.
즉 본 실시예에 의하면 가상카메라의 시점으로부터의 주위상황화상은 실제의 차량의 움직임을 따라 이동하고, 또 중첩하여 합성되는 예상운동패턴(1403)도 마찬가지로 적분수단(l302)으로 산출되는 차량의 움직임을 따라 이동하기 때문에 양자는 일치한 움직임이 된다. 운전자는 그 각 시점에서 표시되는 예상운동패턴의 타이어궤적에 따른 핸들조작을 하면 되므로 더욱 간단하고 안전한 차량조작이 가능해진다.
(제 3 실시예)
다음으로 본 발명의 제 3 실시예를 도면을 참조하여 설명하기로 한다.
도 15는 본 발명의 제 3 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치도 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다. 따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 1 실시예와 같다고 하고, 제 1 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 1 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않은 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
도 15에 도시된 바와 같이 본 실시예에서의 운전조작 보조장치의 구성이 제 1 실시예에서의 운전조작 보조장치의 구성과 다른 것은 시작검출수단(1501)과, 화상추적수단(1502)과, 공간변환수단(1503)을 구비하는 점이다.
시작검출수단(1501)은 핸들회전각신호 및 후륜회전수신호를 외부로 출력하지 않는 것을 제외하면 제 2 실시예에서 설명한 도 13의 시작검출수단(1301)과 같은 기능을 갖는 것이다.
화상추적수단(1502)은 운전조작(주차조작)이 시작된 시점에서의 합성화상 상에서의 주위상황화상의 화상데이터의 전부 또는 일부(예를 들면 장해물)를 기준으로 하며, 예상운동패턴의 화상데이터의 전부 또는 일부(예를 들면 조작종료위치)의 위치정보를 기억하는 것이며, 본 발명의 위치정보 기억수단에 대응하는 것이다.
공간변환수단(1503)은 상기 위치정보에 따라 예상운동패턴을 이동시키는 것이며, 중복수단(102) 및 공간변환수단(1503)을 합한 것은 본 발명의 합성화상 생성수단에 대응하는 것이다.
본 실시예에 있어서 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서는 제 1 실시예에서 설명한 것과 같다. 또 중복수단(102)이 본 발명의 합성화상을 생성하여, 그것을 표시수단(107)이 표시하기까지의 순서 중 예상운동패턴에 대응하는 실제의 운전조작이 시작되기까지의 순서는 제 1 실시예에서 설명한 것과 같다.
예상운동패턴에 대응하는 실제의 운전조작이 시작된 시점 이후의 중복수단(102)이 본 발명의 합성화상을 생성하고, 그것을 표시수단(107)이 표시하기까지의 순서를 좌측으로의 종렬주차를 하는 경우를 예로 들어 이하에 설명하기로 한다.
운전자가 좌측으로의 종렬주차에 대응하는 운전조작을 시작하면 기어신호가 후퇴의 상태이고 또 핸들회전각신호가 전륜의 조향각이 일정 이상 커지므로 시작검출수단(1501)이 좌측으로의 종렬주차에 대응하는 운전조작(주차조작)이 시작되었다고 판단하여 화상추적수단(1502)에 운전조작(주차조작)이 시작된 것을 전한다.
화상추적수단(1502)은 운전조작(주차조작)이 시작된 것이 전해지면 이때의 합성화상(도 16의 (a)) 상에서의 주위상황화상의 화상데이터의 일부인 장해물(402)의 일부와, 주차조작 종료위치(1602)를 포함하는 종료위치 주변화상(1603)의 화상데이터를 공간데이터 버퍼(105) 경유로 입수하여 기억한다. 운전조작 시작 이후는 각 시점에서의 주위상황화상(공간데이터 버퍼(105) 경유로 입수)으로부터 장해물(402)의 해당 부분을 찾아내기 시작하여, 종료위치 주변화상(1603) 내에서의 장해물(402)의 해당 부분을 주위상황화상의 장해물(402)의 해당 부분과 일치시킴으로써 그 시점에서의 주차조작 종료위치(1602)와 주위상황화상의 위치관계를 결정한다. 즉 화상추적수단(1502)은 각 시점에서의 주차조작 종료위치(1602)와 주위상황화상의 위치관계를 추적하고 있다.
이 위치관계에 따라 공간변환수단(1503)은 좌측으로의 종렬주차에 대응하는 예상운동패턴을 그 조작종료위치(도 5의 502)와 주차조작 종료위치(1602)가 일치하도록 이동시킨다. 바꾸어 말하면, 공간변환수단(1503)은 운전조작 시작 이후 상기 예상운동패턴을 주차조작 시작시의 위치에 공간 고정한다.
중복수단(102)은 운전조작 시작 이후에는 도 16의 (c)에 도시된 바와 같이 주차조작 시작시의 위치에 공간 고정된 예상운동패턴(1605), 차량의 현재위치(1604)를 주위상황화상에 중첩하여 합성하여 본 발명의 합성화상을 생성한다. 표시수단(107)은 이 합성화상을 표시한다. 장해물(401, 402) 등의 주위상황화상은 물론 공간에 고정되어 있는 것이므로 이 합성화상에 있어서 주위상황화상과 예상운동패턴(1403)의 위치관계는 고정되어 있다.
또 합성화상은 차량 상에 고정된 시점에서 본 화상이기 때문에 도 16의 (c)에 있어서는 차량이 움직이면 차량의 현재위치(1604)만 화면 상에 고정되고, 주위상황화상 및 예상운동패턴(1605)은 상대적으로 움직여 표시된다. 즉 본 실시예에서의 운전조작 보조장치에 있어서, 제 2 실시예에서의 운전조작 보조장치와 같은 조건으로 순서를 밟으면 도 16의 (c)에 도시된 합성화상은 도 14의 (c)에 도시된 합성화상과 같은 것이 된다.
본 실시예에 의하면 가상카메라의 시점으로부터의 주위상황화상은 실제의 차량의 움직임을 따라서 이동하고, 또 중첩하여 합성되는 예상운동패턴(1605)도 마찬가지로 차량의 움직임을 따라서 이동하기 때문에 양자는 일치한 움직임이 된다. 운전자는 그 각 시점에서 표시되는 예상운동패턴의 궤적데이터에 따른 핸들조작을 하면 되므로 더욱 간단하고 안전한 차량조작이 가능해진다.
(제 4 실시예)
다음으로 본 발명의 제 4 실시예를 도면을 참조하여 설명하기로 한다.
도 17은 본 발명의 제 4 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치도 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다. 따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 1 실시예와 같다고 하고, 제 1 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 1 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않은 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
도 17에 도시된 바와 같이 본 실시예에서의 운전조작 보조장치의 구성이 제 1 실시예에서의 운전조작 보조장치의 구성과 다른 것은 시작입력수단(1701)과, 운전제어수단(1702)과, 적분수단(1703)과, 공간변환수단(1704)을 구비하는 점이다.
시작입력수단(1701)은 예상운동패턴에 대응하는 실제의 운전조작(주차조작)을 시작하는 것을 운전자가 입력 지시하는 것이며 본 발명의 조작시작 검출수단에 대응하는 것이다.
운전제어수단(1702)은 운전조작 시작지시가 입력되면 예상운동패턴에 대응하는 시계열 데이터(예를 들면 도 5의 (b))에 따라 핸들회전각 및 후륜회전수를 제어함으로써 차량의 운전을 자동 제어하는 것이며, 본 발명의 운전제어수단에 대응하는 것이다.
적분수단(1703)은 핸들회전각과, 후륜회전수를 적분하여 운전조작(주차조작)을 시작하고 나서 현시점까지의 차량의 공간이동변화를 산출하는 것이며, 본 발명의 이동위치 산출수단에 대응하는 것이다. 즉 제 2 실시예에서 설명한 도 13의 적분수단(1302)과 같은 기능을 갖는 것이다.
공간변환수단(1704)은 상기 공간이동변화에 따라 예상운동패턴을 이동시키는 것이며, 중복수단(102) 및 공간변환수단(1704)을 합한 것은 본 발명의 합성화상 생성수단에 대응하는 것이다. 즉 공간변환수단(1704)은 제 2 실시예에서 설명한 도 13의 공간변환수단(1303)과 같은 기능을 갖는 것이다.
본 실시예에서 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서는 제 1 실시예에서 설명한 것과 같다. 또 중복수단(102)이 본 발명의 합성화상을 생성하고 그것을 표시수단(107)이 표시하기까지의 순서 중 예상운동패턴에 대응하는 실제의 운전조작이 시작되기까지의 순서는 제 1 실시예에서 설명한 것과 같다.
예상운동패턴에 대응하는 실제의 운전조작이 시작된 시점 이후의 중복수단(102)이 본 발명의 합성화상을 생성하여 그것을 표시수단(107)이 표시하기까지의 순서를 좌측으로의 종렬주차를 하는 경우를 예로 들어 이하에 설명하기로 한다.
운전자는 주차조작 시작 전에 상기 표시수단(107)에 표시되는 합성화상을 보면서 주차조작 시작에 알맞는 위치에 차량을 위치시킨 후 시작입력수단(1701)에 주차조작시작을 지시하는 입력을 한다. 시작입력수단(1701)은 운전조작 시작지시가 입력된 것을 운전제어수단(1702) 및 적분수단(1703)으로 예상운동패턴 저장수단(108)을 통해 전한다.
운전제어수단(1702)은 주차조작 시작지시가 입력되면 예상운동패턴에 대응하는 시계열 데이터(도 5의 (b))에 따라 핸들회전각 제어신호 및 후륜회전수 제어신호를 발생시켜 핸들제어계 및 후륜구동계를 제어함으로써 차량의 운전을 자동 제어한다.
적분수단(1703)은 주차조작 시작지시가 입력되면 핸들회전각신호 및 후륜회전수신호를 적분하여 도 14의 (a)에 도시된 바와 같이 차량현재위치(1402)에 대한 주차조작 시작위치(1401)의 위치관계를 산출한다.
산출된 위치관계에 따라 공간변환수단(1704)은 도 14의 (b)에 도시된 바와 같이 좌측으로의 종렬주차에 대응하는 예상운동패턴(1403)을 그 조작시작위치(도 5의 501)와 주차조작 시작위치(1401)가 일치하도록 이동시킨다. 바꾸어 말하면, 공간변환수단(1704)은 운전조작 시작 이후 예상운동패턴(1403)을 주차조작 시작시의 위치에 공간 고정한다.
이 이후의 중복수단(102)이 합성화상을 생성하여 표시수단(107)이 이 합성화상을 표시하는 순서는 제 2 실시예에서 설명한 것과 같다. 차량이 소정의 주차위치에 도달하면 운전제어수단(1702)은 시계열 데이터에 따라 차량을 정지시켜 주차조작이 종료된다.
본 실시예에 의하면 제 2 실시예에서 설명한 효과에 덧붙여 운전조작의 시작을 지시한 이후는 핸들조작 등이 자동으로 행해진다는 효과를 얻을 수 있다. 운전자는 그 각 시점에서 표시되는 예상운동패턴의 궤적데이터에 따른 핸들조작이 자동적으로 발생되는 것을 확인하고, 또 새로운 장해물이 나타나는 것을 감시하면 되므로 더욱 간단하고 안전한 차량조작이 가능해진다.
(제 5 실시예)
다음으로 본 발명의 제 5 실시예를 도면을 참조하여 설명하기로 한다.
도 18은 본 발명의 제 5 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치도 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다. 따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 1 실시예와 같다고 하고, 제 1 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 1 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않은 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
도 18에 도시된 바와 같이 본 실시예에서의 운전조작 보조장치의 구성이 제 1 실시예에서의 운전조작 보조장치의 구성과 다른 것은 궤적수정수단(1801)을 구비하는 점이다.
궤적수정수단(1801)은 운전자로부터 입력된 운동조작의 조작시작위치 및 조작종료위치에 기초하여 예상운동패턴 및 시계열 데이터를 수정하는 것이며, 본 발명의 패턴수정수단에 대응하는 것이다.
본 실시예에서 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서는 제 1 실시예에서 설명한 것과 같다. 또 중복수단(102)이 본 발명의 합성화상을 생성하고, 그것을 표시수단(107)이 표시하기까지의 순서 중 예상운동패턴 저장수단(108)에 저장되어 있는 예상운동패턴이 그 조작시작위치와 차량의 현재위치를 일치시켜 합성화상 상에 표시되기까지의 순서는 제 1 실시예에서 설명한 것과 같다.
예상운동패턴이 합성화상 상에 표시된 시점 이후의 운전자가 궤적수정수단(1801)을 이용하여 예상운동패턴 및 시계열 데이터를 수정하고, 그것이 합성화상 상에 표시되기까지의 순서를 좌측으로의 차고입고를 행하는 경우를 예로 들어 이하에 설명하기로 한다.
도 19의 (a)에 도시된 바와 같이 운전자가 장해물(1904, 1905)에 접촉하지 않도록 목표주차위치(1902)를 조작종료위치로 하는 차고입고조작을 행하고자 하여 목표주차위치(1902)에 예상운동패턴의 조작종료위치가 일치하는 현재위치(1901)로 차량을 이동시킨 바, 예상운동패턴의 타이어궤적(1903)이 장해물(1905)과 간섭하는 것이 판명된 경우를 예상한다.
예상운동패턴 저장수단(108)이 다른 좌측으로의 차고입고 조작에 대한 예상운동패턴을 저장하고 있는 경우는 패턴선택수단(도시 생략)에 의해 이것을 선택하여, 잘 주차 조작할 수 있는지를 검토해도 되지만, 그렇지 않은 경우 혹은 다른 예상운동패턴도 장해물 등과 간섭하는 경우는 운전자가 예상운동패턴을 수정한다.
우선 운전자는 표시수단(107)에 표시되어 있는 합성화상(도 19의 (a))의 현재위치(1901)에 있는 차량을 도시한 도면형을 도 19의 (b)에 도시된 바와 같이 새로운 조작시작위치(1906)로 수치입력, 포인터, 그 밖의 수단으로 이동시킨다.
새로운 조작시작위치(1906)가 결정되면 궤적수정수단(1801)은 새로운 조작시작위치(1906)로부터 목표주차위치(1902)로 차량이 이동하는 새로운 타이어궤적(1907)(도 19의 (c) 참조)을 구하여 새로운 예상운동패턴 및 그들에 대응하는 시계열 데이터를 생성한다.
중복수단(102)은 도 19의 (d)에 도시된 바와 같이 새로운 예상운동패턴을 그 조작시작위치가 차량의 현재위치(1901)를 일치시켜 합성화상을 생성하고, 표시수단(107)은 이것을 표시한다.
따라서 운전자는 새로운 예상운동패턴의 조작종료위치(1908)를 목표주차위치(1902)와 일치시키도록 차량을 이동시킨 후 새로운 예상운동패턴에 따른 운전조작(주차조작)을 시작하면 목표주차위치(1902)에 해당 차량을 주차시킬 수 있다.
또 생성된 새로운 예상운동패턴 및 시계열 데이터는 원래의 예상운동패턴을 갱신하여 예상운동패턴 저장수단(108)에 저장한다고 해도 되고, 원래의 예상운동패턴은 그대로로 하여, 예상운동패턴 저장수단(108)에 추가저장해도 된다. 또 그 장소에만 한정하여 저장하지 않아도 된다. 또 갱신저장, 추가저장, 저장하지 않음 등을 운전자가 그 때마다 선택해도 된다.
아직 본 실시예에서는 예상운동패턴 저장수단(108)에 갱신저장 또는 추가 저장하는 예상운동패턴은 운전자로부터 입력된 운동의 시작시 및 종료시의 차량의 위치에 기초하여 자동적으로 구해진다고 설명하였지만, 실제의 운전조작을 하여 이 때의 핸들조향각, 차륜회전수 등의 시계열 데이터를 채취하고 이것에 기초하여 예상운동패턴을 생성하여 저장해도 된다.
본 실시예에 의하면 제 1 실시예에서의 운전조작 보조장치에 비해 확장성이 있는 운전조작 보조장치를 실현할 수 있다.
(제 6 실시예)
다음으로 본 발명의 제 6 실시예를 도면을 참조하여 설명하기로 한다.
도 20은 본 발명의 제 6 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치도 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다. 따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 1 실시예와 같다고 하고, 제 1 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 1 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않은 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
도 20에 도시된 바와 같이 본 실시예에서의 운전조작 보조장치의 구성이 제 1 실시예에서의 운전조작 보조장치의 구성과 다른 것은 CG 화상합성수단(2001)을 구비하는 점이다.
CG 화상합성수단(2001)은 예상운동패턴 저장수단(108)에 저장되어 있는 각 예상운동패턴에 대응하는 3차원 데이터가 저장되어 있고, 주위상황화상의 시점에 맞춘 3차원(또는 2차원)화상을 생성하는 것이며, 본 발명의 예상운동패턴 저장수단의 기능의 일부 및 본 발명의 합성화상 생성수단의 기능의 일부에 대응하는 것이다.
또 시점변환수단(106)은 자동적으로 또는 운전자로부터의 입력에 의해 시점의 위치를 바꿀 수 있는 것으로 한다.
또 예상운동패턴 저장수단(108)은 도 21의 (a)에 도시된 바와 같이 저장되어 있는 예상운동패턴(조작시작위치(501), 조작종료위치(502) 및 타이어궤적(503))과 함께 타이어궤적(503) 상에 배치된 복수의 가상 폴(2001)의 위치가 기억되어 있다. 이 예상운동패턴 및 가상 폴(2001)의 데이터에 기초하여 CG 화상합성수단(2001)은 미리 이 예상운동패턴에 대응하는 3차원 데이터(도 21의 (b) 참조)를 생성하여 저장하고 있다.
본 실시예에서 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서는 제 1 실시예에서 설명한 것과 같다. 또 중복수단(102)이 본 발명의 합성화상을 생성하고, 그것을 표시수단(107)이 표시하기까지의 순서 중 예상운동패턴에 대응하는 실제의 운전조작이 시작되기까지의 순서는 제 1 실시예에서 설명한 것과 같다.
예상운동패턴에 대응하는 실제의 운전조작이 시작된 시점 이후의 중복수단(102)이 본 발명의 합성화상을 생성하고, 그것을 표시수단(107)이 표시하기까지의 순서를 좌측으로의 종렬주차를 하는 경우를 예로 들어 이하에 설명하기로 한다.
운전자는 실제의 운전조작을 시작하기 전에 시점변환수단(106)이 사용하고 있는 주변상황화상의 시점을 해당 차량의 바로 위로부터 해당 차량의 후부로부터 후방을 바라보는 시점으로 바꾼다. 또는 시점변환수단(106)이 예상운동패턴에 대응하는 실제의 운전조작이 시작된 것을 검출함으로써 자동적으로 해당 시점으로 바꾼다. 또 실제의 운전조작이 시작된 것을 검출하는 구체적인 수단으로서는 예를 들면 제 2 실시예에서 설명한 시작검출수단(1301)과 같은 것을 들 수 있다.
시점이 바뀌어짐으로써 시점변환수단(106)으로부터의 출력인 주변상황화상은 도 21의 (c)에 도시된 바와 같이 된다. CG 화상합성수단(2001)은 해당 차량의 현재위치를 조작시작위치(501)와 일치시켜 시점변환수단(106)이 이용하고 있는 시점과 같은 시점에서 본 CG 화상을 생성한다. 이 때의 CG 화상은 도 21의 (d)에 도시된 바와 같이 된다.
중복수단(102)은 이 CG 화상을 주위상황화상에 중첩하여 합성하여 도 21의 (e)에 도시된 바와 같이 본 발명의 합성화상을 생성한다. 표시수단(107)은 이 합성화상을 표시한다. 합성화상은 차량 상에 고정된 시점에서 본 화상이기 때문에 도 21의 (e)에 있어서는 차량이 움직이면 화상 전체가 상대적으로 움직여 표시된다.
본 실시예에서는 운전자는 이 표시화상을 보면서 가상 폴이나 조작종료위치와, 실제의 장해물의 관계를 한눈에 파악하면서 주차시작위치를 결정할 수 있으므로 안전하고 확실한 운전조작을 할 수 있다.
또 상기 설명에서는 CG 화상합성수단(2001)이 실시간으로 시점변환수단(106)이 이용하고 있는 시점과 같은 시점에서 본 CG 화상을 생성한다고 설명하였지만, 소정의 시점위치에서 본 CG 화상을 미리 예상운동패턴마다 생성해 두고 이들을 저장해 두는 구성으로 해도 된다.
또 본 실시예에서는 제 1 실시예와 마찬가지로 가상카메라에서 본 주변상황화상을 생성한다고 설명하였지만, 시점을 바꾸는 일 없이 차량의 후부로부터 후방을 바라보는 화상만을 대상으로 하는 경우에는 해당 시점위치에 설치한 카메라가 촬상한 화상을 그대로 주변상황화상으로 해도 된다. 이 경우의 운전조작 보조장치의 구성은 도 22에 도시한 블록도와 같이 된다. 즉 CG 화상합성수단(2001)은 1대의 차재용 카메라(2201)의 시점에 관한 데이터를 카메라 파라미터표(103)로부터 입수하여 CG 화상을 생성하는 것이다.
(제 7 실시예)
다음으로 본 발명의 제 7 실시예를 도면을 참조하여 설명하기로 한다.
도 23은 본 발명의 제 7 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치도 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다. 따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 1 실시예와 같다고 하고, 제 1 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 1 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않은 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
도 23에 도시된 바와 같이 본 실시예에서의 운전조작 보조장치의 구성이 제 1 실시예에서의 운전조작 보조장치의 구성과 다른 것은 매핑수단(2301)과 매핑표(2302)를 구비하는 점이다.
매핑수단(2301)은 촬상부(101)의 각 카메라로부터의 입력화상을 임의의 시점에서 본 화상으로 변환하는 처리를 고속으로 행하는 것이다.
또 매핑표(2302)는 매핑수단(2301)이 변환을 할 때에 사용하는 데이터를 저장하는 것이다.
도 24는 매핑표(2302)에 저장되어 있는 매핑표의 일례를 도시한 개념도이다. 매핑표는 표시수단(107)으로 표시하는 화면(즉 중복수단(102)이 생성하는 합성화상)의 화소수만큼의 셀로 구성되어 있다. 즉 표시화면의 가로화소수가 표의 열수가 되고, 표시화면의 세로화소수가 표의 행수가 되도록 표가 구성되어 있다. 그리고 각각의 셀은 카메라번호와 각 카메라로 촬영된 화상의 화소좌표를 데이터로서 갖고 있다.
예를 들면 도 24의 좌상부의 셀((1, 10, 10)의 데이터가 기입되어 있는 셀)은 표시화면에서의 좌상, 즉 (0, O)의 부분을 나타내고 있고, 매핑수단(2301)은 상기 셀에 저장되어 있는 데이터 내용(1, 10, 10)으로부터 「1번 카메라로 촬영된 화상의 화소(10, 10)의 데이터를 표시화면(0, 0)에 표시한다」는 처리를 한다. 상기 표를 이용함으로써 표시화면의 각 화소를 어떤 카메라의 어떤 화소의 데이터로 치환할 것인지를 계산할 필요가 없어지기 때문에 처리의 고속화가 실현되는 것이다.
또 시점전환수단(106)이 복수의 시점을 전환하여 사용하는 경우, 매핑표(2302)는 시점마다 도 24와 같은 표가 저장되어 있을 필요가 있다.
(제 8 실시예)
다음으로 본 발명의 제 8 실시예를 도면을 참조하여 설명하기로 한다.
도 25는 본 발명의 제 8 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치도 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다. 따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 1 실시예와 같다고 하고, 제 1 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 1 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않는 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
도 25에 도시된 바와 같이 본 실시예에서의 운전조작 보조장치의 구성이 제 1 실시예에서의 운전조작 보조장치의 구성과 다른 것은 최종위치 입력수단(2501), 시작위치 결정수단(2502) 및 공간고정수단(2503)을 구비하는 점이다.
최종위치 입력수단(2501)은 포인터에 의해 운전조작의 목표종료위치를 입력하는 것이다. 또 목표종료위치의 입력에 대해서는 수치입력 또는 그 밖의 수단에 의해 입력된다고 해도 된다.
시작위치 결정수단(2502)은 최종위치 입력수단(2501)에 의해 입력된 목표종료위치에 대응하는 운전조작의 시작위치를 해당 운전조작에 대응하는 예상운동패턴에 따라서 구하는 것이다.
공간고정수단(2503)은 해당 운전조작에 대응하는 예상운동패턴을 상기 목표종료위치와 조작종료위치를 일치시키고, 이후는 공간 고정시키는 것이며, 도 13의 적분수단(1302) 및 공간변환수단(1303)의 기능을 아울러 갖는 것이다(도 25에서는 후륜회전 신호입력 및 핸들회전각 신호입력의 도시생략).
또 도 15의 화상추적수단(1502) 및 공간변환수단(1503)의 기능을 아울러 가진 것으로 해도 되지만, 이 경우는 도 15의 화상추적수단(1502)과 같이 공간 버퍼(105)로부터 공간데이터의 입력을 받아들일 필요가 있다. 또 중복수단(102) 및 공간고정수단(2503)을 합한 것은 본 발명의 합성화상 생성수단에 대응하는 것이다.
본 실시예에서 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서는 제 1 실시예에서 설명한 것과 같다. 또 중복수단(102)이 본 발명의 합성화상을 생성하여 그것을 표시수단(107)이 표시하기까지의 순서 중 예상운동패턴 저장수단(108)에 저장되어 있는 예상운동패턴이 그 조작시작위치와 차량의 현재위치를 일치시켜 합성화상 상에 표시되기까지의 순서는 제 1 실시예에서 설명한 것과 같다.
예상운동패턴이 합성화상 상에 표시된 시점 이후의 운전자가 최종위치 입력수단(2501)을 이용하여 운전조작의 목표종료위치를 입력하고, 그것에 대응하는 운전조작의 시작위치를 포함하는 예상운동패턴이 합성화상 상에 표시되기까지의 순서를 좌측으로의 차고입고를 하는 경우를 예를 들어 이하에 설명하기로 한다.
도 26의 (a)에 도시된 바와 같이 운전자가 장해물(401, 402)에 접촉하지 않도록 이 사이에 주차하고자 하여 본 발명의 합성화상을 표시수단(107)에 표시시킨 바, 차량의 현재위치(901)를 조작시작위치로 하는 예상운동패턴(1403)의 조작종료위치인 주차위치(1001)가 장해물(402)과 겹친 경우를 예상한다.
운전자는 표시수단(107)의 화면 상에 표시되어 있는 포인터(2601)를 이용하여 주차위치(1001)를 목표위치(2602)로 이동시킨다. 이 때 도 26의 (b)에 도시된 바와 같이 예상운동패턴(1403)은 주차위치(1001)와 함께 이동하므로 예상운동패턴(1403)의 조작시작위치는 주차조작을 시작하는 시작위치(2603)로서 표시된다.
상기 이동작업이 종료된 후에도 차량의 현재위치(901)는 도 26의 (c)에 도시된 바와 같이 표시수단(107)이 표시하는 화면 상에 표시되어 있다. 운전자는 이 화면을 보면서 차량을 시작위치(2603)로 이동시키면 된다. 이 때 예상운동패턴(1403)은 공간고정수단(2503)에 의해 공간에 고정되어 있으므로 예상운동패턴(1403)과 장해물(401, 402)의 상대적인 위치관계는 변하지 않는다.
본 실시예에 의하면 제 1 실시예에서 설명한 효과에 덧붙여 운전조작의 시작위치를 효율적으로 구할 수 있으므로 조작시작까지에서 필요로 하는 시간을 단축시킬 수 있다.
또 본 실시예에서의 운전조작 보조장치에 시작위치(2603)가 결정되면 현재위치(901)와의 상대적인 위치관계를 계산하여 차량을 현재위치(901)로부터 시작위치(2603)까지 유도하는 데 필요한 핸들회전각 및 후륜회전수에 관한 시계열 데이터를 구하고, 이것에 따라 핸들회전각 제어신호 및 후륜회전수 제어신호를 발생시켜 핸들제어계 및 후륜구동계를 제어함으로써 차량의 운전을 자동 제어하여 차량을 현재위치(901)에서 시작위치(2603)까지 자동 유도하는 시작위치 유도수단을 부가한다고 해도 된다. 이로 인하여 운전자가 조작을 하는 일 없이 차량이 시작위치까지 유도되므로 더욱 간단하고 안전한 차량조작이 가능해진다.
(제 9 실시예)
다음으로 본 발명의 제 9 실시예를 도면을 참조하여 설명하기로 한다.
도 27은 본 발명의 제 9 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치가 제 2 실시예에서의 운전조작 보조장치와 다른 것은 시작검출수단(1301) 및 적분수단(1302)의 출력이 시점변환수단(106)에 입력되고, 시점변환수단(106)은 이것에 따라 가상카메라의 시점을 바꾸는 것에 관한 것 뿐이다.
따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 2 실시예와 같다고 하고, 제 2 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 2 실시예와 같은 기능을 갖는 것으로 한다. 또 제 2 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않는 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
본 실시예에서 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서는 제 1 실시예에서 설명하다 것과 같다. 또 중복수단(102)이 본 발명의 합성화상을 생성하여 그것을 표시수단(107)이 표시하기까지의 순서 중 예상운동패턴에 대응하는 실제의 운전조작이 시작되기까지의 순서는 제 1 실시예에서 설명한 것과 같다.
예상운동패턴에 대응하는 실제의 운전조작이 시작된 시점 이후의 중복수단(102)이 본 발명의 합성화상을 생성하여 그것을 표시수단(107)이 표시하기까지의 순서를 좌측으로의 종렬주차를 하는 경우를 예로 들어 이하에 설명하기로 한다.
실제의 운전조작이 시작될 때까지는 제 1 실시예에서 도 10을 이용하여 설명한 바와 같이 가상카메라의 시점위치는 차량의 바로 위에 고정되어 있고, 도 28의 (a)에 도시된 바와 같이 차량의 현재위치(901) 및 이 위치를 조작시작위치로 하는 예상운동패턴(1403)은 화면 상에 고정되어 있고, 장해물(401, 402) 등의 주변상황화상이 차량의 이동에 맞추어 상대적으로 화면 상을 이동하여 표시되어 있다.
도 28의 (b)에 도시된 바와 같이 차량의 현재위치(901)가 목표주차위치(902)에 대응하는 위치에 오면 운전자는 좌측으로의 종렬주차에 대응하는 운전조작을 시작한다. 운전조작이 시작되면 기어신호가 후퇴의 상태이고 또 핸들회전각신호가 전륜의 조향각이 일정 이상 커지므로 시작검출수단(1301)이 좌측으로의 종렬주차에 대응하는 운전조작(주차조작)이 시작되었다고 판단하여 적분수단(1302) 및 시점변환수단(106)에 운전조작(주차조작)이 시작된 것을 전한다.
적분수단(1302)은 입력된 운전조작 시작 이후의 핸들회전각신호와, 후륜회전수신호를 적분하여 도 14의 (a)에 도시된 바와 같이 차량현재위치(1402)에 대한 주차조작 시작위치(1401)의 위치관계를 산출한다.
산출된 위치관계에 따라 공간변환수단(1303)은 도 14의 (b)에 도시된 바와 같이 좌측으로의 종렬주차에 대응하는 예상운동패턴(1403)을 그 조작시작위치(도 5의 501)와 주차조작 시작위치(1401)가 일치하도록 이동시킨다. 바꾸어 말하면, 공간변환수단(1303)은 운전조작 시작 이후 예상운동패턴(1403)을 주차조작 시작시의 위치에 공간 고정한다.
시점변환수단(106)은 운전조작(주차조작)이 시작된 것이 전해지면 이 때의 가상카메라의 시점위치를 공간(지면)에 대하여 고정으로 한다. 즉 운전조작 시작 이후는 주변상황화상(장해물(401, 402) 등)은 화면 상에 고정된다.
중복수단(102)은 운전조작 시작 이후에서는 주차조작 시작시의 위치에 공간 고정된 예상운동패턴(1403)과, 차량 현재위치(1402)를 주위상황화상에 중첩하여 합성하고, 도 28의 (c)에 도시된 바와 같이 본 발명의 합성화상을 생성한다. 이 합성화상의 시점은 주위상황화상의 시점과 같고, 주차조작 시작시의 가상카메라의 시점위치를 공간 고정한 것이므로 중복수단(102)은 적분수단(1302)에 의해 산출된 위치관계를 시점에 대하여 역산함으로써 상기 합성화상을 생성한다. 즉 이 합성화상(도 28의 (c))에서 주변상황화상(장해물(401, 402) 등) 및 예상운동패턴(1403)이 화면 상에 고정되고, 차량 현재위치(1402)가 차량의 실제의 이동에 맞추어 상대적으로 화면 상을 이동하여 표시된다.
본 실시예에 의하면 주차조작 시작후의 시점이 공간에 고정되므로 운전자가 주차공간 주위의 상황에 대한 자신의 차의 이동상태를 한눈에 파악할 수 있게 된다.
또 예상운동패턴으로 예상하는 운동이 광범위 또는 복잡한 것이며, 운전조작을 시작한 후에 촬상부(101)의 카메라의 시야에 들어가지 않은 범위가 생기는 경우는 공간데이터 버퍼(105)에 저장되어 있는 데이터를 이용하여 해당 범위를 표시한다고 해도 된다.
(제 10 실시예)
다음으로 본 발명의 제 10 실시예를 도면을 참조하여 설명하기로 한다.
도 29는 본 발명의 제 10 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치가 제 1 실시예에서의 운전조작 보조장치와 다른 것은 예상운동패턴 저장수단(108)에 디폴트의 운송패턴으로서 도 30의 (b)에 도시된 바와 같이 타이어회전에 대하여 핸들각을 좌우 최대로 회전시킨 경우의 후진하는 두가지 경우를 예상하여, 다시 상기 두가지 경우의 예상운동으로부터 발생하는, 도 30의 (a)에 도시된 바와 같이 타이어궤적(603)이 아니라 차량 전체가 통과하는 공간의 외부접촉영역궤적(604)을 2개 동시에 중복수단(102)으로 합성하여 표시수단(107)에 표시하는 점 뿐이다.
따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 1 실시예와 같다고 하고, 제 1 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 1 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않은 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
본 실시예에 의하면 우선 예상운동 저장패턴(108)의 디폴트로서 가장 단순한 도 30의 (b)에 도시된 바와 같이 핸들을 좌우 최대로 회전시킨 경우의 후진하는 두가지 경우를 예상하고 있으므로 이 예상운동 저장패턴(108)의 디폴트로 주차할 수 있는 경우에는 복수의 예상운동 저장패턴의 전환선택조작이 불필요하게 되어 운전자의 조작부담을 경감시키는 효과가 있다.
또 상기 두가지 경우의 예상운동으로부터 생기는 외부접촉영역 궤적(604)을 2개 동시에 중복수단(102)으로 합성하고, 표시수단(107)에 표시함으로써 좌우의 2개의 예상운동 저장패턴의 전환선택조작이 불필요하게 되어 운전자의 조작부담을 경감시키는 효과가 있다.
또 도 30의 (a)에 도시된 바와 같이 타이어궤적(603)이 아니라, 차량 전체가 통과하는 공간의 외부접촉영역 궤적(60)을 중복수단(102)으로 합성하고, 표시수단(107)에 표시함으로써 타이어궤적보다 크게 부풀어오르는 차량부분, 예를 들면 좌후방으로 구부리면서 주차하는 경우의 우전방부분 등이 장해물에 접촉하는지의 여부 등을 더욱 정확하게 운전자가 파악하기 쉬워진다는 효과가 있다.
(제 11 실시예)
다음으로 본 발명의 제 11 실시예를 도면을 참조하여 설명하기로 한다.
도 31은 본 발명의 제 11 실시예에서의 운전조작 보조장치의 구성을 도시한 블록도이다. 본 실시예에서의 운전조작 보조장치도 주로 차고입고시 및 종렬주차시 등의 운전조작의 보조를 목적으로 하는 것이다.
따라서 본 실시예에서 특별히 설명이 없는 것에 대해서는 제 1 및 제 5 실시예와 같다고 하고, 제 1 및 제 5 실시예와 동일부호를 부여하고 있는 구성부재에 대해서는 특별히 설명이 없는 한 제 1 및 제 5 실시예와 같은 기능을 갖는 것으로 한다. 또 제 1 및 제 5 실시예에서 설명한 각 변형예에 대해서도 특별히 예고하지 않은 한 같은 변형을 함으로써 본 실시예에 적용되는 것으로 한다.
본 실시예에서의 운전조작 보조장치의 구성이 제 1 및 제 5 실시예에서의 운전조작 보조장치의 구성과 다른 것은 도 31에 도시한 장해물 입력수단(3101)과 예상패턴 수정수단(3102)을 갖고 있는 점과, 예상운동패턴 저장수단(108)에서 도 32의 (a)에 도시된 바와 같이 전환하고, 즉 운동 도중에 후진과 전진을 전환하는 운동패턴을 포함하는 점이다.
이 때 예상운동패턴의 시계열 데이터로서 도 32의 (b)에 도시된 바와 같이 타이어회전에 대응한 핸들각이 도 31의 예상운동패턴 저장수단(108)에 저장되어 있다. 도 32의 (b)에 도시된 바와 같이 타이어회전이 0∼0.8까지는 차량의 후진을 나타내고, 거기에서 후진으로부터 전진으로 바뀐다. 이 때 차량의 위치는 도 32의 (a)에 도시한 후진전진 전환위치(3201)에 있다. 다음으로 타이어각 0.8∼0.6으로 차량이 전진하고, 도 32의 (a)에 도시한 전진후진 전환위치(3202)에 온 시점에서 다시 타이어각 0.6∼1.4로 후진으로 바뀐다.
이와 같이 운동 도중에 후진과 전진을 바꾸는 운동패턴을 포함함으로써 도 32의 (a)에 도시된 바와 같이 장해물에 대하여 작은 공간적 여유밖에 없는 경우라도 차량의 위치방향을 제어할 수 있다.
본 실시예에서 촬상부(101)에 의해 촬상된 화상데이터로부터 본 발명의 주위상황화상이 생성되기까지의 순서는 제 1 실시예에서 설명한 것과 같다. 또 중복수단(102)이 본 발명의 합성화상을 생성하여 그것을 표시수단(107)이 표시하기까지의 순서 중 예상운동패턴 저장수단(108)에 저장되어 있는 예상운동패턴이 그 조작시작위치와 차량의 현재위치를 일치시켜 합성화상 상에 표시되기까지의 순서는 제 1 실시예에서 설명한 것과 같다.
예상운동패턴이 합성화상 상에 표시된 시점 이후의, 운전자가 궤적수정수단(1801)과 장해물 입력수단(3101)을 이용하여 예상운동패턴 및 시계열 데이터를 수정하고, 그것이 합성화상 상에 표시되기까지의 순서를 우측으로의 차고입고를 하는 경우를 예로 들어 이하에 설명하기로 한다.
도 33에 도시된 바와 같이 운전자가 장해물 : (a, b, c 3204, 3205, 3206)에 접촉하지 않도록 목표주차위치(1902)를 조작종료위치로 하는 차고입고조작을 하고자 하여 목표주차위치(1902)에 예상운동패턴의 조작종료위치가 일치하는 현재위치(1901)로 차량을 이동시킨 바, 예상운동패턴의 외부접촉영역(604)이 장해물 : a, b, c와 접촉할 위험이 있는 것이 판명된 경우를 예상한다.
예상운동패턴 저장수단(108)이 다른 우측으로의 차고입고조작에 대한 예상운동패턴을 저장하고 있는 경우는 패턴선택수단(도시 생략)에 의해 이것을 선택하여 잘 주차 조작할 수 있는지를 검토해도 되지만, 그렇지 않은 경우 혹은 별도의 예상운동패턴도 장해물 등과 간섭하는 경우는 운전자는 예상운동패턴을 수정한다.
우선 운전자는 도 31에 도시한 표시수단(107)에 표시되어 있는 합성화상(도 33)의 현재위치(3200)에 있는 차량을 도시한 도형을 주차조작 시작위치(1901)로 하고, 도 31에 도시한 장해물 입력수단(3101)을 이용하여 도 34에 도시된 바와 같이 화상 중의 장해물 a, b, c의 어떤 영역을 장해물지시 직사각형 : a 3207 또는 장해물지시 원형 : b 3208을 이용하여 장해물지시영역 : 3210(도 36 참조)으로 하여 수치입력, 포인터, 그 밖의 수단으로 설정 입력한다. 또 목표주차위치에 수정이 필요한 경우는 마찬가지로 수치입력, 포인터, 그 밖의 수단으로 이동 입력한다.
장해물영역이 입력되면 궤적수정수단(1801)은 도 35에 도시된 바와 같이 장해물지시영역 : 3210을 포함한 주위 60cm의 영역에 접촉위험영역(3209)을 설정한다. 그리고 영역에 대하여 도 36에 도시한 것 같은 접촉위험 평가함수(H3210)를 부여한다. 이 함수는 장해물지시영역 : 3210으로부터 10cm 이하에서는 접근함에 따라서 급격하게 증가하고, 1Ocm 이상으로부터 멀어짐에 따라 완만하게 감소되고, 60cm 이상에서 0이 되는 세 가지의 2차함수의 합성으로 구성된다.
또 도 37에 도시된 바와 같이 영역의 주위 6점에 평가점 3211(xi, yi) : (i = 1∼6)이 설정되고, 도 32의 (b)에 도시된 표의 N개의 항목(타이어회전 tm, 타이어각 km) : (m = 1∼N)에 대한 궤적평가점 3212(xi, yi) n : ((n = 1∼N)이 산출된다.
도 38의 식에 나타내는 바와 같이 이 궤적평가점 3212의 위치의 접촉위험 평가함수 H3210의 총합으로부터 궤적접촉위험 평가함수 H"3213이 구해진다.
이 궤적접촉위험 평가함수 H"3213은 도 37에 도시된 바와 같이 도 32의 (b)에 도시된 표의 N개의 항목(타이어회전 tm, 타이어각 km)의 함수가 된다. 따라서 편미분법을 사용하여 순서도(타이어회전 tm, 타이어각 km)를 수정함으로써 이 궤적접촉위험 평가함수 H"3213을 최소화하는 (타이어회전 tm, 타이어각 km)를 구할 수 있다.
이로 인하여 도 39에 도시된 바와 같이 최초의 도 32의 (b)에 도시된 (타이어회전 tm, 타이어각 km)로부터 궤적접촉위험 평가함수 H"3213을 최소화하는 (타이어회전 tm, 타이어각 km)로 예상운동패턴을 수정할 수 있다.
또 궤적접촉위험 평가함수 H"3213을 최소화하는 (타이어회전 tm, 타이어각 km)에서의 궤적평가점 3212(xi, yi)n의 각 점에 대한 접촉위험 평가함수 H로부터 1점이라도 장해물 지시영역 : 3210으로부터 1Ocm 이하의 것이 있는 경우 「요주의」의 경고를 운전자에게 내고, 또 1점이라도 장해물 지시영역 : 3210에 0cm 이하의 것이 있는 경우, 「주차불능」의 경고를 운전자에게 낸다.
이 수정된 예상운동패턴은 궤적접촉위험 평가함수 H"3213을 최소화하는 운동 패턴이므로 도 40에 도시된 바와 같이 더욱 장해물로부터 여유를 갖는 궤적을 발생하여 더욱 안전하게 주차하는 것이 가능해진다.
중복수단(102)은 도 41에 도시된 바와 같이 수정예상 운동패턴(3214)을 그 조작시작위치(1901)와 차량의 현재위치(3200)를 일치시켜 합성화상을 생성하고 표시수단(107)은 이것을 표시한다.
따라서 운전자는 새로운 수정예상 운동패턴(3214)에 따른 운전조작(주차조작)을 시작하면 목표주차위치(1902)에 더욱 장해물로부터 여유를 갖은 운동패턴으로 해당 차량을 주차시킬 수 있다.
또 생성된 새로운 예상운동패턴 및 시계열 데이터는 원래의 예상운동패턴을 갱신하고, 예상운동패턴 저장수단(108)에 저장해도 되고, 원래의 예상운동패턴은 그대로로 하여 예상운동패턴 저장수단(108)에 추가 저장해도 된다. 또 그 장소에만 한정하여 저장하지 않아도 된다. 또 갱신저장, 추가저장, 저장하지 않음 등을 운전자가 그 때마다 선택해도 된다.
또 본 실시예에서는 예상운동패턴 저장수단(108)에 갱신 저장 또는 추가 저장하는 예상운동패턴은 운전자로부터 입력된 운동의 시작시 및 종료시의 차량의 위치에 기초하여 자동적으로 구해진다고 설명하였지만, 실제의 운전조작을 하여 이 때의 핸들조향각, 차륜회전수 등의 시계열 데이터를 채취하여 이것에 기초하여 예상운동패턴을 생성하여 저장해도 된다.
(제 12 실시예)
다음으로 본 발명의 제 12 실시예를 도 42∼도 46을 참조하여 설명하기로 한다.
제 11 실시예의 형태에서는 도 32의 (a)에 도시된 하나의 예상운동패턴에 대하여 운전자로부터 입력된 장해물 영역에 기초하여 수정을 하는 것으로 하였지만, 2개 이상의 예상운동패턴에 대하여 수정을 하고, 바람직한 것을 선택하는 것으로 해도 된다. 도 31에 비해 다른 점은 궤적수정수단(3101) 대신 운동패턴선택 궤적수정수단(3301)을 이용하는 점이다.
우선 그 동작을 간단히 설명하기로 한다. 운전자는 도 43에 도시된 바와 같이 차량의 현재 위치를 주차조작 시작위치로 하고, 표시장치에 표시되는 화상 상에 서 목표주차위치(1902)를 지정 입력한다. 운동패턴선택 궤적수정수단(3301)에서는 우선 예상운동패턴 저장수단(108)에 복수 저장되어 있는 예상운동패턴 중 이 주차조작 시작위치에 대하여 목표주차위치(1902)의 대략적인 위치관계로부터 도 44에 도시된 바와 같은 우후방에 주차하는 2개의 예상운동패턴을 추출한다.
또 도 45, 도 46에 도시된 바와 같이 운전자가 표시장치에 표시되는 화상 상에서의 장해물 영역을 입력하면 상기 2개의 예상운동패턴에 대하여 상기 제 11 실시예와 마찬가지로 하여, 각각 궤적접촉위험 평가함수 H"3213을 최소화하도록 예상운동패턴을 수정한다. 이 때 2개의 최소화된 궤적접촉위험 평가함수 H"3213을 비교하여 작은 쪽을 선택함으로써 더욱 안전한 예상운동패턴을 선택할 수 있다. 또 2개의 궤적접촉위험 평가함수 H"3213이 같은 값인 경우, 운전조작이 단순한 쪽의 우선도를 미리 높게 함으로써 더욱 단순한 예상운동패턴이 선택된다.
따라서 도 45에 도시된 바와 같이 장해물로부터의 공간적 여유가 적은 경우에는 컷백이 있는 더욱 안전한 운동패턴이 자동적으로 선택되고, 도 46에 도시된 바와 같이 장해물로부터의 공간적 여유가 큰 경우에는 컷백이 없는 더욱 단순한 운동패턴이 자동적으로 선택된다.
이러한 구성에 의해 운전자는 목표주차위치나 장해물 영역을 입력하는 것 만으로 최적의 예상운동패턴이 자동적으로 선택되어 안전하고 더욱 간단한 운전조작으로 최적의 주차를 실현할 수 있다.
본 실시예에 의하면 제 1 실시예에서의 운전조작 보조장치에 비하여 확장성이 있는 운전조작 보조장치를 실현할 수 있다.
상술한 제 1∼제 12 실시예에서는 본 발명의 주위상황 영상화수단은 주로 복수의 차재용 카메라를 이용하여 가상카메라의 시점으로부터의 화상을 생성하는 것으로 설명하였지만, 이것에 한정되는 것은 아니고, 예를 들면 루프부착 주차장의 천정에 설치되어 있는 1대의 카메라로 해도 된다. 즉 본 발명의 주위상황 영상화수단은 차량의 주위상황을 카메라를 이용하여 영상화하고, 주위상황화상을 생성하는 및/또는 생성한 상기 주위상황화상을 저장하는 것이면 된다.
또 상술한 제 1∼제 12 실시예에서의 운전조작 보조장치는 본 발명의 예상운동패턴 저장수단을 구비한다고 설명하였지만, 이것에 한정되는 것은 아니고, 예를 들면 그 때마다 예상운동패턴이 입력되는 것이어도 된다. 즉 본 발명의 운전조작 보조장치는 차량의 주위상황을 카메라를 이용하여 영상화하고, 주위상황화상을 생성하는 및/또는 생성한 상기 주위상황화상을 저장하는 주위상황 영상화수단과, 미리 상기 차량에 대하여 소정의 일련의 운전조작을 하는 경우의 상기 차량의 운동을 나타내는 화상데이터인 예상운동패턴을 상기 주위상황화상 상에 중첩하여 합성화상을 생성하는 합성화상 생성수단과, 상기 합성화상을 표시하는 표시수단을 구비하는 것이면 된다. 이로 인하여 적어도 합성화면 상에 주위상황화상과 예상운동패턴이 중첩하여 표시되므로 운전자는 양자의 관계를 한눈에 파악할 수 있게 된다.
이상의 설명에서 알 수 있는 바와 같이, 본 발명은 운전자가 소정의 일련의 운전조작을 하고자 하는 경우, 상기 소정의 일련의 운전조작을 했을 때의 차량의 운동을 주위상황과 함께 표시함으로써 운전자가 상기 소정의 일련의 운전조작에 의한 차량의 운동과 주위상황의 관계를 직접 확인할 수 있고, 운전자의 부담을 줄일 수 있는 운전조작 보조장치를 제공할 수 있다.
즉 운전자는 본 발명의 운전조작 보조장치를 이용함으로써 차고입고, 종렬주차의 운전조작을 시작할 지점이나 최종적으로 정지시키고 싶은 장소, 다른 차 등의 장해물의 위치관계를 상기 표시화상으로부터 한눈에 파악할 수 있기 때문에 운전자의 조작부담의 경감, 안전성의 향상을 기대할 수 있다. 또 자동운전기술을 추가 도입함으로써 운전자는 상기 이동궤적 데이터를 보면서 주차처리 시작지점까지 차량을 이동하기만 하면 그 후의 차고입고 등의 처리를 전부 자동으로 하는 것도 가능해진다.
또 본 발명은 본 발명의 운전조작 보조장치의 각 수단의 기능의 전부 또는 일부를 컴퓨터에 실행시키는 프로그램을 저장하는 기록매체를 제공할 수 있다.

Claims (33)

  1. 차량의 주위상황을 카메라를 이용하여 영상화하여, 주위상황화상을 생성하는, 및/또는 생성한 상기 주위상황화상을 저장하는 주위상황 영상화수단과,
    미리 상기 차량에 대하여 소정의 일련의 운전조작을 하는 경우의 상기 차량의 운동을 나타내는 화상데이터인 예상운동패턴을 상기 주위상황화상 상에 중첩하여 합성화상을 생성하는 합성화상 생성수단과,
    상기 합성화상을 표시하는 표시수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  2. 제 1항에 있어서,
    상기 주위상황 영상화수단은 1대 혹은 복수대의 카메라와, 상기 각 카메라의 특성인 카메라 파라미터를 저장하는 카메라 파라미터표를 갖고, 상기 각 카메라의 출력으로부터 상기 카메라 파라미터에 기초하여 상기 주위상황화상을 생성하는 것을 특징으로 하는 운전조작 보조장치.
  3. 제 2항에 있어서,
    상기 주위상황 영상화수단은 상기 카메라 파라미터에 기초하여 상기 각 카메라로부터의 출력화상을 구성하는 각각의 화소를 3차원 공간의 점에 대응시킨 공간데이터를 작성하는 공간 재구성수단과, 상기 공간데이터를 참조하여 소정의 시점에서 본 화상을 상기 주위상황화상으로서 생성하는 시점변환수단을 갖고, 상기 합성화상 생성수단은 상기 공간데이터를 참조하여 상기 합성화상을 생성하는 것을 특징으로 하는 운전조작 보조장치.
  4. 제 3항에 있어서,
    상기 공간데이터를 일시적으로 저장하는 공간데이터 버퍼를 구비하는 것을 특징으로 하는 운전조작 보조장치.
  5. 제 3항 또는 제 4항에 있어서,
    상기 소정의 시점은 상기 3차원 공간 또는 상기 차량에 대하여 고정된 점이며,
    상기 시점변환수단은 상기 소정의 시점을 자동적으로 또는 운전자로부터의 입력에 의해 바꾸는 것을 특징으로 하는 운전조작 보조장치.
  6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 예상운동패턴은 상기 소정의 일련의 운전조작을 한 경우의 상기 차량의 상기 운동 시작시의 상기 차량이 존재하는 영역인 예상운동 시작영역과 상기 운동 종료시의 상기 차량이 존재하는 영역인 예상운동 종료영역의 관계를 나타내는 화상데이터를 포함하는 것을 특징으로 하는 운전조작 보조장치.
  7. 제 6항에 있어서,
    상기 예상운동패턴은 상기 차량의 타이어의 궤적을 나타내는 화상데이터 및/또는 상기 차량의 이동영역을 나타내는 화상데이터를 포함하는 것을 특징으로 하는 운전조작 보조장치.
  8. 제 6항 또는 제 7항에 있어서,
    상기 예상운동패턴은 상기 차량의 이동영역의 바깥가장자리에 배치된 가상 폴을 나타내는 화상데이터를 포함하는 것을 특징으로 하는 운전조작 보조장치.
  9. 제 6항 내지 제 8항 중 어느 한 항에 있어서,
    상기 합성화상 생성수단은 상기 차량이 현재 존재하는 영역을 나타내는 화상데이터인 현재위치 데이터도 상기 주위상황화상 상에 중첩하여 상기 합성화상을 생성하는 것을 특징으로 하는 운전조작 보조장치.
  10. 제 9항에 있어서,
    상기 합성화상 생성수단은 상기 예상운동 시작영역을 상기 현재위치 데이터와 동일한 위치에 중첩하는 것을 특징으로 하는 운전조작 보조장치.
  11. 제 6항 내지 제 10항 중 어느 한 항에 있어서,
    상기 소정의 일련의 운전조작에 대응하는 실제의 운전조작이 시작되면,
    상기 합성화상 생성수단은 그 이후 상기 실제의 운전조작이 시작된 시점에서의 상기 예상운동패턴의 상기 주위상황화상에 대한 위치관계를 고정하여, 상기 합성화상생성하는 것을 특징으로 하는 운전조작 보조장치.
  12. 제 11항에 있어서,
    상기 실제의 운전조작이 시작된 시점에서의 상기 합성화상 상에서의 상기 주위상황화상의 화상데이터의 전부 또는 일부를 기준으로 하며, 상기 예상운동패턴의 화상데이터의 전부 또는 일부의 위치정보를 기억하는 위치정보 기억수단을 구비하고,
    상기 합성화상 생성수단은 상기 위치정보에 따라 상기 위치관계를 고정하는 것을 특징으로 하는 운전조작 보조장치.
  13. 제 11항에 있어서,
    상기 실제의 운전조작에 관한 신호에 기초하여 상기 실제의 운전조작이 시작된 시점으로부터의 상기 차량의 이동위치를 산출하는 이동위치 산출수단을 구비하고,
    상기 합성화상 생성수단은 상기 이동위치에 따라 상기 위치관계를 고정하는 것을 특징으로 하는 운전조작 보조장치.
  14. 제 6항 내지 제 13항 중 어느 한 항에 있어서,
    상기 운동 종료시의 상기 차량의 위치인 최종위치를 입력하는 최종위치 입력수단과,
    상기 입력된 최종위치에 대응하는 상기 운동 시작시의 위치인 시작위치를 상기 예상운동패턴에 따라 구하는 시작위치 결정수단을 구비하며,
    상기 합성화상 생성수단은 상기 입력된 최종위치 및 그것에 대응하는 상기 시작위치도 상기 주위상황화상 상에 중첩하여 상기 합성화상을 생성하는 것을 특징으로 하는 운전조작 보조장치.
  15. 제 14항에 있어서,
    상기 차량의 운전을 자동 제어하여 상기 차량을 상기 시작위치로 유도하는 시작위치 유도수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  16. 제 1항 내지 제 15항 중 어느 한 항에 있어서,
    상기 소정의 일련의 운전조작에 관한 데이터로서, 적어도 상기 예상운동패턴을 포함하는 예상운동 데이터를 보유하는 예상운동패턴 저장수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  17. 제 16항에 있어서,
    상기 예상운동패턴 저장수단은 상기 예상운동패턴을 복수 보유하고 있고,
    상기 예상운동패턴을 운전자로부터의 입력에 의해 또는 소정의 운전조작으로부터 자동적으로 선택하는 패턴선택수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  18. 제 16항 또는 제 17항에 있어서,
    상기 예상운동패턴 저장수단에 보유되어 있는 상기 예상운동패턴의 내용을 갱신 수정할 수 있는 패턴수정수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  19. 제 18항에 있어서,
    상기 패턴수정수단은 운전자로부터 입력된 수정후의 상기 운동 시작시 및 종료시의 상기 차량의 위치에 기초하여 상기 예상운동패턴 및/또는 상기 예상운동 데이터를 갱신 수정하는 것을 특징으로 하는 운전조작 보조장치.
  20. 제 18항에 있어서,
    상기 패턴수정수단은 실제의 운전조작에 기초하여 상기 예상운동패턴 및/또는 상기 예상운동 데이터를 갱신 수정하는 것을 특징으로 하는 운전조작 보조장치.
  21. 제 16항 내지 제 20항 중 어느 한 항에 있어서,
    상기 예상운동 데이터는 상기 차량의 이동거리와 핸들의 조향각의 관계를 나타내는 시계열 데이터를 포함하는 것을 특징으로 하는 운전조작 보조장치.
  22. 제 21항에 있어서,
    상기 소정의 일련의 운전조작에 대응하는 실제의 운전조작이 시작되면 상기 시계열 데이터에 따라 상기 차량의 운전을 자동 제어하는 운전제어수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  23. 제 11항, 제 12항, 제 13항 및 제 22항 중 어느 한 항에 있어서,
    상기 소정의 일련의 운전조작에 대응하는 실제의 운전조작이 시작된 것을 운전자로부터의 입력에 의해 또는 소정의 운전조작으로부터 자동적으로 검출하는 조작시작 검출수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  24. 제 5항 내지 제 23항 중 어느 한 항에 있어서,
    상기 시점변환수단이 상기 소정의 시점을 바꾸는 경우,
    상기 시점변환수단은 상기 소정의 일련의 운전조작에 대응하는 실제의 운전조작이 시작되기까지는 상기 소정의 시점을 상기 차량에 대하여 고정된 점으로 하고, 상기 소정의 일련의 운전조작에 대응하는 실제의 운전조작이 시작된 후에는 상기 소정의 시점을 상기 소정의 시점을 상기 3차원 공간에 대하여 고정된 점으로 바꾸는 것을 특징으로 하는 운전조작 보조장치.
  25. 제 24항에 있어서,
    상기 3차원 공간에 대하여 고정된 점은 상기 실제의 운전조작이 시작된 시점에서의 상기 예상운동패턴이 나타내는 상기 차량의 상기 운동 종료시의 위치의 바로 위의 점인 것을 특징으로 하는 운전조작 보조장치.
  26. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 예상운동패턴은 상기 소정의 일련의 운전조작을 한 경우의 상기 차량이 통과하는 공간 상의 외부접촉영역을 나타내는 화상데이터를 포함하는 것을 특징으로 하는 운전조작 보조장치.
  27. 제 6항에 있어서,
    상기 예상운동패턴은 상기 차량의 타이어의 조향각을 좌우 어느 하나를 최대로 한 경우의 궤적을 나타내는 화상데이터 및/또는 상기 차량의 이동영역을 나타내는 화상데이터를 포함하는 것을 특징으로 하는 운전조작 보조장치.
  28. 제 16항에 있어서,
    상기 예상운동패턴 저장수단은 상기 예상운동패턴을 복수 보유하고 있고, 상기 예상운동패턴을 2개 이상 동시에 상기 주위상황화상 상에 중첩하여 합성화상을 생성하는 합성화상 생성수단과, 상기 합성화상을 표시하는 표시수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  29. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 예상운동패턴은 상기 소정의 일련의 운전조작에 있어서 후진으로부터 전진 또는 전진으로부터 후진의 전환을 포함하는 것을 특징으로 하는 운전조작 보조장치.
  30. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 합성화상을 표시하는 표시수단에 대하여 운전자로부터 화상 중의 장해물영역의 위치를 입력할 수 있는 장해물 입력수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  31. 제 17항에 있어서,
    상기 패턴선택수단은 운전자로부터 입력된 장해물영역의 위치에 기초하여 상기 예상운동패턴을 선택하는 것이며,
    상기 합성화상을 표시하는 표시수단에 대하여 운전자로부터 화상 중의 장해물영역의 위치를 입력할 수 있는 장해물 입력수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  32. 제 18항에 있어서,
    상기 패턴수정수단은 운전자로부터 입력된 장해물영역의 위치에 기초하여 상기 예상운동패턴 및/또는 상기 예상운동 데이터를 갱신 수정하는 것이며,
    상기 합성화상을 표시하는 표시수단에 대하여 운전자로부터 화상 중의 장해물 영역의 위치를 입력할 수 있는 장해물 입력수단을 구비하는 것을 특징으로 하는 운전조작 보조장치.
  33. 청구항 1∼32 중 어느 한 항 기재의 각 수단의 기능의 전부 또는 일부를 컴퓨터에 실행시키는 프로그램을 저장하는 것을 특징으로 하는 기록매체.
KR1020007006236A 1998-10-08 1999-10-06 운전조작 보조장치 KR100568396B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP28624698 1998-10-08
JP???10-286246 1998-10-08
JP???10-349107 1998-12-08
JP34910798 1998-12-08
PCT/JP1999/005509 WO2000020257A1 (fr) 1998-10-08 1999-10-06 Dispositif d'assistance a la conduite et support enregistre

Publications (2)

Publication Number Publication Date
KR20010032902A true KR20010032902A (ko) 2001-04-25
KR100568396B1 KR100568396B1 (ko) 2006-04-05

Family

ID=26556225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007006236A KR100568396B1 (ko) 1998-10-08 1999-10-06 운전조작 보조장치

Country Status (5)

Country Link
US (5) US7277123B1 (ko)
EP (1) EP1038734B1 (ko)
KR (1) KR100568396B1 (ko)
CN (1) CN1132750C (ko)
WO (1) WO2000020257A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871044B1 (ko) * 2007-09-28 2008-11-27 한국오므론전장주식회사 차량 후방안내 시스템의 온스크린 디스플레이 라인 사전생성 방법 및 이를 출력하는 차량 후방이동 궤적 안내방법

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1038734B1 (en) * 1998-10-08 2019-05-15 Panasonic Intellectual Property Corporation of America Driving assisting device and recording medium
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
JP3947375B2 (ja) 2001-08-24 2007-07-18 アイシン精機株式会社 駐車補助装置
DE10256770A1 (de) * 2002-12-05 2004-06-17 Bayerische Motoren Werke Ag Verfahren zum Lenken eines rückwärts in eine Parklücke einzuparkenden Fahrzeugs
JP4316960B2 (ja) * 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置
DE102004009924A1 (de) * 2004-02-23 2005-09-01 Valeo Schalter Und Sensoren Gmbh Verfahren und Warnvorrichtung zum grafischen Aufbereiten eines Bildes einer Kamera
US20060178787A1 (en) * 2005-02-09 2006-08-10 Mccall Clark E Rear obstacle avoidance system for vehicle
WO2006087993A1 (ja) 2005-02-15 2006-08-24 Matsushita Electric Industrial Co., Ltd. 周辺監視装置および周辺監視方法
DE102005018408A1 (de) * 2005-04-20 2006-10-26 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Auswertung von Abstandsmessdaten eines Abstandsmesssystems eines Kraftfahrzeugs
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
JP2007176324A (ja) * 2005-12-28 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP4818816B2 (ja) 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
DE102007009745A1 (de) * 2007-02-28 2008-09-04 Continental Automotive Gmbh Einparkhalbautomat
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP2009101718A (ja) * 2007-10-19 2009-05-14 Toyota Industries Corp 映像表示装置及び映像表示方法
JP5090126B2 (ja) * 2007-10-23 2012-12-05 アルパイン株式会社 車載用撮像装置
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP4900232B2 (ja) 2007-12-26 2012-03-21 日産自動車株式会社 車両用駐車支援装置および映像表示方法
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
DE102008027779A1 (de) * 2008-06-11 2009-12-17 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs beim Einparken in eine Parklücke
CA2672511A1 (en) * 2008-07-16 2010-01-16 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP4661917B2 (ja) 2008-07-25 2011-03-30 日産自動車株式会社 駐車支援装置および駐車支援方法
JP4840427B2 (ja) * 2008-07-29 2011-12-21 日産自動車株式会社 車両制御装置
JP2010128794A (ja) * 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 車両周辺認知支援装置
DE102009024083A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Fahrzeugs und Parkassistenzsystem für ein Fahrzeug
US8174375B2 (en) * 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
CN102055956B (zh) 2009-11-02 2017-05-10 通用汽车环球科技运作公司 车载三维视频***及用其监测车辆周围环境的方法
EP2512134B1 (en) * 2009-12-07 2020-02-05 Clarion Co., Ltd. Vehicle periphery monitoring system
DE102010023162A1 (de) * 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
JP5418673B2 (ja) * 2010-06-09 2014-02-19 日産自動車株式会社 駐車モード選択装置及び方法
CN102933428B (zh) * 2010-06-15 2015-07-15 爱信精机株式会社 驾驶支援装置
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
DE102010034142A1 (de) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs und Fahrerassistenzsystem
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102010034127A1 (de) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
DE102010048185B4 (de) * 2010-10-13 2021-10-28 Wirtgen Gmbh Selbstfahrende Baumaschine
CN102463989A (zh) * 2010-11-18 2012-05-23 江彦宏 视频雷达辅助驾驶***
US20120249342A1 (en) * 2011-03-31 2012-10-04 Koehrsen Craig L Machine display system
TWI421624B (zh) * 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
JP2012253543A (ja) * 2011-06-02 2012-12-20 Seiko Epson Corp 表示装置、表示装置の制御方法、及び、プログラム
DE102011080930A1 (de) * 2011-08-12 2013-02-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einem Fahrmanöver
KR20130021988A (ko) * 2011-08-24 2013-03-06 현대모비스 주식회사 차량용 카메라를 통해 획득한 영상의 오버레이 처리 장치 및 그 방법
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
CN103987582B (zh) * 2011-12-15 2017-02-22 松下知识产权经营株式会社 驾驶辅助装置
JP5941292B2 (ja) * 2012-02-10 2016-06-29 矢崎総業株式会社 車両用表示装置
JP5888087B2 (ja) * 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
DE102012008858A1 (de) * 2012-04-28 2012-11-08 Daimler Ag Verfahren zum autonomen Parken eines Kraftfahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Kraftfahrzeug mit der Fahrerassistenzvorrichtung
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
US20140057237A1 (en) * 2012-08-27 2014-02-27 Stephen Chen Method for parking a vehicle by using a parking assistant system
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9167214B2 (en) * 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
US9644986B2 (en) * 2013-09-09 2017-05-09 Mitsubishi Electric Corporation Drive support system and drive support method
TWI552907B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 行車安全輔助系統和方法
US20160110650A1 (en) * 2013-11-29 2016-04-21 Ims Solutions, Inc. Advanced context-based driver scoring
US20150156391A1 (en) * 2013-12-04 2015-06-04 Chung-Shan Institute Of Science And Technology, Armaments Bureau, M.N.D Vehicle image correction system and method thereof
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6274936B2 (ja) * 2014-03-25 2018-02-07 ダイハツ工業株式会社 運転支援装置
US9592826B2 (en) * 2015-02-13 2017-03-14 Ford Global Technologies, Llc System and method for parallel parking a vehicle
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
CN105824592A (zh) * 2016-03-07 2016-08-03 乐卡汽车智能科技（北京）有限公司 倒车轨迹的显示方法及装置
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
CN105799596A (zh) * 2016-05-20 2016-07-27 广州市晶华精密光学股份有限公司 一种汽车智能后视***及图像显示方法
CN105933680A (zh) * 2016-07-07 2016-09-07 广州勘帝德电子科技有限公司 无can_bus智能车辆动态轨迹线后视影像***
CN107776489B (zh) * 2016-08-26 2020-07-10 比亚迪股份有限公司 车辆及其全景影像的显示方法和显示***
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
US10162360B2 (en) * 2016-12-01 2018-12-25 GM Global Technology Operations LLC Vehicle environment imaging systems and methods
DE102017218921B4 (de) * 2017-10-24 2024-05-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben einer Displayeinheit eines Fahrzeugs
JP6984373B2 (ja) * 2017-12-07 2021-12-17 トヨタ自動車株式会社 駐車支援装置
CN108332716A (zh) * 2018-02-07 2018-07-27 徐州艾特卡电子科技有限公司 一种自动驾驶汽车环境感知***
CN110211256A (zh) * 2018-02-28 2019-09-06 上海博泰悦臻电子设备制造有限公司 车辆及其车辆行驶实况复显装置和车辆行驶实况复显方法
DE102018208513A1 (de) * 2018-05-29 2019-12-05 Continental Automotive Gmbh Kamera-Monitor-System für ein Kraftfahrzeug und Verwendung eines Spiegelersatzsystems für ein Kraftfahrzeug
US10497232B1 (en) * 2019-03-01 2019-12-03 Motorola Solutions, Inc. System and method for dynamic vehicular threat detection perimeter modification for an exited vehicular occupant
CN113496626B (zh) * 2020-03-19 2023-06-02 广州汽车集团股份有限公司 一种车辆碰撞预警方法、装置及汽车

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5257867A (en) 1975-11-06 1977-05-12 Nippon Soken Inspecting and indicating device
US4214266A (en) * 1978-06-19 1980-07-22 Myers Charles H Rear viewing system for vehicles
FR2542540B1 (fr) 1983-03-08 1989-02-10 Canon Kk Systeme de traitement d'images
JPS61113532A (ja) 1985-09-05 1986-05-31 Nippon Denso Co Ltd メンテナンス表示装置
JPS62155140A (ja) 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
JPS6414700A (en) 1987-07-08 1989-01-18 Aisin Aw Co Device for displaying prospective track of vehicle
JPH0441117Y2 (ko) 1987-07-18 1992-09-28
US4931930A (en) * 1988-04-19 1990-06-05 Industrial Technology Research Institute Automatic parking device for automobile
US5172315A (en) 1988-08-10 1992-12-15 Honda Giken Kogyo Kabushiki Kaisha Automatic travelling apparatus and method
JP2792566B2 (ja) 1989-05-24 1998-09-03 マツダ株式会社 移動車の走行制御装置
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH03166534A (ja) 1989-11-25 1991-07-18 Seikosha Co Ltd カメラ用測距装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JPH05310078A (ja) 1992-05-07 1993-11-22 Clarion Co Ltd 車両安全確認装置及びその装置に使用するカメラ
JP3391405B2 (ja) 1992-05-29 2003-03-31 株式会社エフ・エフ・シー カメラ映像内の物体同定方法
DE69322349T3 (de) * 1992-09-30 2004-06-09 Hitachi, Ltd. Informationssystem für den Fahrer eines Fahrzeuges
JP2943552B2 (ja) 1993-02-12 1999-08-30 トヨタ自動車株式会社 駐車補助装置
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3468428B2 (ja) 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
JP2887039B2 (ja) 1993-03-26 1999-04-26 三菱電機株式会社 車両周辺監視装置
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP3431962B2 (ja) 1993-09-17 2003-07-28 本田技研工業株式会社 走行区分線認識装置を備えた自動走行車両
DE4333112A1 (de) 1993-09-29 1995-03-30 Bosch Gmbh Robert Verfahren und Vorrichtung zum Ausparken eines Fahrzeugs
US5883739A (en) * 1993-10-04 1999-03-16 Honda Giken Kogyo Kabushiki Kaisha Information display device for vehicle
JP3381351B2 (ja) 1993-12-24 2003-02-24 日産自動車株式会社 車両用周囲状況表示装置
JP3522317B2 (ja) 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3205477B2 (ja) 1994-02-17 2001-09-04 富士フイルムマイクロデバイス株式会社 車間距離検出装置
JP2919284B2 (ja) 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
JPH07311857A (ja) * 1994-05-16 1995-11-28 Fujitsu Ltd 画像合成表示装置およびシミュレーションシステム
JP3475507B2 (ja) 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
JPH0896118A (ja) 1994-09-28 1996-04-12 Nissan Motor Co Ltd 車両用周囲状況表示装置
JP3478432B2 (ja) 1995-03-02 2003-12-15 矢崎総業株式会社 車両周辺監視装置
JP3503840B2 (ja) 1995-04-06 2004-03-08 矢崎総業株式会社 車両周辺監視装置
JPH09305796A (ja) 1996-05-16 1997-11-28 Canon Inc 画像情報処理装置
JP3328478B2 (ja) 1995-10-18 2002-09-24 日本電信電話株式会社 カメラシステム
JP3293441B2 (ja) 1996-01-09 2002-06-17 トヨタ自動車株式会社 撮像装置
US6192145B1 (en) * 1996-02-12 2001-02-20 Sarnoff Corporation Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points
DE19611718A1 (de) * 1996-03-25 1997-10-02 Trw Repa Gmbh Verfahren zur Steuerung der Aktivierung eines Fahrzeuginsassen-Rückhaltesystems, Steuersystem und Fahrzeuginsassen-Rückhaltesystem
JP3866328B2 (ja) 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JP3600378B2 (ja) 1996-07-24 2004-12-15 本田技研工業株式会社 車両の外界認識装置
JP3625622B2 (ja) 1996-08-30 2005-03-02 三洋電機株式会社 立体モデル作成装置、立体モデル作成方法および立体モデル作成プログラムを記録した媒体
JP3147002B2 (ja) 1996-09-26 2001-03-19 富士電機株式会社 距離検出値の補正方法
US5994701A (en) 1996-10-15 1999-11-30 Nippon Avonics Co., Ltd. Infrared sensor device with temperature correction function
JPH10164566A (ja) 1996-11-28 1998-06-19 Aiphone Co Ltd マルチ天井カメラ装置
US6119068A (en) * 1996-12-27 2000-09-12 Kannonji; Michihiro Rear-end collision alarming device and method linked to speed control device of a vehicle
JPH10244891A (ja) 1997-03-07 1998-09-14 Nissan Motor Co Ltd 駐車補助装置
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JP3284917B2 (ja) * 1997-03-17 2002-05-27 三菱自動車工業株式会社 車両用周辺視認装置
JPH10264841A (ja) 1997-03-25 1998-10-06 Nissan Motor Co Ltd 駐車誘導装置
JP3571893B2 (ja) 1997-12-03 2004-09-29 キヤノン株式会社 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
EP1038734B1 (en) * 1998-10-08 2019-05-15 Panasonic Intellectual Property Corporation of America Driving assisting device and recording medium
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视***
JP3966673B2 (ja) * 1999-10-26 2007-08-29 本田技研工業株式会社 物体検知装置および車両の走行安全装置
GB2364192A (en) * 2000-06-26 2002-01-16 Inview Systems Ltd Creation of a panoramic rear-view image for display in a vehicle
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
JP5090126B2 (ja) * 2007-10-23 2012-12-05 アルパイン株式会社 車載用撮像装置
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
JP4840427B2 (ja) * 2008-07-29 2011-12-21 日産自動車株式会社 車両制御装置
US8174375B2 (en) * 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871044B1 (ko) * 2007-09-28 2008-11-27 한국오므론전장주식회사 차량 후방안내 시스템의 온스크린 디스플레이 라인 사전생성 방법 및 이를 출력하는 차량 후방이동 궤적 안내방법

Also Published As

Publication number Publication date
KR100568396B1 (ko) 2006-04-05
WO2000020257A1 (fr) 2000-04-13
US20070299572A1 (en) 2007-12-27
US8111287B2 (en) 2012-02-07
US20130231863A1 (en) 2013-09-05
EP1038734A4 (en) 2005-10-12
US20080033606A1 (en) 2008-02-07
US7277123B1 (en) 2007-10-02
US8077202B2 (en) 2011-12-13
EP1038734B1 (en) 2019-05-15
CN1287532A (zh) 2001-03-14
US9272731B2 (en) 2016-03-01
CN1132750C (zh) 2003-12-31
EP1038734A1 (en) 2000-09-27
US20070299584A1 (en) 2007-12-27

Similar Documents

Publication Publication Date Title
KR100568396B1 (ko) 운전조작 보조장치
JP3445197B2 (ja) 運転操作補助装置
US10491818B2 (en) Work vehicle with monitor to display overhead image of work vehicle, and image displaying method for displaying overhead image of work vehicle
KR101362496B1 (ko) 주차 지원 장치 및 주차 지원 방법
US7012548B2 (en) Driving operation assisting method and system
JP3938559B2 (ja) 車両後退支援装置
JP3931857B2 (ja) 駐車支援装置及び後退支援装置
KR100785724B1 (ko) 주차 지원 프로그램을 기록한 컴퓨터 판독 가능한 기록매체, 주차 지원 장치, 주차 지원 화면
US7088262B2 (en) Method of operating a display system in a vehicle for finding a parking place
JP4904997B2 (ja) 駐車支援方法及び駐車支援装置
JP5914013B2 (ja) 運転支援装置
JP3606816B2 (ja) 運転操作補助装置
JP2001218197A (ja) 車両用周辺表示装置
US20070239357A1 (en) Driving support method and driving support device
JP2007030630A (ja) 駐車支援方法及び駐車支援装置
JP2002135765A (ja) カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP4059309B2 (ja) 車載カメラの画像表示制御方法及びその装置
JP4499367B2 (ja) 運転操作補助装置および運転操作補助方法
JP4561512B2 (ja) 駐車支援方法及び駐車支援装置
JP2006224927A (ja) 車両周辺視認装置
JP4754184B2 (ja) 距離マーカ生成方法及び距離マーカ生成プログラム
EP3795410B1 (en) Method and apparatus for displaying ego-vehicle surroundings within an ego-vehicle with support of electrical charging
JP2004009959A (ja) 運転支援装置
JP5605000B2 (ja) 駐車支援装置及び駐車支援方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130228

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160219

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190219

Year of fee payment: 14