KR20100107378A - 화상 처리 방법 및 화상 처리 장치 - Google Patents

화상 처리 방법 및 화상 처리 장치 Download PDF

Info

Publication number
KR20100107378A
KR20100107378A KR1020090129458A KR20090129458A KR20100107378A KR 20100107378 A KR20100107378 A KR 20100107378A KR 1020090129458 A KR1020090129458 A KR 1020090129458A KR 20090129458 A KR20090129458 A KR 20090129458A KR 20100107378 A KR20100107378 A KR 20100107378A
Authority
KR
South Korea
Prior art keywords
vehicle
gaze
information
image data
image
Prior art date
Application number
KR1020090129458A
Other languages
English (en)
Other versions
KR101295295B1 (ko
Inventor
도시아키 고미
준 가와이
가츠토시 야노
히로시 야마다
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42232613&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20100107378(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20100107378A publication Critical patent/KR20100107378A/ko
Application granted granted Critical
Publication of KR101295295B1 publication Critical patent/KR101295295B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명은 복수의 카메라로부터의 화상 데이터를 합성하여 얻어지는 차량 주변의 화상을 표시하여, 차량 주변의 감시를 행하는 화상 처리 장치를 제공하는 것을 과제로 한다.
복수의 카메라가 촬영한 화상 데이터를 기억 가능한 화상 기억부와, 복수의 카메라가 촬영한 화상 데이터를 입력하여 화상 기억부에 기억시키는 카메라 화상 취득부와, 차량의 주위에 상정(想定)되는 투영면에 관한 3차원 좌표의 집합인 투영면 형상 정보를 유지하는 투영면 형상 유지부와, 소정의 시선 이동 룰에 따라 투영면에 대한 시점 위치 및 시선 방향이 연속적으로 천이(遷移)하도록 시선 정보를 결정하는 시선 이동 제어부와, 화상 기억부에 기억된 화상 데이터를 투영면에 투영하여 합성하고, 합성된 화상 데이터를 시선 이동 제어부에 의해 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 화상 변환부와, 화상 변환부에 의해 변환된 2차원 화상 데이터를 표시하는 표시부와, 화상 변환부에 의한 화상 변환 처리를 가동시키기 위한 트리거 신호를 발생하는 주기 묘화(描畵) 트리거 발생부를 포함한다.
Figure P1020090129458
카메라, 화상 데이터, 투영면, 시선 정보, 트리거 신호

Description

화상 처리 방법 및 화상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS}
본 발명은 자기 차량에 탑재된 복수의 카메라에 의해 촬영된 화상 데이터를 이용하여 자기 차량의 주변을 감시하기 위한 주변 감시 화상을 생성하는 화상 생성 방법 및 화상 생성 장치에 관한 것이다.
자동차 등의 차체의 후방이나 블라인드 코너(blind corner)에 카메라를 부착하여, 운전석에서 확인하는 것이 어려운 차량 주변의 사각(死角)으로 되는 개소의 화상을 디스플레이에 표시하는 시계(視界) 지원 방식이 보급되고 있다. 예를 들면, 차체의 후방에 부착한 카메라로부터의 화상을 디스플레이에 표시함으로써, 운전자는 디스플레이에 표시된 화상에 의해 후방을 뒤돌아보지 않고 차량의 후방을 확인하는 것이 가능해진다.
단순히, 1개의 카메라의 화상 데이터를 이용할 뿐만 아니라, 복수의 카메라를 차체에 부착하여, 이들 복수의 카메라로부터의 화상 데이터를 이용하는 시계 지원 방식도 실용화되고 있다.
예를 들면, 차체의 전후 좌우에 4개의 카메라를 부착하여, 이 4개의 카메라 로부터 얻어지는 영상을 이용하여, 차량의 주위 전체를 한번에 바라볼 수 있는 화상 데이터를 합성하는 것이 제안되어 있다(특허문헌 1 참조).
특허문헌 1에 기재되어 있는 장치에서는 시점을 차량의 바로 위로 한 부감(俯瞰) 화상을 작성하여, 운전자의 운전 조작을 적절히 지원하도록 구성하고 있다.
특허문헌 1에 기재된 장치와 같이, 차량의 바로 위에서의 부감 화상을 디스플레이 상에 표시함으로써, 종렬 주차나 차고 입고, 연석(緣石)으로의 붙임 등을 행하는 장면에서, 운전자가 현재의 차량 위치나 이동처로의 궤적을 용이하게 확인하는 것이 가능해진다.
운전자는 차량에 올라타기 직전에, 차량의 주변 상황을 눈으로 확인할 수 있지만, 운전자가 차량에 올라탄 후에 이동 물체가 급속히 접근하는 경우도 생각할 수 있기 때문에, 운전석으로부터의 사각을 포함하여 주변의 상황을 화상에 의해 감시하는 것이 바람직하다.
[특허문헌 1] 일본국 특개2007-183877호 공보
전술한 특허문헌 1에 기재된 장치에서의 부감 화상은, 표시되는 범위가 차량 근방의 지근(至近) 거리로 한정되어 있고, 이러한 화상을 이용하여 차량의 주변 감시를 행하는 경우에는, 떨어진 곳에서 접근해 오는 이동 물체 등의 발견이 늦어진다는 문제가 있다.
또한, 시점을 차량의 바로 위에 설정한 부감 화상을 표시하고 있기 때문에, 차체 후방의 물체의 화상은 상하가 반대로 표시된다. 따라서, 운전자가 디스플레이 상에 표시된 차체 후방의 물체에 대해서 그것이 무엇인지를 인식하기 어렵다는 문제도 내포하고 있다.
본 발명은 전술한 종래 기술의 문제점을 감안하여, 복수의 카메라로부터의 화상 데이터를 합성하여 얻어지는 차량 주변의 화상을 표시할 때에, 시점을 이동시킴으로써, 차량 주변의 감시를 행하는 것을 가능하게 한 주변 감시 화상을 생성하는 화상 처리 방법 및 화상 처리 장치를 제공한다.
본 발명에 관련된 화상 처리 장치는, 차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치로서, 상기 복수의 카메라가 촬영한 화상 데이터를 기억 가능한 화상 기억부와, 상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 상기 화상 기억부에 기억시키는 카메라 화상 취득부와, 상기 차량의 주위에 상정(想定)되는 투영면에 관한 3차원 좌표의 집합인 투영면 형상 정보를 유 지하는 투영면 형상 유지부와, 소정의 시선 이동 룰에 따라 상기 투영면에 대한 시점 위치 및 시선 방향이 연속적으로 천이(遷移)하도록 상기 시선 정보를 결정하는 시선 이동 제어부와, 상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 상기 시선 이동 제어부에 의해 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 화상 변환부와, 상기 화상 변환부에 의해 변환된 2차원 화상 데이터를 표시하는 표시부와, 상기 화상 변환부에 의한 화상 변환 처리를 가동시키기 위한 트리거 신호를 발생하는 주기 묘화(描畵) 트리거 발생부를 포함한다.
또한, 본 발명에 관련된 화상 처리 방법은, 차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치가 실행하는 화상 처리 방법으로서, 상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 화상 기억부에 기억시키는 스텝과, 상기 차량의 주위에 상정되는 3차원의 투영면 형상 정보를 이용하여, 상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 소정의 시선 이동 룰에 따라 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 스텝과, 상기 변환된 2차원 화상 데이터를 표시하는 스텝을 포함한다.
또한, 본 발명에 관련된 화상 처리 방법의 프로그램은, 차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치가 실행하는 화상 처리 방법의 프로그램으로서, 상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 화상 기억부에 기억시키는 스텝과, 상기 차량의 주위에 상정되는 3차원의 투영면 형상 정보를 이용하여, 상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 소정의 시선 이동 룰에 따라 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 스텝과, 상기 변환된 2차원 화상 데이터를 표시하는 스텝을 포함하는 프로그램이다.
본 발명에서는 시점 위치 및 시선 방향을 연속적으로 천이시킴으로써, 차량의 지극히 근방뿐만 아니라, 여러 방향을 감시하는 것을 가능하게 하고, 먼 곳에서 접근하는 물체를 비교적 조기에 발견하는 것을 가능하게 한다.
본 발명의 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법의 프로그램에 대해서, 도시한 실시예에 의거하여 상세하게 설명한다.
(제 1 실시 형태)
(개요 구성)
도 1은 제 1 실시 형태의 화상 처리 장치의 기능 블록도이다.
제 1 실시 형태에 관련된 화상 처리 장치(100)는 복수의 카메라(101 내지 104), 화상 기억부(111), 카메라 화상 취득부(110), 투영면 형상 유지부(120), 시선 이동 제어부(130), 화상 변환부(140), 표시부(150), 주기 묘화(描畵) 트리거 발생부(160)를 구비하고 있다.
제 1 실시 형태에서는 복수의 카메라(101 내지 104)는, 예를 들면, 도 2에 나타낸 바와 같이, 차량(200)의 전후 좌우에 4개 부착된 구성으로 한다. 실제로는 카메라는 3개라도 5개 이상이라도 되지만, 카메라가 적으면 사각(死角)이 늘어나고, 카메라가 지나치게 많으면 중복되는 화상 범위가 많아지고, 화상 처리의 계산량도 카메라의 대수에 비례해서 증가한다.
도 2는 카메라 부착 위치와 카메라의 촬영 범위를 나타내는 설명도이다.
도 2에 나타낸 예에서는, 전방 카메라(101)는 차량(200)의 전방부 범퍼의 중앙에 부착되어, 차량(200)의 전방을 촬영한다. 후방 카메라(104)는 차량(200)의 후방부 범퍼의 중앙에 부착되어, 차량(200)의 후방을 촬영한다. 우측 카메라(102)는 차량(200)의 우측면의 중앙에 부착되어, 차량(200)의 우측방을 촬영한다. 좌측 카메라(103)는 차량(200)의 좌측면의 중앙에 부착되어, 차량(200)의 좌측방을 촬영한다.
카메라(101 내지 104)는 각각 180°의 화각(畵角)을 갖는 초광각(超廣角) 렌즈를 사용한 카메라이다. 이로부터, 도 2에 나타낸 바와 같이, 전방 카메라(101)는 차량(200)의 전방 영역(210)을 촬영하고, 우측 카메라(102)는 차량(200)의 우측방 영역(220)을 촬영하고, 좌측 카메라(103)는 차량(200)의 좌측방 영역(230)을 촬영하고, 후방 카메라(104)는 차량(200)의 후방 영역(240)을 촬영한다. 각 카메라(101 내지 104)의 촬영하는 영역은, 각각 인접하는 카메라가 촬영하는 영역과 중복되도록 구성된다.
카메라(101 내지 104)는, 도시된 바와 같이, 차량(200)의 전면(前面), 우측면, 좌측면, 후면의 각각 중앙에 부착하는 것이 바람직하지만, 각 카메라(101 내지 104)의 촬영 영역이 인접하는 카메라의 촬영 영역과 부분적으로 중복되는 위치이면 되고, 각 카메라(101 내지 104)의 부착 위치는 특별히 한정되는 것은 아니다. 예를 들면, 우측 카메라(102), 좌측 카메라(103)는 차량(200) 좌우의 도어 미러(door mirror)에 부착하는 것도 가능하다. 또한, 각 카메라의 촬영 영역이 일부 중복되고, 또한 차량(200)의 주위 360°의 범위를 촬영하는 것이 가능하면 되고, 카메라의 수는 4개로 한정되는 것은 아니다.
카메라(101 내지 104)는 각각 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 사용하여, 예를 들면, 1초당 30장의 화상 프레임(화상 데이터)을 촬영한다. 카메라(101 내지 104)에 의해 촬영된 디지털 화상 데이터는 카메라 화상 취득부(110)에 입력되고, 화상 기억부(111)에 기억된다.
화상 기억부(111)는 카메라(101 내지 104)에 의해 촬영된 화상 데이터를 순차 기억하는 프레임 버퍼로 구성된다.
카메라 화상 취득부(110)는 카메라(101 내지 104)에 의해 촬영된 화상 데이터를 소정 주기로 취입하여, 화상 기억부(111)에 기억시킨다.
투영면 형상 유지부(120)는 차량 주위에 가상적으로 구성되는 3차원의 투영면의 좌표 집합을 투영면 형상 정보로서 기억하는 것이며, 하드디스크나 플래시 메모리 등의 기록 매체로 구성할 수 있다.
시선 이동 제어부(130)는 투영면에 대한 시점 위치 및 시선 방향이 연속적으로 천이(遷移)하도록 소정의 시선 이동 룰에 따라 시선 정보를 결정하는 것이다.
화상 변환부(140)는 화상 기억부(111)에 기억된 화상 데이터를 투영면에 투 영하여 합성하고, 합성된 화상 데이터를 시선 이동 제어부(130)에 의해 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 것이다.
표시부(150)는 화상 변환부(140)에서 생성된 화상 데이터를 표시하는 것으로서, 예를 들면, 액정 디스플레이로 구성할 수 있다. 이 표시부(150)는 카 네비게이션 시스템에 설치된 표시 장치를 이용하는 것도 가능하다.
주기 묘화 트리거 발생부(160)는 화상 처리 변환부(140)에 의한 화상 변환 처리를 주기적으로 가동시키기 위한 트리거 신호를 발생하는 것이다.
(하드웨어 구성)
도 3은 제 1 실시 형태의 화상 처리 장치의 하드웨어 구성을 나타내는 블록도이다.
이 화상 처리 장치(100)는 CPU(301), ROM(302), RAM(303), 하드디스크 드라이브(HDD)(304), 화상 버퍼(305)(111), 화상 처리부(306), 카메라 인터페이스(307), 센서 인터페이스(308), 모니터 인터페이스(310)를 구비하는 컴퓨터 시스템으로 구성된다. 이들 하드웨어 각 부는 각각 버스(311)를 통하여 접속되어 있다.
CPU(301)는 하드웨어 각 부를 제어하는 것으로서, ROM(302), HDD(304)에 미리 저장되어 있는 제어 프로그램을 판독하여 실행함으로써, 이 하드웨어로 구성되는 컴퓨터를 화상 처리 장치로서 기능시킨다.
ROM(302)은 화상 처리 장치(100)로서 동작시키기 위해 필요한 여러가지 제어 프로그램 및 각종 파라미터 등을 기억하고 있다. RAM(303)은 SRAM, 플래시 메모리 등으로 구성되는 기억 소자로서, CPU(301)에 의한 제어 프로그램의 실행시에 발생하는 여러가지 데이터를 일시적으로 기억한다.
HDD(304)는 화상 처리 장치(100)로서 동작시키기 위해 필요한 제어 프로그램, 3차원 화상 변환용 데이터 등을 미리 저장하고 있다.
화상 버퍼(305)는 카메라(101 내지 104)로 촬영한 화상 데이터를 저장하는 것으로서, RAM, 플래시 메모리 등의 기억 소자로 구성된다.
화상 처리부(306)는 카메라(101 내지 104)로 촬영되고, 화상 버퍼(305)에 저장된 화상 데이터에 소정의 화상 처리를 실행하여, 얻어진 화상 데이터를 표시부(150)에 출력한다. 화상 처리부(306)는 소정의 화상 처리를 실행한 화상 데이터를 NTSC(National Television System Committee standard) 데이터 등의 표시용 데이터로 변환하여, 얻어진 표시용 데이터를 표시부(150)에 출력한다.
카메라 인터페이스(307)는 각 카메라(101 내지 104)와 접속되고, 각 카메라(101 내지 104)가 촬영한 화상 데이터를 순차 화상 버퍼(305)에 기억시킨다.
센서 인터페이스(308)는 차량(200)에 부착되었거나 각종 센서(309)에 접속되어 있어, 각종 센서(309)가 검출하는 검출 신호를 RAM(303)의 소정 영역에 저장하거나, 또는 CPU(301)에 송신한다.
여기서, 센서 인터페이스(308)에 접속되는 각종 센서(309)로서, 차속(車速) 센서, 시프트 위치 센서, 파킹 브레이크(parking brake) 센서, GPS(Global Positioning System) 센서, 타각(舵角) 센서, 장해물 검출 센서 등이 사용된다.
차속 센서는 차량의 주행 속도를 검출하는 센서이며, 홀 소자 등을 사용하여 샤프트의 회전을 검출함으로써 차량의 주행 속도를 검출하도록 구성할 수 있다. 시프트 위치 센서는 시프트 레버의 조작 위치를 검출하는 센서로서, 트랜스미션 케이스에 내장하여 변속기의 시프트 위치를 검출한다. 파킹 브레이크 센서는 파킹 브레이크가 걸려 있는 상태인지의 여부를 검출하는 것으로서, 파킹 브레이크 레버의 조작에 의해 온(on)·오프(off)하는 릴레이로 구성할 수 있다. 타각 센서는 스티어링의 회전축에 설치되어, 스티어링 회동 각도를 검출하는 것이다.
GPS 센서는 복수의 GPS 위성으로부터 송신되어 오는 전파(GPS 신호)를 수신하는 안테나를 구비하고, 수신한 GPS 신호에 의거하여 차량의 현재 위치를 검출하는 센서이다. 또한, GPS 센서는 검출한 현재 위치를 위도, 경도 및 표고(標高)에 관한 데이터를 포함하는 위치 정보로서 취득한다.
장해물 검출 센서는 차량(200)의 전방부 범퍼, 후방부 범퍼 등에 매립되어, 장해물과의 거리를 검출하는 것으로서, 광학 센서, 초음파 센서 등으로 구성할 수 있다.
각종 센서(309)로 검출되는 검출 신호는 센서 인터페이스(308)를 통하여 CPU(301)에 송신되고, 필요에 따라 RAM(303)의 소정 영역에 저장된다.
각종 센서(309)로서, 상술한 센서 이외에, 예를 들면, 액세스 페달의 디딤량을 검출하기 위한 센서, 브레이크 페달의 디딤량을 검출하기 위한 센서 등을 사용하는 것도 가능하다.
모니터 인터페이스(310)는 표시부(150)와 접속되어 있고, 화상 처리부(306)가 소정의 화상 처리를 행한 결과 생성되는 화상 데이터를 표시부(150)에 출력한 다.
(시선 이동 룰)
화상 변환(140)에서는 투영면 형상 유지부(120)에 저장되어 있는 투영면 형상에 의거하여, 차량(200)의 주위에 구성되는 3차원 투영면을 가상적으로 설정하고, 이 3차원 투영면에 카메라(101 내지 104)로부터의 화상 데이터를 투영한다.
도 4는 투영면과 시선 이동의 관계를 나타내는 설명도이다.
도 4에 나타낸 바와 같이, 차량(200)을 중심으로 공기(椀) 형상의 3차원 투영면(400)을 상정(想定)한다. 투영면 형상 유지부(120)는 이러한 3차원 투영면(400)을 구성하기 위한 투영면 형상 정보로서, 차량(200)을 중심으로 한 상대적인 3차원 좌표 정보를 기억하고 있다.
화상 변환부(140)는 카메라(101 내지 104)로 촬영되어 화상 기억부(111)에 기억되어 있는 2차원 화상을, 투영면 형상 유지부(120)에 기억되어 있는 투영면 형상 정보에 의거하여, 3차원 투영면(400)에 투영한 3차원 화상을 생성한다.
화상 변환부(140)는 시선 이동 제어부(130)가 생성하는 시선 정보에 의거하여, 시선 정보에 포함되는 시점 위치 및 시선 방향에 의해, 3차원 투영면(400)을 2차원 화상 데이터로 변환한다.
시선 이동 제어부(130)는 소정의 시선 이동 룰에 의거하여, 매끄러운 시선 천이 궤적(410)을 그리도록, 시점 위치 및 시선 방향의 시선 정보를 천이시킨다.
도 5는 시선 이동 제어부(130)가 시선 정보를 천이시키기 위한 시선 이동 룰을 기억하는 시선 이동 룰 기억부(500)의 설명도이다.
시선 이동 룰 기억부(500)는 소정의 기억 영역에 구성되는 것으로서, 시선 이동을 개시할 때의 시점 위치 및 시선 방향에 관한 개시 시선 정보(501), 시선 이동을 종료할 때의 시점 위치 및 시선 방향에 관한 종단 시선 정보(502), 개시 시선 정보(501)와 종단 시선 정보(502) 사이의 시선 정보의 천이를 어떻게 보간(補間)할지에 관한 시선 보간 룰(503)을 구비하고 있고, 또한 현재의 시점 위치 및 시선 방향에 관한 현재 시선 정보(504)를 구비하고 있다.
도 6은 시점 위치와 시선의 도달 위치를 연결하는 연직 단면에서의 시선 정보에 관한 설명도이다.
도 6에 나타낸 시선 정보는, 시점 위치(601)에서 차량(200)의 방향을 관찰할 때에, 시점 위치(601)와 시선 도달 위치(610)를 연결하는 선을 시선 중심선(602)으로 하여 소정 각도의 시계(視界)의 개방 상태를 나타내는 수직 화각(603), 시선 도달 위치(610)가 존재하는 수평면으로부터 시점 위치(601)까지의 앙각(仰角)(604), 시점 위치(601)와 시선 도달 위치(610) 사이의 시선 거리(605)로 구성된다.
도 7은 수평면 내에서의 시선 정보에 관한 설명도이다.
도 7에 나타낸 시선 정보는, 시점 위치(601)에서 차량(200)의 방향을 관찰할 때에, 수평면 내에서 시점 위치(601)와 시선 도달 위치(610)를 연결하는 선을 시선 중심선(702)으로 하여 소정 각도의 시계의 개방 상태를 나타내는 수평 화각(703), 차량(200)의 중심에서부터 전방으로 연장된 차량 중심선(711)을 0°로 하여 차량 중심선(711)으로부터 시점 위치(601)까지의 시계 회전의 각도를 나타내는 수평면 각도(704)로 구성된다.
도 8은 도 6, 도 7에 나타낸 시선 정보에 의거하여 구성되는 시선 정보 테이블에 관한 설명도이다.
시선 정보 테이블(800)은 시선 방향란(810), 시선 도달 위치란(820), 시선 거리란(830), 화각란(840)의 각 항목으로 구성되어 있다.
시선 방향란(810)에는 도 6에 나타낸 앙각(604), 도 7에 나타낸 수평면 각도(704)를 포함하는 시선 방향에 관한 정보가 저장된다.
시선 도달 위치란(820)에는 시점 위치(601)로부터의 관찰 중심점으로 되는 시선 도달 위치(610)에 관한 정보가 저장되는 것으로서, 투영면 형상 유지부(120)에서 유지하고 있는 투영면에 대한 시선 도달점의 좌표로 나타낼 수 있다. 도 6, 도 7에 나타낸 예에서는 시선 도달 위치(610)를 차량(200)의 중심점으로 하고 있다.
시선 거리란(830)에는 도 6에 나타낸 시점 위치(601)와 시선 도달 위치(610) 사이의 시선 거리(605)가 저장된다.
화각란(840)에는 도 6의 수직 화각(603) 및 도 7의 수평 화각(703)이 저장된다. 이 수직 화각(603) 및 수평 화각(703)은 동일한 값이어도 되고, 그 경우에는 화각으로서 1개의 값을 저장하도록 구성할 수 있다.
이와 같이, 시선 도달 위치(610)의 좌표와, 앙각(604) 및 수평면 각도(704)로 구성되는 시선 방향, 시선 거리(605)가 결정되면, 시점 위치(601)의 투영면과의 상대 좌표를 구할 수 있어, 시점 위치와 시선 방향을 포함하는 시선 정보를 특정하는 것이 가능해진다.
따라서, 시선 이동 제어부(130)에 의해 천이되는 시선 정보는 시선 정보 테이블(800)에 나타내는 시선 정보에 의거하여 천이되는 것으로서, 시선 이동 룰 기억부(500)에 저장되는 개시 시선 정보(501), 종단 시선 정보(502)에 대해서도 시선 정보 테이블(800)에 의거하는 시선 정보로 나타내는 것이 가능하다.
예를 들면, 개시 시선 정보(501)로서, 시선 방향란(810)에 저장되는 앙각(604)의 값이 40°, 수평면 각도(704)의 값이 180°, 시선 도달 위치란(820)에 저장되는 시선 도달 위치(610)의 좌표가 투영면에 합성되는 차량(200)의 중심점, 시선 거리란(830)에 저장되는 시선 거리(605)의 값이 14m, 화각란(840)에 저장되는 수직 화각(603) 및 수평 화각(703)의 값이 함께 40°가 주어져 있는 것으로 한다. 또한, 종단 시선 정보(502)로서, 시선 방향란(810)에 저장되는 수평면 각도(704)의 값이 540°, 그 밖의 값은 개시 시선 정보(501)와 동일한 것으로 한다.
또한, 시선 보간 룰(503)에 저장되는 시선 보간 룰은, 예를 들면, 개시 시선 정보(501)와 종단 시선 정보(502)의 값에 대해서 그 차이를 180등분하고, 180등분한 시선 정보를 개시 시선 정보(501)로부터 종단 시선 정보(502)까지 순서대로 변경해 가도록 구성할 수 있다.
주기 묘화 트리거 발생부(160)는 화상 변환부(140)가 주기적으로 화상 변환 처리를 실행하기 위한 트리거 신호를 생성하는 것으로서, 화상 변환부(140)에 의해 생성되는 화상 데이터의 시선을 매끄럽게 천이할 수 있는 간격으로 트리거 신호를 주기적으로 생성한다. 주기 묘화 트리거 발생부(160)는, 예를 들면, 0.1초 간격으로 트리거 신호를 발생하도록 구성할 수 있다.
시선 이동 제어부(130)는 전술한 시선 이동 룰 기억부(500)에 기억된 개시 시선 정보(501), 종단 시선 정보(502), 시선 보간 룰(503)에 의거하여, 시선 정보를 천이시킴으로써, 예를 들면, 도 4에 나타낸 시선 천이 궤적(410) 위를 이동하는 시점 위치와, 시점 위치에 따른 시선 방향을 매끄럽게 이동시킴으로써, 차량(200) 주위의 화상 데이터를 매끄럽게 이동하고, 또한 망라적으로 표시하는 것이 가능해진다.
(차량 형상 화상)
3차원 투영면(400) 중에 차량(200)의 화상을 합성함으로써, 차량(200)과 주위의 화상 데이터의 관계가 명확해진다.
도 9는 차량(200)의 화상을 합성하여 표시하는 경우의 화상 처리 장치(100)의 블록도이다.
도 1에 나타낸 화상 처리 장치(100)와 동일 요소에 대해서는 동일한 부호를 붙여 표시하고, 그 상세한 설명에 대해서는 생략한다.
이 화상 처리 장치(100)는 차량 형상 기억부(910)를 더 구비하고 있다.
이 차량 형상 기억부(910)는 차량(200)의 3차원 형상 정보를 기억하는 것으로서, 차량의 형상에 관한 좌표 데이터와 텍스처 데이터를 포함하는 구성으로 할 수 있다.
화상 변환부(140)는 투영면 형상 유지부(120)에 기억되어 있는 투영면 형상 정보에 의거하여 화상 기억부(111)에 기억되어 있는 화상 데이터를 투영면에 투영하는 동시에, 차량 형상 기억부(910)에 기억되어 있는 차량의 3차원 형상 정보를 투영면과 합성한다. 화상 변환부(140)는 합성된 화상 데이터를, 시선 이동 제어부(130)로부터 얻어진 시선 정보에 의거하여 2차원 화상으로 변환하여 표시부(150)에 출력한다.
화상 변환부(140)는 투과 처리부(920)를 더 구비하고 있다. 투과 처리부(920)는 차량 형상 기억부(910)에 기억된 차량의 3차원 형상 정보에 의거하여, 투영면에 투영된 3차원 투영 화상에 차량의 3차원 화상을 합성할 때에, 차량의 표시 방법을 변경하는 것으로서, 차량의 3차원 화상의 투과율을 변경하여 투과적으로 표시하거나, 또는 와이어 프레임(wire frame)에 의해 차량의 3차원 화상을 표시하도록 구성할 수 있다.
(화상 변환 처리)
도 10은 화상 처리 장치(100)에서의 화상 변환 처리의 플로 차트이다. 여기서는, 화상 변환부(140)에서의 화상 변환 처리를 중심으로 하여 설명한다.
스텝 S1010에서, 화상 변환부(140)는 주기 묘화 트리거 발생부(160)가 생성하는 주기적인 트리거 신호를 수신하였는지의 여부를 판별한다. 화상 변환부(140)는 주기 묘화 트리거 발생부(160)로부터의 트리거 신호를 수신할 때까지 대기하고, 트리거 신호를 수신했다고 판단한 경우에는 스텝 S1020으로 이행한다.
스텝 S1020에서, 화상 변환부(140)는 투영면 형상 유지부(120)에 기억되어 있는 투영면 형상 정보와, 차량 형상 기억부(910)에 기억되어 있는 차량의 3차원 형상 정보를 취득한다.
스텝 S1030에서, 화상 변환부(140)는 카메라(101 내지 104)가 촬영하여 화상 기억부(111)에 기억되어 있는 화상 데이터를 취득하고, 투영면 형상 유지부(120)로부터 취득한 투영면 형상 정보에 의거하는 투영면에 각 화상 데이터를 합성한다.
스텝 S1040에서, 화상 변환부(140)는 투영면에 투영된 화상 데이터로 합성하는 차량의 3차원 형상 정보의 투과율을 결정한다. 화상 변환부(140)에 포함되는 투과 처리부(920)는 차량의 3차원 형상 정보의 투과율을 0.0(불투명) 내지 1.0(투명) 사이에서 결정하고, 투과 처리를 행한 차량의 3차원 형상 정보와 3차원 투영 화상을 합성한다. 투과율은, 예를 들면, 디폴트값으로서 0.5가 선택되는 것으로 하고, 장해물과 차량의 위치 관계나 조작자의 지시에 의거하여 투과율을 변경하도록 구성하는 것이 가능하다.
도 18은 차량(200)의 3차원 형상 정보의 투과율을 반투과(투과율 0.5)로 한 경우의 화상 데이터 표시예를 나타내는 설명도이다. 도 18에 나타낸 화상 데이터(1800)는 투영면 형상 유지부(120)에 기억된 투영면 형상 정보에 의거하여 구성되는 투영면(400)에, 카메라(101 내지 104)에 의해 촬영된 화상 데이터를 투영한 3차원 화상 데이터와, 투과율 0.5의 투과 처리가 된 3차원 차량 형상 정보를 합성한 것이다. 차량(200)의 반투과 처리된 3차원 차량 형상 정보(1810)는 차량(200)의 맞은편 측에 위치하는 물체가 반투과 상태로 관찰하는 것이 가능해서, 장해물 등을 이 화상 데이터(1800) 상에서 확인하는 것이 가능해진다.
또한, 차량의 3차원 형상 정보를 와이어 프레임에 의한 표시 형태로 변경하는 것도 가능하다. 이 경우, 투과 처리부(920)는 차량 형상 기억부(910)에 기억되어 있는 차량(200)의 차량 형상 정보에 의거하여, 다수의 폴리곤으로 구성되는 3차 원 메시(mesh) 데이터를 구성하고, 이를 투영면에 투영된 3차원 투영 화상 데이터와 합성하도록 구성한다.
도 19는 차량(200)의 3차원 형상 정보를 와이어 프레임에 의해 표시한 경우의 화상 데이터 표시예를 나타내는 설명도이다. 도 19에 나타낸 화상 데이터(1900)는 투영면 형상 유지부(120)에 기억된 투영면 형상 정보에 의거하여 구성되는 투영면(400)에, 카메라(101 내지 104)에 의해 촬영된 화상 데이터를 투영한 3차원 화상 데이터와, 와이어 프레임 처리가 된 3차원 차량 형상 정보를 합성한 것이다. 차량(200)의 와이어 프레임 처리된 3차원 차량 형상 정보(1910)는 차량(200)의 맞은편 측에 위치하는 물체가 와이어 프레임을 통하여 관찰하는 것이 가능해서, 장해물 등을 이 화상 데이터(1900) 상에서 확인하는 것이 가능해진다.
스텝 S1050에서는, 화상 변환부(140)는 시선 이동 제어부(130)에 대하여 2차원 변환 화상을 생성하기 위한 시선 정보를 요구하고, 시선 이동 제어부(130)로부터 현재의 시선 정보를 취득한다. 시선 이동 제어부(130)는, 전술한 바와 같이, 시선 이동 룰 기억부(500)에 기억된 개시 시선 정보(501), 종단 시선 정보(502), 시선 보간 룰(503)에 의거하여, 시선 천이 궤적(410) 위의 현재의 시선 정보를 구해서 화상 변환부(140)에 송신하는 동시에, 현재 시선 정보(504)로 산출한 시선 정보를 기억한다.
스텝 S1060에서는, 화상 변환부(140)는 취득한 시선 정보에 의거하여, 투영면에 투영된 화상 데이터와 차량 형상 정보를 합성한 화상 데이터를 2차원 화상 데이터로 변환한다.
스텝 S1070에서는, 화상 변환부(140)는 변환된 2차원 화상 데이터를 표시부(150)에 출력한다.
스텝 S1080에서는, 화상 변환부(140)는 시선 정보가 종단 시선 정보에 도달하였는지의 여부를 판별한다. 화상 변환부(140)는 시선 이동 제어부(130)로부터 시선 정보를 취득할 때에, 그 시선 정보가 종단 시선 정보일 경우에는 그 취지의 통지를 동시에 취득한다. 화상 변환부(140)는 시선 이동 제어부(130)로부터 종단 시선 정보인 취지의 통지를 수신한 경우에, 종단 시선 정보에 도달하였다고 판단하여 처리를 종료하고, 그렇지 않을 경우에는 스텝 S1010으로 이행한다.
이러한 화상 변환부(140)는 OpenGL과 같은 컴퓨터 시스템 상에서 동작하는 3차원 묘화 라이브러리 소프트웨어 등으로 구성하는 것이 가능하다.
(시선 이동 제어 처리)
시선 이동 제어부(130)는 화상 변환부(140)로부터의 시선 정보 취득 요구에 따라, 시선 천이 궤적(410) 위의 현재의 시선 정보를 생성하여 화상 변환부(140)에 송신한다.
도 11은 시선 이동 제어부(130)에 의한 시선 이동 제어 처리를 나타내는 플로 차트이다.
스텝 S1110에서는, 시선 이동 제어부(130)는 화상 변환부(140)로부터의 시선 정보 취득 요구가 처음인지의 여부를 판별한다. 시선 이동 제어부(130)는 화상 변환부(140)로부터의 시선 정보 취득 요구가 처음이라고 판단한 경우에는 스텝 S1120으로 이행하고, 그렇지 않을 경우에는 스텝 S1160으로 이행한다.
스텝 S1120에서는, 시선 이동 제어부(130)는 시선 이동 룰 기억부(500)의 개시 시선 정보(501)와 종단 시선 정보(502)를 판독한다.
스텝 S1130에서는, 시선 이동 제어부(130)는 개시 시선 정보(501)와 종단 시선 정보(502)의 차이에 의거하여, 1회당의 시선 정보의 이동량을 산출한다. 전술한 바와 같이, 개시 시선 정보(501)로서, 시선 방향란(810)에 저장되는 앙각(604)의 값이 40°, 수평면 각도(704)의 값이 180°, 시선 도달 위치란(820)에 저장되는 시선 도달 위치(610)의 좌표가 투영면에 합성되는 차량(200)의 중심점, 시선 거리란(830)에 저장되는 시선 거리(605)의 값이 14m, 화각란(840)에 저장되는 수직 화각(603) 및 수평 화각(703)의 값이 함께 40°가 주어져 있고, 종단 시선 정보(502)로서, 시선 방향란(810)에 저장되는 수평면 각도(704)의 값이 540°, 그 밖의 값은 개시 시선 정보(501)와 동일한 경우를 상정한다. 이 경우는, 개시 시선 정보(501)와 종단 시선 정보(502)는 수평면 각도가 360° 상이할 뿐이며, 그 밖의 값은 동일하게 되어 있다.
예를 들면, 주기 묘화 트리거 발생부(160)가 발생하는 트리거 신호가 0.1초의 주기로 생성되는 것이라고 하면, 1초간에 10장 정도의 화상 데이터를 생성하여, 18초로 차량(200)의 주위를 1주(周)하는 화상 표시를 행함으로써, 시점이 매끄럽게 연속해서 천이하는 화상을 표시할 수 있다고 생각된다. 이 때문에, 전술한 바와 같이, 개시 시선 정보(501)와 종단 시선 정보(502)의 수평면 각도의 차이가 360°일 경우, 180분할하여 1회당 수평면 각도를 2°씩 시점 위치가 이동하도록 구성한다.
스텝 S1140에서는, 시선 이동 제어부(130)는 개시 시선 정보(501)를 현재 시선 정보(504)에 저장한다.
스텝 S1150에서는, 시선 이동 제어부(130)는 화상 변환부(140)에 개시 시선 정보(501)를 현재의 시선 정보로서 송신한다.
스텝 S1160에서는, 시선 이동 제어부(130)는 현재 시선 정보(504)에 1회당의 이동량을 가산한다.
스텝 S1170에서는, 시선 이동 제어부(130)는 1회당의 이동량을 가산한 시선 정보가, 종단 시선 정보(502) 이상인지의 여부를 판별한다. 시선 이동 제어부(130)는 1회당의 이동량을 가산한 시선 정보가, 종단 시선 정보(502)에 충족하지 않는다고 판단한 경우에는, 스텝 S1180으로 이행하고, 그렇지 않을 경우에는 스텝 S1190으로 이행한다.
스텝 S1180에서는, 시선 이동 제어부(130)는 1회당의 이동량을 가산한 시선 정보를 현재 시선 정보(504)에 기억하는 동시에, 이 시선 정보를 현재의 시선 정보로서 화상 변환부(140)에 송신한다.
스텝 S1190에서는, 시선 이동 제어부(130)는 종단 시선 정보(502)를 현재의 시선 정보로서 화상 변환부(140)에 송신한다.
시선 정보의 천이를 되풀이하여, 화상 변환부(140)에 의한 화상 변환 처리를 속행하는 경우에는, 시선 이동 제어부(130)는 스텝 S1190에서, 개시 시선 정보(501)의 값을 현재 시선 정보(504)에 기억하도록 구성하는 것도 가능하다.
(차량의 사각에 의거하는 최저 앙각의 결정 방법)
현재의 시점 위치에서 차량(200)을 관찰할 때, 차량(200)의 음영으로 되는 부분이 많아지면, 사각이 커진다. 이 때문에, 시점 위치의 앙각을 크게 하는 것을 생각할 수 있지만, 화각 내에 들어가는 시계가 작아진다는 문제가 있다. 이 때문에, 시선 정보를 결정할 때에, 사각으로 되는 부분과 시계 범위를 타협할 수 있는 범위가 되도록, 앙각의 최저값을 결정하는 것이 바람직하다.
도 12는 시점 위치의 앙각의 최저값을 결정하는 방법에 관한 설명도이다.
도 12에 나타낸 바와 같이, 차량(200)의 3차원 형상 정보를 중심으로 하여 투영면(400)이 구성되는 것으로 한다.
차량(200)의 중심점(1201)을 시선 도달 위치로 하는 시점 위치(1210 내지 1212)에 대해서 고찰한다.
차량(200)의 중심점(1201)을 통과하는 수평면(1202)에 대하여, 시점 위치(1210)로부터 시점 위치(1212)로 이동할수록, 앙각은 커진다.
설명을 위해, 차량(200)의 높이(1240)만을 고려하는 것으로 하고, 차량(200)의 폭 방향의 거리를 고려하지 않는 것으로 한다.
시점 위치(1210)로부터 차량(200)의 중심점(1201)을 향하여 시선 방향이 있는 경우, 시점 위치(1210)로부터 차량(200)의 최상부(1203)를 연결하는 연장선(1221)이 투영면(400)의 수평면과 접하는 점과, 차량(200)의 중심점(1201)까지의 수평 거리분이 사각으로 되는 범위로 된다.
마찬가지로, 시점 위치(1212)로부터 차량(200)의 중심점(1201)을 향하여 시선 방향이 있는 경우, 시점 위치(1212)로부터 차량(200)의 최상부(1203)를 연결하 는 연장선(1223)이 투영면(400)의 수평면과 접하는 점과, 차량(200)의 중심점(1201)까지의 수평 거리분이 사각으로 되는 범위로 된다.
차량(200)의 사각으로 되는 범위를 어느 정도 허용할 수 있는지를, 시점 위치로부터 차량(200)의 최상부(1203)를 통과하여 투영면(400)의 수평면과 접하는 위치의 차량(200)의 중심으로부터의 거리에 의거하여 설정하고, 그 때의 시점 위치의 앙각을 최저 앙각으로서 결정한다.
시선 이동 제어부(130)는 결정된 최저 앙각 이하로 되지 않도록, 시선 정보를 설정함으로써, 차량(200)의 화상 데이터에 의한 사각을 최적으로 할 수 있다.
(투영면 형상 정보의 범위에 의한 최저 앙각의 결정 방법)
화상 변환부(140)에서는 투영면 형상 유지부(120)에서 기억하고 있는 투영면 형상 정보에 대응하여, 차량(200) 주위에 가상적인 3차원 투영면(400)을 설정하고, 이 투영면(400)에 카메라(101 내지 104)가 촬영한 화상 데이터를 투영하도록 구성하고 있다. 화상 변환부(140)가 투영면(400)에 투영된 화상을 2차원 화상 데이터로 변환할 때에, 투영면(400)의 범위 외의 시계가 포함될 경우에는, 변환된 2차원 화상 데이터에 화상이 존재하지 않는 부분이 생길 우려가 있다.
도 13은 투영면의 범위 외가 시계에 포함되는 경우의 설명도이다.
도 13에 나타낸 바와 같이, 차량(200)의 3차원 형상 정보를 중심으로 하여 투영면(400)이 구성되는 것으로 한다.
시점 위치(1310)로부터 차량(200)의 중심점을 관찰하는 시선 방향의 중심선이 1311이라고 한다. 이 때, 시점 위치(1310)로부터 차량(200)의 중심점을 연결하 는 시선 중심선(1311)을 중심으로, 수직 방향의 화각이 화각(1312)이라고 한다.
도시한 예에서는, 시점 위치(1310)로부터 차량(200)의 중심점을 관찰하는 경우에, 시계의 상단선(1313)은 투영면(400)의 상단연(上端緣)(1331)의 위쪽을 통과하고 있다. 따라서, 도 13에 나타낸 시점 위치(1310)에서 도시한 앙각에서의 시선 방향을 선택하면, 화상 데이터가 존재하지 않는 부분이 포함되게 된다.
이러한 경우에는, 시계의 상단선(1313)이 투영면(400)의 상단연(1331)의 아래쪽을 통과하도록, 앙각을 크게 한다.
도 14는 앙각을 크게 함으로써, 시계에 투영면의 상단연을 포함하지 않도록 구성하는 경우의 설명도이다.
도 14에 나타낸 시점 위치(1310)는, 도 13에 나타낸 시점 위치(1310)보다, 투영면(400)에 대하여 높이 방향의 좌표 위치가 높아져 있다. 이로부터, 수직 방향의 화각에 의거하는 시계의 상단선(1313)은 투영면(400)의 상단연(1331)의 아래쪽을 통과하게 된다.
이 경우의 앙각(1410)을 최저 앙각으로서 결정한다.
시선 이동 제어부(130)는 결정된 최저 앙각 이하로 되지 않도록, 시선 정보를 설정함으로써, 투영면(400)의 화상 데이터가 존재하지 않는 부분을 포함하지 않도록, 2차원 화상 데이터로의 변환을 행하는 것이 가능해진다.
(화상 데이터 범위에 의거하는 최저 앙각의 결정 방법)
카메라(101 내지 104)에 의해 촬영된 화상 데이터를 투영면에 투영한 경우에, 각 카메라(101 내지 104)의 성능이나 부착 위치의 오차 등에 의해, 투영면 상 에 화상 데이터가 존재하지 않는 부분이 나타날 가능성이 있다. 이 경우도, 투영면(400)의 상단연 부근에 화상 데이터가 존재하지 않는 부분이 나타날 우려가 있다.
도 15는 카메라가 촬영한 화상 데이터를 투영면에 투영한 결과, 화상 데이터가 존재하지 않는 부분이 생긴 경우의 예를 나타내는 설명도이다.
도 15에 나타낸 바와 같이, 차량(200)의 3차원 형상 정보를 중심으로 투영면(400)이 구성되는 것으로 한다.
이 예에서는, 도면의 좌측 상부에 화상 데이터가 존재하지 않는 화상 범위 외 부분(1510)이 나타나 있다.
시선 이동 제어부(130)는 이러한 화상 범위 외 부분(1510)이 2차원 화상 데이터로 변환되지 않도록 최저 앙각을 결정하고, 시선 이동 룰 기억부(500)에 기억된 시선 보간 룰(503)에 의해 선택되는 시선 정보를 보정함으로써, 화상 범위 외 부분(1510)이 2차원 화상 데이터에 반영되지 않도록 구성할 수 있다.
도 16은 화상 범위 외 부분(1510)이 포함되지 않도록 시선 정보를 보정한 경우의 화상 데이터를 나타내는 설명도이다.
시선 이동 제어부(130)는 시선 보간 룰(503)에 따라 선택되는 시선 정보가, 도 15에 나타낸 화상 범위 외 부분(1510)이 포함되는 시선 정보로 되는 경우에는, 앙각이 최저 앙각 이상으로 되도록 시선 정보를 보정한다. 이에 의해, 도 16에 나타낸 바와 같이, 앙각이 큰 시선 정보로 변경되어, 화상 범위 외 부분(1510)이 포함되지 않는 화상 데이터를 얻는 것이 가능해진다.
전술한 투영면의 범위 외를 시계에서 제외시키는 것에 더해서, 각 카메라의 성능이나 부착 위치의 편차에 의해 생기는 화상 범위 외 부분(1510)을 시계에서 제외시키도록 구성함으로써, 변환된 2차원 화상 데이터에 부자연스러운 화상 누락이 발생하는 것을 방지할 수 있다.
카메라(101 내지 104)는 차량(200)으로의 부착 위치가 고정되고 있고, 각 카메라의 특성에 대해서도 사용 중의 큰 변동은 없는 것으로 추측할 수 있다. 따라서, 카메라(101 내지 104)의 화상 데이터를 투영면(400)에 투영하여, 화상 데이터의 상단연의 위치를 확인하도록, 시선 정보의 수평면 각도를 1주시킴으로써, 각 수평면 각도에서의 최저 앙각을 결정하도록 구성할 수 있다.
도 17은 수평면 각도에서의 최저 앙각을 결정하는 경우의 설명도이다.
투영면(400)에 투영되는 카메라(101 내지 104)의 화상 데이터의 상단연(1710)은, 도 17에 나타낸 바와 같이 높이에 편차가 있고, 일정한 앙각을 갖는 시선 정보를 이용한 경우, 화상 범위 외 부분이 2차원 화상 데이터로 변환될 우려가 있다.
따라서, 카메라(101 내지 104)에 의해 촬영된 화상 데이터를 투영면(400)에 투영한 상태에서, 시선 정보의 수평면 각도를 1주시켜, 각 수평면 각도에서의 최저 앙각을 구해 둔다. 시선 이동 제어부(130)는 시선 이동 룰 기억부(500)의 시선 보간 룰(503)에 의거하여 시선 정보를 선택하는 경우에, 수평면 각도에 의거하여 최저 앙각보다 작은 앙각이라고 판단한 경우에는, 시선 정보를 보정하여 앙각이 최저 앙각보다 커지도록 설정한다. 이에 의해, 화상 변환부(140)에 의해 변환되는 2차 원 화상 데이터에 화상 범위 외 부분이 포함되지 않게 되고, 부자연스러운 화상 데이터의 누락이 발생하는 것을 방지할 수 있다.
(개시 시선 정보)
도 20 및 도 21은 개시 시선 정보의 설정을 나타내는 설명도이다.
차량(200)이 주차 공간에 전방으로부터 주차한 상태로, 전방 및 양측면에 장해물로 되는 벽면(2010)이 존재하는 것으로 한다. 이 때에, 차량(200)은 장해물 센서를 탑재하고 있어, 전방 및 양측면에 장해물로 되는 벽면(2010)을 장해물 센서로 검출하는 것이 가능한 것으로 한다.
이 때, 운전자는 주차 공간의 개방측(도 20의 아래쪽)에서 주차 공간을 보는 상태(도 20의 위쪽을 향하여 시선 방향이 있음)로 차량(200)에 접근하여, 차량(200)에 탑승하게 된다. 이로부터, 운전자가 주차 공간에 접근하는 장면을 재현하도록, 주차 공간의 개방측에 위치하는 시점 위치(2020)로부터 주차 공간 내부를 관찰하는 시선 방향으로 되도록, 개시 시선 정보(501)의 시점 위치 및 시선 방향의 정보를 설정해 둘 수 있다.
도 21에 나타낸 바와 같이, 차량(200)이 주차 공간의 개방측에 측면을 향하도록 주차하고 있는 경우도, 마찬가지의 설정을 행할 수 있다.
예를 들면, 차량(200)에 탑재된 장해물 센서에 의해 차량(200)의 전후 및 좌측방에 장해물로 되는 벽면(2110)을 검출하는 경우에는, 주차 공간의 개방측인 시점 위치(2120)로부터 차량(200)의 우측면을 관찰하는 방향이 개시 시선 정보(501)로 되도록 설정해 둔다.
이러한 구성으로 함으로써, 운전자가 차량(200)에 탑승하여 차량(200)의 주위 상황을 확인할 때에, 차량(200)의 외부로부터 차량(200)에 접근하여 탑승하고, 그 후, 차량(200) 안에서 주위를 확인하는 상황을 재현할 수 있다. 차량(200)의 주위 상황을 운전자가 알기 쉽게 표시함으로써, 차량(200)을 주차 공간으로부터 발진시킬 때의 안전 확인을 확실히 행하는 것이 가능해진다.
(장해물 감시)
도 22는 차량 근방에 장해물을 검출한 경우의 시선 정보의 천이의 일례를 나타내는 설명도이다.
차량(200)은, 예를 들면, 전방부 범퍼의 좌우 양측 및 후방부 범퍼의 좌우 양측에 장해물 센서를 구비하고 있고, 차량(200) 주변의 전후 좌우에 존재하는 장해물을 검출 가능한 구성인 것으로 한다.
시선 이동 제어부(130)가 천이시키는 시선 정보가, 시점 위치(2200) 위에서 차량(200)의 중심점을 관찰하는 시선 방향인 것으로 한다. 시선 이동 제어부(130)는 현재의 시점 위치부터의 시계 범위에 장해물이 포함된다고 판단될 경우에, 시선 정보를 천이시키는 이동량을 감소시키도록 구성할 수 있다.
도 21에 나타낸 바와 같이, 차량(200)의 장해물 센서가, 차량(200)의 우측방에 위치하는 제 1 장해물(2210), 차량(200)의 좌후방에 위치하는 제 2 장해물(2220), 차량(200)의 좌전방에 위치하는 제 3 장해물(2230)을 검출한 것으로 한다. 이 때, 장해물 센서는 차량(200)의 중심점으로부터의 상대적인 방위 및 거리를 검출하는 것이 가능한 것으로 한다.
시선 이동 제어부(130)에 의한 시선 정보에 의한 화각 중에 장해물(2210, 2220, 2230)이 들어간 것으로 판단되면, 시선 이동 룰 기억부(500)의 시선 보간 룰(503)에 포함되는 보간 폭을 축소하도록 구성한다. 시선 이동 제어부(130)가 화상 변환부(140)로부터의 시선 정보 취득 요구마다, 수평면 각도를 2°씩 증가시킨 시선 정보를 화상 변환부에 송신하고 있을 경우에는, 장해물(2210, 2220, 2230)이 시계 범위에 포함되는 경우에, 수평면 각도를 1°씩 증가하도록 구성할 수 있다.
이 경우, 시선 이동 제어부(130)가 장해물의 검출 위치에서 천천히 시선을 움직이도록 시선 정보를 천이시키게 되어, 운전자에게 장해물을 확실히 인식시키고, 또한 장해물이 무엇인지의 확인을 시키는 것이 용이해진다.
도 23은 차량 근방에 장해물을 검출한 경우, 차량(200)의 투과율을 변화시켜 장해물을 보이기 쉽게 표시하는 예의 설명도이다.
이 경우도, 차량(200)에는 장해물 센서가 탑재되어 있고, 이 장해물 센서가 차량(200)의 근방에 있는 장해물의 차량(200)으로부터의 방위 및 거리를 검출하는 것이 가능한 것으로 한다.
시선 이동 제어부(130)로부터 얻어진 시선 정보에 의거하여, 화상 변환부(140)는 장해물과 시점 위치 사이에 차량(200)이 위치하는 것으로 판단한 경우에는, 차량(200)의 3차원 형상 정보를 표시할 때에, 투과 처리부(920)에 의해 투과율을 증가시켜 투과 처리를 실행한다.
예를 들면, 도 23에 나타낸 바와 같이, 시점 위치(2310)와 장해물 센서에 의해 검출된 장해물(2301) 사이에 차량(200)의 형상 정보가 끼워지는 경우에는, 차 량(200)의 형상 정보를 표시할 때에 투과율을 증가시켜 투영 화상 데이터와 합성한다.
이에 의해, 투영면(400)에 투영된 화상 데이터에 포함되는 장해물의 화상 데이터를, 투과 처리된 차량(200)의 형상 정보를 통하여 보기 쉽게 하여, 장해물을 용이하게 인식하고, 또한 장해물의 크기나 형상, 그것이 무엇인지를 용이하게 확인할 수 있도록 구성할 수 있다.
(제 2 실시 형태)
도 24는 제 2 실시 형태의 화상 처리 장치의 기능 블록도이다.
제 1 실시 형태의 화상 처리 장치(100)와 동일한 구성 요소에 대해서는 동일한 부호를 붙여, 그 상세한 설명은 여기서는, 생략한다.
이 제 2 실시 형태의 화상 처리 장치(100)에서는, 차량(200)에 탑재되고, 차량(200)의 근방에 위치하는 장해물의 차량(200)으로부터의 방위 및 거리를 검출하는 장해물 센서(2410), 시선 이동 제어부(130)에 설치된 차량 투과율 조절부(2420)를 더 구비하고 있다.
장해물 센서(2410)는 차량(200)의 주변에 존재하는 복수의 장해물을 검출 가능하고, 예를 들면, 차량(200)의 전방부 범퍼의 좌우 양측, 후방부 범퍼의 좌우 양측 등에 매립된 광학식 센서, 초음파 센서 등의 센서 디바이스로 구성된다.
도 25는 장해물 센서에 의해 취득되는 장해물 정보의 설명도이다.
도 25에 나타낸 바와 같이, 차량(200)에 탑재된 장해물 센서가 차량(200)의 우전방에 위치하는 장해물(2520)을 검출한 경우에 대해서 고찰한다.
차량(200)의 중심점(2510)을 통과하여 전방 방향으로 향하는 중심선(2521)을 0°로 하여, 장해물 센서(2410)는 장해물(2520)이 존재하는 위치의 수평면 각도(2521)와, 차량(200)의 중심점(2510)으로부터 장해물(2520)까지의 거리(2522)를 검출한다. 여기서, 장해물 센서(2410)는 장해물을 점으로서 검출하는 것으로서, 높이 방향의 방향(앙각)에 대해서는 검출할 수 없는 것으로 하고, 수평면 각도와 수평면 내에서의 거리를 검출하는 것으로 한다.
이 장해물 센서(2410)가 검출하는 장해물 정보는 장해물 테이블로서 소정의 기억 영역에 저장된다.
도 26은 장해물 테이블의 일례를 나타내는 설명도이다.
장해물 테이블(2600)은 장해물의 방향(수평면 각도)(2610) 및 장해물까지의 거리(2620)로 구성되고, 복수의 장해물 각각에 대해서 레코드로서 소정의 기억 영역에 저장된다.
도 27은 차량(200)을 바로 위에서 본 평면도를 나타내는 설명도이다.
차량(200)은 중심점(2510)을 원점으로 하여 좌우 방향의 선분을 X축으로 하고, 전후 방향의 선분을 Y축으로 하는 경우, 차량(200)의 폭(W)은 X축에 평행한 길이이고, 차량(200)의 길이(L)는 Y축에 평행한 길이이며, 이 폭(W) 및 길이(L)가 차량 형상 정보의 일부로서 차량 형상 기억부(910)에 기억된다.
시선 이동 제어부(130)에서는 화상 변환부(140)로부터의 시선 정보 취득 요구를 수신하여, 시선 이동 룰 기억부(500)에 의거하여 시선 정보를 결정하는 동시에, 이 시선 정보와 차량 형상 기억부(910)에 기억된 차량 형상 정보 및 장해물 센 서(2410)가 검출하는 장해물 정보에 의거하여 차량 형상 정보의 투과율을 산출하고, 산출한 시선 정보 및 차량 투과율을 화상 변환부(140)에 송신한다.
화상 변환부(140)에서는 투영면 형상 유지부(120)가 기억하는 투영면 형상, 화상 기억부(111)에 기억된 화상 데이터, 차량 형상 기억부(910)에 기억되는 차량의 3차원 형상 정보, 시선 이동 제어부(130)로부터 수신한 차량 투과율에 의거하여 3차원 화상 데이터를 합성하고, 시선 이동 제어부(130)로부터 수신한 시선 정보에 의거하여 2차원 화상 데이터로 변환한다.
차량 투과율 조절부(2420)는 현재의 시선 정보와 차량 형상 정보에 의거하여, 현재의 시점 위치로부터 차량(200)의 음영으로 되는 차폐 범위를 산출한다. 이 차량 투과율 조절부(2420)에서의 차폐 범위의 산출 과정에 대해서 도 28을 이용하여 설명한다.
도 28은 소정의 시점 위치에서 차량을 관찰할 때의 차폐 범위를 나타내는 설명도이다.
도 28에서, 현재 시선 정보에 의한 수평면 내의 시점 위치가 2810이며, 시선 도달 위치(820)인 차량(200)의 중심점(2510)을 X-Y좌표의 원점으로 하여, 시점 위치(2810)의 X-Y좌표를 (ex, ey)라고 하고 있다. 또한, 시점 위치(2810)로부터 차량(200)의 중심점(2510)과의 거리인 시선 거리(830)를 EL이라고 하고 있다. 또한, 차량(200)의 중심점(2510)을 통과하여 차량(200)의 전방 방향(도면의 상방향)으로 연장된 Y축을 0°라고 했을 때의, 시점 위치(2810)의 수평면 각도를 θ라고 한다.
이 때의 시점 위치(2810)의 좌표(ex, ey)는 ex=EL×cos(90°－θ), ey=EL× sin(90°－θ)로 나타낼 수 있다.
차량(200)의 4모퉁이의 코너를, 각각 우전방 코너(C1(W/2, L/2)), 우후방 코너(C2(W/2, -L/2)), 좌후방 코너(C3(-W/2, -L/2)), 좌전방 코너(C4(-W/2, L/2))라고 하고, 시점 위치(2810)로부터 각 코너(C1 내지 C4)를 연결하는 연장선 사이를 차폐 각도 범위(2820)라고 한다. 도 28의 예에서는, 시점 위치(2810)와 우후방 코너(C2)를 연결하는 직선(LN2)과, 시점 위치(2810)와 좌전방 코너(C4)를 연결하는 직선(LN4) 사이가 차폐 각도 범위(2820)로서, 이 중 우후방 코너(C2)와 좌전방 코너(C4)를 연결하는 직선(LN24)보다 먼 위치가 차량(200)의 차량 형상 정보에 의해 차폐되는 차폐 범위로 된다.
차폐 각도 범위(2820)를 규정하기 위한 직선(LN2, LN4)은 이하의 식으로 나타낼 수 있다.
LN2 : (ey+L/2)X-(ex-W/2)Y-ex×L/2-ey×W/2=0
LN4 : (ey-L/2)X-(ex+W/2)Y+ex×L/2+ey×W/2=0
차량 투과율 조절부(2420)는 시점 위치(2810)를 포함하는 좌표 공간에서, 장해물 센서(2410)로부터의 장해물 정보가 차폐 범위에 포함되는지의 여부를 판별한다. 장해물 정보가 차폐 범위에 포함되는지의 여부의 판별 방법에 대해서, 도 29를 이용하여 설명한다.
도 29는 장해물 정보와 차폐 범위의 관계의 설명도이다.
차량 투과율 조절부(2420)는 장해물 센서(2410)로부터 송신되어 오는 장해물 정보에 의해, X-Y좌표상의 장해물 위치(H)를 특정할 수 있다.
차량 투과율 조절부(2420)는 특정된 장해물 위치(H)에 의거하여, 이 장해물 위치(H)가 차폐 범위에 포함되는지의 여부를 판별한다.
시점 위치(2810)와 차량(200)의 우후방 코너(C2)를 연결하는 직선(LN2), 시점 위치(2810)와 차량(200)의 좌전방 코너(C4)를 연결하는 직선(LN4), 차량(200)의 우후방 코너(C2)와 좌전방 코너(C4)를 연결하는 직선(LN24) 각각에 따라 소정 방향의 방향을 갖는 벡터를 생각할 수 있다.
시점 위치(2810)를 E로 하여, 직선(LN2)에 대해서는 시점 위치(2810)로부터 우후방 코너(C2)를 향하는 제 1 벡터(E, C2), 직선(LN4)에 대해서는 좌전방 코너(C4)로부터 시점 위치(2810)를 향하는 제 2 벡터(C4, E), 직선(LN24)에 대해서는 좌전방 코너(C4)로부터 우후방 코너(C2)를 향하는 제 3 벡터(C4,C2)를 생각할 수 있다.
각 벡터를 그 방향이 위로 되도록 한 경우에, 장해물 위치(H)가 벡터의 우측에 위치하는 경우에, 장해물 위치(H)가 시점 위치(2810)에서 보아서 차량(200)의 차폐 범위에 포함되게 된다. 따라서, 각 벡터에 대해서, 그 방향이 X축의 정(正)방향을 향하고, X축에 겹치도록 좌표 변환을 행하고, 동일한 좌표 변환으로 이동된 장해물 위치(H)의 Ｙ좌표가 부(負)의 값이면, 장해물 위치(H)가 그 벡터의 우측에 위치한다고 판별할 수 있다.
차량 투과율 조절부(2420)는 제 1 내지 제 3 벡터의 각 벡터에 대해서, 이러한 처리를 행하고, 장해물 위치(H)가 각 벡터에 대하여 우측에 위치한다고 판단한 경우에는, 장해물 위치(H)가 차량(200)의 차폐 범위에 포함된다고 판단할 수 있다.
복수의 장해물 센서(2410)가 차량(200)에 탑재되어 있는 경우는, 차량 투과율 조절부(2420)는 각 장해물 센서(2410)에 장해물 정보의 취득 요구를 송신하여, 도 26에 나타낸 장해물 정보에 관한 장해물 테이블(2600)을 작성한다.
차량 투과율 조절부(2420)는 장해물 테이블(2600)에 저장되어 각 장해물 정보에 대해서, 차량(200)의 차폐 범위에 포함되는지의 여부를 판별한다. 차량 투과율 조절부(2420)는 차량(200)의 차폐 범위에 포함되는 장해물이 1개라도 있다고 판단한 경우에는, 차량 투과율을 통상보다 큰 값으로 설정하고, 차량(200)의 차폐 범위에 장해물이 존재하지 않는다고 판단한 경우에는 차량 투과율을 통상의 값으로 하여, 화상 변환부(140)에 차량 투과율을 송신한다. 차량 투과율은, 예를 들면, 통상의 값을 0.5로 설정해 두고, 차량(200)의 차폐 범위에 장해물이 존재하는 경우에 그 값을 0.8로 설정하도록 구성할 수 있다.
도 30은 시선 이동 제어(130)에서 차량 투과율을 산출하는 과정을 포함하는 시선 이동 처리의 플로 차트이다. 도 11에 나타낸 시선 이동 처리의 플로 차트와 부분적으로 동일하지만, 순서대로 그 처리를 설명한다.
스텝 S3010에서는, 시선 이동 제어부(130)는 화상 변환부(140)로부터의 시선 정보 취득 요구가 처음인지의 여부를 판별한다. 시선 이동 제어부(130)는 화상 변환부(140)로부터의 시선 정보 취득 요구가 처음이라고 판단한 경우에는 스텝 S3020으로 이행하고, 그렇지 않을 경우에는 스텝 S3060으로 이행한다.
스텝 S3020에서는, 시선 이동 제어부(130)는 시선 이동 룰 기억부(500)의 개시 시선 정보(501)와 종단 시선 정보(502)를 판독한다.
스텝 S3030에서는, 시선 이동 제어부(130)는 개시 시선 정보(501)와 종단 시선 정보(502)의 차이에 의거하여, 1회당의 시선 정보의 이동량을 산출한다. 이 이동량의 산출 방법은 전술한 대로이며, 여기서는, 생략한다.
스텝 S3040에서는, 시선 이동 제어부(130)는 개시 시선 정보(501)를 현재 시선 정보(504)에 저장한다.
스텝 S3050에서는, 시선 이동 제어부(130)는 화상 변환부(140)에 개시 시선 정보(501)를 현재의 시선 정보로서 송신한다.
스텝 S3060에서는, 시선 이동 제어부(130)는 현재 시선 정보(504)에 1회당의 이동량을 가산한다.
스텝 S3070에서는, 시선 이동 제어부(130)는 1회당의 이동량을 가산한 시선 정보가, 종단 시선 정보(502) 이상인지의 여부를 판별한다. 시선 이동 제어부(130)는 1회당의 이동량을 가산한 시선 정보가, 종단 시선 정보(502)에 충족하지 않는다고 판단한 경우에는, 스텝 S3080으로 이행하고, 그렇지 않을 경우에는 스텝 S3090으로 이행한다.
스텝 S3080에서는, 시선 이동 제어부(130)는 1회당의 이동량을 가산한 시선 정보를 현재 시선 정보(504)에 기억하는 동시에, 이 시선 정보를 현재의 시선 정보로서 화상 변환부(140)에 송신한다.
스텝 S3090에서는, 시선 이동 제어부(130)는 종단 시선 정보(502)를 현재의 시선 정보로서 화상 변환부(140)에 송신한다.
스텝 S3100에서는, 차량 투과율 조절부(2420)가 차량(200)의 차폐 범위에 장 해물이 포함되는지의 여부를 판별하고, 차량 투과율을 결정하여 이를 화상 변환부(140)에 송신한다.
도 31은 차량 투과율 조절부(2420)에 의한 차량 투과율 결정 처리의 플로 차트이다.
시선 이동 제어부(130)는 화상 변환부(140)로부터 시선 정보 취득 요구가 있는 경우에는, 시선 이동 룰 기억부(500)에 의거하여 시선 정보를 결정한다. 차량 투과율 조절부(2420)는 결정된 시선 정보에 의거하여, 차량 투과율을 결정하는 처리를 실행한다.
스텝 S3110에서는, 차량 투과율 조절부(2420)는 현재 시선 정보를 수취하면, 차량 형상 기억부(910)에 기억되어 있는 차량(200)의 폭(W)과 길이(L)의 값을 판독한다.
스텝 S3120에서는, 차량 투과율 조절부(2420)는 차량(200)에 의해 차폐되는 차폐 범위를 산출한다. 차폐 범위의 산출 방법은 전술한 바와 같이, 시점 위치와 차량(200)의 코너를 연결하는 직선식을 구함으로써, 차폐 각도 범위(2820)를 특정하는 것이 가능해진다.
스텝 S3130에서는, 차량 투과율 조절부(2420)는 장해물 센서(2410)로부터 송신되는 장해물 정보에 의거하는 장해물 테이블(2600)로부터, 1 또는 복수의 장해물에 대해서 장해물 정보를 취득한다.
스텝 S3140에서는, 차량 투과율 조절부(2420)는 취득한 장해물 정보에 대해서, 그 장해물 위치가 차량(200)의 차폐 범위에 포함되는지의 여부를 판별한다.
전술한 바와 같이, 시점 위치 및 차량(200)의 각 코너 위치를 연결하는 직선상의 벡터와, 장해물 위치와의 관계에 의거하여, 장해물 위치가 차량(200)의 차폐 범위에 포함되는지의 여부를 판별하는 것이 가능하다. 또한, 장해물 위치의 X-Y좌표로부터, 차량(200)의 차폐 범위에 포함되는지의 여부를 직접 판단하는 것도 가능하고, 그 외, 장해물 위치가 차량(200)의 차폐 범위에 포함되는지의 여부의 판별 방법은 한정되지는 않는다.
또한, 장해물이 복수 존재하는 경우에는, 각 장해물에 대해서 장해물 위치가 차량(200)의 차폐 범위에 포함되는지의 여부를 판별한다.
스텝 S3150에서는, 차량 투과율 조절부(2420)는 차량(200)의 차폐 범위에 포함되는 장해물이 1개라도 있는지의 여부를 판단한다. 차량 투과율 조절부(2420)에 의해, 차량(200)의 차폐 범위에 포함되는 장해물이 1개라도 존재한다고 판단되었을 경우에는 스텝 S3160으로 이행하고, 차량(200)의 차폐 범위에 포함되는 장해물이 1개도 없다고 판단되었을 경우에는 스텝 S3170으로 이행한다.
스텝 S3160에서는, 차량 투과율 조절부(2420)는 차량 투과율의 값을 통상보다 큰 값으로 설정한다. 예를 들면, 통상의 차량 투과율이 0.5인 경우에, 이 값보다 큰 차량 투과율인 0.8로 할 수 있다.
스텝 S3170에서는, 차량 투과율 조절부(2420)는 차량 투과율의 값을 통상의 값으로 설정한다. 통상의 차량 투과율의 값이 0.5인 경우에는 이 값을 선택하도록 구성할 수 있다.
스텝 S3180에서는, 차량 투과율 조절부(2420)는 결정한 차량 투과율을 화상 변환부(140)에 송신한다.
화상 변환부(140)에서는 차량 형상 기억부(910)에 기억된 차량 형상 정보를, 시선 이동 제어부(130)로부터 송신되어 오는 차량 투과율에 의거하여 투과 처리하고, 투영면 형상 유지부(120)에 기억된 투영면 형상 정보와, 화상 기억부(111)에 기억된 화상 데이터에 의거하여, 합성 화상을 생성하고, 또한, 시선 이동 제어부(130)로부터 송신되어 오는 시선 정보에 의거하여 2차원 화상 데이터로 변환한다.
이와 같이, 차량(200)의 차폐 범위에 포함되는 장해물이 존재하는 경우에는, 화상 데이터로 합성하는 차량 형상 정보의 투과율을 높게 하여, 장해물을 용이하게 확인할 수 있게 함으로써, 운전자에 의한 장해물의 확인을 용이하게 하여, 장해물과의 접촉을 방지할 수 있다.
(다른 실시 형태)
(GPS로부터의 방위 정보)
차량에 탑재되는 GPS(Global Positioning System)에 의해, 위성으로부터의 전파를 수신하여 차량의 위치 정보, 차량이 향하고 있는 방위 정보, 시각 데이터 등을 취득하고, 현재의 태양광의 방향과 차량의 진행 방향을 판단하여, 개시 시선 정보를 변경하도록 구성하는 것이 가능하다.
예를 들면, 화상 변환부(140)로부터 시선 정보 취득 요구가 있는 경우에, 시선 이동 제어부(130)는 GPS로부터의 방위 정보, 시각 정보 등에 의거하여 태양광의 방향과, 차량(200)의 진행 방향을 특정한다.
시선 이동 제어부(130)는 개시 시선 정보(501)가 태양광의 방향에 대하여 180°근방의 수평면 각도라고 판단한 경우에는, 개시 시선 정보(501)를 태양광의 방향과 동일하거나 거의 동일해지도록 변경한다.
투영면에 투영되는 화상 데이터는 카메라(101 내지 104)로부터의 화상 데이터를 합성하고 있기 때문에, 투영면에 대한 시선 방향이 태양광에 대하여 180°근방의 수평면 각도일 경우에는, 직사광에 의해 화상 데이터를 확인하기 어려울 가능성이 있다. 따라서, GPS에 의해 수신한 전파에 의해 차량(200)의 방위와 태양광의 방향을 판단하여, 화상 데이터의 확인이 용이한 시점 위치부터의 시선 정보의 천이를 행함으로써, 운전자에 의한 차량 주위의 확인이 용이해진다.
(운전석 위치의 판별)
운전석이 차량의 우측에 있는지 좌측에 있는지의 운전석 정보를 소정의 기억 영역에 기억시켜 두고, 운전석 위치의 반대측의 화상 데이터로부터 시선 정보의 천이를 개시하도록 구성하는 것도 가능하다.
운전석의 반대측이 운전자의 사각으로 되기 쉽다. 따라서, 이 운전자의 사각으로 되기 쉬운 운전석의 반대측을 개시 시선 정보(501)로 설정함으로써, 장해물 등의 확인을 용이하게 할 수 있다.
(시선 정보의 천이)
시선 정보는 운전석에 탑승한 운전자의 시점 위치에서 주위를 바라보는 설정으로 하는 것도 가능하다. 따라서, 개시 시선 정보(501)를 운전석에 탑승한 운전자의 시점 위치로 하고, 운전석에서부터 전방, 우측방, 후방, 좌측방, 전방의 순으 로, 시선 정보를 천이시키도록 구성하는 것도 가능하다.
또한, 종단 시선 정보를 차량의 외부로 하는 것도 가능하다. 개시 시선 정보(501)를 운전석에 탑승한 운전자의 시점 위치로서, 차량(200)의 외부에 소정 위치인 종단 시선 정보(502)까지, 매끄럽게 연속적으로 시선 정보가 천이하도록 시선 보간 룰(503)을 설정할 수 있다.
이 경우, 시선 정보를 매끄럽게 연속적으로 천이시킴으로써, 운전자가 위화감없이 차량(200) 주위를 확인할 수 있다.
또한, 종단 시선 정보(502)는 차량(200)의 바로 위에서 차량(200)을 내려다보는 시점 위치로 할 수 있다.
이 경우, 차량의 주차시, 주차 공간으로부터의 차량의 발진시 등에서의 운전자의 조작이 용이해지도록 지원하는 것이 가능해진다.
(화상 처리의 개시 트리거)
이상과 같이, 시선 정보를 천이시키면서 차량(200) 주위의 화상 데이터를 합성하여 표시하는 화상 처리는, 운전자가 장치에 설치된 스위치를 조작함으로써 기동하도록 구성할 수 있다.
또한, 차량(200)에 카 네비게이션이 탑재되어 있는 경우에는, 카 네비게이션이 기동한 취지의 기동 신호를 수신하는 기동 수신부를 설치하고, 기동 수신부가 카 네비게이션의 기동 신호를 수신한 경우에, 주기 묘화 트리거 발생부(160)로부터의 트리거 신호의 생성을 개시하도록 구성할 수 있다.
또한, 차량(200)의 엔진이 시동한 취지의 시동 신호를 수신하는 시동 수신부 를 설치하고, 시동 수신부가 엔진이 시동한 취지의 시동 신호를 수신한 경우에, 주기 묘화 트리거 발생부(160)로부터의 트리거 신호의 생성을 개시하도록 구성할 수 있다.
이상의 각 실시 형태에 관하여, 더욱 이하의 부기를 개시한다.
(부기 1)
차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치로서,
상기 복수의 카메라가 촬영한 화상 데이터를 기억 가능한 화상 기억부와,
상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 상기 화상 기억부에 기억시키는 카메라 화상 취득부와,
상기 차량의 주위에 상정되는 투영면에 관한 3차원 좌표의 집합인 투영면 형상 정보를 유지하는 투영면 형상 유지부와,
소정의 시선 이동 룰에 따라 상기 투영면에 대한 시점 위치 및 시선 방향이 연속적으로 천이하도록 상기 시선 정보를 결정하는 시선 이동 제어부와,
상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 상기 시선 이동 제어부에 의해 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 화상 변환부와,
상기 화상 변환부에 의해 변환된 2차원 화상 데이터를 표시하는 표시부와,
상기 화상 변환부에 의한 화상 변환 처리를 가동시키기 위한 트리거 신호를 발생하는 주기 묘화 트리거 발생부
를 포함하는 것을 특징으로 하는 화상 처리 장치.
(부기 2)
부기 1에 있어서,
상기 시선 이동 룰을 기억하는 시선 이동 룰 기억부를 더 구비하고,
상기 시선 이동 룰 기억부에 기억되는 시선 이동 룰은, 개시 시선 정보, 종단 시선 정보 및 시선 보간 룰을 포함하고, 상기 시선 이동 제어부는, 상기 시선 이동 룰 기억부에 기억되어 있는 개시 시선 정보, 종단 시선 정보, 시선 보간 룰에 의거하여, 상기 시선 정보를 연속적으로 변경하는 것을 특징으로 하는 화상 처리 장치.
(부기 3)
부기 1 또는 부기 2에 있어서,
상기 차량의 3차원 형상 정보를 기억하는 차량 형상 기억부를 더 구비하고,
상기 화상 변환부는, 상기 차량 형상 기억부로부터 차량의 3차원 형상 정보를 판독하고, 상기 투영면에 투영된 화상 데이터에 상기 차량의 3차원 형상 정보를 합성한 후, 2차원 화상 데이터로 변환하는 것을 특징으로 하는 화상 처리 장치.
(부기 4)
부기 3에 있어서,
상기 차량의 3차원 형상 정보를 투과적 표시 또는 와이어 프레임 표시로 변환하는 투과 처리부를 더 구비하고,
상기 화상 변환부는, 상기 투과 처리부에서 투과적 표시 또는 와이어 프레임 표시로 변환된 차량의 3차원 형상 정보를 상기 투영면에 투영된 화상 데이터에 합성하는 것을 특징으로 하는 화상 처리 장치.
(부기 5)
부기 3 또는 부기 4에 있어서,
상기 차량의 3차원 형상 정보를 상기 투영면에 투영된 화상 데이터에 합성할 때에, 상기 차량의 3차원 형상 정보에 의해 상기 화상 데이터가 은폐되는 차폐 범위가 소정 거리 이하로 되는 시선 최저 앙각을 결정하고 이를 기억하는 시선 최저 앙각 기억부를 더 구비하고,
상기 시선 이동 제어부는, 상기 시선 최저 앙각 기억부에 기억된 시선 최저 앙각에 의거하여 상기 시선 정보를 보정하는 것을 특징으로 하는 화상 처리 장치.
(부기 6)
부기 1 내지 부기 5 중 어느 하나에 있어서,
상기 화상 변환부는, 상기 투영면에 투영된 화상 데이터를 2차원 화상 데이터로 변환할 때에, 상기 투영면 중 화상 데이터가 존재하지 않는 범위가 2차원 화상 데이터로 변환되지 않도록, 상기 시선 이동 제어부가 결정하는 시선 정보를 보정하는 카메라 화상 범위 보정부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
(부기 7)
부기 2에 있어서,
상기 차량은, 상기 화상 처리 장치와 연계 가능하고, 적어도 장해물이 존재 하는 방향 정보를 포함하는 장해물 정보를 검지(檢知)하는 장해물 센서를 더 탑재하고 있고,
상기 시선 이동 제어부는, 상기 장해물 정보의 입력을 접수하고, 상기 장해물 정보에 의거하여 상기 시선 이동 룰 기억부에 기억되어 있는 개시 시선 정보를 변경하는 개시 시선 정보 변경부를 더 포함하는 것을 특징으로 하는 화상 처리 장치.
(부기 8)
부기 2에 있어서,
상기 차량은, 상기 화상 처리 장치와 연계 가능하고, 장해물이 존재하는 위치에 관한 장해물 정보를 검지하는 장해물 센서를 더 탑재하고 있고,
상기 시선 이동 제어부는, 상기 장해물의 입력을 접수하고, 변환되는 2차원 화상 데이터 상에 장해물이 포함되는지의 여부를 판별하고, 상기 2차원 화상 데이터에 장해물이 포함된다고 판단한 경우에는 상기 시선 보간 룰의 보간 폭을 감소시켜 시선 정보의 천이 속도를 느리게 하는 것을 특징으로 하는 화상 처리 장치.
(부기 9)
부기 4에 있어서,
차량에 부착된 장해물 센서로부터 장해물이 존재하는 위치에 관한 장해물 정보의 입력을 접수하고, 상기 시선 이동 제어부는, 시선 방향 위에 있는 장해물과 시점 위치 사이에 차량이 존재하는지의 여부를 판별하고, 상기 시선 방향 위에 있는 장해물과 시점 위치 사이에 차량이 존재한다고 판단한 경우에는, 상기 투과 처 리부에 대하여 투과율을 올리는 취지의 지시 신호를 송신하는 것을 특징으로 하는 화상 처리 장치.
(부기 10)
부기 2에 있어서,
상기 시선 이동 룰 기억부에 기억되는 개시 시선 정보 및 종단 시선 정보는, 차량의 운전석에 탑승한 운전자의 시점을 시점 위치로 하여 운전석 전방을 시선 방향으로 하는 시선 정보이며, 상기 시선 보간 룰은, 차량의 운전석에 탑승한 운전자의 시점 위치를 중심으로 360° 회전시키도록 시선 방향을 천이시키는 것인 것을 특징으로 하는 화상 처리 장치.
(부기 11)
부기 2에 있어서,
차량의 이동 경로 및/또는 운전자에 의한 조작 이력을 기억하는 이력 기억부를 더 구비하고, 상기 시선 이동 제어부는, 상기 이력 기억부에 기억된 이동 경로 또는 조작 이력에 의거하여, 상기 시선 이동 룰 기억부에 기억된 개시 시선 정보를 변경하는 것을 특징으로 하는 화상 처리 장치.
(부기 12)
부기 2에 있어서,
상기 시선 이동 제어부는, 현재의 차량이 위치하는 위도 및 경도, 차량이 향하고 있는 방각(方角), 현재의 시각 정보 등에 의거하여, 차량에 대한 태양 광선의 상대적 방향을 특정하고, 상기 시선 이동 룰 기억부에 기억된 개시 시선 정보를 변 경하는 것을 특징으로 하는 화상 처리 장치.
(부기 13)
부기 2에 있어서,
상기 시선 이동 룰 기억부에 기억된 종단 시선 정보는, 상기 차량의 바로 위를 시점 위치로 하여 차량을 내려다보는 시선 방향인 것을 특징으로 하는 화상 처리 장치.
(부기 14)
부기 2에 있어서,
상기 시선 이동 룰 기억부에 기억된 시선 보간 룰은, 상기 개시 시선 정보로부터 종단 시선 정보까지의 1 또는 복수의 시점 위치부터, 시점 위치 및/또는 시선 방향을 변경하는 중도 시선 정보를 구비하는 것을 특징으로 하는 화상 처리 장치.
(부기 15)
부기 2에 있어서,
상기 시선 이동 룰 기억부에 기억된 시선 보간 룰은, 상기 개시 시선 정보로부터 시선 정보의 천이를 개시하고 나서 소정 시간 동안, 천이 속도를 연속적으로 가속하고, 상기 종단 시선 정보로 시선 정보의 천이를 종료하기 전의 소정 시간 동안, 천이 속도를 연속적으로 감속하는 것을 특징으로 하는 화상 처리 장치.
(부기 16)
부기 1에 있어서,
차량에 탑재된 엔진이 시동한 것을 나타내는 시동 신호를 수신하고, 상기 시 동 신호에 의거하여 상기 주기 트리거 발생부에 트리거 신호를 발생시키기 위한 지시 신호를 송신하는 시동 수신부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
(부기 17)
부기 2에 있어서,
상기 화상 변환부에 의해 변환된 2차원 화상 데이터가 상기 투영면에 포함되는 범위를 검출하는 시계 범위 검출부를 더 구비하고, 상기 시계 범위 검출부는, 상기 시선 이동 제어부에 의해 천이되는 시선 정보가 종단 시선 정보에 도달했을 때에, 상기 화상 변환부에 의해 변환된 2차원 화상 데이터가 전체 방위를 망라하고 있는지의 여부를 판별하고, 전체 방위를 망라하고 있지 않다고 판단한 경우에는 상기 종단 시선 정보를 변경하는 것을 특징으로 하는 화상 처리 장치.
(부기 18)
차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치가 실행하는 화상 처리 방법으로서,
상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 화상 기억부에 기억시키는 스텝과,
상기 차량의 주위에 상정되는 3차원의 투영면 형상 정보를 이용하여, 상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 소정의 시선 이동 룰에 따라 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 스텝과,
상기 변환된 2차원 화상 데이터를 표시하는 스텝
을 포함하는 화상 처리 방법.
(부기 19)
차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치가 실행하는 화상 처리 방법의 프로그램으로서,
상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 화상 기억부에 기억시키는 스텝과,
상기 차량의 주위에 상정되는 3차원의 투영면 형상 정보를 이용하여, 상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 소정의 시선 이동 룰에 따라 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 스텝과,
상기 변환된 2차원 화상 데이터를 표시하는 스텝
을 포함하는 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램.
운전석에서 확인 가능한 모니터 화면을 차량 내부에 설치하고, 차량 주위의 감시를 행하기 위한 차량 주위 감시 시스템으로서 사용할 수 있고, 차량의 내부에서 주위를 관찰하는 시점 위치나 차량 외부에서 차량을 포함하는 주위 상황을 파악하는 것을 용이하게 하는 차량용의 화상 처리 장치로서 적용할 수 있다.
도 1은 제 1 실시 형태의 화상 처리 장치의 기능 블록도.
도 2는 카메라 부착 위치와 카메라의 촬영 범위를 나타내는 설명도.
도 3은 제 1 실시 형태의 화상 처리 장치의 하드웨어 구성을 나타내는 블록도.
도 4는 투영면과 시선 이동의 관계를 나타내는 설명도.
도 5는 시선 이동 룰 기억부의 설명도.
도 6은 시점 위치와 시선의 도달 위치를 연결하는 연직 단면에서의 시선 정보에 관한 설명도.
도 7은 수평면 내에서의 시선 정보에 관한 설명도.
도 8은 시선 정보 테이블에 관한 설명도.
도 9는 화상 처리 장치의 블록도.
도 10은 화상 변환 처리의 플로 차트.
도 11은 시선 이동 제어 처리를 나타내는 플로 차트.
도 12는 시점 위치의 앙각의 최저값을 결정하는 방법에 관한 설명도.
도 13은 투영면의 범위 외가 시계에 포함되는 경우의 설명도.
도 14는 시계에 투영면의 상단연을 포함하지 않는 경우의 설명도.
도 15는 투영면에 화상 데이터가 존재하지 않는 부분을 나타내는 설명도.
도 16은 화상 범위 외 부분이 포함되지 않도록 시선 정보를 보정한 경우의 설명도.
도 17은 수평면 각도에서의 최저 앙각을 결정하는 경우의 설명도.
도 18은 화상 데이터 표시예를 나타내는 설명도.
도 19는 화상 데이터 표시예를 나타내는 설명도.
도 20은 개시 시선 정보의 설정을 나타내는 설명도.
도 21은 개시 시선 정보의 설정을 나타내는 설명도.
도 22는 차량 근방에 장해물을 검출한 경우의 시선 정보의 천이의 일례를 나타내는 설명도.
도 23은 차량의 투과율을 변화시켜 장해물을 보이기 쉽게 표시하는 예의 설명도.
도 24는 제 2 실시 형태의 화상 처리 장치의 기능 블록도.
도 25는 장해물 센서에 의한 취득되는 장해물 정보의 설명도.
도 26은 장해물 테이블의 일례를 나타내는 설명도.
도 27은 차량을 바로 위에서 본 평면도를 나타내는 설명도.
도 28은 소정의 시점 위치에서 차량을 관찰할 때의 차폐 범위를 나타내는 설명도.
도 29는 장해물 정보와 차폐 범위의 관계의 설명도.
도 30은 시선 이동 처리의 플로 차트.
도 31은 차량 투과율 조절부(2420)에 의한 차량 투과율 결정 처리의 플로 차트.
<도면의 주요 부분에 대한 부호의 설명>
100 : 화상 처리 장치 101 내지 104 : 카메라
110 : 카메라 화상 취득부 111 : 화상 기억부
120 : 투영면 형상 유지부 130 : 시선 이동 제어부
140 : 화상 변환부 150 : 표시부
160 : 주기 묘화 트리거 발생부

Claims (9)

  1. 차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치로서,
    상기 복수의 카메라가 촬영한 화상 데이터를 기억 가능한 화상 기억부와,
    상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 상기 화상 기억부에 기억시키는 카메라 화상 취득부와,
    상기 차량의 주위에 상정(想定)되는 투영면에 관한 3차원 좌표의 집합인 투영면 형상 정보를 유지하는 투영면 형상 유지부와,
    소정의 시선 이동 룰에 따라 상기 투영면에 대한 시점 위치 및 시선 방향이 연속적으로 천이(遷移)하도록 상기 시선 정보를 결정하는 시선 이동 제어부와,
    상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 상기 시선 이동 제어부에 의해 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 화상 변환부와,
    상기 화상 변환부에 의해 변환된 2차원 화상 데이터를 표시하는 표시부와,
    상기 화상 변환부에 의한 화상 변환 처리를 가동시키기 위한 트리거 신호를 발생하는 주기 묘화(描畵) 트리거 발생부
    를 포함하는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 시선 이동 룰을 기억하는 시선 이동 룰 기억부를 더 구비하고,
    상기 시선 이동 룰 기억부에 기억되는 시선 이동 룰은, 개시 시선 정보, 종단 시선 정보 및 시선 보간(補間) 룰을 포함하고, 상기 시선 이동 제어부는, 상기 시선 이동 룰 기억부에 기억되어 있는 개시 시선 정보, 종단 시선 정보, 시선 보간 룰에 의거하여, 상기 시선 정보를 연속적으로 변경하는 것을 특징으로 하는 화상 처리 장치.
  3. 제 1 항에 있어서,
    상기 차량의 3차원 형상 정보를 기억하는 차량 형상 기억부를 더 구비하고,
    상기 화상 변환부는, 상기 차량 형상 기억부로부터 차량의 3차원 형상 정보를 판독하고, 상기 투영면에 투영된 화상 데이터에 상기 차량의 3차원 형상 정보를 합성한 후, 2차원 화상 데이터로 변환하는 것을 특징으로 하는 화상 처리 장치.
  4. 제 3 항에 있어서,
    상기 차량의 3차원 형상 정보를 투과적 표시 또는 와이어 프레임(wire frame) 표시로 변환하는 투과 처리부를 더 구비하고,
    상기 화상 변환부는, 상기 투과 처리부에서 투과적 표시 또는 와이어 프레임 표시로 변환된 차량의 3차원 형상 정보를 상기 투영면에 투영된 화상 데이터에 합성하는 것을 특징으로 하는 화상 처리 장치.
  5. 제 3 항에 있어서,
    상기 차량의 3차원 형상 정보를 상기 투영면에 투영된 화상 데이터에 합성할 때에, 상기 차량의 3차원 형상 정보에 의해 상기 화상 데이터가 은폐되는 차폐 범위가 소정 거리 이하로 되는 시선 최저 앙각(仰角)을 결정하고 이를 기억하는 시선 최저 앙각 기억부를 더 구비하고,
    상기 시선 이동 제어부는, 상기 시선 최저 앙각 기억부에 기억된 시선 최저 앙각에 의거하여 상기 시선 정보를 보정하는 것을 특징으로 하는 화상 처리 장치.
  6. 제 1 항에 있어서,
    상기 화상 변환부는, 상기 투영면에 투영된 화상 데이터를 2차원 화상 데이터로 변환할 때에, 상기 투영면 중 화상 데이터가 존재하지 않는 범위가 2차원 화상 데이터로 변환되지 않도록, 상기 시선 이동 제어부가 결정하는 시선 정보를 보정하는 카메라 화상 범위 보정부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.
  7. 제 2 항에 있어서,
    상기 차량은, 상기 화상 처리 장치와 연계 가능하고, 적어도 장해물이 존재하는 방향 정보를 포함하는 장해물 정보를 검지(檢知)하는 장해물 센서를 더 탑재하고 있고,
    상기 시선 이동 제어부는, 상기 장해물 정보의 입력을 접수하고, 상기 장해 물 정보에 의거하여 상기 시선 이동 룰 기억부에 기억되어 있는 개시 시선 정보를 변경하는 개시 시선 정보 변경부를 더 포함하는 것을 특징으로 하는 화상 처리 장치.
  8. 차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치가 실행하는 화상 처리 방법으로서,
    상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 화상 기억부에 기억시키는 스텝과,
    상기 차량의 주위에 상정되는 3차원의 투영면 형상 정보를 이용하여, 상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 소정의 시선 이동 룰에 따라 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 스텝과,
    상기 변환된 2차원 화상 데이터를 표시하는 스텝
    을 포함하는 화상 처리 방법.
  9. 차량에 탑재된 복수의 카메라와 연계 가능하고, 차량 탑재 가능한 화상 처리 장치가 실행하는 화상 처리 방법의 프로그램으로서,
    상기 복수의 카메라가 촬영한 화상 데이터를 입력하여 화상 기억부에 기억시키는 스텝과,
    상기 차량의 주위에 상정되는 3차원의 투영면 형상 정보를 이용하여, 상기 화상 기억부에 기억된 화상 데이터를 상기 투영면에 투영하여 합성하고, 합성된 화상 데이터를 소정의 시선 이동 룰에 따라 결정된 시선 정보에 의거하여 2차원 화상 데이터로 변환하는 스텝과,
    상기 변환된 2차원 화상 데이터를 표시하는 스텝
    을 포함하는 화상 처리 방법을 컴퓨터에 실행시키기 위한 프로그램.
KR1020090129458A 2009-03-25 2009-12-23 화상 처리 방법 및 화상 처리 장치 KR101295295B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009075166A JP5439890B2 (ja) 2009-03-25 2009-03-25 画像処理方法、画像処理装置及びプログラム
JPJP-P-2009-075166 2009-03-25

Publications (2)

Publication Number Publication Date
KR20100107378A true KR20100107378A (ko) 2010-10-05
KR101295295B1 KR101295295B1 (ko) 2013-08-12

Family

ID=42232613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090129458A KR101295295B1 (ko) 2009-03-25 2009-12-23 화상 처리 방법 및 화상 처리 장치

Country Status (4)

Country Link
US (1) US8576285B2 (ko)
EP (1) EP2234399B1 (ko)
JP (1) JP5439890B2 (ko)
KR (1) KR101295295B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014159330A1 (en) * 2013-03-14 2014-10-02 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
KR20150061331A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 투명 디스플레이를 이용한 전자기기 제어방법 및 이를 이용한 장치
WO2015094298A1 (en) * 2013-12-19 2015-06-25 Intel Corporation Bowl-shaped imaging system
JP2017211761A (ja) * 2016-05-24 2017-11-30 株式会社東芝 情報処理装置、および、情報処理方法
KR20190102660A (ko) * 2018-02-27 2019-09-04 (주)넥셀 어라운드뷰 제공 방법 및 장치
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6005115B2 (ja) * 2009-05-29 2016-10-12 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5627253B2 (ja) 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
US20110169957A1 (en) * 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5549436B2 (ja) * 2010-07-06 2014-07-16 日産自動車株式会社 車両用監視装置
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
JP5338838B2 (ja) * 2011-03-31 2013-11-13 アイシン・エィ・ダブリュ株式会社 移動案内表示システム、移動案内表示方法及びコンピュータプログラム
US8952799B2 (en) * 2011-04-12 2015-02-10 Conti Temic Microelectronic Gmbh Method and system for warning a driver of a vehicle about potential obstacles behind the vehicle
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
JP5058354B1 (ja) * 2011-04-19 2012-10-24 株式会社東芝 電子機器、表示制御方法及びプログラム
EP2530647A1 (en) 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
JP5798392B2 (ja) * 2011-06-27 2015-10-21 クラリオン株式会社 駐車支援装置
EP2541498B1 (en) 2011-06-30 2017-09-06 Harman Becker Automotive Systems GmbH Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
GB201116958D0 (en) * 2011-09-30 2011-11-16 Bae Systems Plc Use of synthetic overhead images for vehicle localisation
GB201116960D0 (en) 2011-09-30 2011-11-16 Bae Systems Plc Monocular camera localisation using prior point clouds
GB201116959D0 (en) 2011-09-30 2011-11-16 Bae Systems Plc Vehicle localisation with 2d laser scanner and 3d prior scans
GB201116961D0 (en) 2011-09-30 2011-11-16 Bae Systems Plc Fast calibration for lidars
KR101316501B1 (ko) * 2011-10-14 2013-10-10 현대자동차주식회사 메쉬형 공간 해석기법을 이용한 주차 공간 탐지방법 및 그 시스템
DE102011084524A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
DE102012204541B4 (de) * 2012-03-21 2024-01-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bildverarbeitung von Bilddaten
JP5911775B2 (ja) * 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6014433B2 (ja) * 2012-09-19 2016-10-25 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6014442B2 (ja) 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
DE102013215483B4 (de) 2013-08-06 2023-05-17 Bayerische Motoren Werke Aktiengesellschaft Anzeigesystem, Visualisierungsverfahren für ein Fahrzeug und computerlesbares Speichermedium zur Implementierung des Verfahrens
US10168871B2 (en) * 2013-09-16 2019-01-01 Rovi Guides, Inc. Methods and systems for presenting direction-specific media assets
US9961259B2 (en) * 2013-09-19 2018-05-01 Fujitsu Ten Limited Image generation device, image display system, image generation method and image display method
JP6257978B2 (ja) * 2013-09-19 2018-01-10 株式会社デンソーテン 画像生成装置、画像表示システム及び画像生成方法
JP6258000B2 (ja) * 2013-10-31 2018-01-10 株式会社デンソーテン 画像表示システム、画像表示方法及びプログラム
DE102013220005A1 (de) * 2013-10-02 2015-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs und Fahrerassistenzsystem
TWI528325B (zh) * 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
EP3100206B1 (en) * 2014-01-30 2020-09-09 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
JP6548900B2 (ja) 2015-01-20 2019-07-24 株式会社デンソーテン 画像生成装置、画像生成方法及びプログラム
KR102261312B1 (ko) * 2015-04-21 2021-06-08 주식회사 만도 다중 카메라 운전 보조 시스템
JP6187534B2 (ja) * 2015-05-11 2017-08-30 トヨタ自動車株式会社 車両の規制速度表示装置
JP6673371B2 (ja) * 2015-07-08 2020-03-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 可動物体を使用して障害物を検出する方法及びそのシステム
JP6610140B2 (ja) * 2015-09-30 2019-11-27 アイシン精機株式会社 周辺監視装置
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
WO2017061515A1 (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 建設機械及び施工管理システム
US9950669B2 (en) 2015-11-12 2018-04-24 Robert Bosch Gmbh Vehicle camera system with multiple-camera alignment
CN108369746A (zh) 2015-12-21 2018-08-03 罗伯特·博世有限公司 用于多相机交通工具***的动态图像融合
JP2017059196A (ja) * 2015-12-22 2017-03-23 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
US10019054B2 (en) * 2015-12-30 2018-07-10 Thunder Power New Energy Vehicle Development Company Limited Remote driving with a virtual reality system
US9568995B1 (en) * 2015-12-30 2017-02-14 Thunder Power Hong Kong Ltd. Remote driving with a virtual reality system
JP6662175B2 (ja) * 2016-04-21 2020-03-11 日産自動車株式会社 表示方法及び運転支援装置
DE102016211453A1 (de) * 2016-06-27 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
JP6766557B2 (ja) * 2016-09-29 2020-10-14 アイシン精機株式会社 周辺監視装置
JP6876236B2 (ja) * 2016-09-30 2021-05-26 株式会社アイシン 表示制御装置
JP2018110328A (ja) 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法
WO2018159019A1 (ja) * 2017-02-28 2018-09-07 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6760129B2 (ja) * 2017-02-28 2020-09-23 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6724821B2 (ja) * 2017-02-28 2020-07-15 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
JP6958163B2 (ja) * 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
JP7106846B2 (ja) * 2017-11-24 2022-07-27 株式会社アイシン 周辺監視装置
DE102018102051B4 (de) * 2018-01-30 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Bildfenster in einem Bild, Computerprogrammprodukt sowie Anzeigesystem
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Ｊｖｃケンウッド 車両用記録装置、車両用記録方法及びプログラム
US10755112B2 (en) * 2018-03-13 2020-08-25 Toyota Research Institute, Inc. Systems and methods for reducing data storage in machine learning
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
JP7172309B2 (ja) * 2018-09-06 2022-11-16 株式会社アイシン 周辺監視装置
JP7283059B2 (ja) * 2018-11-28 2023-05-30 株式会社アイシン 周辺監視装置
KR102177878B1 (ko) * 2019-03-11 2020-11-12 현대모비스 주식회사 영상 처리 장치 및 방법
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
DE102019219017A1 (de) * 2019-12-05 2021-06-10 Robert Bosch Gmbh Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs, Computerprogramm, Steuergerät und Fahrzeug
KR102281609B1 (ko) 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
DE102020203297B4 (de) 2020-03-13 2024-08-01 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung
US11661722B2 (en) 2020-11-19 2023-05-30 Deere & Company System and method for customized visualization of the surroundings of self-propelled work vehicles
KR102473407B1 (ko) * 2020-12-28 2022-12-05 삼성전기주식회사 틸트 카메라를 이용한 차량의 svm 시스템
GB2621979A (en) * 2022-08-23 2024-03-06 Continental Automotive Gmbh Method and device for generating an outsider perspective image and method of training a neural network

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3382142D1 (de) 1982-07-30 1991-03-07 Honeywell Inc Rechnergesteuertes abbildungssystem.
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
EP1115250B1 (en) * 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
EP2410741A1 (en) 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
EP1158803A3 (en) * 2000-05-24 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP3753681B2 (ja) * 2000-07-19 2006-03-08 松下電器産業株式会社 監視システム
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP3652678B2 (ja) 2001-10-15 2005-05-25 松下電器産業株式会社 車両周囲監視装置およびその調整方法
JP4593070B2 (ja) * 2001-12-12 2010-12-08 株式会社エクォス・リサーチ 車両の画像処理装置
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
KR20070086037A (ko) * 2004-11-12 2007-08-27 목3, 인크. 장면 간 전환 방법
JP4569285B2 (ja) * 2004-12-13 2010-10-27 日産自動車株式会社 画像処理装置
JP4899367B2 (ja) 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4606322B2 (ja) 2005-12-27 2011-01-05 アルパイン株式会社 車両運転支援装置
JP2007183877A (ja) 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
US9070402B2 (en) 2006-03-13 2015-06-30 Autodesk, Inc. 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
JP4404103B2 (ja) 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
EP2285109B1 (en) 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5182042B2 (ja) 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014159330A1 (en) * 2013-03-14 2014-10-02 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
KR20150061331A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 투명 디스플레이를 이용한 전자기기 제어방법 및 이를 이용한 장치
WO2015094298A1 (en) * 2013-12-19 2015-06-25 Intel Corporation Bowl-shaped imaging system
US10210597B2 (en) 2013-12-19 2019-02-19 Intel Corporation Bowl-shaped imaging system
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
JP2017211761A (ja) * 2016-05-24 2017-11-30 株式会社東芝 情報処理装置、および、情報処理方法
KR20190102660A (ko) * 2018-02-27 2019-09-04 (주)넥셀 어라운드뷰 제공 방법 및 장치

Also Published As

Publication number Publication date
JP2010231276A (ja) 2010-10-14
US8576285B2 (en) 2013-11-05
EP2234399A1 (en) 2010-09-29
KR101295295B1 (ko) 2013-08-12
EP2234399B1 (en) 2016-08-17
JP5439890B2 (ja) 2014-03-12
US20100245573A1 (en) 2010-09-30

Similar Documents

Publication Publication Date Title
KR101295295B1 (ko) 화상 처리 방법 및 화상 처리 장치
US7728879B2 (en) Image processor and visual field support device
US8130270B2 (en) Vehicle-mounted image capturing apparatus
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5491235B2 (ja) カメラキャリブレーション装置
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20140114534A1 (en) Dynamic rearview mirror display features
JP2006287892A (ja) 運転支援システム
US10930070B2 (en) Periphery monitoring device
JP5697512B2 (ja) 画像生成装置、画像表示システム及び画像表示装置
CN111800589B (zh) 图像处理方法、装置和***，以及机器人
KR20010112433A (ko) 화상처리장치 및 감시시스템
JP2005311868A (ja) 車両周辺視認装置
JP6077214B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2001218197A (ja) 車両用周辺表示装置
JP2011151666A (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP2012040883A (ja) 車両周囲画像生成装置
US20230113406A1 (en) Image processing system, mobile object, image processing method, and storage medium
EP4156127A1 (en) Image processing system, mobile object, image processing method, and storage medium
JP2011114536A (ja) 車両周辺画像提供装置
JP4696825B2 (ja) 車両用死角映像表示装置
JP6999239B2 (ja) 画像処理装置および画像処理方法
JP4285229B2 (ja) 車両用表示装置
JP2024052376A (ja) 遠隔監視システム
JP2023047328A (ja) 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180718

Year of fee payment: 6