KR102613792B1 - 촬상 장치, 화상 처리 장치 및 화상 처리 방법 - Google Patents

촬상 장치, 화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR102613792B1
KR102613792B1 KR1020207009857A KR20207009857A KR102613792B1 KR 102613792 B1 KR102613792 B1 KR 102613792B1 KR 1020207009857 A KR1020207009857 A KR 1020207009857A KR 20207009857 A KR20207009857 A KR 20207009857A KR 102613792 B1 KR102613792 B1 KR 102613792B1
Authority
KR
South Korea
Prior art keywords
unit
area
image
vehicle
transmission
Prior art date
Application number
KR1020207009857A
Other languages
English (en)
Other versions
KR20200062223A (ko
Inventor
쇼이치 아와이
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20200062223A publication Critical patent/KR20200062223A/ko
Application granted granted Critical
Publication of KR102613792B1 publication Critical patent/KR102613792B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2146—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in mass transportation means, e.g. aircraft, train or bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 기술은 화상의 전송량을 삭감할 수 있도록 하는 촬상 장치, 화상 처리 장치 및 화상 처리 방법에 관한 것이다. 촬상 장치는, 촬상 화상의 촬상을 행하는 촬상부와, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역 내의 영역 화상을, 상기 전송 영역별로 설정되어 있는 프레임 레이트로 송신하는 송신 제어를 행하는 송신 제어부를 구비한다. 본 기술은, 예를 들어 이동체의 주위를 촬상하는 카메라, 예를 들어 자동 운전을 행하는 차량의 주위를 촬상하는 카메라에 적용할 수 있다.

Description

촬상 장치, 화상 처리 장치 및 화상 처리 방법
본 기술은 촬상 장치, 화상 처리 장치 및 화상 처리 방법에 관한 것으로, 특히 화상의 전송량을 삭감할 수 있도록 한 촬상 장치, 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
자동 운전을 행하는 차량에는, 주위의 상황을 정확하게, 또한 상세하게 인식하기 위해 다수의 촬상 장치가 마련되는 것이 상정된다.
한편, 근년, 촬상 장치의 해상도나 프레임 레이트가 향상되고 있으며, 처리의 고속화나 데이터양의 증대에 대한 대책이 검토되고 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공개 제2006-197194호 공보
따라서, 금후, 각 촬상 장치에 의해 촬상되는 화상의 데이터양이 점점 증대되고, 화상의 전송에 사용하는 버스 등에 필요한 용량이나 전송 속도가 점점 커질 것으로 예측된다.
본 기술은 이러한 상황을 감안하여 이루어진 것이며, 화상의 전송량을 삭감할 수 있도록 하는 것이다.
본 기술의 제1 측면의 촬상 장치는, 촬상 화상의 촬상을 행하는 촬상부와, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역 내의 영역 화상을, 상기 전송 영역별로 설정되어 있는 프레임 레이트로 송신하는 송신 제어를 행하는 송신 제어부를 구비한다.
본 기술의 제1 측면의 화상 처리 방법은, 촬상 장치가, 촬상 화상의 촬상을 행하고, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역 내의 영역 화상을, 상기 전송 영역별로 설정되어 있는 프레임 레이트로 송신하는 송신 제어를 행한다.
본 기술의 제2 측면의 화상 처리 장치는, 촬상 장치에 의해 촬상된 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역을 설정하는 영역 설정부와, 각 상기 전송 영역의 프레임 레이트를 설정하는 프레임 레이트 설정부와, 각 상기 전송 영역 및 각 상기 전송 영역의 프레임 레이트에 관한 영역 설정 정보의 상기 촬상 장치로의 송신을 제어하는 송신 제어부와, 상기 촬상 장치로부터 상기 영역 설정 정보에 기초하는 프레임 레이트로 송신되어 오는 각 상기 전송 영역 내의 영역 화상의 수신을 제어하는 수신 제어부를 구비한다.
본 기술의 제2 측면의 화상 처리 방법은, 화상 처리 장치가, 촬상 장치에 의해 촬상된 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역을 설정하고, 각 상기 전송 영역의 프레임 레이트를 설정하고, 각 상기 전송 영역 및 각 상기 전송 영역의 프레임 레이트에 관한 영역 설정 정보의 상기 촬상 장치로의 송신을 제어하고, 상기 촬상 장치로부터 상기 영역 설정 정보에 기초하는 프레임 레이트로 송신되어 오는 각 상기 전송 영역 내의 영역 화상의 수신을 제어한다.
본 기술의 제1 측면에 있어서는, 촬상 화상의 촬상이 행해지고, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역 내의 영역 화상이, 상기 전송 영역별로 설정되어 있는 프레임 레이트로 송신된다.
본 기술의 제2 측면에 있어서는, 촬상 장치에 의해 촬상된 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역이 설정되고, 각 상기 전송 영역의 프레임 레이트가 설정되고, 각 상기 전송 영역 및 각 상기 전송 영역의 프레임 레이트에 관한 영역 설정 정보가 상기 촬상 장치로 송신되고, 상기 촬상 장치로부터 상기 영역 설정 정보에 기초하는 프레임 레이트로 송신되어 오는 각 상기 전송 영역 내의 영역 화상이 수신된다.
본 기술의 제1 측면 또는 제2 측면에 따르면, 화상의 전송량을 삭감할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은, 본 기술이 적용될 수 있는 차량 제어 시스템의 개략적인 기능의 구성예를 도시하는 블록도이다.
도 2는, 본 기술을 적용한 차외 정보 검출 시스템의 일 실시 형태를 도시하는 블록도이다.
도 3은, 카메라의 제어부에 의해 실현되는 기능의 구성예를 도시하는 블록도이다.
도 4는, 호스트의 제어부에 의해 실현되는 기능의 구성예를 도시하는 블록도이다.
도 5는, 호스트의 처리의 제1 실시 형태를 설명하기 위한 흐름도이다.
도 6은, 주위 화상의 예를 모식적으로 도시하는 도면이다.
도 7은, 특징점 및 전송 영역의 예를 도시하는 도면이다.
도 8은, 전송 영역의 프레임 레이트의 설정 방법의 예를 설명하기 위한 도면이다.
도 9는, 카메라의 처리를 설명하기 위한 흐름도이다.
도 10은, 전송 데이터의 구성예를 도시하는 도면이다.
도 11은, 호스트의 처리의 제2 실시 형태를 설명하기 위한 흐름도이다.
도 12는, 컴퓨터의 구성예를 도시하는 도면이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.
1. 차량 제어 시스템의 구성예
2. 제1 실시 형태
3. 제2 실시 형태
4. 변형예
5. 기타
<<1. 차량 제어 시스템의 구성예>>
도 1은, 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
차량 제어 시스템(100)은, 차량(10)에 마련되며, 차량(10)의 각종 제어를 행하는 시스템이다. 또한, 이하, 차량(10)을 타차량과 구별하는 경우, 자차 또는 자차량이라고 칭한다.
차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 보디계 제어부(109), 보디계 시스템(110), 기억부(111) 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 보디계 제어부(109), 기억부(111) 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통하여, 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 여기서, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가 통신 네트워크(121)를 통하여 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하기로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통하여 통신을 행하는 경우, 간단히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.
입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하고, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 차량(10)의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU) 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차량(10)의 외부 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 밖의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서, 및 차량(10)의 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 소나 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 차량(10)의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서, 및 차실 내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되며, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.
통신부(103)는, 차내 기기(104), 그리고 차외의 여러 가지 기기, 서버, 기지국 등과 통신을 행하여, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니며, 또한 통신부(103)가 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및, 필요하다면 케이블)를 통하여, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface) 또는 MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통하여, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 차량(10)의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 차량(10)과 집 사이(Vehicle to Home)의 통신, 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하고, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 차량(10)에 반입되거나 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 차량(10)의 탑승자 또는 차외에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하고, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)가 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성된 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성된 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 차량(10)의 탑승자 또는 차외에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하고, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하고, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 차량(10)의 구동계에 관한 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고 전동 파워 스티어링 장치 등을 구비한다.
보디계 제어부(109)는, 각종 제어 신호를 생성하고, 보디계 시스템(110)에 공급함으로써, 보디계 시스템(110)의 제어를 행한다. 또한, 보디계 제어부(109)는, 필요에 따라, 보디계 시스템(110) 이외의 각 부에 제어 신호를 공급하고, 보디계 시스템(110)의 제어 상태의 통지 등을 행한다.
보디계 시스템(110)은, 차체에 장비된 보디계의 각종 장치를 구비한다. 예를 들어, 보디계 시스템(110)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 윙커, 포그 램프 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 및 광 자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵, 및 차량(10)의 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 차량(10)의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량(10)의 충돌 경고, 또는 차량(10)의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134) 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)를 구비한다.
차외 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(10)의 외부 정보의 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는, 차량(10)의 주위의 물체의 검출 처리, 인식 처리 및 추적 처리, 그리고 물체까지의 거리의 검출 처리를 행한다. 검출 대상으로 되는 물체에는, 예를 들어 차량, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차외 정보 검출부(141)는, 차량(10)의 주위의 환경의 검출 처리를 행한다. 검출 대상으로 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내 정보의 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태의 검출 처리, 탑승자의 검출 처리 및 차내의 환경의 검출 처리 등을 행한다. 검출 대상으로 되는 운전자의 상태에는, 예를 들어 컨디션, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상으로 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(10)의 상태의 검출 처리를 행한다. 검출 대상으로 되는 차량(10)의 상태에는, 예를 들어 속도, 가속도, 타각, 이상 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고 그 밖의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차외 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(10)의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는, 차량(10) 및 주위의 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153) 및 상황 예측부(154)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는, 자기 위치 추정부(132), 차외 정보 검출부(141) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(10)의 주위의 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 차량(10)의 주위의 신호의 위치 및 상태, 차량(10)의 주위의 교통 규제의 내용, 그리고 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(10)에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 차량(10)의 상황, 차량(10)의 주위의 상황, 및 차량(10)의 운전자의 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라, 차량(10)의 주위의 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)로 된다.
인식 대상으로 되는 차량(10)의 상황에는, 예를 들어 차량(10)의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고 이상의 유무 및 내용 등이 포함된다. 인식 대상으로 되는 차량(10)의 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상으로 되는 운전자의 상태에는, 예를 들어 컨디션, 각성도, 집중도, 피로도, 시선의 움직임, 그리고 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(10)에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 차량(10)의 상황, 차량(10)의 주위의 상황 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상으로 되는 차량(10)의 상황에는, 예를 들어 차량(10)의 거동, 이상의 발생 및 주행 가능 거리 등이 포함된다. 예측 대상으로 되는 차량(10)의 주위의 상황에는, 예를 들어 차량(10)의 주위의 동물체의 거동, 신호의 상태의 변화 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상으로 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 컨디션 등이 포함된다.
상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치에서부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 컨디션 등에 기초하여, 적절하게 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에 안전하게 주행하기 위한 차량(10)의 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 차량(10)의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 차량(10)의 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 차량(10)의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는, 차량(10)의 동작의 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172) 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량(10)의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 차량(10)의 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 차량(10)의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 차량(10)의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속 또는 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 차량(10)의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
<<2. 제1 실시 형태>>
이어서, 도 2 내지 도 10을 참조하여, 본 기술의 제1 실시 형태에 대하여 설명한다.
또한, 이 제1 실시 형태는, 도 1의 차량 제어 시스템(100) 중, 주로 데이터 취득부(102) 및 차외 정보 검출부(141)의 처리에 관련된 것이다.
<차외 정보 검출 시스템의 구성예>
도 2는, 본 기술을 적용한 차외 정보 검출 시스템의 일 실시 형태인 차외 정보 검출 시스템(200)의 구성예를 도시하는 블록도이다.
차외 정보 검출 시스템(200)은, 차외 정보 검출 시스템(200)이 마련되어 있는 차량(10)의 주위의 정보의 검출 처리를 행하는 시스템이다. 예를 들어, 차외 정보 검출 시스템(200)은, 차량(10)의 주위를 촬상한 화상(이하, 주위 화상이라고 칭함)에 기초하여, 차량(10)의 주위의 정보의 검출 처리를 행한다. 그리고, 차외 정보 검출 시스템(200)은, 검출 처리의 결과를 나타내는 데이터를, 예를 들어 도 1의 자기 위치 추정부(132), 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153) 및 긴급 사태 회피부(171) 등에 공급한다.
차외 정보 검출 시스템(200)은, 카메라(201), 차량 상태 검출부(202) 및 호스트(203)를 구비한다.
카메라(201)는, 차량(10)의 주위를 촬상 가능한 위치에 설치되며, 촬상 결과 얻어진 주위 화상을 호스트(203)에 공급한다.
카메라(201)는, 이미지 센서(221), 센서 I/F(인터페이스)(222), 화상 처리부(223), 색 처리부(224), 화상 기억부(225), 버퍼(226), 제어부(227), 영역 설정 정보 기억부(228) 및 호스트 I/F(인터페이스)(229)를 구비한다.
이미지 센서(221)는, 차량(10)의 주위의 촬상을 행하는 촬상부이며, 예를 들어 CMOS 이미지 센서, CCD 이미지 센서 등의 임의의 종류의 이미지 센서가 사용된다. 이미지 센서(221)는, 센서 I/F(222)를 통한 제어부(227)의 제어 하에, 차량(10)의 주위를 촬상하고, 얻어진 주위 화상을 센서 I/F(222)에 공급한다.
센서 I/F(222)는, 이미지 센서(221)와 외부의 사이의 통신을 행한다.
화상 처리부(223)는, 제어부(227)의 제어 하에, 주위 화상에 대하여 각종 화상 처리를 행하고, 화상 처리 후의 주위 화상을 색 처리부(224)에 공급한다. 화상 처리부(223)가 행하는 화상 처리의 종류는, 예를 들어 결함 보정 처리, 화이트 밸런스 조정 처리, 노이즈 제거 처리 등 중에서 필요에 따라 선택된다.
색 처리부(224)는, 제어부(227)의 제어 하에, 주위 화상에 대하여 각종 색 처리를 행하여, 색 처리 후의 주위 화상을 화상 기억부(225)에 기억시킨다. 색 처리부(224)가 행하는 색 처리의 종류는, 예를 들어 디모자이크 처리, 해상도 변환 처리, γ 보정 처리, YC 변환 처리 등 중에서 필요에 따라 선택된다.
화상 기억부(225)는, 예를 들어 휘발성 또는 불휘발성 메모리를 구비하며, 주위 화상을 기억한다.
버퍼(226)는, 예를 들어 휘발성 메모리를 구비하며, 주위 화상의 전체 또는 일부의 영역(이하, 전송 영역이라고 칭함) 내의 화상(이하, 영역 화상이라고 칭함)을 일시적으로 기억한다.
또한, 이하, 전송 영역 중 주위 화상의 전체 영역을 전체 영역이라고도 칭하고, 전체 영역 내의 영역 화상(즉, 주위 화상 전체)을 전체 화상이라고도 칭한다.
제어부(227)는, 각종 프로세서 등을 구비하며, 예를 들어 카메라(201)의 각 부의 제어 및 호스트(203)와의 사이의 영역 화상 등의 데이터의 송수신의 제어 등을 행한다.
영역 설정 정보 기억부(228)는, 예를 들어 휘발성 메모리를 구비하며, 호스트(203)로부터 송신되어 오는 영역 설정 정보를 기억한다. 또한, 영역 설정 정보는, 전송 영역 및 전송 영역별로 설정되는 프레임 레이트에 관한 정보이다.
호스트 I/F(229)는, 호스트(203)와의 사이의 통신 인터페이스이며, 호스트(203)의 카메라 I/F와의 사이에서 통신을 행한다.
차량 상태 검출부(202)는, 예를 들어 도 1의 차량 상태 검출부(143)에 대응하며, 차량(10)의 상태의 검출 처리를 행하여, 검출 처리의 결과를 나타내는 데이터를 호스트(203)의 화상 처리부(251)의 제어부(261)에 공급한다.
호스트(203)는, 카메라(201)로부터의 영역 화상의 전송 제어나, 영역 화상에 기초하여 차량(10)의 주위의 정보를 검출하는 검출 처리 등을 행한다. 호스트(203)는, 화상 처리부(251) 및 카메라 I/F(인터페이스)(252)를 구비한다.
화상 처리부(251)는, 제어부(261), 전체 화상 기억부(262), 영역 화상 기억부(263), 영역 설정 정보 기억부(264), 프레임 레이트 DB(데이터베이스)(265) 및 드라이브 데이터 기억부(266)를 구비한다.
제어부(261)는, 각종 프로세서 등을 구비하며, 예를 들어 호스트(203)의 각 부의 제어, 카메라(201)와의 사이의 영역 화상 등의 데이터의 송수신의 제어, 및 차량(10)의 주위의 정보의 검출 처리 등을 행한다. 또한, 제어부(261)는, 차량(10)의 주위의 정보의 검출 처리의 결과를 나타내는 데이터를 외부에 출력한다.
전체 화상 기억부(262)는, 예를 들어 휘발성 또는 불휘발성 메모리를 구비하며, 카메라(201)로부터 송신되어 오는 영역 화상 중 전체 화상을 기억한다.
영역 화상 기억부(263)는, 예를 들어 휘발성 또는 불휘발성 메모리를 구비하며, 카메라(201)로부터 송신되어 오는 전체 화상 이외의 영역 화상을 기억한다.
영역 설정 정보 기억부(264)는, 예를 들어 휘발성 메모리를 구비하며, 제어부(261)에 의해 생성되는 영역 설정 정보를 기억한다.
프레임 레이트 DB(265)는, 전송 영역 내의 영역 화상을 전송하는 레이트(전송 속도)를 나타내는 프레임 레이트의 설정에 사용하는 데이터를 저장한다. 예를 들어, 프레임 레이트 DB(265)는, 물체의 종류, 위치 및 움직임, 차량(10)의 상태, 카메라(201)의 설치 위치 및 설치 방향, 시각, 날씨 등의 조건에 대한 프레임 레이트의 설정 방법 또는 설정값 등을 저장한다.
드라이브 데이터 기억부(266)는, 예를 들어 불휘발성 메모리를 구비하며, 차량(10)의 주행 중의 영역 화상 등의 데이터를 기억한다.
<카메라의 제어부의 기능의 구성예>
도 3은, 카메라(201)의 제어부(227)의 기능의 구성예를 도시하고 있다.
제어부(227)는, 촬상 제어부(301), 영역 화상 생성부(302), 송신 제어부(303) 및 수신 제어부(304)를 구비한다.
촬상 제어부(301)는, 이미지 센서(221), 화상 처리부(223) 및 색 처리부(224)를 제어하여, 주위 화상의 촬상을 제어한다.
영역 화상 생성부(302)는, 영역 설정 정보 기억부(228)에 기억되어 있는 영역 설정 정보에 기초하여, 화상 기억부(225)에 기억되어 있는 전체 화상으로부터 영역 화상을 생성하고, 버퍼(226)에 기억시킨다.
송신 제어부(303)는, 호스트 I/F(229)를 제어하여, 영역 화상 등의 데이터의 호스트(203)로의 송신을 제어한다.
수신 제어부(304)는, 호스트 I/F(229)를 제어하여, 영역 설정 정보 등의 데이터의 호스트(203)로부터의 수신을 제어한다.
<호스트의 제어부의 기능의 구성예>
도 4는, 호스트(203)의 제어부(261)의 기능의 구성예를 도시하고 있다.
제어부(261)는, 특징점 추출부(331), 물체 검출부(332), 영역 설정부(333), 프레임 레이트 설정부(334), 송신 제어부(335), 수신 제어부(336) 및 기록 제어부(337)를 구비한다.
특징점 추출부(331)는, 영역 화상 내의 특징점의 추출 처리를 행한다.
물체 검출부(332)는, 영역 화상 내의 물체의 검출 처리를 행한다.
영역 설정부(333)는, 영역 화상 내의 특징점의 추출 결과 및 물체의 검출 결과 중 적어도 하나에 기초하여, 전송 영역의 설정을 행한다. 또한, 영역 설정부(333)는, 각 전송 영역 및 각 전송 영역의 프레임 레이트에 관한 영역 설정 정보를 생성하여, 영역 설정 정보 기억부(264)에 기억시키거나, 카메라 I/F(252)에 공급하거나 한다.
프레임 레이트 설정부(334)는, 영역 화상 내의 특징점의 추출 결과, 영역 화상 내의 물체의 검출 결과, 및 차량 상태 검출부(202)에 의한 차량(10)의 상태의 검출 결과 중 적어도 하나, 그리고 프레임 레이트 DB(265)에 저장되어 있는 데이터에 기초하여, 각 전송 영역의 프레임 레이트를 설정한다.
송신 제어부(335)는, 카메라 I/F(252)를 제어하여, 영역 설정 정보 등의 데이터의 카메라(201)로의 송신을 제어한다.
수신 제어부(336)는, 카메라 I/F(252)를 제어하여, 영역 화상 등의 데이터의 카메라(201)로부터의 수신을 제어한다.
기록 제어부(337)는, 차량(10)의 주행 중의 영역 화상 등의 데이터의 드라이브 데이터 기억부(266)로의 기록을 제어한다.
<호스트의 처리>
이어서, 도 5의 흐름도를 참조하여, 호스트(203)의 처리에 대하여 설명한다. 부언하면, 이 처리는, 예를 들어 차량(10)을 기동하고, 운전을 개시하기 위한 조작이 행해졌을 때, 예를 들어 차량(10)의 이그니션 스위치, 파워 스위치 또는 스타트 스위치 등이 온되었을 때 개시된다. 또한, 이 처리는, 예를 들어 운전을 종료하기 위한 조작이 행해졌을 때, 예를 들어 차량(10)의 이그니션 스위치, 파워 스위치 또는 스타트 스위치 등이 오프되었을 때 종료된다.
스텝 S1에 있어서, 호스트(203)는 촬상 개시 명령을 송신한다. 구체적으로는, 송신 제어부(335)는, 카메라(201)에 주위 화상의 촬상을 개시시키기 위한 촬상 개시 명령을 생성하고, 카메라 I/F(252)를 통하여, 카메라(201)에 송신한다.
이에 대해, 카메라(201)는, 후술하는 도 9의 스텝 S51에 있어서, 촬상 개시 명령을 수신하고, 스텝 S52에 있어서, 차량(10)의 주위를 촬상하고, 스텝 S53에 있어서, 전체 화상 및 메타데이터를 송신한다.
또한, 메타데이터에는, 예를 들어 카메라(201)의 설치 위치, 설치 방향, 화각, 노출 파라미터 등이 포함된다.
스텝 S2에 있어서, 호스트(203)는, 전체 화상 및 메타데이터를 수신한다. 구체적으로는, 카메라 I/F(252)는, 수신 제어부(336)의 제어 하에, 카메라(201)로부터 송신되어 오는 전체 화상 및 메타데이터를 수신하고, 전체 화상을 전체 화상 기억부(262)에 기억시킴과 함께, 메타데이터를 수신 제어부(336)에 공급한다.
스텝 S3에 있어서, 특징점 추출부(331)는, 전체 화상 기억부(262)에 기억되어 있는 전체 화상의 특징점을 추출한다.
또한, 특징점의 추출 방법에는, 예를 들어 해리스 코너 등의 임의의 방법을 사용할 수 있다.
스텝 S4에 있어서, 영역 설정부(333)는, 특징점에 기초하여, 전송 영역을 설정한다. 예를 들어, 영역 설정부(333)는, 전체 화상 내의 특징점의 클러스터링을 행한다. 이에 의해, 전체 화상 내의 특징점이 1 이상인 클러스터로 분류된다. 그리고, 영역 설정부(333)는, 각 클러스터에 대응하는 영역을 전송 영역으로 설정한다. 또한, 영역 설정부(333)는, 전체 영역을 전송 영역으로 설정한다.
예를 들어, 도 6은, 차량(10)의 전방을 촬상한 주위 화상(401)의 예를 모식적으로 도시하고 있다. 이 예에서는, 주위 화상(401)의 하방에, 차량(10)의 보닛(411)이 찍혀 있다. 차량(10)의 주행 차선의 왼쪽 옆의 차선의 전방에 차량(412) 내지 차량(416)이 찍혀 있다. 차량(10)의 주행 차선의 전방에 차량(417) 및 차량(418)이 찍혀 있다. 차량(412)의 좌측에 안내 표지(419)가 찍혀 있다. 도로의 좌측단에 가드레일(420)이 찍혀 있다. 노면 상에 구획선(421) 및 구획선(422)이 찍혀 있다. 도로 좌우에 나무나 빌딩 등이 찍혀 있다.
도 7은, 도 6의 주위 화상(401)의 특징점 및 전송 영역의 예를 도시하고 있다. 도면 내의 작은 점은 특징점을 나타내고 있다. 예를 들어, 차량(412) 내지 차량(418), 안내 표지(419), 가드레일(420), 구획선(421), 구획선(422) 및 도로 좌우의 나무나 빌딩 등의 에지 부근 등에 있어서, 많은 특징점이 추출되어 있다.
또한, 특징점을 클러스터링한 결과에 기초하여, 전송 영역 R1 내지 전송 영역 R7이 설정되어 있다. 전송 영역 R1에는, 차량(412)이 포함되어 있다. 전송 영역 R2에는, 차량(413) 및 차량(414)이 포함되어 있다. 전송 영역 R3에는, 차량(414) 내지 차량(416) 및 차량(418)이 포함되어 있다. 전송 영역 R4에는, 차량(417) 및 차량(418)이 포함되어 있다. 전송 영역 R5에는, 안내 표지(419)가 포함되어 있다. 전송 영역 R6에는, 가드레일(420)이 포함되어 있다. 전송 영역 R7에는, 구획선(422)이 포함되어 있다. 또한, 주위 화상(401)의 전체 영역이, 전송 영역 R0으로 설정되어 있다.
여기서, 전송 영역은, 반드시 전체 화상의 주위의 변에 대하여 평행인 변을 갖는 직사각형의 영역에 한정되는 것은 아니며, 예를 들어 전송 영역 R6 및 전송 영역 R7과 같이, 전체 화상의 주위의 변에 대하여 경사 방향의 직사각형이어도 된다. 또한, 전송 영역은, 반드시 직사각형이 아니어도 된다.
스텝 S5에 있어서, 물체 검출부(332)는, 각 전송 영역 내의 물체의 검출 처리를 행한다. 예를 들어, 물체 검출부(332)는, 각 전송 영역 내의 물체의 종류, 위치, 움직임 등을 검출한다.
여기서, 물체의 종류, 위치, 움직임 등의 검출 방법은, 예를 들어 시맨틱 세그멘테이션 등의 임의의 방법을 사용할 수 있다.
스텝 S6에 있어서, 프레임 레이트 설정부(334)는, 각 전송 영역의 프레임 레이트를 설정한다.
구체적으로는, 프레임 레이트 설정부(334)는, 차량 상태 검출부(202)로부터 차량(10)의 상태의 검출 결과를 취득한다. 그리고, 프레임 레이트 설정부(334)는, 각 전송 영역 내의 물체의 검출 결과(예를 들어, 물체의 종류, 위치 및 움직임 중 적어도 하나), 차량(10)의 상태의 검출 결과, 그리고 프레임 레이트 DB(265)에 저장되어 있는 데이터에 기초하여, 각 전송 영역의 프레임 레이트를 설정한다.
예를 들어, 각 전송 영역의 프레임 레이트는, 각 전송 영역 내의 물체에 주목할 필요성(이하, 주목 필요성이라고 칭함)에 기초하여 설정된다. 예를 들어, 전송 영역 내의 물체의 주목 필요성이 높을수록, 프레임 레이트가 높게 설정되고, 전송 영역 내의 물체의 주목 필요성이 낮을수록, 프레임 레이트가 낮게 설정된다.
예를 들어, 물체의 주목 필요성은, 물체의 종류에 기초하여 판정된다. 예를 들어, 동물체는 정지 물체보다 주목 필요성이 높다고 판정된다.
예를 들어, 도 8에 도시되는 바와 같이, 전송 영역 R1 내지 전송 영역 R7이, 동물체를 포함하는지 여부에 따라 그룹 G1과 그룹 G2로 분류된다. 동물체를 포함하는 전송 영역 R1 내지 전송 영역 R4는, 그룹 G1로 분류된다. 동물체를 포함하지 않고, 정지 물체만을 포함하는 전송 영역 R5 내지 전송 영역 R7은, 그룹 G2로 분류된다. 그리고, 그룹 G1의 전송 영역 쪽이, 그룹 G2의 전송 영역보다 프레임 레이트가 높게 설정된다. 예를 들어, 그룹 G1의 전송 영역의 프레임 레이트가 120fps(frame per second)로 설정되고, 그룹 G2의 전송 영역의 프레임 레이트가 60fps로 설정된다.
또한, 그룹 G0에는, 전체 영역인 전송 영역 R0이 포함된다. 전송 영역 R0의 프레임 레이트는, 다른 전송 영역의 프레임 레이트 중 가장 낮은 프레임 레이트 이하로 설정된다. 예를 들어, 전송 영역 R0의 프레임 레이트는, 그룹 G2의 전송 영역의 프레임 레이트인 60fps 이하로 설정된다.
또한, 예를 들어 차량, 자전거, 보행자, 도로 표지 등으로 물체의 종류를 세분화하고, 더욱 세세하게 프레임 레이트를 설정하도록 해도 된다. 이 경우, 예를 들어 전송 영역 내의 물체의 일반적인 평균 속도가 빠를수록, 주목 필요성이 높다고 판정되고, 프레임 레이트가 높게 설정된다. 한편, 전송 영역 내의 물체의 일반적인 평균 속도가 느릴수록, 주목 필요성이 낮다고 판정되고, 프레임 레이트가 낮게 설정된다. 예를 들어, 차량이 존재하는 전송 영역>자전거가 존재하는 전송 영역>보행자가 존재하는 전송 영역>도로 표지가 존재하는 전송 영역의 순으로 프레임 레이트가 설정된다.
이 경우, 예를 들어 물체의 평균 속도에 기초하여, 물체가 소정의 거리(예를 들어, 10㎝)만큼 이동할 때마다 그 물체를 포함하는 영역 화상이 전송되도록, 프레임 레이트가 설정된다.
또한, 예를 들어 영역 화상이 SLAM 등의 차량(10)의 자기 위치 추정에 사용되는 경우, 자기 위치 추정에 사용될 가능성이 높은 정지 물체 쪽이, 자기 위치 추정에 사용될 가능성이 낮은 동물체보다 주목 필요성이 높다고 판정된다. 그리고, 정지 물체만을 포함하는 전송 영역 쪽이, 동물체를 포함하는 전송 영역보다, 프레임 레이트가 높게 설정된다.
또한, 예를 들어 물체가 차량(10)에 충돌 또는 접촉할 위험도(이하, 간단히 물체의 위험도라고 칭함)에 기초하여, 물체의 주목 필요성을 판정하도록 해도 된다.
예를 들어, 각 물체의 위험도는, 차량(10)에 대한 물체의 위치 및 움직임 중 적어도 하나에 기초하여 판정된다. 예를 들어, 차량(10)에 접근하는 방향의 상대 속도가 빠른 물체일수록, 위험도가 높다고 판정된다. 한편, 차량(10)에 접근하는 방향의 상대 속도가 느린 물체일수록, 혹은 차량(10)으로부터 멀어지는 방향의 상대 속도가 빠른 물체일수록, 위험도가 낮다고 판정된다.
또한, 예를 들어 물체가 차량(10)에 충돌 또는 접촉할 가능성이 있는 경우, 충돌 예측 시간에 기초하여, 각 물체의 위험도를 판정하도록 해도 된다. 즉, 충돌 예측 시간이 짧은 물체일수록, 위험도가 높다고 판정되고, 충돌 예측 시간이 긴 물체일수록, 위험도가 낮다고 판정된다.
그리고, 예를 들어 전송 영역 내의 물체의 위험도가 높을수록, 프레임 레이트가 높게 설정되고, 전송 영역 내의 물체의 위험도가 낮을수록, 프레임 레이트가 낮게 설정된다.
이 경우, 예를 들어 차량(10)에 접근하고 있는 물체에 대해서는, 물체가 차량(10)에 소정의 제1 거리(예를 들어, 10㎝)만큼 접근할 때마다 그 물체를 포함하는 영역 화상이 전송되도록, 프레임 레이트가 설정된다. 한편, 차량(10)으로부터 멀어지는 물체에 대해서는, 물체가 차량(10)으로부터 제1 거리보다 긴 제2 거리(예를 들어, 20㎝)만큼 멀어질 때마다 그 물체를 포함하는 영역 화상이 전송되도록, 프레임 레이트가 설정된다.
스텝 S7에 있어서, 호스트(203)는, 영역 설정 정보를 생성하고, 송신한다. 구체적으로는, 영역 설정부(333)는, 각 전송 영역의 주위 화상 내의 위치 및 형상, 그리고 각 전송 영역의 프레임 레이트를 포함하는 영역 설정 정보를 생성한다. 영역 설정부(333)는, 생성된 영역 설정 정보를 영역 설정 정보 기억부(264)에 기억시킨다. 또한, 영역 설정부(333)는, 생성된 영역 설정 정보를, 카메라 I/F(252)를 통하여, 카메라(201)에 송신한다.
이에 대해, 카메라(201)는, 후술하는 도 9의 스텝 S54에 있어서, 영역 설정 정보를 수신하고, 스텝 S57에 있어서, 영역 설정 정보에 기초하여, 영역 화상을 생성하고, 송신한다.
스텝 S8에 있어서, 호스트(203)는 영역 화상을 수신한다. 구체적으로는, 카메라 I/F(252)는, 수신 제어부(336)의 제어 하에, 카메라(201)로부터 송신되어 온 영역 화상을 수신한다.
또한, 카메라 I/F(252)는, 수신한 영역 화상이 전체 화상인 경우, 그 전체 화상을 전체 화상 기억부(262)에 기억시킨다. 이때, 예를 들어 전체 화상 기억부(262)에 기억되어 있는 오래된 전체 화상이, 새로운 전체 화상에 의해 덮어쓰기된다. 한편, 카메라 I/F(252)는, 수신한 영역 화상이 전체 화상이 아닌 경우, 그 영역 화상을 영역 화상 기억부(263)에 기억시킨다. 이때, 예를 들어 영역 화상 기억부(263)에 기억되어 있는 영역 화상 중, 소정 시간 이상 전의 영역 화상이 영역 화상 기억부(263)로부터 삭제된다.
스텝 S9에 있어서, 호스트(203)는, 필요에 따라, 영역 화상을 사용한 처리를 행한다. 예를 들어, 물체 검출부(332)는, 전체 화상 기억부(262)에 기억되어 있는 전체 화상, 및 영역 화상 기억부(263)에 기억되어 있는 영역 화상 중 적어도 하나에 기초하여, 차량(10)의 주위의 물체의 검출 처리를 행한다. 물체 검출부(332)는, 차량(10)의 주위의 물체의 검출 처리의 결과를 나타내는 데이터를, 예를 들어 도 1의 자기 위치 추정부(132), 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153) 및 긴급 사태 회피부(171) 등에 공급한다.
스텝 S10에 있어서, 호스트(203)는, 필요에 따라, 영역 화상을 기록한다. 예를 들어, 기록 제어부(337)는, 카메라(201)로부터 수신한 영역 화상을 무조건 드라이브 데이터 기억부(266)에 기억시킨다. 이 경우, 예를 들어 기록 제어부(337)는, 드라이브 데이터 기억부(266)에 기록되어 있는 영역 화상의 총 시간 또는 총 용량이 소정의 역치를 초과한 경우, 오래된 영역 화상부터 순서대로 드라이브 데이터 기억부(266)로부터 삭제한다.
혹은, 예를 들어 기록 제어부(337)는, 차량(10)이 정상적으로 주행하고 있는 경우, 소정 시간(예를 들어, 30초) 전부터 현시점까지의 영역 화상을 드라이브 데이터 기억부(266)에 항상 축적시킴과 함께, 그보다 오래된 영역 화상을 드라이브 데이터 기억부(266)로부터 삭제한다. 한편, 기록 제어부(337)는, 차량(10)에 이상이 발생한 경우, 예를 들어 차량(10)에 대한 소정의 강도 이상의 충격 또는 급브레이크가 검출된 경우, 소정의 시간 전부터 이상이 검출된 시각까지의 영역 화상을 드라이브 데이터 기억부(266)에 남김과 함께, 이상이 검출된 시각부터 소정 시간(예를 들어, 30초) 경과 후까지의 영역 화상을 드라이브 데이터 기억부(266)에 기억시킨다.
이에 의해, 호스트(203)를 드라이브 레코더로서 사용하는 경우, 사고 해석 등에 필요한 데이터가 확실하게 기록됨과 함께, 기록하는 데이터양이 삭감된다.
스텝 S11에 있어서, 수신 제어부(336)는, 전체 화상을 수신하였는지 여부를 판정한다. 전체 화상을 수신하지 않았다고 판정된 경우, 처리는 스텝 S8로 되돌아간다.
그 후, 스텝 S11에 있어서, 전체 화상을 수신하였다고 판정될 때까지, 스텝 S8 내지 스텝 S11의 처리가 반복 실행된다.
한편, 스텝 S11에 있어서, 전체 화상을 수신하였다고 판정된 경우, 처리는 스텝 S3으로 되돌아가고, 스텝 S3 이후의 처리가 실행된다. 즉, 새롭게 수신한 전체 화상에 기초하여, 전송 영역 및 프레임 레이트가 갱신되고, 갱신된 전송 영역 및 프레임 레이트에 기초하여, 카메라(201)와 호스트(203)의 사이의 영역 화상의 전송이 행해진다.
<카메라의 처리>
다음에, 도 9의 흐름도를 참조하여, 도 5의 호스트(203)의 처리에 대응하여 실행되는 카메라(201)의 처리에 대하여 설명한다. 부언하면, 이 처리는, 예를 들어 차량(10)을 기동하고, 운전을 개시하기 위한 조작이 행해졌을 때, 예를 들어 차량(10)의 이그니션 스위치, 파워 스위치 또는 스타트 스위치 등이 온되었을 때 개시된다. 또한, 이 처리는, 예를 들어 운전을 종료하기 위한 조작이 행해졌을 때, 예를 들어 차량(10)의 이그니션 스위치, 파워 스위치 또는 스타트 스위치 등이 오프되었을 때 종료된다.
스텝 S51에 있어서, 수신 제어부(304)는, 호스트 I/F(229)를 통하여, 도 5의 스텝 S1의 처리에 의해 호스트(203)로부터 송신되어 오는 촬상 개시 명령을 수신한다.
스텝 S52에 있어서, 카메라(201)는 차량(10)의 주위를 촬상한다. 구체적으로는, 이미지 센서(221)는, 촬상 제어부(301)의 제어 하에, 차량(10)의 주위를 촬상하고, 얻어진 주위 화상을 센서 I/F(222)를 통하여, 화상 처리부(223)에 공급한다. 화상 처리부(223)는, 촬상 제어부(301)의 제어 하에, 주위 화상에 대하여 각종 화상 처리를 행하여, 화상 처리 후의 주위 화상을 색 처리부(224)에 공급한다. 색 처리부(224)는, 촬상 제어부(301)의 제어 하에, 주위 화상에 대하여 각종 색 처리를 행하여, 색 처리 후의 주위 화상을 화상 기억부(225)에 기억시킨다.
스텝 S53에 있어서, 카메라(201)는, 전체 화상 및 메타데이터를 송신한다. 구체적으로는, 영역 화상 생성부(302)는, 화상 기억부(225)에 기억되어 있는 주위 화상을 그대로 버퍼(226)에 카피한다. 송신 제어부(303)는, 호스트 I/F(229)를 통하여, 버퍼(226)에 기억되어 있는 주위 화상(즉, 전체 화상)을 메타데이터와 함께 호스트(203)에 송신한다.
상술한 바와 같이, 메타데이터에는, 예를 들어 카메라(201)의 설치 위치, 설치 방향, 화각, 노출 파라미터 등이 포함된다.
스텝 S54에 있어서, 수신 제어부(304)는, 호스트 I/F(229)를 통하여, 도 5의 스텝 S7의 처리에 의해 호스트(203)로부터 송신되어 오는 영역 설정 정보를 수신한다. 수신 제어부(304)는, 수신한 영역 설정 정보를 영역 설정 정보 기억부(228)에 기억시킨다.
스텝 S55에 있어서, 촬상 제어부(301)는, 영역 설정 정보에 기초하여, 촬상 레이트를 설정한다. 예를 들어, 촬상 제어부(301)는, 각 전송 영역의 프레임 레이트 중 가장 높은 프레임 레이트에 맞추어 이미지 센서(221)의 촬상 레이트를 설정한다.
스텝 S56에 있어서, 스텝 S52의 처리와 마찬가지로, 차량(10)의 주위가 촬상된다. 이때, 화상 기억부(225)에 기억되어 있는 1프레임 전의 주위 화상이, 새롭게 촬상된 주위 화상에 의해 덮어쓰기된다.
스텝 S57에 있어서, 카메라(201)는, 영역 설정 정보에 기초하여, 영역 화상을 생성하고, 송신한다. 구체적으로는, 영역 화상 생성부(302)는, 영역 설정 정보에 포함되는 각 전송 영역의 프레임 레이트에 기초하여, 현재의 타이밍에 영역 화상을 송신할 대상으로 되는 전송 영역을 검출한다. 영역 화상 생성부(302)는, 화상 기억부(225)에 기억되어 있는 주위 화상으로부터, 검출한 전송 영역 내의 화상을 추출함으로써, 영역 화상을 생성하고, 버퍼(226)에 기억시킨다. 또한, 영역 화상 생성부(302)는, 전체 화상을 송신하는 타이밍인 경우, 화상 기억부(225)에 기억되어 있는 주위 화상을 그대로 버퍼(226)에 카피한다.
송신 제어부(303)는, 호스트 I/F(229)를 통하여, 버퍼(226)에 기억되어 있는 영역 화상을 호스트(203)에 송신한다. 이에 의해, 각 전송 영역 내의 영역 화상이, 영역 설정 정보에 의해 나타나는 프레임 레이트로 송신된다.
도 10은, 카메라(201)로부터 호스트(203)로 영역 화상을 송신할 때의 전송 데이터의 구성예를 도시하고 있다.
1회분의 전송 데이터는, 프레임 헤더, 그리고 1조 이상의 영역 헤더 및 영역 화상을 포함한다.
프레임 헤더는, 예를 들어 송신할 영역 화상의 수 등의 전송 데이터에 관한 정보를 포함한다.
영역 헤더는, 송신할 영역 화상의 전송 영역 등에 관한 정보를 포함한다.
이 예에서는, 시각 t0에 있어서, 영역 화상 0(전체 화상)이 송신되고 있다. 시각 t1 및 시각 t3에 있어서, 영역 화상 1 및 영역 화상 2가 송신되고 있다. 시각 t2에 있어서, 영역 화상 3이 송신되고 있다.
예를 들어, 시각 t0=0ms, 시각 t1=20ms, 시각 t2=25ms, 시각 t3=40ms, 시각 t4=50ms라고 하면, 영역 화상 0의 프레임 레이트는 20fps로 된다. 영역 화상 1 및 영역 화상 2의 프레임 레이트는 50fps로 된다. 이것은, 시각 t0과 시각 t4에 있어서, 영역 화상 0(전체 화상)이 송신됨으로써, 영역 화상 1 및 영역 화상 2도 실질적으로 송신되게 되기 때문이다. 영역 화상 3의 프레임 레이트는 40fps로 된다. 이것은, 시각 t0과 시각 t4에 있어서, 영역 화상 0(전체 화상)이 송신됨으로써, 영역 화상 3도 실질적으로 송신되게 되기 때문이다.
스텝 S58에 있어서, 수신 제어부(304)는, 영역 설정 정보를 수신하였는지 여부를 판정한다. 영역 설정 정보를 수신하지 않았다고 판정된 경우, 처리는 스텝 S56으로 되돌아간다.
그 후, 스텝 S58에 있어서, 영역 설정 정보를 수신하였다고 판정될 때까지, 스텝 S56 내지 스텝 S58의 처리가 반복하여 실행된다. 즉, 전송 영역별로 설정된 프레임 레이트에 기초하여, 각 전송 영역 내의 영역 화상이 카메라(201)로부터 호스트(203)로 송신된다.
한편, 스텝 S58에 있어서, 수신 제어부(304)는, 호스트 I/F(229)를 통하여, 도 5의 스텝 S7의 처리에 의해 호스트(203)로부터 송신되어 오는 영역 설정 정보를 수신한 경우, 영역 설정 정보를 수신하였다고 판정하고, 처리는 스텝 S55로 되돌아간다.
그 후, 스텝 S55 이후의 처리가 실행된다. 즉, 새로운 영역 설정 정보에 기초하여, 촬상 레이트가 갱신됨과 함께, 영역 화상의 생성 및 송신이 개시된다.
이상과 같이 하여, 카메라(201)와 호스트(203)의 사이의 화상의 전송량을 삭감할 수 있다. 이에 의해, 호스트 I/F(229)와 카메라 I/F(252)의 사이의 전송로의 용량 및 전송 속도를 작게 할 수 있다.
또한, 전체 화상 기억부(262), 영역 화상 기억부(263) 및 드라이브 데이터 기억부(266)의 용량이나 기입 속도를 작게 할 수 있다. 또한, 예를 들어 이들 기억부가, 플래시 메모리 등의 재기입 수명이 있는 메모리를 구비하는 경우, 메모리의 재기입 횟수를 삭감하여, 수명을 연장시킬 수 있다.
또한, 처리 대상으로 되는 화상의 데이터양이 삭감되기 때문에, 제어부(261)가 구비하는 프로세서의 성능을 낮게 억제할 수 있다.
또한, 주목할 필요성이 높은 전송 영역 내의 영역 화상일수록 높은 프레임 레이트로 송신되기 때문에, 화상의 전송량을 삭감해도, 차량(10)의 주위의 물체 등의 검출 정밀도의 저하를 억제할 수 있다.
<<3. 제2 실시 형태>>
다음에, 도 11을 참조하여, 본 기술의 제2 실시 형태에 대하여 설명한다.
제2 실시 형태에서는, 제1 실시 형태와 비교하여, 호스트(203)의 처리가 다르다.
<호스트의 처리>
여기서, 도 11의 흐름도를 참조하여, 호스트(203)의 처리에 대하여 설명한다.
스텝 S101 및 스텝 S102에 있어서, 도 5의 스텝 S1 및 스텝 S2와 마찬가지의 처리가 행해진다.
스텝 S103에 있어서, 물체 검출부(332)는, 전체 화상 내의 물체의 검출 처리를 행한다. 예를 들어, 물체 검출부(332)는, 전체 영역 내의 물체의 종류, 위치, 움직임 등을 검출한다.
여기서, 물체의 종류, 위치, 움직임 등의 검출 방법은, 예를 들어 시맨틱 세그멘테이션 등의 임의의 방법을 사용할 수 있다.
스텝 S104에 있어서, 영역 설정부(333)는, 물체의 검출 결과에 기초하여, 전송 영역을 설정한다. 예를 들어, 영역 설정부(333)는, 전체 화상 내에서 검출된 물체 중, 주목할 필요성이 있는 물체를 포함하는 영역을 전송 영역으로 설정한다.
여기서, 전송 영역은, 반드시 전체 화상의 주위의 변에 대하여 평행한 변을 갖는 직사각형의 영역에 한정되는 것은 아니며, 예를 들어 전체 화상의 주위의 변에 대하여 경사 방향의 직사각형이어도 된다. 또한, 전송 영역은, 반드시 직사각형이 아니어도 된다.
스텝 S105에 있어서, 프레임 레이트 설정부(334)는, 각 전송 영역의 프레임 레이트를 설정한다. 예를 들어, 프레임 레이트 설정부(334)는, 도 5의 스텝 S6의 처리와 마찬가지로, 각 전송 영역 내의 물체의 주목 필요성에 기초하여, 각 전송 영역의 프레임 레이트를 설정한다.
그 후, 스텝 S106 내지 스텝 S110에 있어서, 도 5의 스텝 S7 내지 스텝 S11과 마찬가지의 처리가 실행된다.
이와 같이 하여, 특징점을 사용하지 않고, 물체의 검출 결과에만 기초하여, 전송 영역 및 각 전송 영역의 프레임 레이트를 설정하는 것이 가능하다.
<<4. 변형예>>
이하, 상술한 본 기술의 실시 형태의 변형예에 대하여 설명한다.
카메라(201)와 호스트(203)의 기능의 분담은, 상술한 예에 한정되는 것은 아니며, 필요에 따라 변경하는 것이 가능하다. 예를 들어, 호스트(203)의 특징점 추출부(331), 물체 검출부(332) 및 영역 설정부(333)에 상당하는 기능을 카메라(201)에 마련하여, 카메라(201)가 전송 영역의 설정을 행하도록 해도 된다. 또한, 예를 들어, 추가로 프레임 레이트 설정부(334)에 상당하는 기능을 카메라(201)에 마련하여, 카메라(201)가 전송 영역의 프레임 레이트의 설정을 행하도록 해도 된다.
또한, 예를 들어 카메라(201)의 촬상 조건에 기초하여, 각 전송 영역의 프레임 레이트를 설정하도록 해도 된다. 예를 들어, 주위의 날씨나 밝기에 기초하여, 각 전송 영역의 프레임 레이트를 설정하도록 해도 된다. 예를 들어, 호천후, 주위가 밝음 등으로 촬상 조건이 양호한 경우, 각 전송 영역의 프레임 레이트를 내리고, 악천후(예를 들어, 비, 안개 등), 주위가 어두움 등으로 촬상 조건이 나쁜 경우, 각 전송 영역의 프레임 레이트를 올리도록 해도 된다. 또한, 예를 들어 시간대에 따라 각 전송 영역의 프레임 레이트를 설정하도록 해도 된다. 예를 들어, 낮 시간대는 각 전송 영역의 프레임 레이트를 내리고, 야간 시간대는 각 전송 영역의 프레임 레이트를 올리도록 해도 된다.
또한, 예를 들어 영역 화상이 SLAM 등의 차량(10)의 자기 위치 추정에 사용되는 경우, 특징점에 기초하여 프레임 레이트를 설정하도록 해도 된다. 예를 들어, 특징점이 많은 전송 영역일수록, 프레임 레이트가 높게 설정되고, 특징점이 적은 전송 영역일수록, 프레임 레이트가 낮게 설정된다.
또한, 예를 들어 차량(10)의 움직임에 기초하여, 각 전송 영역의 프레임 레이트를 설정하도록 해도 된다. 예를 들어, 차량(10)의 이동 방향에 가까운 전송 영역의 프레임 레이트를 올리고, 차량(10)의 이동 방향으로부터 먼 전송 영역의 프레임 레이트를 내리도록 해도 된다. 또한, 예를 들어 차량(10)이 고속 이동하고 있고, 또한 조타 각도가 작은 경우, 차량(10)의 진행 방향의 주위의 전송 영역의 프레임 레이트를 내리도록 해도 된다. 한편, 차량(10)이 커브나 교차점을 주행 중인 경우, 또는 차량(10)의 조타각이 큰 경우, 차량(10)의 진행 방향의 주위의 전송 영역의 프레임 레이트를 올리도록 해도 된다.
또한, 이상의 설명에서는, 카메라가 1대인 경우의 예에 대하여 설명하였지만, 본 기술은 카메라가 복수대인 경우에도 적용할 수 있다. 카메라가 복수대인 경우, 예를 들어 카메라별로 상술한 처리가 행해지고, 전송 영역별로 설정된 프레임 레이트로 영역 화상이 송신된다. 단, 반드시 모든 카메라에 대하여 상술한 처리를 행할 필요는 없으며, 일부 카메라에 대하여, 촬상한 주위 화상을 그대로 호스트에 송신하도록 해도 된다.
또한, 본 기술은, 앞서 예시한 차량 이외에도, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 선박, 건설 기계, 농업 기계(트랙터), 드론, 로봇 등의 각종 이동체의 주위의 촬상을 행하는 경우에도 적용할 수 있다.
또한, 본 기술은, 이동체의 주위를 촬상하는 경우 이외에도, 카메라와 호스트 등의 화상 처리 장치와의 사이에서, 카메라에 의해 촬상된 촬상 화상의 전송을 행하는 경우에 적용할 수 있다. 예를 들어, 본 기술은, 소정의 장소에 설치된 감시 카메라와, 감시 카메라와는 다른 장소에 마련된 호스트의 사이에서 촬상 화상의 전송을 행하는 경우에도 적용할 수 있다. 이 경우에도, 예를 들어 상술한 방법과 마찬가지의 방법에 의해, 감시 카메라에 의해 촬상된 촬상 화상의 전송 영역 및 각 전송 영역의 프레임 레이트를 설정하고, 영역 화상의 전송을 행함으로써, 감시 카메라와 호스트의 사이의 화상의 전송량을 삭감할 수 있다.
<<5. 기타>>
<컴퓨터의 구성예>
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 12는, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터(500)에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 또한 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기록부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.
입력부(506)는, 입력 스위치, 버튼, 마이크로폰, 촬상 소자 등으로 이루어진다. 출력부(507)는, 디스플레이, 스피커 등으로 이루어진다. 기록부(508)는, 하드 디스크나 불휘발성 메모리 등으로 이루어진다. 통신부(509)는, 네트워크 인터페이스 등으로 이루어진다. 드라이브(510)는, 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.
이상과 같이 구성되는 컴퓨터(500)에서는, CPU(501)가, 예를 들어 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통하여, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(500)(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터(500)에서는, 프로그램은, 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통하여, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(509)에서 수신하고, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)이나 기록부(508)에, 미리 인스톨해 둘 수 있다.
여기서, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
<구성의 조합예>
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1)
촬상 화상의 촬상을 행하는 촬상부와,
상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역 내의 영역 화상을, 상기 전송 영역별로 설정되어 있는 프레임 레이트로 송신하는 송신 제어를 행하는 송신 제어부
를 구비하는 촬상 장치.
(2)
상기 전송 영역은, 상기 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여 설정되어 있는
상기 (1)에 기재된 촬상 장치.
(3)
상기 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여, 상기 전송 영역을 설정하는 영역 설정부와,
상기 전송 영역의 프레임 레이트를 설정하는 프레임 레이트 설정부
를 더 구비하는 상기 (2)에 기재된 촬상 장치.
(4)
상기 촬상 화상 내의 물체의 검출을 행하는 물체 검출부와,
상기 촬상 화상 내의 특징점의 추출을 행하는 특징점 추출부
중 적어도 하나를 더 구비하고,
상기 영역 설정부는, 상기 촬상 화상 내의 물체의 검출 결과 및 특징점의 추출 결과 중 적어도 하나에 기초하여, 상기 전송 영역을 설정하는
상기 (3)에 기재된 촬상 장치.
(5)
각 상기 전송 영역 및 각 상기 전송 영역의 프레임 레이트에 관한 영역 설정 정보의 수신을 제어하는 수신 제어부를
더 구비하고,
상기 송신 제어부는, 상기 영역 설정 정보에 기초하여, 상기 영역 화상의 송신 제어를 행하는
상기 (1) 내지 (4) 중 어느 것에 기재된 촬상 장치.
(6)
각 상기 전송 영역의 프레임 레이트에 기초하여, 상기 촬상부의 촬상 레이트를 설정하는 촬상 제어부를
더 구비하는 상기 (1) 내지 (5) 중 어느 것에 기재된 촬상 장치.
(7)
상기 촬상 제어부는, 각 상기 전송 영역의 프레임 레이트 중 가장 높은 프레임 레이트에 맞추어 상기 촬상부의 촬상 레이트를 설정하는
상기 (6)에 기재된 촬상 장치.
(8)
상기 촬상 장치는, 이동체에 마련되고,
상기 촬상 화상은, 상기 이동체의 주위를 촬상한 화상인
상기 (1) 내지 (7) 중 어느 것에 기재된 촬상 장치.
(9)
촬상 장치가,
촬상 화상의 촬상을 행하고,
상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역 내의 영역 화상을, 상기 전송 영역별로 설정되어 있는 프레임 레이트로 송신하는 송신 제어를 행하는
화상 처리 방법.
(10)
촬상 장치에 의해 촬상된 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역을 설정하는 영역 설정부와,
각 상기 전송 영역의 프레임 레이트를 설정하는 프레임 레이트 설정부와,
각 상기 전송 영역 및 각 상기 전송 영역의 프레임 레이트에 관한 영역 설정 정보의 상기 촬상 장치로의 송신을 제어하는 송신 제어부와,
상기 촬상 장치로부터 상기 영역 설정 정보에 기초하는 프레임 레이트로 송신되어 오는 각 상기 전송 영역 내의 영역 화상의 수신을 제어하는 수신 제어부
를 구비하는 화상 처리 장치.
(11)
상기 촬상 화상 내의 물체의 검출을 행하는 물체 검출부와,
상기 촬상 화상 내의 특징점의 추출을 행하는 특징점 추출부
중 적어도 하나를 더 구비하고,
상기 영역 설정부는, 상기 촬상 화상 내의 물체의 검출 결과 및 특징점의 추출 결과 중 적어도 하나에 기초하여 상기 전송 영역을 설정하는
상기 (10)에 기재된 화상 처리 장치.
(12)
상기 프레임 레이트 설정부는, 상기 전송 영역 내의 물체의 검출 결과, 및 상기 전송 영역 내의 특징점의 추출 결과 중 적어도 하나에 기초하여, 상기 전송 영역의 프레임 레이트를 설정하는
상기 (11)에 기재된 화상 처리 장치.
(13)
상기 프레임 레이트 설정부는, 상기 전송 영역 내의 물체의 종류, 위치 및 움직임 중 적어도 하나에 기초하여, 상기 전송 영역의 프레임 레이트를 설정하는
상기 (12)에 기재된 화상 처리 장치.
(14)
상기 프레임 레이트 설정부는, 추가로 상기 촬상 장치의 촬상 조건에 기초하여, 상기 전송 영역의 프레임 레이트를 설정하는
상기 (13)에 기재된 화상 처리 장치.
(15)
상기 프레임 레이트 설정부는, 상기 전송 영역 내의 물체의 검출 결과, 상기 전송 영역 내의 특징점의 추출 결과, 및 상기 촬상 장치가 마련되어 있는 이동체의 움직임 중 적어도 하나에 기초하여, 상기 전송 영역의 프레임 레이트를 설정하는
상기 (11)에 기재된 화상 처리 장치.
(16)
상기 프레임 레이트 설정부는, 상기 촬상 화상의 전체 영역인 상기 전송 영역의 프레임 레이트를, 상기 촬상 화상의 일부 영역인 상기 전송 영역의 프레임 레이트 중 가장 낮은 프레임 레이트 이하로 설정하는
상기 (10) 내지 (15) 중 어느 것에 기재된 화상 처리 장치.
(17)
각 상기 영역 화상의 기록을 제어하는 기록 제어부를
더 구비하는 상기 (10) 내지 (16) 중 어느 것에 기재된 화상 처리 장치.
(18)
상기 촬상 장치는, 이동체에 마련되고,
상기 촬상 화상은, 상기 이동체의 주위를 촬상한 화상인
상기 (10) 내지 (17) 중 어느 것에 기재된 화상 처리 장치.
(19)
화상 처리 장치가,
촬상 장치에 의해 촬상된 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여, 상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역을 설정하고,
각 상기 전송 영역의 프레임 레이트를 설정하고,
각 상기 전송 영역 및 각 상기 전송 영역의 프레임 레이트에 관한 영역 설정 정보의 상기 촬상 장치로의 송신을 제어하고,
상기 촬상 장치로부터 상기 영역 설정 정보에 기초하는 프레임 레이트로 송신되어 오는 각 상기 전송 영역 내의 영역 화상의 수신을 제어하는
화상 처리 방법.
또한, 본 명세서에 기재된 효과는 어디까지나 예시로서 한정되는 것은 아니며, 다른 효과가 있어도 된다.
10: 차량
100: 차량 제어 시스템
102: 데이터 취득부
141: 차외 정보 검출부
201: 카메라
203: 호스트
221: 이미지 센서
227: 제어부
229: 호스트 I/F
251: 화상 처리부
252: 카메라 I/F
261: 제어부
301: 촬상 제어부
302: 영역 화상 생성부
303: 송신 제어부
304: 수신 제어부
331: 특징점 추출부
332: 물체 검출부
333: 영역 설정부
334: 프레임 레이트 설정부
335: 송신 제어부
336: 수신 제어부
337: 기록 제어부

Claims (19)

  1. 촬상 화상의 촬상을 행하는 촬상부와,
    상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역별로 설정되어 있는 프레임 레이트 중 가장 높은 프레임 레이트에 맞추어 상기 촬상부의 촬상 레이트를 설정하는 촬상 제어부와,
    각 상기 전송 영역 내의 영역 화상을, 상기 전송 영역별로 설정되어 있는 프레임 레이트로 송신하는 송신 제어를 행하는 송신 제어부
    를 구비하는, 촬상 장치.
  2. 제1항에 있어서,
    상기 전송 영역은, 상기 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여 설정되어 있는,
    촬상 장치.
  3. 제2항에 있어서,
    상기 촬상 화상 내의 물체 및 특징점 중 적어도 하나에 기초하여, 상기 전송 영역을 설정하는 영역 설정부와,
    상기 전송 영역의 프레임 레이트를 설정하는 프레임 레이트 설정부
    를 더 구비하는, 촬상 장치.
  4. 제3항에 있어서,
    상기 촬상 화상 내의 물체의 검출을 행하는 물체 검출부와,
    상기 촬상 화상 내의 특징점의 추출을 행하는 특징점 추출부
    중 적어도 하나를 더 구비하고,
    상기 영역 설정부는, 상기 촬상 화상 내의 물체의 검출 결과 및 특징점의 추출 결과 중 적어도 하나에 기초하여, 상기 전송 영역을 설정하는,
    촬상 장치.
  5. 제1항에 있어서,
    각 상기 전송 영역 및 각 상기 전송 영역의 프레임 레이트에 관한 영역 설정 정보의 수신을 제어하는 수신 제어부를
    더 구비하고,
    상기 송신 제어부는, 상기 영역 설정 정보에 기초하여, 상기 영역 화상의 송신 제어를 행하는,
    촬상 장치.
  6. 제1항에 있어서,
    상기 촬상 장치는, 이동체에 마련되고,
    상기 촬상 화상은, 상기 이동체의 주위를 촬상한 화상인,
    촬상 장치.
  7. 촬상 화상의 촬상을 행하는 촬상 장치가,
    상기 촬상 화상의 전체 또는 일부의 영역인 복수의 전송 영역별로 설정되어 있는 프레임 레이트 중 가장 높은 프레임 레이트에 맞추어 촬상 레이트를 설정하고,
    각 상기 전송 영역 내의 영역 화상을, 상기 전송 영역별로 설정되어 있는 프레임 레이트로 송신하는 송신 제어를 행하는,
    화상 처리 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020207009857A 2017-10-16 2018-10-03 촬상 장치, 화상 처리 장치 및 화상 처리 방법 KR102613792B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017200212 2017-10-16
JPJP-P-2017-200212 2017-10-16
PCT/JP2018/036965 WO2019077999A1 (ja) 2017-10-16 2018-10-03 撮像装置、画像処理装置、及び、画像処理方法

Publications (2)

Publication Number Publication Date
KR20200062223A KR20200062223A (ko) 2020-06-03
KR102613792B1 true KR102613792B1 (ko) 2023-12-15

Family

ID=66174486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207009857A KR102613792B1 (ko) 2017-10-16 2018-10-03 촬상 장치, 화상 처리 장치 및 화상 처리 방법

Country Status (6)

Country Link
US (1) US11363235B2 (ko)
EP (1) EP3700198B1 (ko)
JP (1) JP7314798B2 (ko)
KR (1) KR102613792B1 (ko)
CN (1) CN111201787B (ko)
WO (1) WO2019077999A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US20220182552A1 (en) * 2020-12-08 2022-06-09 Westinghouse Air Brake Technologies Corporation Automatic camera configuration systems and methods
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
JP7363279B2 (ja) * 2019-09-26 2023-10-18 株式会社Ｊｖｃケンウッド 画像記録装置、画像記録方法、及び画像記録プログラム
US11164339B2 (en) * 2019-11-12 2021-11-02 Sony Interactive Entertainment Inc. Fast region of interest coding using multi-segment temporal resampling
JP2022134409A (ja) * 2021-03-03 2022-09-15 トヨタ自動車株式会社 地図データ利用システム、地図データ利用方法及びプログラム
GB2607004A (en) * 2021-05-14 2022-11-30 Airbus Defence & Space Ltd Transmission of sensor data
WO2023074394A1 (ja) * 2021-10-29 2023-05-04 住友電気工業株式会社 車載装置、路側装置、制御方法およびコンピュータプログラム
US20240007771A1 (en) * 2022-07-01 2024-01-04 Meta Platforms Technologies, Llc Readout methods for foveated sensing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027564A (ja) 2007-07-20 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、及びプログラム
JP2015005843A (ja) 2013-06-20 2015-01-08 サクサ株式会社 監視システム、表示装置、表示用プログラム及び映像制御装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288806A (ja) * 1994-04-20 1995-10-31 Hitachi Ltd 動画像通信システム
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
JP2006197194A (ja) 2005-01-13 2006-07-27 Olympus Corp 撮像装置
CN102325257A (zh) * 2007-07-20 2012-01-18 富士胶片株式会社 图像处理设备和图像处理方法
US8896692B2 (en) * 2010-11-10 2014-11-25 Ricoh Company, Ltd. Apparatus, system, and method of image processing, and recording medium storing image processing control program
WO2012073657A1 (ja) * 2010-11-30 2012-06-07 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法
CN201979824U (zh) * 2010-12-29 2011-09-21 珠海赛纳打印科技股份有限公司 成像装置、成像服务器和成像***
JP5812634B2 (ja) * 2011-03-17 2015-11-17 キヤノン株式会社 送信装置及び送信方法、並びにプログラム
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
KR101992153B1 (ko) * 2012-11-13 2019-06-25 삼성전자주식회사 문서 영상 인식 방법, 장치 및 이를 이용한 사진 촬영 방법
US9197809B2 (en) * 2013-05-01 2015-11-24 Canon Kabushiki Kaisha Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
EP3591980A1 (en) * 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
JP2015126457A (ja) * 2013-12-27 2015-07-06 ブラザー工業株式会社 サーバ装置のプログラム、サーバ装置及び遠隔会議方法
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
CN112839169B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
CN108353195A (zh) * 2015-11-17 2018-07-31 索尼公司 发送设备、发送方法、接收设备、接收方法和发送/接收***
GB201618501D0 (en) * 2016-11-02 2016-12-14 Qinetiq Ltd Method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027564A (ja) 2007-07-20 2009-02-05 Fujifilm Corp 画像処理装置、画像処理方法、及びプログラム
JP2015005843A (ja) 2013-06-20 2015-01-08 サクサ株式会社 監視システム、表示装置、表示用プログラム及び映像制御装置

Also Published As

Publication number Publication date
CN111201787A (zh) 2020-05-26
WO2019077999A1 (ja) 2019-04-25
EP3700198A1 (en) 2020-08-26
CN111201787B (zh) 2022-09-20
JPWO2019077999A1 (ja) 2020-11-12
EP3700198B1 (en) 2024-04-03
JP7314798B2 (ja) 2023-07-26
US11363235B2 (en) 2022-06-14
EP3700198A4 (en) 2020-08-26
KR20200062223A (ko) 2020-06-03
US20200322571A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
JP7027737B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20200263994A1 (en) Information processing apparatus, information processing method, program, and moving body
US11501461B2 (en) Controller, control method, and program
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11257374B2 (en) Information processing apparatus, information processing method, and moving object
JPWO2019082669A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20200298849A1 (en) Information processing apparatus, information processing method, program, and vehicle
US20200191975A1 (en) Information processing apparatus, self-position estimation method, and program
US20230230368A1 (en) Information processing apparatus, information processing method, and program
CN114424265A (zh) 信号处理设备、信号处理方法、程序和移动设备
US20230370709A1 (en) Imaging device, information processing device, imaging system, and imaging method
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
JP2020101960A (ja) 情報処理装置、情報処理方法及びプログラム
US20230245423A1 (en) Information processing apparatus, information processing method, and program
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
WO2020158489A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
EP3863282B1 (en) Image processing device, and image processing method and program
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
US20230206596A1 (en) Information processing device, information processing method, and program
CN117999587A (zh) 识别处理设备、识别处理方法和识别处理***

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant