KR20210046654A - 화상 처리 장치 및 화상 처리 시스템 - Google Patents

화상 처리 장치 및 화상 처리 시스템 Download PDF

Info

Publication number
KR20210046654A
KR20210046654A KR1020217002362A KR20217002362A KR20210046654A KR 20210046654 A KR20210046654 A KR 20210046654A KR 1020217002362 A KR1020217002362 A KR 1020217002362A KR 20217002362 A KR20217002362 A KR 20217002362A KR 20210046654 A KR20210046654 A KR 20210046654A
Authority
KR
South Korea
Prior art keywords
image
area
data
image processing
information
Prior art date
Application number
KR1020217002362A
Other languages
English (en)
Inventor
요시아키 마츠바라
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20210046654A publication Critical patent/KR20210046654A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

촬상된 화상에 대해 설정되는 영역에 대응하는 영역 정보를 영역마다 포함하는 부가 데이터와, 영역에 대응하는 행마다의 화상을 나타내는 영역 화상 데이터를 다른 패킷으로 송신시키는 복수의 화상 센서 각각과 통신을 행하는 것이 가능한 통신부(202)와, 복수의 화상 센서 각각으로부터 취득된 부가 데이터에 포함되는 영역 정보에 의거하여 복수의 화상 센서 각각으로부터 취득된 영역 화상 데이터를 영역마다 대응시켜서 처리하는 처리부(204)를 구비하고, 영역 정보에는, 영역의 식별 정보, 영역의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보 중의 일부 또는 전부가 포함되는 화상 처리 장치(200)가 제공된다.

Description

화상 처리 장치 및 화상 처리 시스템
본 개시는, 화상 처리 장치 및 화상 처리 시스템에 관한 것이다.
복수의 촬상부를 구비하는 복안식(複眼式)의 촬상 장치에 관한 기술이 개발되어 있다. 상기 기술로서는 예를 들면 하기한 특허 문헌 1에 기재된 기술을 들 수 있다.
특허 문헌 1: 일본 특개2007-110499호 공보
예를 들면 특허 문헌 1에 기재된 기술이 이용되는 경우에는, 촬상 장치를 구성하는 하나의 촬상부에서의 촬상에 의해 얻어진 화상으로부터 특정한 대상이 검출된 때에, 촬상 장치를 구성하는 다른 촬상부에서의 촬상이 행해진다. 그렇지만, 특허 문헌 1에 기재된 기술이 이용되는 경우에는, 촬상에 의해 복수의 화상을 얻을 수 있을 뿐이고, 촬상에 의해 얻어진 복수의 화상을 대응시켜서 처리하는 것은 특히 고려가 되어 있지 않다.
본 개시에서는 복수의 화상 센서로부터 각각 얻어지는 화상을 대응시켜서 처리하는 것이 가능한 신규이면서 개량된 화상 처리 장치 및 화상 처리 시스템을 제안한다.
본 개시에 의하면, 촬상된 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 영역마다 포함하는 부가 데이터와, 상기 영역에 대응하는 행마다의 화상을 나타내는 영역 화상 데이터를 다른 패킷으로 송신시키는 복수의 화상 센서 각각과 통신을 행하는 것이 가능한 통신부와, 복수의 상기 화상 센서 각각으로부터 취득된 상기 부가 데이터에 포함되는 상기 영역 정보에 의거하여 복수의 상기 화상 센서 각각으로부터 취득된 상기 영역 화상 데이터를 상기 영역마다 대응시켜서 처리하는 처리부를 구비하고, 상기 영역 정보에는, 상기 영역의 식별 정보, 상기 영역의 위치를 나타내는 정보 및 상기 영역의 크기를 나타내는 정보 중의 일부 또는 전부가 포함되는 화상 처리 장치가 제공된다.
또한, 본 개시에 의하면, 촬상된 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 영역마다 포함하는 부가 데이터와, 상기 영역에 대응하는 행마다의 화상을 나타내는 영역 화상 데이터를 다른 패킷으로 송신시키는 복수의 화상 센서와, 화상 처리 장치를 가지고, 상기 화상 처리 장치는, 복수의 상기 화상 센서 각각과 통신을 행하는 것이 가능한 통신부와, 복수의 상기 화상 센서 각각으로부터 취득된 상기 부가 데이터에 포함되는 상기 영역 정보에 의거하여 복수의 상기 화상 센서 각각으로부터 취득된 상기 영역 화상 데이터를 상기 영역마다 대응시켜서 처리하는 처리부를 구비하고, 상기 영역 정보에는, 상기 영역의 식별 정보, 상기 영역의 위치를 나타내는 정보 및 상기 영역의 크기를 나타내는 정보 중의 일부 또는 전부가 포함되는 화상 처리 시스템이 제공된다.
본 개시에 의하면, 복수의 화상 센서로부터 각각 얻어지는 화상을 대응시켜서 처리할 수 있다.
또한, 상기한 효과는 반드시 한정적인 것이 아니라, 상기한 효과와 함께, 또는 상기한 효과에 대신하여 본 명세서에 나타난 어느 하나의 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 이루어져도 좋다.
도 1은 본 실시 형태에 관한 화상 처리 시스템의 구성의 한 예를 도시하는 설명도.
도 2는 MIPI CSI-2 규격에서 정해지는 패킷의 포맷을 도시하는 설명도.
도 3은 MIPI CSI-2 규격에서 정해지는 패킷의 포맷을 도시하는 설명도.
도 4는 MIPI CSI-2 규격에서의 패킷의 송신에 관한 신호 파형의 한 예를 도시하는 설명도.
도 5는 화상에 대해 설정되는 영역의 한 예를 도시하는 설명도.
도 6은 본 실시 형태에 관한 전송 방법에 관한 제1의 전송 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 7은 본 실시 형태에 관한 제1의 전송 방식에 의해 송신되는 Embedded Data의 한 예를 설명하기 위한 설명도.
도 8은 도 7에 도시하는 Embedded Data에 포함되는 영역 정보의 한 예를 설명하기 위한 설명도.
도 9는 화상에 대해 설정되는 영역의 다른 예를 도시하는 설명도.
도 10은 본 실시 형태에 관한 전송 방법에 관한 제2의 전송 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도.
도 11은 본 실시 형태에 관한 화상 센서의 구성의 한 예를 도시하는 블록도.
도 12는 본 실시 형태에 관한 화상 처리 장치의 구성의 한 예를 도시하는 블록도.
도 13은 본 실시 형태에 관한 화상 처리 장치가 구비하는 통신 회로의 기능 구성의 한 예를 도시하는 블록도.
도 14는 본 실시 형태에 관한 화상 처리 장치가 구비하는 화상 처리 회로의 기능 구성의 한 예를 도시하는 블록도.
도 15는 본 실시 형태에 관한 화상 처리 시스템에서의 처리의 한 예를 설명하기 위한 설명도.
도 16은 본 실시 형태에 관한 화상 처리 시스템에서의 처리의 한 예를 설명하기 위한 설명도.
도 17은 본 실시 형태에 관한 화상 처리 시스템에서의 처리의 한 예를 설명하기 위한 설명도.
이하에 첨부 도면을 참조하면서, 본 개시의 알맞은 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는 동일한 부호를 붙임에 의해 중복 설명을 생략한다.
또한, 이하에서는 하기에 도시하는 순서로 설명을 행한다.
1. 본 실시 형태에 관한 전송 방법, 본 실시 형태에 관한 화상 처리 방법 및 본 실시 형태에 관한 화상 처리 시스템
[1] 본 실시 형태에 관한 전송 방법을 적용하는 것이 가능한 화상 처리 시스템의 구성
[2] 본 실시 형태에 관한 화상 처리 시스템의 적용례
[3] 본 실시 형태에 관한 전송 방법
[4] 본 실시 형태에 관한 화상 처리 시스템을 구성하는 화상 센서, 화상 처리 장치의 구성례
[5] 본 실시 형태에 관한 화상 처리 시스템에서의 처리의 한 예
[6] 본 실시 형태에 관한 화상 처리 시스템이 이용됨에 의해 이루어지는 효과의 한 예
2. 본 실시 형태에 관한 프로그램
(본 실시 형태에 관한 전송 방법, 본 실시 형태에 관한 화상 처리 방법 및 본 실시 형태에 관한 화상 처리 시스템)
[1] 본 실시 형태에 관한 전송 방법을 적용하는 것이 가능한 화상 처리 시스템의 구성
우선, 본 실시 형태에 관한 전송 방법을 적용하는 것이 가능한 화상 처리 시스템의 구성의 한 예를 설명한다.
이하에서는 본 실시 형태에 관한 화상 처리 시스템을 구성하는 장치 사이의 통신 방식이 MIPI(Mobile Industry Processor Interface) CSI-2(Camera Serial Interface 2) 규격에 따른 통신 방식인 경우를 예로 든다. 또한, 본 실시 형태에 관한 화상 처리 시스템을 구성하는 장치 사이의 통신 방식은, MIPI CSI-2 규격에 따른 통신 방식으로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 화상 처리 시스템을 구성하는 장치 사이의 통신은, MIPI CSI-3 규격에 따른 통신 방식이나, MIPI DSI(Display Serial Interface)에 따른 통신 방식 등 MIPI 동맹에서 책정된 다른 규격이라도 좋다. 또한, 본 실시 형태에 관한 전송 방법이 적용 가능한 통신 방식이 MIPI 동맹에 있어서 책정된 규격에 관한 통신 방식으로 한정되지 않음은 말할 필요도 없다.
도 1은, 본 실시 형태에 관한 화상 처리 시스템(1000)의 구성의 한 예를 도시하는 설명도이다. 화상 처리 시스템(1000)으로서는 예를 들면, 스마트폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체 등을 들 수 있다. 또한, 화상 처리 시스템(1000)의 적용례는 상기에 나타내는 예로 한정되지 않는다. 화상 처리 시스템(1000)의 다른 적용례에 관해서는 후술한다.
화상 처리 시스템(1000)은, 예를 들면, 화상 센서(100A, 100B)와, 화상 처리 장치(200)와, 메모리(300)와, 표시 디바이스(400)를 갖는다. 이하에서는 화상 센서(100A, 100B) 각각을 총칭하여 또는, 화상 센서(100A, 100B) 중의 하나의 화상 센서를 가리켜서 「화상 센서(100)」로 나타낸다.
화상 센서(100)는, 촬상 기능과 송신 기능을 가지고, 촬상에 의해 생성한 화상을 나타내는 데이터를 송신한다. 화상 처리 장치(200)는, 화상 센서(100)로부터 송신된 데이터를 수신하고, 수신된 데이터를 처리한다. 즉, 화상 처리 시스템(1000)에서, 화상 센서(100)는 송신 장치의 역할을 다하고, 화상 처리 장치(200)는 수신 장치의 역할을 다한다.
또한, 도 1에서는 2개의 화상 센서(100)를 갖는 화상 처리 시스템(1000)을 나타내고 있는데, 본 실시 형태에 관한 화상 처리 시스템이 가지는 화상 센서(100)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 화상 처리 시스템은, 3개 이상의 화상 센서(100)를 갖고 있어도 좋다.
또한, 본 실시 형태에 관한 화상 처리 시스템에서는 복수의 화상 센서(100)가 모듈화되어 있어도 좋다. 복수의 화상 센서(100)가 모듈화되어 있는 화상 센서 모듈에는, 예를 들면, 복수의 화상 센서(100)와, 화상 센서 모듈용의 프로세서(도시 생략)와, 당해 프로세서가 데이터를 판독하는 것이 가능한 기록 매체가 마련되어진다. 화상 센서 모듈을 구성하는 상기 기록 매체에는, 예를 들면, 화상 센서 모듈을 구성하는 화상 센서(100)의 화각에 관한 정보(예를 들면 화각을 나타내는 데이터 등) 등이 기록된다. 그리고, 화상 센서 모듈을 구성하는 상기 프로세서는 임의의 전송로에 의해 화각에 관한 정보를 화상 처리 장치(200)에 송신한다.
또한, 도 1에서는 하나의 화상 처리 장치(200)를 갖는 화상 처리 시스템(1000)을 나타내고 있는데, 본 실시 형태에 관한 화상 처리 시스템이 가지는 화상 처리 장치(200)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 화상 처리 시스템은, 2개 이상의 화상 처리 장치(200)를 갖고 있어도 좋다. 복수의 화상 처리 장치(200)를 갖는 화상 처리 시스템에서는 화상 처리 장치(200) 각각에 복수의 화상 센서(100)가 대응한다. 화상 센서(100) 및 화상 처리 장치(200) 각각을 복수 가지는 화상 처리 시스템에서도, 도 1에 도시하는 화상 처리 시스템(1000)과 마찬가지로, 화상 센서(100) 각각과 화상 처리 장치(200)와의 사이에서 통신이 행해진다.
화상 센서(100)와 화상 처리 장치(200)는, 데이터 버스(B1)에 의해 전기적으로 접속된다. 데이터 버스(B1)는, 화상 센서(100)와 화상 처리 장치(200)를 접속하는 하나의 신호의 전송로이다. 예를 들면, 화상 센서(100)로부터 송신되는 화상을 나타내는 데이터(이하, 「화상 데이터」로 나타내는 경우가 있다.)는, 화상 센서(100)로부터 화상 처리 장치(200)에 데이터 버스(B1)를 통하여 전송된다.
화상 처리 시스템(1000)에서 데이터 버스(B1)에 의해 전송된 신호는, 예를 들면, MIPI CSI-2 규격 등의 소정의 규격에 따른 통신 방식으로 전송된다.
도 2, 도 3은, MIPI CSI-2 규격에서 정해지는 패킷의 포맷을 도시하는 설명도이다. 도 2는, MIPI CSI-2 규격에서 정해져 있는 쇼트 패킷(Short Packet)의 포맷을 나타내고 있고, 도 3은, MIPI CSI-2 규격에서 정해져 있는 롱 패킷(Long Packet)의 포맷을 나타내고 있다.
롱 패킷은, 패킷 헤더(도 3에 도시하는 "PH"), 페이로드(도 3에 도시하는 "Payload Data") 및 패킷 푸터(도 3에 도시하는 "PF")로 이루어지는 데이터이다. 쇼트 패킷은, 도 2에 도시하는 바와 같이 패킷 헤더(도 3에 도시하는 "PH")와 같은 구조를 갖는 데이터이다.
쇼트 패킷과 롱 패킷에는, 모두 헤더 부분에 VC(Virtual Channel) 번호(도 2, 도 3에 도시하는 "VC". VC값)가 기록되고 패킷마다 임의의 VC 번호가 부여될 수 있다. 동일한 VC 번호가 부여된 패킷은, 같은 화상 데이터에 속하는 패킷으로서 취급된다.
또한, 쇼트 패킷과 롱 패킷에는, 모두 헤더 부분에 DT(Data Type)값(도 2, 도 3에 도시하는 "Data Type")이 기록된다. 그때문에, VC 번호와 마찬가지로, 동일한 DT 값이 부여된 패킷을 같은 화상 데이터에 속하는 패킷으로서 취급하는 것도 가능하다.
롱 패킷의 헤더 부분의 Word Count에는, 패킷의 끝이 워드 수로 기록된다. 쇼트 패킷과 롱 패킷의 헤더 부분의 ECC에는, 오류 정정 부호(Error Correcting Code)가 기록된다.
MIPI CSI-2 규격에서는 데이터 신호를 전송하는 기간에서는 고속 차동 신호가 이용되고 또한, 데이터 신호의 블랭킹 기간에서는 저전력 신호가 이용된다. 또한, 고속 차동 신호가 이용되는 기간은, HPS(High Speed State)의 기간으로 불리고, 저전력 신호가 이용되는 기간은, LPS(Low Power State)의 기간으로 불린다.
도 4는, MIPI CSI-2 규격에서의 패킷의 송신에 관한 신호 파형의 한 예를 도시하는 설명도이다. 도 4의 A는, 패킷의 전송의 한 예를 도시하고 있고, 도 4의 B는, 패킷의 전송의 다른 예를 도시하고 있다. 도 4에 도시하는 "ST", "ET", "PH", "PF", "SP", "PS"는, 각각 하기를 의미한다.
·ST: Start of Transmission
·ET: End of Transmission
·PH: Packet Header
·PF: Packet Footer
·SP: Short Packet
·PS: Packet Spacing
도 4에 도시하는 바와 같이 LPS의 기간에서의 차동 신호(도 4에 도시하는 "LPS")와, HPS의 기간에서의 차동 신호(도 4에 도시하는 "LPS" 이외)에서는 차동 신호의 진폭이 다른 것을 알 수 있다. 그때문에, 전송 효율을 향상시키는 관점에서는 가능한 한 LPS의 기간이 들어가지 않는 것이 바람직하다.
화상 센서(100)와 화상 처리 장치(200)는, 예를 들면, 데이터 버스(B1)와는 다른 제어 버스(B2)에 의해 전기적으로 접속된다. 제어 버스(B2)는, 화상 센서(100)와 화상 처리 장치(200)를 접속하는 다른 신호의 전송로이다. 예를 들면, 화상 처리 장치(200)로부터 출력된 제어 정보가 화상 처리 장치(200)로부터 화상 센서(100)로 제어 버스(B2)를 통하여 전송된다.
제어 정보에는, 예를 들면, 제어를 위한 정보와 처리 명령이 포함된다. 제어를 위한 정보로서는 예를 들면, 화상 사이즈를 나타내는 데이터, 프레임 레이트를 나타내는 데이터, 화상의 출력 명령이 수신되고 나서 화상을 출력할 때까지의 출력 지연량을 나타내는 데이터 중의 1 또는 2 이상 등 화상 센서(100)에서의 기능을 제어하기 위한 데이터를 들 수 있다. 또한, 제어 정보에는, 화상 센서(100)를 나타내는 식별 정보가 포함되어 있어도 좋다. 식별 정보로서는 예를 들면, 화상 센서(100)에 설정되어 있는 ID 등의 화상 센서(100)를 특정하는 것이 가능한 임의의 데이터를 들 수 있다.
또한, 제어 버스(B2)를 통하여 화상 처리 장치(200)로부터 화상 센서(100)에 전송되는 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 화상 처리 장치(200)는, 화상에서의 영역을 지정하는 영역 지정 정보를 제어 버스(B2)를 통하여 전송해도 좋다. 영역 지정 정보로서는 영역에 포함되는 화소의 위치를 나타내는 데이터(예를 들면, 영역에 포함되는 화소의 위치가 좌표로 표시되는 좌표 데이터 등) 등 영역을 특정하는 것이 가능한 임의의 형식의 데이터를 들 수 있다.
도 1에서는 화상 센서(100)와 화상 처리 장치(200)가 제어 버스(B2)에 의해 전기적으로 접속되어 있는 예를 도시하고 있는데, 화상 센서(100)와 화상 처리 장치(200)는, 제어 버스(B2)로 접속되어 있지 않아도 좋다. 예를 들면, 화상 센서(100)와 화상 처리 장치(200)는, 임의의 통신 방식의 무선 통신에 의해 제어 정보 등을 송수신해도 좋다.
또한, 도 1에서는 화상 센서(100A)와 화상 센서(100B)가 전기적으로 접속되어 있지 않지만, 화상 센서(100A)와 화상 센서(100B)는, 임의의 통신 방식으로 통신을 행하는 것이 가능한 전송로에 의해 전기적으로 접속되어 있어도 좋다. 화상 센서(100A)와 화상 센서(100B)가 전기적으로 접속되어 있는 경우에는, 화상 센서(100A)와 화상 센서(100B)는, 직접적으로 통신을 행하는 것이 가능하다. 한 예를 들면, 화상 센서(100A)와 화상 센서(100B)는, 예를 들면, 각각이 구비하는 프로세서 사이의 전송로로 통신을 행하는 프로세서 사이 통신에 의해 통신을 행하는 것이 가능하다. 또한, 도 1에 도시하는 바와 같이 화상 센서(100A)와 화상 센서(100B)가 전기적으로 접속되어 있지 않은 경우라도, 화상 센서(100A)와 화상 센서(100B)는, 화상 처리 장치(200)를 통하여 통신을 행하는 것이 가능하다.
이하, 도 1에 도시하는 화상 처리 시스템(1000)을 구성하는 각 장치에 관해, 설명한다.
[1-1] 메모리(300)
메모리(300)는, 화상 처리 시스템(1000)이 가지는 기록 매체이다. 메모리(300)로서는 예를 들면, RAM(Random Access Memory) 등의 휘발성 메모리나, 플래시 메모리 등의 불휘발성 메모리 등을 들 수 있다. 메모리(300)는, 배터리 등의 화상 처리 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 화상 처리 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
메모리(300)에는, 예를 들면, 화상 센서(100)로부터 출력된 화상이 기억된다. 메모리(300)에의 화상의 기록은, 예를 들면 화상 처리 장치(200)에 의해 제어된다.
[1-2] 표시 디바이스(400)
표시 디바이스(400)는, 화상 처리 시스템(1000)이 가지는 표시 디바이스이다. 표시 디바이스(400)로서는 예를 들면, 액정 디스플레이나 유기 EL 디스플레이(Organic Electro-Luminescence Display) 등을 들 수 있다. 표시 디바이스(400)는, 배터리 등의 화상 처리 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 화상 처리 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
표시 디바이스(400)의 표시 화면에는, 예를 들면, 화상 센서(100)로부터 출력된 화상이나, 화상 처리 장치(200)에서 실행되는 어플리케이션에 관한 화면, UI(User Interface)에 관한 화면 등 다양한 화상이나 화면이 표시된다. 표시 디바이스(400)의 표시 화면에의 화상 등의 표시는, 예를 들면 화상 처리 장치(200)에 의해 제어된다.
[1-3] 화상 센서(100)
화상 센서(100)는, 촬상 기능과 송신 기능을 가지고, 촬상에 의해 생성한 화상을 나타내는 데이터를 송신한다. 상술한 바와 같이 화상 센서(100)는, 화상 처리 시스템(1000)에서 송신 장치의 역할을 다한다.
화상 센서(100)는, 예를 들면, "디지털 스틸 카메라나 디지털 비디오 카메라, 스테레오 카메라 등의 촬상 디바이스"나, "적외선 센서", "거리 화상 센서" 등의 화상을 생성하는 것이 가능한 임의의 방식의 화상 센서 디바이스를 포함하고, 생성된 화상을 송신하는 기능을 갖는다. 화상 센서(100)에서 생성되는 화상은, 화상 센서(100)에서의 센싱 결과를 나타내는 데이터에 해당한다. 화상 센서(100)의 구성의 한 예에 관해서는 후술한다.
화상 센서(100)는, 후술하는 본 실시 형태에 관한 전송 방법에 의해 화상에 대해 설정되는 영역에 대응하는 화상 데이터(이하 「영역 화상 데이터」로 나타낸다.)를 송신한다. 영역 화상 데이터의 송신에 관한 제어는, 예를 들면, 화상 센서(100)에서의 화상 처리부로서 기능하는 구성 요소(후술한다)에 의해 행해진다. 화상에 대해 설정되는 영역은, ROI(Region Of Interest)로 불리는 경우가 있다. 이하에서는 화상에 대해 설정되는 영역을 「ROI」로 나타내는 경우가 있다.
화상에 대한 영역의 설정에 관한 처리로서는 예를 들면, "화상으로부터 물체를 검출하고, 검출된 물체를 포함하는 영역을 설정하는 처리", "임의의 조작 디바이스에 대한 조작 등에 의해 지정된 영역을 설정하는 처리" 등 화상에서의 일부의 영역을 특정하는 것이 가능한 임의의 처리(또는, 화상으로부터 일부의 영역을 절출하는 것이 가능한 임의의 처리)를 들 수 있다.
화상에 대한 영역의 설정에 관한 처리는, 화상 센서(100)가 행해도 좋고, 화상 처리 장치(200) 등의 외부 장치에서 행해져도 좋다. 화상 센서(100)가 화상에 대한 영역의 설정에 관한 처리를 행하는 경우, 화상 센서(100)는, 화상에 대한 영역의 설정에 관한 처리의 결과에 따라 영역을 특정한다. 또한, 예를 들면, 화상에 대한 영역의 설정에 관한 처리가 외부 장치에서 행해지는 경우, 화상 센서(100)는, 외부 장치로부터 취득되는 영역 지정 정보에 의거하여 영역을 특정한다.
화상 센서(100)가 영역 화상 데이터를 송신하는 것, 즉, 화상의 일부의 데이터를 송신함에 의해 화상 전체를 전송하는 것보다도 전송에 관한 데이터량이 작아진다. 따라서, 화상 센서(100)가 영역 화상 데이터를 송신함에 의해 예를 들면, 전송 시간이 단축되는 화상 처리 시스템(1000)에서의 전송에 관한 부하가 저감되는 등 데이터량이 저감됨에 의해 이루어지는 다양한 효과가 이루어진다.
또한, 화상 센서(100)는, 화상 전체를 나타내는 데이터를 송신하는 것도 가능하다.
화상 센서(100)가 영역 화상 데이터를 송신하는 기능 및 화상 전체를 나타내는 데이터를 송신하는 기능을 갖고 있는 경우, 화상 센서(100)는, 영역 화상 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것을 선택적으로 전환하여 행하는 것이 가능하다.
화상 센서(100)는, 예를 들면, 설정되어 있는 동작 모드에 의해 영역 화상 데이터를 송신하고, 또는, 화상 전체를 나타내는 데이터를 송신한다. 동작 모드의 설정은, 예를 들면, 임의의 조작 디바이스에 대한 조작 등에 의해 행해진다.
또한, 화상 센서(100)는, 외부 장치로부터 취득되는 영역 지정 정보에 의거하여 영역 화상 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것을 선택적으로 전환해도 좋다. 화상 센서(100)는, 예를 들면, 외부 장치로부터 영역 지정 정보가 취득된 때에, 당해 영역 지정 정보에 대응하는 영역의 영역 화상 데이터를 송신하고, 외부 장치로부터 영역 지정 정보가 취득되지 않은 때에, 화상 전체를 나타내는 데이터를 송신한다.
[1-4] 화상 처리 장치(200)
화상 처리 장치(200)는, 화상 센서(100)로부터 송신된 데이터를 수신하고, 수신된 데이터를 예를 들면 본 실시 형태에 관한 화상 처리 방법에 관한 처리를 행함에 의해 처리한다. 상술한 바와 같이 화상 처리 장치(200)는, 화상 처리 시스템(1000)에서 수신 장치의 역할을 다한다. 화상 센서(100)로부터 송신된 데이터의 처리에 관한 구성(수신 장치의 역할을 다하기 위한 구성)의 한 예에 관해서는 후술한다.
화상 처리 장치(200)는, 예를 들면, MPU(Micro Processing Unit) 등의 연산 회로로 구성되는 1 또는 2 이상의 프로세서나, 각종 처리 회로 등으로 구성된다. 화상 처리 장치(200)는, 배터리 등의 화상 처리 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 화상 처리 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
화상 처리 장치(200)는, 복수의 화상 센서(100) 각각으로부터 취득된 화상 데이터를 본 실시 형태에 관한 화상 처리 방법에 관한 처리를 행함에 의해 처리한다.
화상 처리 시스템(1000)에서는 화상 센서(100)는, 후술하는 전송 방법에 관한 전송 방식에 의해 영역 화상 데이터를 전송한다. 화상 처리 장치(200)는, 복수의 화상 센서(100)로부터 각각 취득된 영역 화상 데이터를 화상에 대해 설정되는 영역마다 대응시켜서 처리한다.
보다 구체적으로는, 화상 처리 장치(200)는, 예를 들면, 복수의 화상 센서(100) 각각으로부터 취득된 영역 화상 데이터가 나타내는 화상을 영역마다 합성한다.
이때, 화상 처리 장치(200)는, 합성하는 대상의 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 합쳐서 합성한다. 화상 처리 장치(200)는, 예를 들면, 영역 화상 데이터를 송신한 화상 센서(100) 각각으로부터 취득되는 화각에 관한 정보(또는, 상술한 화상 센서 모듈로부터 취득되는 화각에 관한 정보. 이하, 마찬가지로 한다.)에 의거하여 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 맞춘다. 또한, 화상 처리 장치(200)는, 영역 화상 데이터가 나타내는 화상 각각에 대해 임의의 오브젝트 검출 처리를 시행하고, 대응하는 오브젝트를 검출함에 의해 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 합쳐도 좋다.
또한, 복수의 화상 센서(100)로부터 각각 취득된 영역 화상 데이터를 영역마다 대응시키는 처리는, 상기에 나타내는 예로 한정되지 않는다.
예를 들면, 화상 처리 장치(200)는, 영역 화상 데이터가 나타내는 화상을 신호 레벨을 맞추어서 합성해도 좋다. 화상 처리 장치(200)는, 예를 들면 "복수의 화상 센서(100)로부터 각각 취득되는 화상 센서(100)에서의 촬상에 관한 정보(후술한다)에 의거하여 영역 화상 데이터를 송신한 화상 센서(100) 각각의 감도비를 보정하는 보정 게인을 구하는 것"에 의해 신호 레벨을 맞춘 합성을 실현한다. 여기서, 화상 센서(100)의 감도로서는 예를 들면 화상 센서(100)가 구비하는 화상 센서 디바이스의 광전변환률을 들 수 있다.
또한, 화상 처리 장치(200)에서의 처리는, 상기에 나타내는 예로 한정되지 않는다.
예를 들면, 화상 처리 장치(200)는, RGB 처리, YC 처리, Gamma 처리 등 화상 데이터에 대해 행하는 것이 가능한 임의의 처리를 행하는 것이 가능하다.
또한, 화상 처리 장치(200)는, 예를 들면, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리, 임의의 어플리케이션 소프트웨어를 실행하는 처리 등 다양한 처리를 행한다. 기록 제어에 관한 처리로서는 예를 들면 "기록 명령을 포함하는 제어 데이터와 기록 매체에 기록시키는 데이터를 메모리(300) 등의 기록 매체에 전달하는 처리"를 들 수 있다. 또한, 표시 제어에 관한 처리로서는 예를 들면 "표시 명령을 포함하는 제어 데이터와 표시 화면에 표시시키는 데이터를 표시 디바이스(400) 등의 표시 디바이스에 전달하는 처리"를 열거할 수 있다.
또한, 화상 처리 장치(200)는, 예를 들면, 화상 센서(100)에 대해 제어 정보를 송신함에 의해 화상 센서(100)에서의 기능을 제어해도 좋다. 화상 처리 장치(200)는, 예를 들면, 화상 센서(100)에 대해 영역 지정 정보를 송신함에 의해 화상 센서(100)로부터 송신되는 데이터를 제어하는 것도 가능하다.
화상 처리 장치(200)의 구성의 한 예에 관해서는 후술한다.
화상 처리 시스템(1000)은, 예를 들면 도 1에 도시하는 구성을 갖는다. 또한, 본 실시 형태에 관한 화상 처리 시스템의 구성은, 도 1에 도시하는 예로 한정되지 않는다.
예를 들면, 화상 처리 시스템의 외부의 기록 매체에 화상 센서(100)로부터 송신되는 화상이 기억되는 경우, 화상 센서(100)로부터 송신되는 화상이 화상 처리 장치(200)가 구비하는 메모리에 기억되는 경우, 또는, 화상 센서(100)로부터 송신되는 화상이 기록되지 않는 경우 등에는, 본 실시 형태에 관한 화상 처리 시스템은 메모리(300)를 갖고 있지 않아도 좋다.
또한, 본 실시 형태에 관한 화상 처리 시스템은, 도 1에 도시하는 표시 디바이스(400)를 갖지 않는 구성을 취하는 것이 가능하다.
또한, 본 실시 형태에 관한 화상 처리 시스템은, 후술하는 본 실시 형태에 관한 화상 처리 시스템이 적용되는 전자 기기가 가지는 기능에 따른 임의의 구성을 갖고 있어도 좋다.
[2] 본 실시 형태에 관한 화상 처리 시스템의 적용례
이상, 본 실시 형태로서, 화상 처리 시스템을 들어 설명했지만, 본 실시 형태는, 이러한 형태로 한정되지 않는다. 본 실시 형태는, 예를 들면, 스마트폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체, PC(Personal Computer) 등의 컴퓨터, 태블릿형의 장치, 게임기 등 다양한 전자 기기에 적용할 수 있다.
[3] 본 실시 형태에 관한 전송 방법
다음에, 본 실시 형태에 관한 전송 방법을 설명한다. 이하에서는 본 실시 형태에 관한 전송 방법이 화상 센서(100)에 적용되는 경우를 예로 든다.
(1) 제1의 전송 방식
도 5는, 화상에 대해 설정되는 영역의 한 예를 도시하는 설명도이다. 도 5에서는 영역의 예로서, 영역(1), 영역(2), 영역(3) 및 영역(4)이라는 4개의 영역을 나타내고 있다. 또한, 화상에 대해 설정되는 영역이 도 5에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
화상 센서(100)는, 예를 들면, "도 5에 도시하는 영역(1)∼영역(4)과 같은 화상에 대해 설정되는 영역에 대응하는 영역 정보를 영역마다 포함하는 부가 데이터"와, "영역에 대응하는 행마다(라인)의 화상을 나타내는 영역 화상 데이터"를 다른 패킷으로 송신한다. 화상에서의 행이란, 화소의 위치를 2차원 평면 좌표(x, y)로 나타내는 때, y좌표가 동일한 것을 말한다.
본 실시 형태에 관한 영역 정보란, 화상에 대해 설정되는 영역을 수신 장치측에서 특정하기 위한 데이터(데이터군)이다. 영역 정보에는, 예를 들면, 영역의 식별 정보, 영역의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보 중의 일부 또는 전부가 포함된다.
또한, 영역 정보에 포함되는 정보는, 상기에 나타내는 예로 한정되지 않는다. 영역 정보에는, 화상에 대해 설정되는 영역을 수신 장치측으로 특정하기 위한 임의의 정보가 포함되어 있어도 좋다. 예를 들면, VC 번호로 영역이 분류되는 경우, VC 번호가 행에 포함되는 영역의 식별 정보의 역할을 다해도 좋다. 또한, VC 번호로 영역이 분류된 경우, 페이로드 길이를 행에 포함되는 영역의 크기를 나타내는 정보로서 대용하는 것이 가능하다.
영역의 식별 정보로서는 예를 들면, 영역에 부착된 번호 등의 영역의 ID를 나타내는 데이터 등 영역을 일의적으로 특정하는 것이 가능한 임의의 데이터를 들 수 있다. 이하에서는 영역의 식별 정보를 「ROI ID」로 나타내는 경우가 있다.
영역의 위치를 나타내는 정보는, 화상에서의 영역의 위치를 나타내는 데이터이다. 영역의 위치를 나타내는 정보로서는 예를 들면, 화상에서의 영역의 좌상의 위치를 2차원 평면 좌표(x, y)로 나타내는 데이터 등 "영역의 크기를 나타내는 정보가 나타내는 영역의 크기와 조합시킴에 의해 영역을 일의적으로 특정하는 것이 가능한 임의의 위치를 나타내는 데이터"를 들 수 있다.
영역의 크기를 나타내는 정보로서는 영역의 행수를 나타내는 데이터(영역의 수직 방향의 화소수를 나타내는 데이터)와, 영역의 열수를 나타내는 데이터(영역의 수평 방향의 화소수를 나타내는 데이터)를 들 수 있다. 또한, 영역의 크기를 나타내는 정보는, 사각형의 영역을 나타내는 데이터(예를 들면, 당해 사각형의 영역에서, 수평 방향의 화소수 및 수직 방향의 화소수를 나타내는 데이터) 등 영역의 크기를 특정하는 것이 가능한 임의의 형식의 데이터라도 좋다.
이하, 화상 센서(100)에서의 제1의 전송 방식에 관한 처리의 한 예를 설명한다.
화상 센서(100)는, 영역 정보를 하나의 패킷의 "Embedded Data"에 격납하여 송신시킨다. 또한, 화상 센서(100)는, 영역 화상 데이터를 다른 패킷의 페이로드에 격납하여 행마다 송신시킨다.
"Embedded Data"는, 전송되는 패킷에 매입하는 것의 가능한 데이터이고, 화상 센서(100)가 부가적으로 송신하는 부가 데이터에 해당한다. 이하에서는 Embedded Data를 「EBD」로 나타내는 경우가 있다.
도 6은, 본 실시 형태에 관한 전송 방법에 관한 제1의 전송 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이다. 도 6은, "도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 정보가 MIPI의 롱 패킷의 페이로드에 "Embedded Data"로서 격납되고 영역 화상 데이터가 도 3에 도시하는 MIPI의 롱 패킷의 페이로드에 격납되어 행마다 전송되는 예"를 나타내고 있다.
도 6에 도시하는 "FS"는, MIPI CSI-2 규격에서의 FS(Frame Start) 패킷이고, 도 6에 도시하는 "FE"는, MIPI CSI-2 규격에서의 FE(Frame End) 패킷이다(다른 도면에서도 마찬가지이다).
도 6에 도시하는 "Embedded Data"는, 상술한 바와 같이 전송되는 패킷에 매입하는 것의 가능한 데이터이다. "Embedded Data"는, 예를 들면, 전송되는 패킷의 헤더, 페이로드, 또는, 푸터에 매입하는 것이 가능하다. 도 6에 도시하는 예로는, 하나의 패킷의 "Embedded Data"에 영역 정보가 격납되고 영역 정보가 격납되는 "Embedded Data"는, 부가 데이터에 해당한다.
또한, 본 실시 형태에 관한 부가 데이터에 포함되는 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 부가 데이터에는, 화상 센서(100)에서의 촬상에 관한 정보가 포함되어 있어도 좋다. 화상 센서(100)에서의 촬상에 관한 정보로서는 예를 들면, 화상 센서 디바이스에서의 노출치 등을 나타내는 노광 정보, 화상 센서 디바이스에서의 게인을 나타내는 게인 정보 및 화상 센서 디바이스에서의 광전변환률을 나타내는 감도 정보 중의 일부 또는 전부를 들 수 있다. 노광 정보가 나타내는 노광치 및 게인 정보가 나타내는 게인 각각은, 예를 들면 제어 버스(B2)를 통한 화상 처리 장치(200)에 의한 제어에 의해 화상 센서 디바이스에 설정된다.
도 7은, 본 실시 형태에 관한 제1의 전송 방식에 의해 송신되는 Embedded Data의 한 예를 설명하기 위한 설명도이다. 도 7에 도시하는 PH 이후의 데이터가 도 6에 도시하는 Embedded Data의 한 예이다.
Embedded Data에서는 예를 들면 "Data Format Code"에 의해 Embedded Data에 포함되는 데이터의 종류가 규정된다.
도 7에 도시하는 예에서는 "Data Format Code" 이후의 "1st ROI Info", "2nd ROI Info", … 각각이 영역 정보의 한 예에 해당한다. 즉, 도 7에 도시하는 Embedded Data는, 영역 정보를 포함하는 부가 데이터의 한 예이다.
도 7에 도시하는 영역 정보로는, 예를 들면 "Value"에, 영역의 식별 정보, 영역의 위치를 나타내는 정보 및 영역의 크기를 나타내는 정보가 포함된다. 또한, "Value"에는, 화상 센서(100)에서의 촬상에 관한 정보가 포함되어 있어도 좋다. 도 7에 도시하는 영역 정보에서는 예를 들면 "Length"에 의해 Embedded Data에 포함되는 다른 영역 정보와의 경계가 규정된다.
도 8은, 도 7에 도시하는 Embedded Data에 포함되는 영역 정보의 한 예를 설명하기 위한 설명도이다. 도 8에 도시하는 "ROI ID"가 영역의 식별 정보에 해당하고, 도 8에 도시하는 "Upper Left Coordinate"가 영역의 위치를 나타내는 정보에 해당한다. 또한, 도 8에 도시하는 "Height" 및 "Width"가 영역의 크기를 나타내는 정보에 해당한다.
또한, 영역 정보의 데이터 구성례 및 Embedded Data에 포함되는 데이터가 도 7, 도 8에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
재차 도 6을 참조하여 제1의 전송 방식에 의해 송신되는 데이터의 한 예를 설명한다. 도 6에 도시하는 "1", "2", "3" 및 "4"각각은, 패킷의 페이로드에 격납되는 영역(1)의 영역 화상 데이터, 영역(2)의 영역 화상 데이터, 영역(3)의 영역 화상 데이터 및 영역(4)의 영역 화상 데이터에 해당한다. 또한, 도 6에서는 각 영역 화상 데이터가 단락되어 나타나 있는데, 이것은 편의상 단락을 나타냈던 것이고, 페이로드에 격납되는 데이터에 단락은 없다.
제1의 전송 방식에서는 도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 정보는, 도 7에 도시하는 바와 같이 하나의 패킷의 "Embedded Data"에 격납하여 전송된다. 또한, 제1의 전송 방식에서는 도 5에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 화상 데이터는, 도 6에 도시하는 바와 같이 MIPI의 롱 패킷의 페이로드에 격납되어, 행마다 전송된다.
(2) 제2의 전송 방식
또한, 본 실시 형태에 관한 화상 처리 시스템(1000)에 적용하는 것이 가능한 전송 방법은, 상기 제1의 전송 방식에 관한 전송 방법으로 한정되지 않는다.
예를 들면, 화상 센서(100)는, 영역 정보와 영역 화상 데이터를 패킷의 페이로드에 격납하여 행마다 송신시켜도 좋다.
도 9는, 화상에 대해 설정되는 영역의 다른 예를 도시하는 설명도이다. 도 9에서는 영역의 예로서, 영역(1), 영역(2), 영역(3) 및 영역(4)이라는 4개의 영역을 나타내고 있다.
도 10은, 본 실시 형태에 관한 전송 방법에 관한 제2의 전송 방식에 의해 송신되는 데이터의 한 예를 도시하는 설명도이다. 도 10은, "도 9에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 정보 및 영역 화상 데이터가 도 3에 도시하는 MIPI의 롱 패킷의 페이로드에 격납하고, 행마다 송신되는 예"를 나타내고 있다.
도 10에 도시하는 "PH"는, 롱 패킷의 패킷 헤더이다. 여기서, 제2의 전송 방식에 관한 롱 패킷의 패킷 헤더는, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는지의 여부를 나타내는 데이터(변화 정보)로서, 기능해도 좋다. 즉, 도 10에 도시하는 "PH"는, 롱 패킷의 데이터 타입을 나타내는 하나의 데이터라고 말할 수 있다.
한 예를 들면, 화상 센서(100)는, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는 경우, "PH"에 "0x38"를 설정한다. 이 경우, 화상 센서(100)는, 영역 정보를 롱 패킷의 페이로드에 격납한다.
다른 예를 들면, 화상 센서(100)는, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하지 않는 경우, "PH"에 "0x39"를 설정한다. 이 경우, 화상 센서(100)는, 영역 정보를 롱 패킷의 페이로드에 격납하지 않는다. 즉, 영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하지 않는 경우, 화상 센서(100)는, 영역 정보를 송신시키지 않는다.
또한, "PH"에 설정되는 데이터가 상기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
도 10에 도시하는 "Info"는, 페이로드에 격납된 영역 정보이다. 도 10에 도시하는 바와 같이 영역 정보는, 페이로드의 선두 부분에 격납된다.
도 10에 도시하는 "1", "2", "3" 및 "4" 각각은, 페이로드에 격납되는 영역(1)의 영역 화상 데이터, 영역(2)의 영역 화상 데이터, 영역(3)의 영역 화상 데이터 및 영역(4)의 영역 화상 데이터에 해당하다. 또한, 도 10에서는 각 영역 화상 데이터가 단락되어 나타나 있는데, 이것은 편의상 단락을 나타낸 것이고, 페이로드에 격납되는 데이터에 단락은 없다.
제2의 전송 방식에서는 도 9에 도시하는 영역(1), 영역(2), 영역(3) 및 영역(4) 각각에 대응하는 영역 정보 및 영역 화상 데이터는, 예를 들면 도 10에 도시하는 바와 같이 MIPI의 롱 패킷의 페이로드에 격납되고 행마다 송신된다.
따라서, 제2의 전송 방식이 이용되는 경우에는, 화상 센서(100)는, 화상에 설정되는 임의의 영역의 형상을 전송 가능하다.
[4] 본 실시 형태에 관한 화상 처리 시스템을 구성하는 화상 센서, 화상 처리 장치의 구성례
다음에, 상술한 전송 방법에 관한 처리를 시행하는 것이 가능한 화상 센서(100)의 구성의 한 예와, 상술한 화상 처리 방법에 관한 처리를 시행하는 것이 가능한 화상 처리 장치(200)의 구성의 한 예를 설명한다.
[4-1] 화상 센서(100)의 구성
도 11은, 본 실시 형태에 관한 화상 센서(100)의 구성의 한 예를 도시하는 블록도이다. 화상 센서(100)는, 예를 들면, 광전변환부(102)와, 신호 처리부(104)와, 통신부(106)와, 제어부(108)를 구비한다. 화상 센서(100)는, 배터리 등의 화상 처리 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 화상 처리 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
광전변환부(102)는, 렌즈/촬상 소자(150)로 구성되고 신호 처리부(104)는, 신호 처리 회로(152)로 구성된다. 렌즈/촬상 소자(150)와 신호 처리 회로(152)는, 화상 센서(100)에서의 화상 센서 디바이스로서 기능한다. 또한, 화상 처리 시스템(1000)에서는 모든 화상 센서(100)가 동종의 화상 센서 디바이스를 구비하고 있어도 좋고, 일부의 화상 센서(100)가 이종의 화상 센서 디바이스를 구비하고 있어도 좋다. 이종의 화상 센서 디바이스를 구비하는 화상 센서(100)의 한 예로서는 예를 들면, 컬러 화상을 촬상하는 화상 센서 디바이스를 구비하는 화상 센서(100)와, 흑백 화상을 촬상하는 화상 센서 디바이스를 구비하는 화상 센서(100)를 들 수 있다.
통신부(106)는, 통신 회로(154)로 구성되고 제어부(108)는, 프로세서(156)로 구성된다. 렌즈/촬상 소자(150), 신호 처리 회로(152) 및 통신 회로(154) 각각의 동작은, 프로세서(156)에 의해 제어된다.
또한, 도 11에 도시하는 화상 센서(100)의 기능 블록은, 화상 센서(100)가 가지는 기능을 편의상 잘라 나눈 것이고, 도 11에 도시하는 예로 한정되지 않는다. 예를 들면, 도 11에 도시하는 신호 처리부(104)와 제어부(108)를 하나의 처리부로 파악하는 것도 가능하다.
렌즈/촬상 소자(150)는, 예를 들면, 광학계의 렌즈와, CMOS(Complementary Metal Oxide Semiconductor)나 CCD(Charge Coupled Device) 등의 촬상 소자를 복수 이용한 이미지 센서로 구성된다. 렌즈/촬상 소자(150)에서는 광학계의 렌즈를 통과한 광이 이미지 센서의 촬상 소자에서 광전변환됨에 의해 촬상된 화상을 나타내는 아날로그 신호를 얻을 수 있다.
신호 처리 회로(152)는, 예를 들면, AGC(Automatic Gain Control) 회로와 ADC(Analog to Digital Converter)를 구비하고, 렌즈/촬상 소자(150)로부터 전달되는 아날로그 신호를 디지털 신호(화상 데이터)로 변환한다. 또한, 신호 처리 회로(152)는, 예를 들면 증폭기를 구비하고, 소정의 게인으로 디지털 신호를 증폭한다.
또한, 신호 처리 회로(152)는, 예를 들면, 화상에 대한 영역의 설정에 관한 처리를 행하고, 영역 지정 정보를 통신 회로(154)에 전달해도 좋다. 또한, 후술하는 바와 같이 화상 센서(100)에서 화상에 대한 영역의 설정에 관한 처리는, 프로세서(156)에서 행해져도 좋다. 또한, 상술한 바와 같이 화상 처리 시스템(1000)에서는 화상에 대한 영역의 설정에 관한 처리는, 화상 처리 장치(200) 등의 외부 장치에서 행해져도 좋다.
또한, 신호 처리 회로(152)는, 노광 정보나 게인 정보 등의 다양한 데이터를 통신 회로(154)에 전달해도 좋다. 또한, 화상 센서(100)에서, 노광 정보나 게인 정보 등의 다양한 데이터의 통신 회로(154)에의 전달은, 프로세서(156)에 의해 행해져도 좋다.
통신 회로(154)는, 본 실시 형태에 관한 전송 방법에 의한 데이터의 전송 기능에 관한 회로이고, 예를 들면, 당해 전송 기능에 관한 회로가 집적된 IC(Integrated Circuit) 칩을 들 수 있다. 통신 회로(154)는, 신호 처리 회로(152)로부터 전달되는 화상 데이터를 처리하고, 생성된 화상에 대응하는 데이터를 송신한다. 화상에 대응하는 데이터란, 신호 처리 회로(152)로부터 전달되는 화상 데이터(즉, 화상 전체를 나타내는 데이터), 또는, 영역 정보 및 영역 화상 데이터이다.
프로세서(156)는, 예를 들면, 화상 처리 장치(200)로부터 제어 버스(B2)를 통하여 전달되는 제어 신호에 의거하여 렌즈/촬상 소자(150), 신호 처리 회로(152) 및 통신 회로(154) 각각의 동작을 제어한다. 또한, 프로세서(156)가 마련된 화상 센서(100)와, 다른 화상 센서(100)가 직접적으로 통신 가능한 경우, 프로세서(156)는, 다른 화상 센서(100)로부터 임의의 전송로를 통하여 전달되는 제어 신호에 의거하여 처리를 시행하는 것도 가능하다.
프로세서(156)에서의 렌즈/촬상 소자(150)의 제어로서는 예를 들면, 노광 시간의 제어 등의 촬상의 제어를 들 수 있다. 프로세서(156)에서의 신호 처리 회로(152)의 제어로서는 예를 들면, 게인의 제어 등의 신호 처리의 제어를 들 수 있다. 프로세서(156)에서의 통신 회로(154)의 제어로서는 예를 들면, "영역 화상 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것과의 전환의 제어"나, 영역 화상 데이터를 송신할 때의 각종 제어(예를 들면, 영역 정보의 송신의 제어나, 촬상에 관한 정보의 송신의 제어 등) 등의 통신의 제어를 들 수 있다.
화상 센서(100)는, 예를 들면 도 11에 도시하는 구성에 의해 상술한 전송 방법에 관한 처리를 행한다. 또한, 화상 센서(100)의 구성이 도 11에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
[4-2] 화상 처리 장치(200)의 구성
도 12는, 본 실시 형태에 관한 화상 처리 장치(200)의 구성의 한 예를 도시하는 블록도이다. 도 12는, 도 1에 도시하는 화상 처리 시스템(1000)을 구성하는 화상 처리 장치(200)의 구성의 한 예, 즉, 화상 센서(100A, 100B)라는 2개의 화상 센서(100) 각각과 통신을 행하는 구성의 한 예를 나타내고 있다.
화상 처리 장치(200)는, 예를 들면, 통신부(202)와, 처리부(204)를 구비한다. 화상 처리 장치(200)는, 배터리 등의 화상 처리 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 화상 처리 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해 동작한다.
통신부(202)는, 복수의 화상 센서(100) 각각과 통신을 행하는 기능을 갖는다. 통신부(202)는, 예를 들면, 통신 대상의 화상 센서(100)에 각각 대응하는 통신 회로(250A, 250B)로 구성된다. 이하에서는 통신부(202)를 구성하는 통신 회로(250A, 250B) 중의 하나의 통신 회로를 가리켜서 「통신 회로(250)」로 나타낸다.
또한, 통신부(202)는, 통신 대상의 화상 센서(100)를 전환 가능해도 좋다. 도 1에 도시하는 화상 처리 시스템(1000)을 예로 들면, 통신부(202)에서의 통신 대상의 화상 센서(100)의 전환으로서는 "화상 센서(100A)만과의 통신", "화상 센서(100B)만과의 통신", 또는 "화상 센서(100A) 및 화상 센서(100B) 쌍방과의 통신"의 전환을 들 수 있다. 통신부(202)에서의 통신 대상의 화상 센서(100)의 전환은, 예를 들면, 프로세서(252)에 의해 통신 회로(250A, 250B)의 동작이 제어됨에 의해 실현된다. 프로세서(252)는, 예를 들면, 조도 센서 등의 밝기의 검출이 가능한 센서(화상 처리 장치(200)의 외부의 센서라도 좋고, 화상 처리 장치(200)가 구비하는 센서라도 좋다.)의 검출치에 의거한 임계치 처리에 의해 통신 대상의 화상 센서(100)의 전환을 행한다. 한 예를 들면, 프로세서(252)는, 검출치가 설정되어 있는 임계치 이하인 경우(또는, 검출치가 당해 임계치보다 작은 경우)에, 화상 센서(100A) 및 화상 센서(100B) 쌍방과의 통신을 행하게 한다. 다른 예를 들면, 프로세서(252)는, 상기 검출치가 상기 임계치보다 큰 경우(또는, 상기 검출치가 상기 임계치 이상인 경우)에, 화상 센서(100A) 또는 화상 센서(100B)의 일방과 통신을 행하게 한다. 상기한 바와 같이 프로세서(252)가 통신 대상의 화상 센서(100)의 전환을 행함에 의해 화상 처리 장치(200)에서의 데이터 처리량을 보다 저감시키는 것이 가능하기 때문에, 소비 전력의 저감을 도모하는 것이 가능하다.
또한, "화상 센서(100A)만과의 통신" 또는 "화상 센서(100B)만과의 통신"이 행해지는 경우, 프로세서(252)는, 통신을 행하지 않는 화상 센서(100)의 동작을 정지시켜도 좋다. 프로세서(252)는, 예를 들면, 조도 센서 등의 밝기의 검출이 가능한 센서의 검출치에 의거한 임계치 처리에 의해 통신 대상의 화상 센서(100)의 전환과, 화상 센서(100)의 동작의 정지를 행한다. 상기한 바와 같이 프로세서(252)가 화상 센서(100)의 동작을 정지시킴에 의해 화상 처리 시스템(1000)에서는 소비 전력의 저감이 도모된다.
처리부(204)는, 통신부(202)에서 수신된 데이터를 처리한다. 예를 들면, 처리부(204)는, 본 실시 형태에 관한 화상 처리 방법에 관한 처리를 행하고, 영역 정보에 의거하여 복수의 화상 센서(100) 각각으로부터 취득된 영역 화상 데이터를 영역마다 대응시켜서 처리한다. 또한, 처리부(204)는, 화상 전체를 나타내는 데이터를 처리하는 것도 가능하다.
처리부(204)는, 프로세서(252)와 화상 처리 회로(254)로 구성된다. 통신 회로(250A, 250B) 및 화상 처리 회로(254) 각각의 동작은, 프로세서(252)에 의해 제어된다. 즉, 처리부(204)는, 화상 처리 장치(200)에서의 제어부의 역할을 다하고 있어도 좋다.
또한, 처리부(204)를 구성하는 프로세서(252)는, 화상 처리 시스템(1000)을 구성하는 화상 센서(100) 각각의 동작을 제어하는 역할을 다한다. 프로세서(252)는, 제어 버스(B2)를 통하여 화상 센서(100)에 제어 신호를 송신함에 의해 화상 센서(100) 각각의 동작을 제어한다.
또한, 도 12에 도시하는 화상 처리 장치(200)의 기능 블록은, 화상 처리 장치(200)가 가지는 기능을 편의상 잘라 나눈 것이고, 도 12에 도시하는 예로 한정되지 않는다. 예를 들면, 도 12에 도시하는 처리부(204)는, 프로세서(252)로 구성된 제어부와, 화상 처리 회로(254)로 구성된 화상 처리부에 잘라 나누는 것도 가능하다.
통신 회로(250A)는, 예를 들면 화상 센서(100A)와 통신을 행하는 통신 회로이다. 통신 회로(250A)는, 화상 센서(100A)로부터 본 실시 형태에 관한 전송 방법에 의해 송신되는 데이터(예를 들면 도 6이나 도 10에 도시하는 패킷)를 수신한다. 또한, 통신 회로(250A)는, 예를 들면, 화상 센서(100A)와의 사이에서의 임의의 전송로를 통하여 화상 센서(100A)에 대해 데이터를 송신하는 기능을 갖고 있어도 좋다.
통신 회로(250B)는, 예를 들면 화상 센서(100B)와 통신을 행하는 통신 회로이다. 통신 회로(250B)는, 화상 센서(100B)로부터 본 실시 형태에 관한 전송 방법에 의해 송신되는 데이터(예를 들면 도 6이나 도 10에 도시하는 패킷)를 수신하다. 또한, 통신 회로(250B)는, 예를 들면, 화상 센서(100B)와의 사이에서의 임의의 전송로를 이용하여 화상 센서(100B)에 대해 데이터를 송신하는 기능을 갖고 있어도 좋다.
통신 회로(250A, 250B)는, 수신된 데이터 중, 영역 정보나 화상 센서(100)에서의 촬상에 관한 정보 등의 Embedded Data에 포함되는 데이터를 프로세서(252)에 전달한다. 도 12에서는 "영역 정보가 통신 회로(250A, 250B) 각각으로부터 프로세서(252)에 전달되는 예"를 나타내고 있다. 또한, 통신 회로(250A, 250B)는, 수신된 데이터 중, Embedded Data를 프로세서(252)에 전달해도 좋다. Embedded Data가 프로세서(252)에 전달되는 경우, 영역 정보나 화상 센서(100)에서의 촬상에 관한 정보 등의 Embedded Data에 포함되는 데이터는, 프로세서(252)에 의해 Embedded Data로부터 취출된다. 또한, 통신 회로(250A, 250B)는, 수신된 데이터 중, 페이로드에 포함되는 Embedded Data 이외의 데이터를 화상 처리 회로(254)에 전달한다.
통신 회로(250A, 250B)는, 수신된 데이터로부터, 헤더 부분에 대응하는 헤더 데이터와, 페이로드 부분에 대응하는 페이로드 데이터를 분리한다. 통신 회로(250A, 250B)는, 예를 들면, 규격 등으로 미리 규정된 룰에 따라, 수신된 데이터로부터 헤더 데이터를 분리한다. 또한, 통신 회로(250A, 250B)는, 예를 들면, 규격 등에서 미리 규정된 룰에 따라, 수신된 데이터로부터 페이로드 데이터를 분리해도 좋고, 헤더 데이터가 나타내는 내용에 의거하여 수신된 데이터로부터 페이로드 데이터를 분리해도 좋다. 그리고, 통신 회로(250A, 250B)는, 분리된 데이터 중의 Embedded Data에 포함되는 데이터(또는 Embedded Data)를 프로세서(252)에 전달하고, 페이로드 데이터 중의 Embedded Data 이외의 데이터를 화상 처리 회로(254)에 전달한다.
도 13은, 본 실시 형태에 관한 화상 처리 장치(200)가 구비하는 통신 회로(250)의 기능 구성의 한 예를 도시하는 블록도이다. 통신 회로(250)는, 예를 들면, 헤더 분리부(260)와, 헤더 해석부(262)와, 페이로드 분리부(264)를 갖는다.
헤더 분리부(260)는, 수신된 데이터로부터, 헤더 부분에 대응하는 헤더 데이터와, 페이로드 부분에 대응하는 페이로드 데이터를 분리한다. 헤더 분리부(260)는, 예를 들면, 규격 등으로 미리 규정된 룰에 따라, 수신된 데이터로부터 헤더 데이터를 분리한다. 또한, 헤더 분리부(260)는, 예를 들면, 규격 등으로 미리 규정된 룰에 따라, 수신된 데이터로부터 페이로드 데이터를 분리해도 좋고, 헤더 해석부(262)의 처리의 결과에 의거하여 수신된 데이터로부터 페이로드 데이터를 분리해도 좋다.
헤더 해석부(262)는, 헤더 데이터가 나타내는 내용을 해석한다.
한 예를 들면, 헤더 해석부(262)는, 예를 들면, 페이로드 데이터가 "Embedded Data"인지를 해석한다. 헤더 해석부(262)는, 예를 들면 헤더 부분에 기록된 DT값에 의거하여 페이로드 데이터가 "Embedded Data"인지를 해석한다. 다른 예를 들면, 헤더 해석부(262)는, 예를 들면, 페이로드 데이터의 위치를 특정하고, 특정한 위치를 헤더 분리부(260)에 전달해도 좋다.
페이로드 분리부(264)는, 헤더 해석부(262)에서의 해석 결과에 의거하여 페이로드 데이터를 처리한다.
한 예를 들면, 헤더 해석부(262)에서의 페이로드 데이터가 "Embedded Data"라고 해석된 경우, 페이로드 분리부(264)는, 페이로드 데이터로부터, 영역 정보나 화상 센서(100)에서의 촬상에 관한 정보 등의 Embedded Data에 포함되는 데이터를 분리한다. 그리고, 페이로드 분리부(264)는, 영역 정보나 화상 센서(100)에서의 촬상에 관한 정보 등의 Embedded Data에 포함되는 데이터를 처리부(204)(보다 구체적으로는, 예를 들면 처리부(204)를 구성하는 프로세서(252))에 전달한다. 도 13에서는 "영역 정보가 페이로드 분리부(264)로부터 처리부(204)에 전달되는 예"를 나타내고 있다.
다른 예를 들면, 헤더 해석부(262)에서의 페이로드 데이터가 "Embedded Data"라고 해석되지 않는 경우, 페이로드 분리부(264)는, 페이로드 데이터로부터, 화상 데이터(화상 전체를 나타내는 데이터 또는 영역 화상 데이터)를 분리한다. 페이로드 분리부(264)는, 예를 들면, Embedded Data로부터 취출되는 영역 정보에 의거하여 페이로드 데이터로부터 영역 화상 데이터를 분리한다. 그리고, 페이로드 분리부(264)는, 화상 데이터를 처리부(204)(보다 구체적으로는, 예를 들면 처리부(204)를 구성하는 화상 처리 회로(254))에 전달한다.
통신 회로(250)는, 예를 들면 도 13에 도시하는 기능 구성을 갖음에 의해 화상 센서(100)로부터 본 실시 형태에 관한 전송 방법에 의해 송신되는 데이터를 수신하고, 수신된 데이터를 처리부(204)에 전달하다. 또한, 도 13에 도시하는 통신 회로(250)의 기능 블록은, 통신 회로(250)가 가지는 기능을 편의상 잘라 나눈 것이고, 도 13에 도시하는 예로 한정되지 않는다. 또한, 상술한 바와 같이 통신 회로(250)는, 수신된 데이터 중, Embedded Data를 프로세서(252)에 전달하는 구성이라도 좋다.
재차 도 12를 참조하여 화상 처리 장치(200)의 구성의 한 예를 설명한다. 프로세서(252)는, 통신 회로(250A, 250B) 및 화상 처리 회로(254) 각각의 동작을 제어한다. 또한, 프로세서(252)는, 임의의 어플리케이션 소프트웨어를 실행하는 처리 등 다양한 처리를 행해도 좋다.
프로세서(252)에서의 통신 회로(250A, 250B)의 제어로서는 예를 들면 통신 기능의 온/오프의 제어를 들 수 있다. 예를 들면 상기한 바와 같이 통신 회로(250A, 250B) 각각의 통신 기능의 온/오프가 제어됨에 의해 통신 대상의 화상 센서(100)의 전환이 실현된다.
프로세서(252)에서의 화상 처리 회로(254)의 제어로서는 화상 처리 회로(254)에서 행해지는 본 실시 형태에 관한 화상 처리 방법에 관한 처리의 제어를 들 수 있다. 프로세서(252)는, 예를 들면, 통신 회로(250A, 250B)로부터 전달되는 영역 정보나 화상 센서(100)에서의 촬상에 관한 정보 등의 Embedded Data에 포함되는 데이터를 이용하여 화상 처리 회로(254)의 제어를 행한다. 또한, 통신 회로(250A, 250B)로부터 Embedded Data가 전달되는 경우, 프로세서(252)는, 예를 들면, Embedded Data로부터 영역 정보 등을 취출하여 화상 처리 회로(254)의 제어를 행한다.
한 예를 들면, 프로세서(252)는, 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 맞추기 위한 보정치를 나타내는 보정 제어 정보를 화상 처리 회로(254)에 전달한다. 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 맞추기 위한 보정치는, 예를 들면, 통신 회로(250A, 250B) 각각으로부터 전달되는 Embedded Data에 포함되는 영역 정보와, 화상 센서(100) 각각으로부터 취득되는 화각에 관한 정보에 의거하여 설정되는. 또한, 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 맞추기 위한 보정치는, 예를 들면, 통신 회로(250A, 250B) 각각으로부터 전달되는 Embedded Data에 포함되는 영역 정보와, 영역 화상 데이터가 나타내는 화상 각각에 대해 임의의 오브젝트 검출 처리를 행한 결과에 의거하여 설정되어도 좋다.
다른 예를 들면, 프로세서(252)는, 영역 화상 데이터를 송신한 화상 센서(100) 각각의 감도비를 보정하는 보정 게인을 나타내는 보정 제어 정보를 화상 처리 회로(254)에 전달한다.
보정 게인은, 예를 들면 화상 센서(100) 각각으로부터 취득되는 화각에 관한 정보에 의거하여 하기한 수식 1을 충족시키는 보정 게인 "Gl2"를 산출함에 의해 설정된다. 또한, 하기한 수식 1에 의거한 보정 게인의 산출은, 화상 처리 장치(200)가 화상 센서(100) 각각의 노광 시간이 동일하도록 제어한 경우의 산출례이다. 즉, 본 실시 형태에 관한 보정 게인의 산출 방법은, 하기한 수식 1을 이용하는 것으로 한정되지 않는다.
G2·G2l=A1·G1/A2 … (수식 1)
여기서, 상기 수식 1에서 나타내는 "G1"는, 화상 센서(100A)가 구비하는 화상 센서 디바이스에서의 게인이고, 상기 수식 1에 나타내는 "G2"는, 화상 센서(100B)가 구비하는 화상 센서 디바이스에서의 게인이다. 또한, 상기 수식 1에 나타내는 "A1"는, 화상 센서(100A)가 구비하는 화상 센서 디바이스에서의 광전변환률이고, 상기 수식 1에 나타내는 "A2"는, 화상 센서(100B)가 구비하는 화상 센서 디바이스에서의 광전변환률이다. 즉, 상기 수식 1을 이용함에 의해 화상 센서(100B)로부터 취득된 영역 화상 데이터가 나타내는 화상의 신호 레벨을 보정하기 위한 보정 게인이 산출된다.
화상 처리 회로(254)는, 통신 회로(250A, 250B) 각각으로부터 전달되는 데이터를 처리한다. 화상 처리 회로(254)는, 예를 들면, 처리부(204)는, 본 실시 형태에 관한 화상 처리 방법에 관한 처리를 행하고, 영역 정보에 의거하여 화상 센서(100A, 100B) 각각으로부터 취득된 영역 화상 데이터를 영역마다 대응시켜서 처리한다.
예를 들면, 화상 처리 회로(254)는, 예를 들면, 프로세서(252)로부터 전달되는 보정 제어 정보를 이용하여 영역 화상 데이터가 나타내는 화상의 신호 레벨을 맞춘다. 신호 레벨을 맞춘 후, 화상 처리 회로(254)는, 프로세서(252)로부터 전달되는 보정 제어 정보를 이용하여 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 맞춘다. 그리고, 화상 처리 회로(254)는, 영역 화상 데이터가 나타내는 화상을 영역마다 합성한다. 또한, 화상 처리 회로(254)는, 영역 화상 데이터가 나타내는 화상의 신호 레벨을 맞추지 않고 영역 화상 데이터가 나타내는 화상을 합성하는 것이 가능하고, 또한, 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 맞추지 않고 영역 화상 데이터가 나타내는 화상을 합성하는 것이 가능하다.
또한, 화상 처리 회로(254)는, 화상 센서(100A, 100B) 각각으로부터 취득된 화상 전체를 나타내는 데이터를 처리하는 것도 가능하다.
또한, 화상 처리 회로(254)에서의 처리는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 화상 처리 회로(254)는, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리와, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리의 일방 또는 쌍방을 행해도 좋다.
도 14는, 본 실시 형태에 관한 화상 처리 장치(200)가 구비하는 화상 처리 회로(254)의 기능 구성의 한 예를 도시하는 블록도이다. 화상 처리 회로(254)는, 예를 들면, 제1의 화상 처리부(270A, 270B)와, 상대 감도차 보정 처리부(272)와, 상대 위치 보정 처리부(274)와, 합성 처리부(276)와, 제2의 화상 처리부(278)를 갖는다. 각 부분에서의 처리의 일부 또는 전부는, 하드웨어에 의해 행해져도 좋고, 소프트웨어(컴퓨터 프로그램)가 하드웨어상에서 실행됨에 의해 행해져도 좋다.
이하, 화상 처리 회로(254)가 영역 화상 데이터를 처리하는 경우를 예로 들여, 화상 처리 회로(254)의 기능 구성의 한 예를 설명한다.
제1의 화상 처리부(270A)는, 통신 회로(250A)로부터 전달되는 데이터에 대해 소정의 화상 처리를 행한다. 제1의 화상 처리부(270B)는, 통신 회로(250B)로부터 전달되는 데이터에 대해 소정의 화상 처리를 행한다. 제1의 화상 처리부(270A, 270B) 각각이 행하는 소정의 화상 처리로서는 예를 들면 RAW 현상에 관한 각종 처리 등을 들 수 있다.
상대 감도차 보정 처리부(272)는, 제1의 화상 처리부(270B)로부터 전달되는 영역 화상 데이터가 나타내는 화상의 신호 레벨을 제1의 화상 처리부(270A)에서 처리된 영역 화상 데이터가 나타내는 화상의 신호 레벨에 맞춘다. 상대 감도차 보정 처리부(272)는, 예를 들면, 프로세서(252)로부터 전달되는 보정 제어 정보가 나타내는 보정 게인을 이용하여 제1의 화상 처리부(270B)로부터 전달되는 영역 화상 데이터의 게인을 보정한다.
또한, 도 14에서는 제1의 화상 처리부(270B)로부터 전달되는 영역 화상 데이터의 게인이 보정되는 예를 도시하고 있는데, 화상 처리 회로(254)는, 제1의 화상 처리부(270A)로부터 전달되는 영역 화상 데이터의 게인을 보정하는 기능 구성이라도 좋다.
상대 위치 보정 처리부(274)는, 상대 감도차 보정 처리부(272)로부터 전달되는 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 제1의 화상 처리부(270A)에서 처리된 영역 화상 데이터가 나타내는 화상에 맞춘다. 상대 위치 보정 처리부(274)는, 예를 들면, 프로세서(252)로부터 전달되는 보정 제어 정보가 나타내는 상대적인 위치를 맞추기 위한 보정치를 이용하여 상대 감도차 보정 처리부(272)로부터 전달되는 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 보정한다.
합성 처리부(276)는, 제1의 화상 처리부(270A)에서 처리된 영역 화상 데이터가 나타내는 화상과, 상대 위치 보정 처리부(274)로부터 전달되는 영역 화상 데이터가 나타내는 화상을 영역마다 합성한다. 합성 처리부(276)는, 알파 블렌드 등의 화상을 합성하는 것이 가능한 임의의 처리에 의해 영역 화상 데이터가 나타내는 화상을 합성한다.
제2의 화상 처리부(278)는, 합성 처리부(276)로부터 전달되는 합성된 화상에 대해 소정의 화상 처리를 행한다. 제2의 화상 처리부(278)가 행하는 소정의 화상 처리로서는 예를 들면 Gamma 처리 등 화상 데이터에 대해 행하는 것이 가능한 임의의 처리를 들 수 있다.
화상 처리 회로(254)는, 예를 들면 도 14에 도시하는 기능 구성을 갖음에 의해 본 실시 형태에 관한 화상 처리 방법에 관한 처리를 행한다. 또한, 도 14에 도시하는 화상 처리 회로(254)의 기능 블록은, 화상 처리 회로(254)가 가지는 기능을 편의상 잘라 나눈 것이고, 도 14에 도시하는 예로 한정되지 않는다.
화상 처리 장치(200)는, 예를 들면 도 12∼도 14에 도시하는 구성에 의해 상술한 화상 처리 방법에 관한 처리를 행하다. 또한, 화상 처리 장치(200)의 구성이 도 12∼도 14에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
[5] 본 실시 형태에 관한 화상 처리 시스템에서의 처리의 한 예
다음에, 화상 처리 시스템(1000)에서의 처리의 한 예를 설명한다.
[5-1]
초기화에 관한 처리
도 15는, 본 실시 형태에 관한 화상 처리 시스템(1000)에서의 처리의 한 예를 설명하기 위한 설명도이고, 초기화에 관한 처리의 한 예를 도시하고 있다. 도 15에 도시하는 처리는, 예를 들면, 화상 처리 시스템(1000)이 기동한 때나, 화상 처리 시스템(1000)의 사용자 등에 의해 소정의 조작이 행해진 때 등에 행해진다.
화상 처리 장치(200)는, 화상 센서(100A, 100B) 각각에게 구동 파라미터를 설정시키는 설정 요구와, 화각에 관한 정보를 송신시켜 취득 요구를 예를 들면 제어 버스(B2)를 통하여 송신한다(S100). 구동 파라미터의 설정 요구에는, 예를 들면, 노광치, 노광 시간, 게인 등의 각종 설정치와, 설정 명령이 포함된다. 취득 요구에는, 예를 들면, 화각에 관한 정보의 송신 명령이 포함된다.
스텝 S100에서 송신되는 설정 요구와 취득 요구를 수신한 화상 센서(100A, 100B) 각각은, 설정 요구에 의거하여 구동 파라미터를 설정하고, 취득 요구에 의거하여 화각에 관한 정보를 송신한다(S102, S104).
스텝 S100에서 설정 요구를 송신한 화상 처리 장치(200)는, 설정 요구에 포함되는 각종 설정치에 의거하여 보정 게인을 산출하고, 산출된 보정 게인에 의해 보정을 행하기 위한 설정을 행한다(S106).
스텝 S102, S104에서 송신되는 화각에 관한 정보를 수신한 화상 처리 장치(200)는, 화각에 관한 정보에 의거하여 상대적인 위치를 맞추기 위한 보정치를 구하고(S108), 보정치에 의해 보정을 행하기 위한 설정을 행한다(S110).
화상 처리 시스템(1000)에서는 초기화에 관한 처리로서 예를 들면 도 15에 도시하는 처리가 행해진다. 또한, 초기화에 관한 처리의 예가 도 15에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
[5-2] 동작시에 있어서의 처리
도 16은, 본 실시 형태에 관한 화상 처리 시스템(1000)에서의 처리의 한 예를 설명하기 위한 설명도이고, 동작시에 있어서의 처리의 한 예를 도시하고 있다. 도 16에서는 화상 센서(100A)에서의 촬상을 기준으로 하여 화상 센서(100B)에서의 처리가 행해지는 예를 도시하고 있다. 즉, 화상 처리 시스템(1000)은, 하나의 화상 센서(100)가 마스터의 화상 센서로서 기능하고, 다른 화상 센서(100)가 슬레이브의 화상 센서로서 기능함에 의해 연휴(連携)한 촬상을 행할 수가 있다.
화상 센서(100A)는, 프레임 시작 트리거(이하 「V 시작 Trigger」로 나타내는 경우가 있다.)를 취득하면, 촬상을 시작한다(S200).
화상 센서(100A)는, 촬상된 화상으로부터 절출하는 절출 위치를 설정하고(S202), 설정된 절출 위치를 나타내는 정보를 화상 센서(100B)와 화상 처리 장치(200)에 송신한다(S204). 화상 센서(100A)에서의 절출 위치의 설정은, 촬상된 화상에 대한 영역의 설정에 해당한다. 즉, 절출 위치를 나타내는 정보는, 예를 들면, 영역 정보에 해당한다.
화상 센서(100A)는, 예를 들면 데이터 버스(B1)를 통하여 화상 처리 장치(200)에 절출 위치를 나타내는 정보를 송신한다. 또한, 화상 센서(100A)는, 예를 들면, 화상 처리 장치(200)를 통하여 화상 센서(100B)에 절출 위치를 나타내는 정보(영역 정보. 이하, 마찬가지로 한다.)를 송신한다. 또한, 화상 센서(100A)와 화상 센서(100B)가 프로세서 사이 통신 등에 의해 통신 가능한 구성인 경우, 화상 센서(100A)는, 화상 센서(100B)에게 절출 위치를 나타내는 정보를 직접적인 통신에 의해 송신해도 좋다.
스텝 S204에서 화상 센서(100A)로부터 송신되는 절출 위치를 나타내는 정보를 수신한 화상 센서(100B)는, 절출 위치를 나타내는 정보에 의거하여 촬상된 화상으로부터 절출하는 절출 위치를 설정한다(S206).
스텝 S204에서 화상 센서(100A)로부터 송신되는 절출 위치를 나타내는 정보를 수신한 화상 처리 장치(200)는, 예를 들면, 절출 위치를 나타내는 정보에 의거하여 설정되는 영역에 포함되는 화소수와 화소의 2차원 평면 좌표를 특정하고(S208), 처리에 이용하는 좌표나 영역의 사이즈를 설정한다(S210).
스텝 S204에서 절출 위치를 나타내는 정보를 송신한 화상 센서(100A)는, 화상 센서(100A)에서의 촬상에 관한 정보를 화상 센서(100B)와 화상 처리 장치(200)에 송신한다(S212). 상술한 바와 같이 촬상에 관한 정보에는, 예를 들면 노광 정보와 게인 정보가 포함된다. 화상 센서(100A)는, 예를 들면 스텝 S204에서 절출 위치를 나타내는 정보의 송신과 마찬가지로, 촬상에 관한 정보를 화상 센서(100B)와 화상 처리 장치(200)에 송신한다.
스텝 S212에서 화상 센서(100A)로부터 송신되는 촬상에 관한 정보를 수신한 화상 센서(100B)는, 수신한 촬상에 관한 정보에 의거하여 게인 제어와 노광 제어를 행한다(S214). 그리고, 화상 센서(100B)는, 화상 센서(100B)에서의 촬상에 관한 정보를 화상 처리 장치(200)에 송신한다.
스텝 S212에서 화상 센서(100A)로부터 송신된 촬상에 관한 정보와, 화상 센서(100B)로부터 송신된 촬상에 관한 정보를 수신한 화상 처리 장치(200)는, 예를 들면, 보정 게인을 산출하고, 산출된 보정 게인에 의해 보정을 행하기 위한 설정을 행한다(S216). 그리고, 화상 처리 장치(200)는, 화상 센서(100A, 100B) 각각으로부터 송신되는 화상 데이터에 대하는 처리를 시작한다(S218).
도 17은, 본 실시 형태에 관한 화상 처리 시스템(1000)에서의 처리의 한 예를 설명하기 위한 설명도이고, 도 16에 도시하는 처리에 대응하는 타이밍 차트를 나타내고 있다. 즉, 도 17에서는 도 16과 마찬가지로, "화상 센서(100A)가 마스터의 화상 센서로서 기능하고, 화상 센서(100B)가 슬레이브의 화상 센서로서 기능하는 예"를 나타내고 있다.
도 17에 도시하는 바와 같이 화상 처리 시스템(1000)에서는 화상 센서(100A)에서의 설정의 통지에 의해 화상 센서(100A)와 화상 센서(100B)가 연휴하여 촬상을 행한다. 또한, 화상 처리 시스템(1000)에서는 화상 센서(100A)에서의 설정의 통지에 의거하여 화상 처리 장치(200)가 화상 센서(100A, 100B) 각각으로부터 취득된 영역 화상 데이터를 영역마다 대응시켜서 처리한다. 따라서, 화상 처리 시스템(1000)에서는 화상 센서(100A), 화상 센서(100B) 및 화상 처리 장치(200)의 연휴한 동작이 실현된다.
화상 처리 시스템(1000)에서는 동작시에 있어서의 처리로서 예를 들면 도 16, 도 17에 도시하는 처리가 행해진다. 또한, 동작시에 있어서의 처리의 예가 도 16, 도 17에 도시하는 예로 한정되지 않음은 말할 필요도 없다.
[6] 본 실시 형태에 관한 화상 처리 시스템이 이용됨에 의해 이루어지는 효과의 한 예
본 실시 형태에 관한 화상 처리 시스템이 이용됨에 의해 예를 들면 하기에 나타내는 효과가 이루어진다. 또한, 본 실시 형태에 관한 화상 처리 시스템이 이용됨에 의해 이루어지는 효과가 하기에 나타내는 예로 한정되지 않음은 말할 필요도 없다.
·본 실시 형태에 관한 화상 처리 시스템에서는 촬상된 화상에 대해 설정되는 영역의 촬상을 복수의 화상 센서(100)가 연휴하여 행할 수 있다.
·본 실시 형태에 관한 화상 처리 시스템에서는 복수의 화상 센서 및 화상 처리 장치가 연휴하여 동작하기 때문에, 예를 들면, 노광 시간, 구동 주파수, 게인 값, 화상 센서 디바이스의 상대 화각차, 피사체 거리의 정보 등 다양한 정보를 장치 사이에서 공유하여 동작하는 것이 가능하다.
·화상 처리 장치는, 영역 화상 데이터가 나타내는 화상의 신호 레벨을 합쳐서 합성하는 것이 가능하기 때문에, 본 실시 형태에 관한 화상 처리 시스템은, 대응시켜서 처리되는 화상의 고감도화를 도모할 수 있다.
·화상 처리 장치는, 통신 대상의 화상 센서를 전환 가능하고, 또한, 전환에 연동하여 일부의 화상 센서의 동작을 정지시키는 것이 가능하다. 따라서, 본 실시 형태에 관한 화상 처리 시스템은, 소비 전력의 저감을 도모할 수 있다.
(본 실시 형태에 관한 프로그램)
컴퓨터를 본 실시 형태에 관한 화상 처리 장치로서 기능시키기 위한 프로그램(예를 들면, 본 실시 형태에 관한 화상 처리 방법에 관한 처리를 컴퓨터에 실행시키는 프로그램)이 컴퓨터에서 프로세서나 화상 처리 회로 등에 의해 실행됨에 의해 복수의 화상 센서로부터 각각 얻어지는 화상을 대응시켜서 처리할 수 있다.
또한, 컴퓨터를 본 실시 형태에 관한 화상 처리 장치로서 기능시키기 위한 프로그램이 컴퓨터에서 프로세서나 화상 처리 회로 등에 의해 실행됨에 의해 상술한 본 실시 형태에 관한 화상 처리 방법이 이용됨에 의해 이루어지는 효과를 이룰 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 알맞은 실시 형태에 관해 상세히 설명했는데, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서의 통상의 지식을 갖는 자라면, 청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이것들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
예를 들면, 상기에서는 컴퓨터를 본 실시 형태에 관한 화상 처리 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타냈지만, 본 실시 형태는, 또한, 상기 프로그램을 기억시킨 기록 매체도 아울러서 제공할 수 있다.
상술한 구성은, 본 실시 형태의 한 예를 나타내는 것이고, 당연히, 본 개시의 기술적 범위에 속하는 것이다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이고 한정적이 아니다. 즉, 본 개시에 관한 기술은, 상기한 효과와 함께, 또는 상기한 효과에 대신하여 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 이룰 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1) 촬상된 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 영역마다 포함하는 부가 데이터와, 상기 영역에 대응하는 행마다의 화상을 나타내는 영역 화상 데이터를 다른 패킷으로 송신시키는 복수의 화상 센서 각각과 통신을 행하는 것이 가능한 통신부와,
복수의 상기 화상 센서 각각으로부터 취득된 상기 부가 데이터에 포함되는 상기 영역 정보에 의거하여 복수의 상기 화상 센서 각각으로부터 취득된 상기 영역 화상 데이터를 상기 영역마다 대응시켜서 처리하는 처리부를 구비하고,
상기 영역 정보에는, 상기 영역의 식별 정보, 상기 영역의 위치를 나타내는 정보 및 상기 영역의 크기를 나타내는 정보 중의 일부 또는 전부가 포함되는 화상 처리 장치.
(2) 상기 처리부는, 복수의 상기 화상 센서 각각으로부터 취득된 상기 영역 화상 데이터가 나타내는 화상을 상기 영역마다 합성하는 (1)에 기재된 화상 처리 장치.
(3) 상기 처리부는, 합성하는 대상의 상기 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 합쳐서 합성하는 (2)에 기재된 화상 처리 장치.
(4) 상기 부가 데이터에는, 상기 화상 센서에서의 촬상에 관한 정보가 포함되고,
상기 처리부는, 복수의 상기 화상 센서 각각으로부터 취득된 상기 촬상에 관한 정보에 의거하여 합성하는 대상의 상기 영역 화상 데이터가 나타내는 화상의 신호 레벨을 합쳐서 합성하는 (2) 또는 (3)에 기재된 화상 처리 장치.
(5) 상기 통신부는, 통신 대상의 상기 화상 센서를 전환 가능한, (1)∼(4)의 어느 하나에 기재된 화상 처리 장치.
(6) 상기 패킷은, MIPI(Mobile Industry Processor Interface Alliance)의 롱 패킷인, (1)∼(5)의 어느 하나에 기재된 화상 처리 장치.
(7) 촬상된 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 영역마다 포함하는 부가 데이터와, 상기 영역에 대응하는 행마다의 화상을 나타내는 영역 화상 데이터를 다른 패킷으로 송신시키는 복수의 화상 센서와,
화상 처리 장치를 가지고,
상기 화상 처리 장치는,
복수의 상기 화상 센서 각각과 통신을 행하는 것이 가능한 통신부와,
복수의 상기 화상 센서 각각으로부터 취득된 상기 부가 데이터에 포함되는 상기 영역 정보에 의거하여 복수의 상기 화상 센서 각각으로부터 취득된 상기 영역 화상 데이터를 상기 영역마다 대응시켜서 처리하는 처리부를 구비하고,
상기 영역 정보에는, 상기 영역의 식별 정보, 상기 영역의 위치를 나타내는 정보 및 상기 영역의 크기를 나타내는 정보 중의 일부 또는 전부가 포함되는 화상 처리 시스템.
100, 100A, 100B: 화상 센서 102: 광전변환부
104: 신호 처리부 106, 202: 통신부
150: 렌즈/촬상 소자 152: 신호 처리 회로
154, 250, 250A, 250B: 통신 회로 156, 252: 프로세서
200: 화상 처리 장치 204: 처리부
254: 화상 처리 회로 260: 헤더 분리부
262: 헤더 해석부 264: 페이로드 분리부
270A, 270B: 제1의 화상 처리부 272: 상대 감도차 보정 처리부
274: 상대 위치 보정 처리부 276: 합성 처리부
278: 제2의 화상 처리부 300: 메모리
400: 표시 디바이스 1000: 화상 처리 시스템
B1: 데이터 버스 B2: 제어 버스

Claims (7)

  1. 촬상된 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 영역마다 포함하는 부가 데이터와, 상기 영역에 대응하는 행마다의 화상을 나타내는 영역 화상 데이터를 다른 패킷으로 송신시키는 복수의 화상 센서 각각과 통신을 행하는 것이 가능한 통신부와,
    복수의 상기 화상 센서 각각으로부터 취득된 상기 부가 데이터에 포함되는 상기 영역 정보에 의거하여 복수의 상기 화상 센서 각각으로부터 취득된 상기 영역 화상 데이터를 상기 영역마다 대응시켜서 처리하는 처리부를 구비하고,
    상기 영역 정보에는, 상기 영역의 식별 정보, 상기 영역의 위치를 나타내는 정보 및 상기 영역의 크기를 나타내는 정보 중의 일부 또는 전부가 포함되는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 처리부는, 복수의 상기 화상 센서 각각으로부터 취득된 상기 영역 화상 데이터가 나타내는 화상을 상기 영역마다 합성하는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 처리부는, 합성한 대상의 상기 영역 화상 데이터가 나타내는 화상의 상대적인 위치를 합쳐서 합성하는 것을 특징으로 하는 화상 처리 장치.
  4. 제2항에 있어서,
    상기 부가 데이터에는, 상기 화상 센서에서의 촬상에 관한 정보가 포함되고,
    상기 처리부는, 복수의 상기 화상 센서 각각으로부터 취득된 상기 촬상에 관한 정보에 의거하여 합성하는 대상의 상기 영역 화상 데이터가 나타내는 화상의 신호 레벨을 합쳐서 합성하는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 통신부는, 통신 대상의 상기 화상 센서를 전환 가능한 것을 특징으로 하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 패킷은, MIPI(Mobile Industry Processor Interface Alliance)의 롱 패킷인 것을 특징으로 하는 화상 처리 장치.
  7. 촬상된 화상에 대해 설정되는 영역에 대응하는 영역 정보를 상기 영역마다 포함하는 부가 데이터와, 상기 영역에 대응하는 행마다의 화상을 나타내는 영역 화상 데이터를 다른 패킷으로 송신시키는 복수의 화상 센서와,
    화상 처리 장치를 가지고,
    상기 화상 처리 장치는,
    복수의 상기 화상 센서 각각과 통신을 행하는 것이 가능한 통신부와,
    복수의 상기 화상 센서 각각으로부터 취득된 상기 부가 데이터에 포함되는 상기 영역 정보에 의거하여 복수의 상기 화상 센서 각각으로부터 취득된 상기 영역 화상 데이터를 상기 영역마다 대응시켜서 처리하는 처리부를 구비하고,
    상기 영역 정보에는, 상기 영역의 식별 정보, 상기 영역의 위치를 나타내는 정보 및 상기 영역의 크기를 나타내는 정보 중의 일부 또는 전부가 포함되는 것을 특징으로 하는 화상 처리 시스템.
KR1020217002362A 2018-08-20 2019-08-09 화상 처리 장치 및 화상 처리 시스템 KR20210046654A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018153930 2018-08-20
JPJP-P-2018-153930 2018-08-20
PCT/JP2019/031780 WO2020039992A1 (ja) 2018-08-20 2019-08-09 画像処理装置、および画像処理システム

Publications (1)

Publication Number Publication Date
KR20210046654A true KR20210046654A (ko) 2021-04-28

Family

ID=69593151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217002362A KR20210046654A (ko) 2018-08-20 2019-08-09 화상 처리 장치 및 화상 처리 시스템

Country Status (6)

Country Link
US (2) US11647284B2 (ko)
EP (1) EP3843376A4 (ko)
JP (1) JP7357620B2 (ko)
KR (1) KR20210046654A (ko)
CN (1) CN112567727B (ko)
WO (1) WO2020039992A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153743A1 (ko) * 2022-02-09 2023-08-17 삼성전자주식회사 전자 장치 및 이의 동작 방법
KR20230125990A (ko) 2022-02-22 2023-08-29 고려대학교 산학협력단 Mipi dsi 패킷을 임의 크기의 픽셀로 변환하는 픽셀 변환기 및 그 동작 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261814A1 (ja) * 2019-06-28 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
JP2022131079A (ja) * 2021-02-26 2022-09-07 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110499A (ja) 2005-10-14 2007-04-26 Fujifilm Corp 複眼式撮影装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US6249524B1 (en) * 1997-03-19 2001-06-19 Hitachi, Ltd. Cell buffer memory for a large capacity and high throughput ATM switch
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
JP2003219271A (ja) * 2002-01-24 2003-07-31 Nippon Hoso Kyokai <Nhk> 多地点仮想スタジオ合成システム
JP2006115006A (ja) * 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 個別映像撮影・配信装置、個別映像撮影・配信方法およびプログラム
JP4513905B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
JP2011109397A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
JPWO2011089982A1 (ja) * 2010-01-22 2013-05-23 ソニー株式会社 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
US8515137B2 (en) * 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
JP5367640B2 (ja) * 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP5932376B2 (ja) * 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
JP6055823B2 (ja) 2012-05-30 2016-12-27 株式会社日立製作所 監視カメラ制御装置及び映像監視システム
KR102114377B1 (ko) * 2013-07-05 2020-05-25 삼성전자주식회사 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US9402018B2 (en) 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US9906749B2 (en) 2014-09-02 2018-02-27 Canon Kabushiki Kaisha Image capturing apparatus capable of generating and adding pixel region information to image data, method of controlling the same, and image sensor
JP2016054479A (ja) * 2014-09-02 2016-04-14 キヤノン株式会社 撮像装置およびその制御方法、プログラムならびに撮像素子
KR102390809B1 (ko) * 2015-08-12 2022-04-26 삼성전자주식회사 영상을 제공하기 위한 방법, 전자 장치 및 저장 매체
WO2017086355A1 (ja) * 2015-11-17 2017-05-26 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および送受信システム
JP6722044B2 (ja) * 2016-05-27 2020-07-15 ソニーセミコンダクタソリューションズ株式会社 処理装置、画像センサ、およびシステム
JP2017224970A (ja) * 2016-06-15 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、および撮像装置
JP6545205B2 (ja) * 2017-02-06 2019-07-17 セコム株式会社 データ配信システム及びデータ配信方法
US10009551B1 (en) 2017-03-29 2018-06-26 Amazon Technologies, Inc. Image processing for merging images of a scene captured with differing camera parameters
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110499A (ja) 2005-10-14 2007-04-26 Fujifilm Corp 複眼式撮影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153743A1 (ko) * 2022-02-09 2023-08-17 삼성전자주식회사 전자 장치 및 이의 동작 방법
KR20230125990A (ko) 2022-02-22 2023-08-29 고려대학교 산학협력단 Mipi dsi 패킷을 임의 크기의 픽셀로 변환하는 픽셀 변환기 및 그 동작 방법

Also Published As

Publication number Publication date
EP3843376A4 (en) 2021-09-15
CN112567727A (zh) 2021-03-26
WO2020039992A1 (ja) 2020-02-27
JPWO2020039992A1 (ja) 2021-08-10
US11647284B2 (en) 2023-05-09
JP7357620B2 (ja) 2023-10-06
US20230388628A1 (en) 2023-11-30
EP3843376A1 (en) 2021-06-30
US20210281749A1 (en) 2021-09-09
CN112567727B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
JP7357620B2 (ja) 画像処理装置、および画像処理システム
CN111295887B (zh) 具有感兴趣区域模式选择的发送装置和方法
US11606527B2 (en) Transmitter
US20150002629A1 (en) Multi-Band Image Sensor For Providing Three-Dimensional Color Images
US11900572B2 (en) Transmission device, reception device, and transmission system
US11297279B2 (en) Transmission device, reception device, and communication system
JP7414733B2 (ja) 受信装置および送信装置
CN113170029B (zh) 图像处理装置和图像处理方法
US20240214698A1 (en) Electronic device and method for controlling same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right