KR20210096090A - 수신 장치 및 송신 장치 - Google Patents

수신 장치 및 송신 장치 Download PDF

Info

Publication number
KR20210096090A
KR20210096090A KR1020217015146A KR20217015146A KR20210096090A KR 20210096090 A KR20210096090 A KR 20210096090A KR 1020217015146 A KR1020217015146 A KR 1020217015146A KR 20217015146 A KR20217015146 A KR 20217015146A KR 20210096090 A KR20210096090 A KR 20210096090A
Authority
KR
South Korea
Prior art keywords
image
area
data
information
mode
Prior art date
Application number
KR1020217015146A
Other languages
English (en)
Inventor
히로스케 나가노
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20210096090A publication Critical patent/KR20210096090A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/2353—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H04N5/23229—
    • H04N5/23245—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0028—Serial attached SCSI [SAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

촬상 영역의 전체가 판독되는 제1의 모드와, 상기 촬상 영역의 일부의 영역만이 판독되는 제2의 모드의 적어도 어느 하나로 화상을 생성하는 정보 처리부를 구비하고, 상기 정보 처리부는, 상기 제2의 모드에서 판독될 때에, 영역에 따라 판독 속도를 가변으로 하는, 수신 장치가 제공된다.

Description

수신 장치 및 송신 장치
본 개시는, 수신 장치 및 송신 장치에 관한 것이다.
이미지 센서의 화상 노광의 방법의 하나로, 취득하는 화상이 적정한 밝기가 되도록 이미지 센서의 노광 시간을 조정한다는 방법이 있다. 감도 부족을 노광 시간으로 보충하려고 하는 종래의 일반적인 방식에서는, 움직이는 피사체를 취득하는 경우, 그 노광 시간의 길이에 응하여 움직임 흐림이 발생해 버린다. 이미지 센서로부터의 화상 신호의 취득시는 노광 시간을 가능한 한 단축함으로서 움직임 흐림의 발생을 가능한 한 억제하고, 2프레임 이상의 프레임을 사용하여 움직임 보상을 함으로서 움직임 흐림이 발생하지 않도록 중첩되어, 적정 노광에 대해 감도 부족이 되거나 SN비가 악화하거나 하는 문제를 해결하는 수법이 제안되어 있다.
근래, 이미지 센서의 고해상도화가 진행되고 있다. 이와 같은 제안 기술에 관해, 고해상도의 이미지 센서를 이용한 경우에, 복수장의 취득 화상을 전송하는데 필요로 하는 시간이 하드웨어의 제약에 의한 전송 가능한 시간을 초과할 때에는, 이미지 센서 내에 버퍼로 이루어지는 메모리가 필요해진다. 그와 같은 문제에 대응하는 종래 기술로서, 예를 들면 특허 문헌 1∼4 등이 제안되어 있다.
특허 문헌 1: 특개2008-160881호 공보 특허 문헌 2: 특개평 11-331643호 공보 특허 문헌 3: 특개2001-250119호 공보 특허 문헌 4: 특개2002-230544호 공보
그러나, 특허 문헌 1에 개시된 기술은 하이 다이내믹 레인지의 화상의 생성에 제약이 있고, 특허 문헌 2∼4에 개시된 기술은, 촬영 후의 화상으로부터 움직임 흐려짐을 추정하여 제거하는 방식이기 때문에, 복잡한 알고리즘이나 회로가 필요해진다.
그래서, 본 개시에서는, 움직임 흐림의 발생과 포화하는 영역의 발생과 SN비의 저하의 발생을 동시에 억제하는 것이 가능한, 신규이면서 개량된 수신 장치 및 송신 장치를 제안한다.
본 개시에 의하면, 촬상 영역의 전체의 화상 데이터를 수신하는 제1의 모드와, 상기 촬상 영역의 일부의 영역만을 수신하는 제2의 모드의 적어도 어느 하나로 화상 데이터를 수신하는 수신부와, 상기 수신부가 수신한 화상 데이터에 의거하여 화상을 생성하는 정보 처리부를 구비하고, 상기 정보 처리부는, 상기 제2의 모드에서 화상 데이터를 수신할 때에, 상기 제1의 모드와는 다른 파라미터가 부가된 화상 데이터를 수신하는, 수신 장치가 제공된다.
또 본 개시에 의하면, 촬상 영역의 전체를 판독하는 제1의 모드와, 상기 촬상 영역의 일부의 영역을 판독하는 제2의 모드의 적어도 어느 하나로 화상 데이터를 판독하는 화상 처리부와, 상기 화상 처리부가 판독한 화상 데이터를 소정의 포맷에 따른 전송 신호에 격납하여 전송하는 송신부를 구비하고, 상기 화상 처리부는, 상기 제2의 모드에서 화상을 판독할 때에 판독 속도를 가변으로 하는, 송신 장치가 제공된다.
도 1은 본 실시 형태에 관한 통신 시스템(1000)의 구성의 한 예를 도시하는 설명도.
도 2는 MIPI CSI-2 규격에서 정해지는 패킷의 포맷을 도시하는 설명도.
도 3은 MIPI CSI-2 규격에서 정해지는 패킷의 포맷을 도시하는 설명도.
도 4는 MIPI CSI-2 규격에서의 패킷의 송신에 관한 신호 파형의 한 예를 도시하는 설명도.
도 5는 화상 센서(100)의 동작의 개요를 도시하는 설명도.
도 6은 화상 센서(100)의 동작의 개요를 도시하는 설명도.
도 7은 본 실시 형태에 관한 화상 센서(100)의 구성의 한 예를 도시하는 하드웨어 블록도.
도 8은 본 실시 형태에 관한 화상 센서(100)가 전송하는 데이터의 구체례를 도시하는 설명도.
도 9는 본 실시 형태에 관한 화상 센서(100)가 전송하는 데이터의 구체례를 도시하는 설명도.
도 10은 본 실시 형태에 관한 프로세서(200)의 구성의 한 예를 도시한 도면.
도 11은 화상 센서(100)의 동작의 개요를 도시하는 설명도.
도 12는 화상 센서(100)의 동작의 개요를 도시하는 설명도.
도 13은 본 실시 형태에 관한 화상 센서(100)가 전송하는 데이터의 구체례를 도시하는 설명도.
도 14는 화상 센서(100)의 동작의 개요를 도시하는 설명도.
도 15는 화상 센서(100)의 동작의 개요를 도시하는 설명도.
도 16은 화상 센서(100)의 동작의 개요를 도시하는 설명도.
도 17은 화상 센서(100)의 동작의 개요를 도시하는 설명도.
도 18은 ROI 영역의 예를 도시하는 설명도.
도 19는 ROI 영역의 데이터 포맷을 도시하는 설명도.
도 20은 동 실시 형태에 관한 통신 시스템에서 화상의 데이터의 송신에 이용되는 패킷의 구조의 한 예에 관해 설명하기 위한 설명도.
도 21은 패킷의 헤더에 마련되는 확장 영역에 관해 설명하기 위한 설명도.
도 22는 패킷의 헤더에 마련되는 확장 영역에 관해 설명하기 위한 설명도.
도 23은 송신되는 데이터의 포맷에 관해 설명하기 위한 설명도.
도 24는 패킷 헤더의 구성의 한 예에 관해 설명하기 위한 설명도.
이하에 첨부 도면을 참조하면서, 본 개시의 알맞은 실시의 형태에 관해 상세히 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 같은 기능 구성을 갖는 구성 요소에 관해서는, 같은 부호를 붙임에 의해 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 본 개시의 실시의 형태
1. 1. 경위
1. 2. 구성례
1. 3. 동작례
2. 정리
<1. 본 개시의 실시의 형태>
[1. 1. 경위]
우선, 본 개시의 실시의 형태에 관해 상세히 설명하기 전에, 본 개시의 실시의 형태에 이르는 경위(經緯)에 관해 설명한다.
이미지 센서의 종래로부터의 일반적인 화상 취득 및 화상 노광의 방법의 하나로, 취득하는 화상이 적정한 밝기가 되도록, 이미지 센서의 노광 시간을 조정한다는 방법이 있다. 예를 들면 취득 화상이 30fps의 동화상인 경우를 생각한 경우, 피사체가 밝아서 백바램이 발생해 버리는 경우에는, 1/30초(≒33.3밀리초)보다 짧은 시간에 노광함으로서 적정한 밝기를 유지하려고 한다. 한편, 피사체가 어두워서 적정 노광을 확보할 수가 없는 경우는, 30fps일 때에 1프레임에 할당되는 최대 시간인 1/30초를 최대한으로 사용해 노광하여 화상 취득하려고 한다.
그러나, 감도 부족을 노광 시간으로 보충하려고 하는 종래의 일반적인 방식에서는, 움직이는 피사체를 취득한 때에, 그 노광 시간의 길이에 응하여 움직임 흐림이 발생해 버린다는 문제가 있다. 그래서, 이미지 센서로부터의 화상의 취득시는 노광 시간을 가능한 한 단축함으로서 움직임 흐림의 발생을 가능한 한 억제하여 화상 취득해 두고, 취득된 2프레임이나 그 이상의 프레임의 화상 신호를 사용하여 움직임 보상을 하는 수법이 알려져 있다. 이에 의해, 움직임 흐림이 발생하지 않도록 화상을 중첩되어, 적정 노광에 대해 감도 부족이 되거나 SNR이 악화하거나 하는 것을 해소할 수 있다.
근래에는, 광역(廣域), 및 고해상도 감시의 용도 등을 목적으로 하여, 이미지 센서의 고해상도화가 진전되어 오고 있다. 이미지 센서가 고해상도화 하면, 상술한 바와 같은 종래의 기술에 관해서는, 이미지 센서로부터 복수장의 취득 화상을 전송하는데 필요로 하는 시간이, 하드웨어의 제약에 의한 전송 가능한 시간을 초과하는 경우에, 이미지 센서 내에 버퍼로 이루어지는 메모리가 필요해진다.
또한 한편으로는, 화상 전체가 1/30초에서 적정 노광이었다고 해도, 화상 내의 일부의 밝은 부분이 포화하여 취득되어 버리는 경우가 있을 수 있다. 그와 같은 경우에 대응하기 위해, 1프레임의 화상을 취득함에 있어서 n회로 나누어서 n매의 화상을 취득하고, 그 n매의 화상으로부터 신호 처리로 하이 다이내믹 레인지의 화상을 취득할 수 있는 기술이 특허 문헌 1로 제안되어 있다. 그러나, 특허 문헌 1에 개시된 기술은, 전송 속도의 하드웨어 제약으로 산출되는 최대 프레임 레이트의 동화에 대해 최대 프레임 레이트의 고작 1/n의 프레임 레이트밖에 하이 다이내믹 레인지 화상을 작성할 수가 없다.
노광 시간의 길이에 응하여 생기는 움직임 흐림의 현상에 대해서는, 촬상한 화상(정지화나 동화)으로부터 움직임 흐려짐을 제거하는 방법, 및 움직임 흐림의 제거를 위한 화상 처리 장치도, 예를 들면 특허 문헌 2∼4 등으로 제안되어 있다. 특허 문헌 2에는, 900fps 이상으로 촬상된 화상을 30fps의 표시 장치로 표시하는 장치에 적용하기 위해, 촬상 후의 화상으로부터 움직임 흐려짐을 제거하는 화상 처리 방법이 나타나 있다. 또한, 특허 문헌 3, 특허 문헌 4에는 촬상 후의 화상으로부터 움직임 흐려짐을 제거하여 출력하는 실시간 화상 처리 방법이 나타나 있다. 그러나, 이들의 문헌에 기재되어 있는 기술은, 어느 것이나 촬영 후의 화상으로부터 움직임 흐려짐을 추정하여 제거하는 방식이기 때문에, 복잡한 알고리즘이나 회로가 필요해지는데다가 완전하게 움직임 흐려짐을 제거하는 것은 어렵다.
그래서 본건 개시자는, 상술한 점을 감안하여, 움직임 흐림의 발생과 포화하는 영역의 발생과 SN비의 저하의 발생을 동시에 억제하는 것이 가능한 기술에 관해 예의 검토를 행했다. 그 결과, 본건 개시자는, 이하에서 설명하는 바와 같이, 화상에 대해 설정되는 영역에 대한 판독에 의해, 움직임 흐림의 발생과 포화하는 영역의 발생과 SN비의 저하의 발생을 동시에 억제하는 것이 가능한 기술을 고안하는 것에 이르렀다.
이상, 본 개시의 실시의 형태의 경위에 관해 설명했다. 계속해서 본 개시의 실시의 형태에 관해 상세히 설명한다.
[1. 2. 구성례]
(1) 본 실시 형태에 관한 송신 방법을 적용하는 것이 가능한 통신 시스템의 구성
우선, 본 실시 형태에 관한 송신 방법을 적용하는 것이 가능한 통신 시스템의 구성의 한 예를 설명한다.
이하에서는, 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신 방식이, MIPI(Mobile Industry Processor Interface) CSI-2(Camera Serial Interface 2) 규격에 따른 통신 방식인 경우를 예로 든다. 또한, 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신 방식은, MIPI CSI-2 규격에 따른 통신 방식으로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템을 구성하는 장치 사이의 통신은, MIPI CSI-3 규격에 따른 통신 방식이나, MIPI DSI(Display Serial Interface)에 응한 통신 방식 등, MIPI 얼라이언스에서 책정된 다른 규격이라도 좋다. 또한, 본 실시 형태에 관한 송신 방법이 적용 가능한 통신 방식이, MIPI 얼라이언스에서 책정된 규격에 관한 통신 방식으로 한정되지 않음은, 말할 필요도 없다.
도 1은, 본 실시 형태에 관한 통신 시스템(1000)의 구성의 한 예를 도시하는 설명도이다. 통신 시스템(1000)으로서는, 예를 들면, 스마트폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체 등을 들 수 있다. 또한, 통신 시스템(1000)의 적용례는, 상기에 나타내는 예로 한정되지 않는다. 통신 시스템(1000)의 다른 적용례에 관해서는, 후술한다.
통신 시스템(1000)은, 예를 들면, 화상 센서(100)와, 프로세서(200)와, 메모리(300)와, 표시 디바이스(400)를 갖는다.
화상 센서(100)는, 촬상 기능과 송신 기능을 가지고, 촬상에 의해 생성한 화상을 나타내는 데이터를 송신한다. 프로세서(200)는, 화상 센서(100)로부터 송신된 데이터를 수신하고, 수신된 데이터를 처리한다. 즉, 통신 시스템(1000)에서, 화상 센서(100)는 송신 장치의 역할을 다하고, 프로세서(200)는 수신 장치의 역할을 다한다.
또한, 도 1에서는, 하나의 화상 센서(100)를 갖는 통신 시스템(1000)을 도시하고 있는데, 본 실시 형태에 관한 통신 시스템이 가지는 화상 센서(100)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템은, 2개 이상의 화상 센서(100)를 갖고 있어도 좋다.
또한, 도 1에서는, 하나의 프로세서(200)를 갖는 통신 시스템(1000)을 도시하고 있는데, 본 실시 형태에 관한 통신 시스템이 가지는 프로세서(200)의 수는, 도 1에 도시하는 예로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템은, 2개 이상의 프로세서(200)를 갖고 있어도 좋다.
화상 센서(100) 및 프로세서(200) 각각을 복수로 가지는 통신 시스템에서는, 화상 센서(100)와 프로세서(200)가 1대1로 대응하고 있어도 좋고, 하나의 프로세서(200)에 복수의 화상 센서(100)가 대응하고 있어도 좋다. 또한, 화상 센서(100) 및 프로세서(200) 각각을 복수로 가지는 통신 시스템에서는, 하나의 화상 센서(100)에 복수의 프로세서(200)가 대응하고 있어도 좋다.
화상 센서(100) 및 프로세서(200) 각각을 복수로 가지는 통신 시스템에서도, 도 1에 도시하는 통신 시스템(1000)과 마찬가지로, 화상 센서(100)와 프로세서(200)의 사이에서 통신이 행해진다.
화상 센서(100)와 프로세서(200)는, 데이터 버스(B1)에 의해 전기적으로 접속된다. 데이터 버스(B1)는, 화상 센서(100)와 프로세서(200)를 접속하는, 하나의 신호의 전송로이다. 예를 들면, 화상 센서(100)로부터 송신되는 화상을 나타내는 데이터(이하, 「화상 데이터」로 나타내는 경우가 있다.)는, 화상 센서(100)로부터 프로세서(200)로 데이터 버스(B1)를 통하여 전송된다.
통신 시스템(1000)에서 데이터 버스(B1)에 의해 전송되는 신호는, 예를 들면, MIPI CSI-2 규격 등의 소정의 규격에 따른 통신 방식으로 전송된다.
도 2, 도 3은, MIPI CSI-2 규격에서 정해지는 패킷의 포맷을 도시하는 설명도이다. 도 2는, MIPI CSI-2 규격에서 정해져 있는 쇼트 패킷(Short Packet)의 포맷을 도시하고 있고, 도 3은, MIPI CSI-2 규격에서 정해져 있는 롱 패킷(Long Packet)의 포맷을 도시하고 있다.
롱 패킷은, 패킷 헤더(도 3에 도시하는 "PH"), 페이로드(도 3에 도시하는 "Payload Data"), 및 패킷 푸터(도 3에 도시하는 "PF")로 이루어지는 데이터이다. 쇼트 패킷은, 도 2에 도시하는 바와 같이 패킷 헤더(도 3에 도시하는 "PH")와 같은 구조를 갖는 데이터이다.
쇼트 패킷과 롱 패킷에는, 모두 헤더부분에 VC(Virtual Channel) 번호(도 2, 도 3에 도시하는 "VC". VC값)가 기록되고, 패킷마다 임의의 VC 번호가 부여될 수 있다. 동일한 VC 번호가 부여된 패킷은, 같은 화상 데이터에 속하는 패킷으로서 취급된다.
또한, 쇼트 패킷과 롱 패킷에는, 모두 헤더부분에 DT(Data Type)값(도 2, 도 3에 도시하는 "Data Type")가 기록된다. 그때문에, VC 번호와 마찬가지로, 같은 DT값이 부여된 패킷을, 같은 화상 데이터에 속하는 패킷으로서 취급하는 것도 가능하다.
롱 패킷의 헤더부분의 Word Count에는, 패킷의 끝이 워드 수로 기록된다. 쇼트 패킷과 롱 패킷의 헤더부분의 ECC에는, 오류 정정 부호(Error Correcting Code)가 기록된다.
MIPI CSI-2 규격에서는, 데이터 신호를 전송하는 기간에서는 고속 차동 신호가 이용되고, 또한, 데이터 신호의 블랭킹 기간에서는 저전력(低電力) 신호가 이용된다. 또한, 고속 차동 신호가 이용되는 기간은, HPS(High Speed State)의 기간이라고 불리고, 저전력 신호가 이용되는 기간은, LPS(Low Power State)의 기간이라고 불린다.
도 4는, MIPI CSI-2 규격에서의 패킷의 송신에 관한 신호 파형의 한 예를 도시하는 설명도이다. 도 4의 A는, 패킷의 전송의 한 예를 도시하고 있고, 도 4의 B는, 패킷의 전송의 다른 예를 도시하고 있다. 도 4에 도시하는 "ST", "ET", "PH", "PF", "SP", "PS"는, 각각 하기를 의미한다.
·ST: Start of Transmission
·ET: End of Transmission
·PH: Packet Header
·PF: Packet Footer
·SP: Short Packet
·PS: Packet Spacing
도 4에 도시하는 바와 같이, LPS의 기간에서의 차동 신호(도 4에 도시하는 "LPS")와, HPS의 기간에서의 차동 신호(도 4에 도시하는 "LPS" 이외)에서는, 차동 신호의 진폭이 다른 것을 알 수 있디. 그때문에, 전송 효율을 향상시키는 관점에서는, 가능한 한 LPS의 기간이 들어가지 않는 것이 바람직하다.
화상 센서(100)와 프로세서(200)는, 예를 들면, 데이터 버스(B1)와는 다른 제어 버스(B2)에 의해 전기적으로 접속된다. 제어 버스(B2)는, 화상 센서(100)와 프로세서(200)를 접속하는, 다른 신호의 전송로이다. 예를 들면, 프로세서(200)로부터 출력되는 제어 정보가, 프로세서(200)로부터 화상 센서(100)로 제어 버스(B2)를 통하여 전송된다.
제어 정보에는, 예를 들면, 제어를 위한 정보와 처리 명령이 포함된다. 제어를 위한 정보로서는, 예를 들면, 화상 사이즈를 나타내는 데이터, 프레임 레이트를 나타내는 데이터, 화상의 출력 명령이 수신되고 나서 화상을 출력할 때까지의 출력 지연량을 나타내는 데이터 중의 1 또는 2 이상 등, 화상 센서(100)에서의 기능을 제어하기 위한 데이터를, 들 수 있다. 또한, 제어 정보에는, 화상 센서(100)를 나타내는 식별 정보가 포함되어 있어도 좋다. 식별 정보로서는, 예를 들면, 화상 센서(100)에 설정되어 있는 ID 등의, 화상 센서(100)를 특정하는 것이 가능한 임의의 데이터를 들 수 있다.
또한, 제어 버스(B2)를 통하여 프로세서(200)로부터 화상 센서(100)로 전송되는 정보는, 상기에 나타내는 예로 한정되지 않는다. 예를 들면, 프로세서(200)는, 화상에서의 영역을 지정하는 영역 지정 정보를, 제어 버스(B2)를 통하여 전송해도 좋다. 영역 지정 정보로서는, 영역에 포함되는 화소의 위치를 나타내는 데이터(예를 들면, 영역에 포함되는 화소의 위치가 좌표로 표시되는 좌표 데이터 등) 등, 영역을 특정하는 것이 가능한 임의의 형식의 데이터를, 들 수 있다.
도 1에서는, 화상 센서(100)와 프로세서(200)가 제어 버스(B2)에 의해 전기적으로 접속되어 있는 예를 도시하고 있는데, 화상 센서(100)와 프로세서(200)는, 제어 버스(B2)로 접속되어 있지 않아도 좋다. 예를 들면, 화상 센서(100)와 프로세서(200)는, 임의의 통신 방식의 무선 통신에 의해, 제어 정보 등을 송수신해도 좋다.
이하, 도 1에 도시하는 통신 시스템(1000)을 구성하는 각 장치에 관해, 설명한다.
(1-1) 메모리(300)
메모리(300)는, 통신 시스템(1000)이 가지는 기록 매체이다. 메모리(300)로서는, 예를 들면, RAM(Random Access Memory) 등의 휘발성 메모리나, 플래시 메모리 등의 불휘발성 메모리 등을 들 수 있다. 메모리(300)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 동작한다.
메모리(300)에는, 예를 들면, 화상 센서(100)로부터 출력된 화상이 기억된다. 메모리(300)에의 화상의 기록은, 예를 들면 프로세서(200)에 의해 제어된다.
(1-2) 표시 디바이스(400)
표시 디바이스(400)는, 통신 시스템(1000)이 가지는 표시 디바이스이다. 표시 디바이스(400)로서는, 예를 들면, 액정 디스플레이나 유기 EL 디스플레이(Organic Electro-Luminescence Display. 또는, OLED 디스플레이(Organic Light Emitting Diode Display)라고도 불린다.) 등을 들 수 있다. 표시 디바이스(400)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 동작한다.
표시 디바이스(400)의 표시 화면에는, 예를 들면, 화상 센서(100)로부터 출력된 화상이나, 프로세서(200)에서 실행되는 어플리케이션에 관한 화면, UI(User Interface)에 관한 화면 등, 다양한 화상이나 화면이 표시된다. 표시 디바이스(400)의 표시 화면에의 화상 등의 표시는, 예를 들면 프로세서(200)에 의해 제어된다.
(1-3) 프로세서(200)(수신 장치)
프로세서(200)는, 화상 센서(100)로부터 송신된 데이터를 수신하고, 수신된 데이터를 처리한다. 상술한 바와 같이, 프로세서(200)는, 통신 시스템(1000)에서 수신 장치의 역할을 다한다. 화상 센서(100)로부터 송신된 데이터의 처리에 관한 구성(수신 장치의 역할을 다하기 위한 구성)의 한 예에 관해서는, 후술한다.
프로세서(200)는, 예를 들면, MPU(Micro Processing Unit) 등의 연산 회로로 구성되는, 1 또는 2 이상의 프로세서나, 각종 처리 회로 등으로 구성된다. 프로세서(200)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 동작한다.
프로세서(200)는, 예를 들면, 메모리(300) 등의 기록 매체에의 화상 데이터의 기록 제어에 관한 처리, 표시 디바이스(400)의 표시 화면에의 화상의 표시 제어에 관한 처리, 임의의 어플리케이션 소프트웨어를 실행하는 처리 등, 다양한 처리를 행한다. 기록 제어에 관한 처리로서는, 예를 들면 "기록 명령을 포함하는 제어 데이터와 기록 매체에 기록시키는 데이터를, 메모리(300) 등의 기록 매체에 전달하는 처리"를, 들 수 있다. 또한, 표시 제어에 관한 처리로서는, 예를 들면 "표시 명령을 포함하는 제어 데이터와 표시 화면에 표시시키는 데이터를, 표시 디바이스(400) 등의 표시 디바이스에 전달하는 처리"를, 들 수 있다.
또한, 프로세서(200)는, 예를 들면, 화상 센서(100)에 대해 제어 정보를 송신함에 의해, 화상 센서(100)에서의 기능을 제어해도 좋다. 프로세서(200)는, 예를 들면, 화상 센서(100)에 대해 영역 지정 정보를 송신함에 의해, 화상 센서(100)로부터 송신되는 데이터를 제어하는 것도 가능하다.
(1-4) 화상 센서(100)(송신 장치)
화상 센서(100)는, 촬상 기능과 송신 기능을 가지고, 촬상에 의해 생성한 화상을 나타내는 데이터를 송신한다. 상술한 바와 같이, 화상 센서(100)는, 통신 시스템(1000)에서 송신 장치의 역할을 다한다.
화상 센서(100)는, 예를 들면, "디지털 스틸 카메라나 디지털 비디오 카메라, 스테레오 카메라 등의 촬상 디바이스"나, "적외선 센서", "거리 화상 센서" 등의, 화상을 생성하는 것이 가능한 임의 방식의 화상 센서 디바이스를 포함하고, 생성된 화상을 송신하는 기능을 갖는다. 화상 센서(100)에서 생성된 화상은, 화상 센서(100)에서의 센싱 결과를 나타내는 데이터에 해당한다. 화상 센서(100)의 구성의 한 예에 관해서는, 후술한다.
화상 센서(100)는, 후술하는 본 실시 형태에 관한 송신 방법에 의해, 화상에 대해 설정되는 영역에 대응하는 데이터(이하, 「영역 데이터」로 나타낸다.)를 송신한다. 영역 데이터의 송신에 관한 제어는, 예를 들면, 화상 센서(100)에서의 화상 처리부로서 기능하는 구성 요소(후술한다)에 의해 행해진다. 화상에 대해 설정되는 영역은, ROI(Region Of Interest)라고 불리는 경우가 있다. 이하에서는, 화상에 대해 설정되는 영역을 「ROI」로 나타내는 경우가 있다.
화상에 대한 영역의 설정에 관한 처리로서는, 예를 들면, "화상으로부터 물체를 검출하고, 검출된 물체를 포함하는 영역을 설정하는 처리", "임의의 조작 디바이스에 대한 조작 등에 의해 지정된 영역을 설정하는 처리" 등, 화상에서의 일부의 영역을 특정하는 것이 가능한 임의의 처리(또는, 화상으로부터 일부의 영역을 절출하는 것이 가능한 임의의 처리)를, 들 수 있다.
화상에 대한 영역의 설정에 관한 처리는, 화상 센서(100)가 행해도 좋고, 프로세서(200) 등의 외부 장치에서 행해져도 좋다. 화상 센서(100)가 화상에 대한 영역의 설정에 관한 처리를 행하는 경우, 화상 센서(100)는, 화상에 대한 영역의 설정에 관한 처리의 결과에 따라 영역을 특정한다. 또한, 예를 들면, 화상에 대한 영역의 설정에 관한 처리가 외부 장치에서 행해지는 경우, 화상 센서(100)는, 외부 장치로부터 취득된 영역 지정 정보에 의거하여, 영역을 특정한다.
화상 센서(100)가, 영역 데이터를 송신하는 것, 즉, 화상의 일부의 데이터를 송신함에 의해, 화상 전체를 전송하는 것보다도 전송에 관한 데이터량이 작아진다. 따라서, 화상 센서(100)가, 영역 데이터를 송신함에 의해, 예를 들면, 전송 시간이 단축되는, 통신 시스템(1000)에서의 전송에 관한 부하가 저감되는 등, 데이터량이 저감됨에 의해 이루어지는 다양한 효과가, 이루어진다.
또한, 화상 센서(100)는, 화상 전체를 나타내는 데이터를 송신하는 것도 가능하다.
화상 센서(100)가, 영역 데이터를 송신하는 기능, 및 화상 전체를 나타내는 데이터를 송신하는 기능을 갖고 있는 경우, 화상 센서(100)는, 영역 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것을, 선택적으로 전환하여 행하는 것이 가능하다.
화상 센서(100)는, 예를 들면, 설정되어 있는 동작 모드에 의해, 영역 데이터를 송신하고, 또는, 화상 전체를 나타내는 데이터를 송신한다. 동작 모드의 설정은, 예를 들면, 임의의 조작 디바이스에 대한 조작 등에 의해 행해진다.
또한, 화상 센서(100)는, 외부 장치로부터 취득되는 영역 지정 정보에 의거하여, 영역 데이터를 송신하는 것과, 화상 전체를 나타내는 데이터를 송신하는 것을, 선택적으로 전환해도 좋다. 화상 센서(100)는, 예를 들면, 외부 장치로부터 영역 지정 정보가 취득된 때에, 당해 영역 지정 정보에 대응하는 영역의 영역 데이터를 송신하고, 외부 장치로부터 영역 지정 정보가 취득되지 않는 때에, 화상 전체를 나타내는 데이터를 송신한다.
통신 시스템(1000)은, 예를 들면 도 1에 도시하는 구성을 갖는다. 또한, 본 실시 형태에 관한 통신 시스템의 구성은, 도 1에 도시하는 예로 한정되지 않는다.
예를 들면, 도 1에서는, 송신 장치의 역할을 다하는 장치로서 화상 센서(100)를 예로 들었지만, 송신 장치의 역할을 다하는 장치는, 화상 센서(100)로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템이, 촬상 디바이스 등의 화상 센서 디바이스와, 화상 센서 디바이스와 전기적으로 접속되어 있는 송신기를 갖는 구성인 경우, 당해 송신기가 송신 장치의 역할을 다하고 있어도 좋다.
또한, 도 1에서는, 수신 장치의 역할을 다하는 장치로서, 프로세서(200)를 예로 들었지만, 수신 장치의 역할을 다하는 장치는, 프로세서(200)로 한정되지 않는다. 예를 들면, 본 실시 형태에 관한 통신 시스템에서는, 데이터를 수신하는 기능을 갖는 임의의 디바이스가, 수신 장치의 역할을 다하는 것이 가능하다.
또한, 통신 시스템의 외부의 기록 매체에 화상 센서(100)로부터 송신되는 화상이 기억되는 경우, 화상 센서(100)로부터 송신되는 화상이, 프로세서(200)에 구비되는 메모리에 기억되는 경우, 또는, 화상 센서(100)로부터 송신되는 화상이 기록되지 않는 경우 등에는, 본 실시 형태에 관한 통신 시스템은, 메모리(300)를 갖고 있지 않아도 좋다.
또한, 본 실시 형태에 관한 통신 시스템은, 도 1에 도시하는 표시 디바이스(400)를 갖지 않는 구성을 취하는 것이 가능하다.
또한, 본 실시 형태에 관한 통신 시스템은, 후술하는 본 실시 형태에 관한 통신 시스템이 적용되는 전자 기기가 가지는 기능에 응한, 임의의 구성을 갖고 있어도 좋다.
이상, 본 실시 형태로서, 통신 시스템을 들어 설명했지만, 본 실시 형태는, 이러한 형태로 한정되지 않는다. 본 실시 형태는, 예를 들면, 스마트폰 등의 통신 장치나, 드론(원격 조작에 의한 동작, 또는, 자율적인 동작이 가능한 기기), 자동차 등의 이동체, PC(Personal Computer) 등의 컴퓨터, 태블릿형의 장치, 게임기, 감시 카메라 등, 다양한 전자 기기에 적용할 수 있다.
이와 같은 통신 시스템에서, 움직임 흐림의 발생과 포화하는 영역의 발생과 SN비의 저하의 발생을 동시에 억제하기 위한 동작의 개요를 설명한다.
도 5는, 화상 전체를 화상 센서(100)로부터 프로세서(200)에 전송하는 경우에 있어서 프레임의 노광 시간을 변화시킬 때의 동작의 개요를 도시하는 설명도이다. 도 5에는, 어느 임의의 프레임에서 노광 시간을 짧게(도 5의 예에서는 1/480초) 하고 있는 양상이 도시되어 있다. 이와 같이 화상 전체를 화상 센서(100)로부터 프로세서(200)에 전송하면, 상술한 바와 같이 하이 다이내믹 레인지 화상의 생성에 제약이 걸린다.
도 6은, 화상에 설정된 영역만을 화상 센서(100)로부터 프로세서(200)에 전송하는 경우에 있어서 프레임의 노광 시간을 변화시킬 때의 동작의 개요를 도시하는 설명도이다. 도 6에는, 어느 임의의 프레임에서 노광 시간을 짧게(도 6의 예에서는 1/480초) 하고, 또한 당해 프레임에서, 수직 방향의 사이즈가 전체의 1/16인 데이터를 복수(도 6의 예에서는 16개) 전송하고 있는 양상이 도시되어 있다. 즉, 본 실시 형태에서는, 화상 센서(100)는, 촬상 영역 전체를 판독하여 프로세서(200)에 전송하는 모드와, 설정된 영역(ROI)을 판독하여 프로세서(200)에 전송하는 모드의, 적어도 2개의 모드를 갖는 것으로 한다.
본 실시 형태에서는, 이와 같이 데이터를 전송함으로써, 화상 전체를 전송하는 경우와 데이터의 전송량은 변하지 않지만, 화상의 일부의 영역만을 전송함으로써, 그 영역에 관해 고해상도의 화상을 프로세서(200)에 생성시키는 것이 가능해진다.
(화상 센서(100))
계속해서, 본 실시 형태에 관한 화상 센서(100)의 구성례에 관해 설명한다. 도 7은, 본 실시 형태에 관한 화상 센서(100)의 구성의 한 예를 도시하는 하드웨어 블록도이다. 화상 센서(100)는, 예를 들면, 화상 센서 디바이스(102)와, IC 칩(104)을 구비한다. 도 7에 도시하는 화상 센서(100)는, 배터리 등의 통신 시스템(1000)을 구성하는 내부 전원(도시 생략)으로부터 공급되는 전력, 또는, 통신 시스템(1000)의 외부 전원으로부터 공급되는 전력에 의해, 동작한다.
화상 센서 디바이스(102)는, 예를 들면, "디지털 스틸 카메라 등의 촬상 디바이스"나, "적외선 센서", "거리 화상 센서" 등의, 화상을 생성하는 것이 가능한 임의 방식의 화상 센서 디바이스이다.
한 예를 들면, 화상 센서 디바이스(102)로서 기능하는 촬상 디바이스는, 렌즈/촬상 소자와 신호 처리 회로를 포함하여 구성된다.
렌즈/촬상 소자는, 예를 들면, 광학계의 렌즈와, CMOS(Complementary Metal Oxide Semiconductor)나 CCD(Charge Coupled Device) 등의 촬상 소자를 복수 이용한 이미지 센서로 구성된다.
신호 처리 회로는, 예를 들면, AGC(Automatic Gain Control) 회로나 ADC(Analog to Digital Converter)를 구비하고, 촬상 소자에 의해 생성된 아날로그 신호를 디지털 신호(화상 데이터)로 변환한다. 또한, 신호 처리 회로는, 예를 들면 RAW 현상에 관한 각종 처리를 행한다. 또한, 신호 처리 회로는, 예를 들면, White Balance 보정 처리나, 색조 보정 처리, 감마 보정 처리, YCbCr 변환 처리, 에지 강조 처리 등 각종 신호 처리를 행해도 좋다.
또한, 신호 처리 회로는, 화상에 대한 영역의 설정에 관한 처리를 행하고, 영역 지정 정보를 IC 칩(104)에 전달해도 좋다. 또한, 신호 처리 회로는, 노광 정보나 게인 정보 등이 다양한 데이터를, IC 칩(104)에 전달해도 좋다.
화상 센서 디바이스(102)에 의해 생성된 화상을 나타내는 신호는, IC 칩(104)에 전달된다. 또한, 화상 센서 디바이스(102)로부터 IC 칩(104)에 전달되는 화상을 나타내는 신호가 아날로그 신호인 경우, IC 칩(104)은, 예를 들면, 구비하고 있는 ADC에서 아날로그 신호를 디지털 신호로 변환하고, 변환에 의해 얻어진 화상 데이터를 처리한다. 이하에서는, 화상 센서 디바이스(102)로부터 IC 칩(104)에 화상 데이터가 전달되는 경우를 예로 든다.
IC 칩(104)은, 데이터의 송신 기능에 관한 회로가 집적된 IC(Integrated Circuit)가 칩형상으로 형성된 것이고, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를 처리하고, 생성된 화상에 대응하는 데이터를 송신한다. 화상에 대응하는 데이터란, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터(즉, 화상 전체를 나타내는 데이터), 또는, 영역 정보 및 영역 데이터이다. 또한, 데이터의 송신 기능에 관한 회로는, 하나의 IC 칩의 형태로 실현되는 것으로 한정되지 않고, 복수의 IC 칩으로 형성되어 있어도 좋다.
IC 칩(104)은, 예를 들면, 화상 처리 회로(106)와, LINK 제어 회로(108)와, ECC 생성 회로(110)와, PH 생성 회로(112)와, EBD용 버퍼(114)와, 화상 데이터 버퍼(116)와, 합성 회로(118)와, 송신 회로(120)를 구비한다.
화상 처리 회로(106)는, 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 기능을 갖는 하나의 회로이다. 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 경우, 화상 처리 회로(106)는, 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보와 영역에 대응하는 영역 데이터를, LINK 제어 회로(108), ECC 생성 회로(110), PH 생성 회로(112), EBD용 버퍼(114), 화상 데이터 버퍼(116), 합성 회로(118), 송신 회로(120)에 의해, 행마다 송신시킨다. 또한, 화상 처리 회로(106)는, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터(즉, 화상 전체를 나타내는 데이터)를, 행마다 송신시키는 것도 가능하다.
화상 처리 회로(106)로서는, 예를 들면 MPU 등의 프로세서를, 들 수 있다.
화상 처리 회로(106)가 가지는 기능을, 기능 블록으로 나누어서 설명한다. 도 7에 도시하는 바와 같이, 화상 처리 회로(106)는, 예를 들면, 영역 절출부(122)와, 화상 처리 제어부(124)와, 인코드부(126)를 갖는다.
영역 절출부(122)는, 화상에 대한 영역의 설정에 관한 처리를 행하는 역할을 다하고, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터가 나타내는 화상에 대해, 영역(ROI)을 설정한다. 영역 절출부(122)는, 예를 들면, 설정되어 있는 동작 모드에 응하여, 화상에 대한 영역의 설정에 관한 처리를 행한다. 예를 들면, 영역 절출부(122)는, 동작 모드가 영역 데이터를 송신하는 동작 모드인 경우에, 화상에 대한 영역의 설정에 관한 처리를 행한다. 또한, 영역 절출부(122)는, 동작 모드가 화상 전체를 나타내는 데이터를 송신하는 동작 모드인 경우에는, 화상에 대한 영역의 설정에 관한 처리를 행하지 않는다.
영역 절출부(122)는, 예를 들면, 화상에 대해 임의의 물체 검출 처리를 행하여 물체를 검출하고, 검출된 물체마다, 검출된 물체를 포함하는 영역을 설정한다. 또한, 영역 절출부(122)는, 임의의 조작 디바이스에 대한 조작 등에 의해 지정된 영역을, 설정해도 좋다.
영역이 설정된 경우, 영역 절출부(122)는, 예를 들면, 설정된 영역을 나타내는 영역 지정 정보를, 화상 처리 제어부(124)에 전달한다. 또한, 영역이 설정되지 않은 경우, 영역 절출부(122)는, 영역 지정 정보를 화상 처리 제어부(124)에 전달하지 않는다.
또한, 영역 절출부(122)는, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를, 인코드부(126)에 전달한다.
화상 처리 제어부(124)는, 본 실시 형태에 관한 송신 방법에 관한 처리를 행하는 역할을 다하고, 영역 정보를 화상에서의 행마다 설정하고, 설정된 영역 정보를, 인코드부(126)와 PH 생성 회로(112)에 전달한다.
화상 처리 제어부(124)는, 예를 들면, 영역 절출부(122)로부터 취득되는 영역 지정 정보, 또는, 외부 장치로부터 취득되는 영역 지정 정보(도시 생략)에 의거하여, 화상에서의 각 행에 포함되는 영역을 특정한다. 그리고, 화상 처리 제어부(124)는, 특정된 영역에 의거하여, 행마다 영역 정보를 설정한다. 이때, 화상 처리 제어부(124)는, 상술한 예외 처리에 나타내는 바와 같이, 하나 전에 송신시키는 행의 영역 정보에 포함되는 정보로부터 변화하지 않는 정보는, 영역 정보에 설정하지 않아도 좋다.
또한, 영역 지정 정보가 취득되지 않는 경우, 화상 처리 제어부(124)는, 영역 정보를 설정하지 않는다.
또한, 화상 처리 제어부(124)에서의 처리는, 상기에 나타내는 예로 한정되지 않는다.
예를 들면, 화상 처리 제어부(124)는, 예를 들면, 프레임 정보를 생성하고, 생성한 프레임 정보를 LINK 제어 회로(108)에 전달해도 좋다. 프레임 정보로서는, 예를 들면, 프레임마다 부여되는 VC의 번호를 들 수 있다. 또한, 프레임 정보에는, YUV 데이터, RGB 데이터 또는 RAW 데이터 등의 데이터 타입을 나타내는 데이터가 포함되어 있어도 좋다.
또한, 예를 들면, 화상 처리 제어부(124)는, 부가 정보를 설정하는 처리를 행하여, 설정된 부가 정보를 EBD용 버퍼(114)에 전달해도 좋다.
부가 정보를 설정하는 처리로서는, 예를 들면 부가 정보를 생성하는 처리를 들 수 있다. 부가 정보를 생성하는 처리로서는, 예를 들면, 영역의 데이터량을 나타내는 정보를 생성하는 처리, 영역의 크기를 나타내는 정보를 생성하는 처리, 및 영역의 우선도를 나타내는 정보를 생성하는 처리 중의 1 또는 2 이상을, 들 수 있다.
또한, 부가 정보를 설정하는 처리는, 부가 정보를 생성하는 처리로 한정되지 않는다. 예를 들면, 화상 처리 제어부(124)는, 노광 정보나 게인 정보 등의 화상 센서 디바이스(102)로부터 취득된 정보를, 부가 정보로서 설정해도 좋다. 또한, 화상 처리 제어부(124)는, 예를 들면, 물리 영역 길이를 나타내는 데이터, 출력 영역 길이를 나타내는 데이터, 화상 포맷을 나타내는 데이터, 데이터 총량을 나타내는 데이터 등의, 다양한 영역에 관한 데이터를, 부가 정보로서 설정해도 좋다. 물리 영역 길이로서는, 예를 들면 화상 센서 디바이스(102)의 화소수를 들 수 있다. 출력 영역 길이로서는, 예를 들면 화상 센서 디바이스(102)로부터 출력되는 화상의 화소수(화상상의 길이)를 들 수 있다.
인코드부(126)는, 예를 들면, 화상 센서 디바이스(102)로부터 전달되는 화상 데이터를, 예를 들면 JPEG(Joint Photographic Experts Group) 규격에 대응하는 방식 등의 소정의 방식으로 인코드한다.
화상 처리 제어부(124)로부터 영역 정보가 취득되지 않는 경우, 인코드부(126)는, 인코드된 화상 데이터를, 화상 데이터 버퍼(116)에 전달한다. 이하에서는, 인코드된 화상 데이터, 즉, 인코드된 화상 전체를 나타내는 데이터를 「통상 데이터」로 나타내는 경우가 있다.
또한, 화상 처리 제어부(124)로부터 영역 정보가 취득되는 경우, 인코드부(126)는, 취득된 영역 정보와, 영역에 대응하는 인코드된 영역 데이터를, 화상 데이터 버퍼(116)에 전달한다.
화상 처리 회로(106)는, 예를 들면, 영역 절출부(122), 화상 처리 제어부(124), 및 인코드부(126)를 갖음에 의해, 본 실시 형태에 관한 송신 방법에 관한 처리를 행한다. 또한, 도 7에 도시하는 화상 처리 회로(106)의 기능 블록은, 화상 처리 회로(106)가 가지는 기능을 편의상 잘라 나눈 것이고, 화상 처리 회로(106)에서의 기능의 잘라 나누는 방식은, 도 7에 도시하는 예로 한정되지 않는다.
LINK 제어 회로(108)는, 예를 들면, 프레임 정보를, 행마다 ECC 생성 회로(110), PH 생성 회로(112), 및 합성 회로(118)에 전달한다.
ECC 생성 회로(110)는, 행마다 오류 정정 부호를 설정한다. ECC 생성 회로(110)는, 예를 들면, 프레임 정보에서의 1행의 데이터(예를 들면, VC의 번호, 데이터 타입 등)에 의거하여, 그 행의 오류 정정 부호를 생성한다. ECC 생성 회로(110)는, 예를 들면, 생성한 오류 정정 부호를 PH 생성 회로(112)와 합성 회로(118)에 전달한다. 또한, ECC 생성 회로(110)는, PH 생성 회로(112)와 연휴하여 오류 정정 부호를 생성해도 좋다.
PH 생성 회로(112)는, 프레임 정보를 이용하여, 행마다 패킷 헤더를 생성한다.
PH 생성 회로(112)는, 화상 처리 회로(106)(도 7의 예에서는, 화상 처리 제어부(124))로부터 전달되는 영역 정보에 의거하여, 패킷 헤더를 생성해도 좋다. 구체적으로는, PH 생성 회로(112)는, 영역 정보에 의거하여, 상술한 바와 같은 "영역 정보에 포함되는 정보가 하나 전에 송신시키는 패킷에 포함되는 영역 정보로부터 변화하고 있는지의 여부를 나타내는 데이터"(변화 정보)를, 패킷 헤더에 설정한다.
EBD용 버퍼(114)는, 화상 처리 회로(106)(도 7의 예에서는, 화상 처리 제어부(124))로부터 전달되는 부가 정보를 일시적으로 유지하는 버퍼이다. EBD용 버퍼(114)는, 소정의 타이밍에서 부가 정보를 "EmbeddedData"로서 합성 회로(118)에 출력한다. 또한, EBD용 버퍼(114)로부터 출력되는 "EmbeddedData"는, 후술하는 화상 데이터 버퍼(116)를 경유하여 합성 회로(118)에 전달되어도 좋다. 또한, 수신 장치인 프로세서(200)가 송신되는 부가 정보(ROI 정보)를 파악하고 있는 경우에 있어서는, 레지스터 설정 등에 의해, 후술하는 송신 회로(120)로부터 상기 부가 정보에 상당하는 EBD 데이터를 송신하는 것을 생략해도 좋다.
화상 데이터 버퍼(116)는, 화상 처리 회로(106)(도 7의 예에서는, 인코드부(126))로부터 전달되는 데이터(통상 데이터, 또는, 영역 정보 및 영역 데이터)를 일시적으로 유지하는 버퍼이다. 화상 데이터 버퍼(116)는, 유지하고 있고 있는 데이터를, 소정의 타이밍에서 행마다 합성 회로(118)에 출력한다.
합성 회로(118)는, 예를 들면, ECC 생성 회로(110), PH 생성 회로(112), EBD용 버퍼(114), 및 화상 데이터 버퍼(116) 각각으로부터 취득되는 데이터에 의거하여, 전송하는 패킷을 생성한다.
송신 회로(120)는, 합성 회로(118)로부터 전달되는 패킷을, 행마다 데이터 버스(B1)(신호의 전송로의 한 예. 이하, 마찬가지라고 한다.)를 통하여, 전송 데이터(147A)로서 송신한다. 예를 들면 송신 회로(120)는, 도 4에 도시하는 바와 같은 고속 차동 신호에 의해 패킷을 송신한다.
여기서, 본 실시 형태에 관한 화상 센서(100)가 전송하는 데이터의 구체례를 설명한다. 도 8은, 본 실시 형태에 관한 화상 센서(100)가 전송하는 데이터의 구체례를 도시하는 설명도이다.
도 8에 도시하는 "FS"는, MIPI CSI-2 규격에서 FS(Frame Start) 패킷이고, 도 8에 도시하는 "FE"는, MIPI CSI-2 규격에서 FE(Frame End) 패킷이다(다른 도면에서도 마찬가지이다).
도 8에 도시하는 "Embedded Data"는 전송되는 패킷에 매입하는 것의 가능한 데이터이다. "Embedded Data"는, 예를 들면, 전송되는 패킷의 헤더, 페이로드, 또는, 푸터에 매입하는 것이 가능하다. 도 8에 도시하는 예에서는, 하나의 패킷의 "Embedded Data"에 영역 정보가 격납되고, 영역 정보가 격납된 "Embedded Data"는, 부가 데이터에 해당한다.
본 실시 형태에서는, "Embedded Data"로서 영역의 크기를 나타내는 정보와, 그 영역에서 전송되는 프레임이 몇 프레임 계속된 것인지를 나타내는 정보가 송신된다. 도 8에 도시하는 "Embedded Data"로서 영역의 크기를 나타내는 정보와, 그 영역에서 전송되는 프레임이 몇 프레임 계속되는 것인지를 나타내는 정보가 송신됨에 의해, 프로세서(200)는, 도 8의 t=0에 나타내는 영역을 포함하는 최소의 사각형의 영역, t=1에 나타내는 최소의 사각형의 영역, 이라는 바와 같이, t=15에 나타내는 영역까지를 포함하는 최소의 사각형의 영역을 n개(도 8의 예에서는 16개) 특정할 수 있다. 즉, 도 8에 도시하는 "Embedded Data"로서 영역의 크기를 나타내는 정보와, 그 영역에서 전송되는 프레임이 몇 프레임 계속된 것인지를 나타내는 정보가 송신됨에 의해, 프로세서(200)가, 영역 정보에 의거하여 각 영역을 포함하는 최소의 사각형의 영역을 특정하는 기능과, 그 영역에서 전송되는 프레임이 몇 프레임 계속되는 것인지를 특정하는 기능을 갖고 있지 않는 경우라도, 프로세서(200)에, 영역 정보에 의거하여 각 영역을 포함하는 최소의 사각형의 영역과, 그 영역이 몇 프레임 계속된 것인지를 특정시킬 수 있다. 또한, 영역의 크기를 나타내는 정보는, 각 영역을 포함하는 최소의 사각형의 영역을 나타내는 데이터로 한정되지 않음은, 말할 필요도 없다.
또한, 도 8에 도시하는 "Embedded Data"로서 송신되는, 영역의 데이터량을 나타내는 정보, 영역의 크기를 나타내는 정보, 및 그 영역에서 전송되는 프레임이 몇 프레임 계속된 것인지를 나타내는 정보 각각의 예가, 상기에 나타내는 예로 한정되지 않음은, 말할 필요도 없다. 또한, 이들 정보의 전부가 반드시 송신될 필요는 없다.
우선, 화상 센서(100)로부터 화상의 전체를 전송하는 경우는, 각 프레임에 대해 화상 데이터가 Payload Data에 격납되어 전송되어 간다. 도 8의 예에서는, 하나의 화상을 수직 방향으로 16분할하고, 분할된 각각의 행의 Payload Data에 화상 데이터가 격납되어 있다. 물론, 1프레임당의 수직 방향의 분할수는 이러한 예로 한정되는 것이 아니다.
계속해서, 화상 센서(100)로부터 화상의 일부의 영역, 예를 들면 도 6과 같이 수직 방향으로 1/16의 사이즈의 화상을, 0번째부터 15번째까지 합계 16개 전송하는 경우, Payload Data에, 0번째부터 15번째까지의 데이터가 격납되어 있다. 이에 의해 화상 센서(100)는, 화상 전체를 전송하는 경우와 같은 데이터량으로, 노광 시간이 짧은 화상을 복수개 전송하는 것이 가능해진다.
수신 장치인 프로세서(200)는, "Embedded Data"에 영역의 크기의 데이터와, 전(全) 화면이 1 프레임 전송되는데 필요한 시간만큼 계속 송신된다는 정보가 있으면, 그 영역의 전송이 몇 프레임 계속되는 것인지라는 정보가 명시되어 있지 않아도, "Embedded Data"의 내용으로부터, 그 영역의 전송이 몇 프레임 계속되는 것인지를 나타내는 정보를 취득할 수 있다.
화상 센서(100)가 전송하는 데이터의 예는, 이러한 예로 한정되는 것이 아니다. 도 9는, 본 실시 형태에 관한 화상 센서(100)가 전송하는 데이터의 구체례를 도시하는 설명도이다. 도 9에 도시한 예는, 도 6과 같이 수직 방향으로 1/16의 사이즈의 화상을, 0번째부터 15번째까지 합계 16개 전송하는 경우의 구체례이다. 도 8에 도시한 예와는 다르게, 각각의 화상에 관해 "FS" 패킷으로부터 시작하고 "FE" 패킷으로 데이터가 전송된다. 이 예에서는 0번째부터 15번째까지의 각각의 화상에 관해 "Embedded Data"가 전송되기 때문에, 데이터량은 도 8에 도시한 것보다 약간 증가하는 것이 되지만, Payload Data의 데이터량은 도 8에 도시한 것과 다르지 않다. 이에 의해 화상 센서(100)는, 화상 전체를 전송하는 경우와 거의 변하지 않는 데이터량으로, 노광 시간이 짧은 화상을 복수개 전송하는 것이 가능해진다.
(프로세서(200))
다음에, 프로세서(200)에 관해 설명한다. 도 10은, 본 실시 형태에 관한 프로세서(200)의 구성의 한 예를 도시한 것이다. 프로세서(200)는, 화상 센서(100)와 공통의 규격(예를 들면, MIPI CSI-2 규격, MIPI CSI-3 규격, 또는, MIPI DSI 규격)으로 신호를 수신하는 장치이다. 프로세서(200)는, 예를 들면, 수신부(210) 및 정보 처리부(220)를 갖고 있다. 수신부(210)는, 화상 센서(100)로부터 출력된 전송 데이터(147A)를, 데이터 레인(DL)을 통하여 수신하고, 수신한 전송 데이터(147A)에 대해 소정의 처리를 행함에 의해, 여러가지의 데이터(214A, 215A, 215B)를 생성하고, 정보 처리부(220)에 출력하는 회로이다. 정보 처리부(220)는, 수신부(210)로부터 수신한 여러가지의 데이터(214A, 215A)에 의거하여, ROI 화상(223A)을 생성하거나, 수신부(210)로부터 수신한 데이터(215B)에 의거하여, 통상 화상(224A)을 생성하거나 하는 회로이다.
수신부(210)는, 예를 들면, 헤더 분리부(211), 헤더 해석부(212), Payload 분리부(213), EBD 해석부(214) 및 ROI 데이터 분리부(215)를 갖고 있다.
헤더 분리부(211)는, 전송 데이터(147A)를, 데이터 레인(DL)을 통하여 화상 센서(100)로부터 수신한다. 즉, 헤더 분리부(211)는, 화상 센서(100)에서 촬상된 화상에서 설정된 영역(ROI)에 관한 ROI 정보를 포함함과 함께, 각 영역(ROI)의 화상 데이터를 LongPacket의 Payload Data에 포함하는 전송 데이터(147A)를 수신한다. 헤더 분리부(211)는, 수신한 전송 데이터(147A)를 프레임 헤더 영역과 패킷 영역으로 분리한다. 헤더 해석부(212)는, 프레임 헤더 영역에 포함되는 데이터(구체적으로는 EmbeddedData)에 의거하여, 패킷 영역에 포함되는 LongPacket의 PayloadData의 위치를 특정한다. Payload 분리부(213)는, 헤더 해석부(212)에 의해 특정된 LongPacket의 PayloadData의 위치에 의거하여, 패킷 영역에 포함되는 LongPacket의 PayloadData를, 패킷 영역에서 분리한다. 또한, EBD 데이터, LongPacket 등에 포함되는 부가 정보(ROI 정보)를 프로세서가 파악하고 있는 경우에는, 당해 ROI 정보의 일부 또는 전부의 송신을 생략하는 것도 가능하다. 구체적으로는, 프로세서는 EBD 데이터에 상당하는 정보를 헤더 해석부(212)에 유지해 둠에 의해, 당해 정보에 의거하여 패킷 영역에 포함되는 LongPacket의 PayloadData의 위치를 특정한다.
EBD 해석부(214)는, EmbeddedData를 EBD 데이터(214A)로서, 정보 처리부(220)에 출력한다. EBD 해석부(214)는, 또한, EmbeddedData에 포함되는 데이터 타입으로부터, LongPacket의 PayloadData에 포함되는 화상 데이터가 ROI의 화상 데이터의 압축상(壓縮像) 데이터인지, 또는, 통상 화상 데이터의 압축상 데이터인지 판별한다. EBD 해석부(214)는, 판별 결과를 ROI 데이터 분리부(215)에 출력한다.
LongPacket의 PayloadData에 포함되는 화상 데이터가 ROI의 화상 데이터의 압축상 데이터인 경우, ROI 데이터 분리부(215)는, LongPacket의 PayloadData를 PayloadData(215A)로서, 정보 처리부(220)(구체적으로는 ROI 디코드부(222))에 출력한다. PayloadData에 포함되는 화상 데이터가 통상 화상 데이터의 압축상 데이터인 경우, ROI 데이터 분리부(215)는, LongPacket의 PayloadData를 PayloadData(215B)로서, 정보 처리부(220)(구체적으로는 통상 화상 디코드부(224))에 출력한다. LongPacket의 PayloadData에 ROI 정보가 포함되어 있는 경우에는, PayloadData(215A)는, ROI 정보와, 압축상 데이터 중 1라인분의 화소 데이터를 포함하고 있다.
정보 처리부(220)는, EBD 데이터(214A)에 포함되는 EmbeddedData로부터, ROI 정보를 추출한다. 정보 처리부(220)는, 정보 추출부(221)에서 추출한 ROI 정보에 의거하여, 수신부(210)에서 수신한 전송 데이터에 포함되는 LongPacket의 PayloadData로부터, 촬상 화상에서의 각 주목 영역(ROI)의 화상을 추출한다. 정보 처리부(220)는, 예를 들면, 정보 추출부(221), ROI 디코드부(222), ROI 화상 생성부(223), 통상 화상 디코드부(224) 및 메모리(225)를 갖고 있다.
통상 화상 디코드부(224)는, PayloadData(215B)를 디코드하고, 통상 화상(224A)을 생성한다. ROI 디코드부(222)는, PayloadData(215A)에 포함되는 압축상 데이터(147B)를 디코드하고, 화상 데이터(222A)를 생성한다. 이 화상 데이터(222A)는, 1 또는 복수의 전송 화상에 의해 구성되어 있다.
정보 추출부(221)는, EBD 데이터(214A)에 포함되는 EmbeddedData로부터, ROI 정보를 추출한다. 정보 추출부(221)는, 예를 들면, EBD 데이터(214A)에 포함되는 EmbeddedData로부터, 예를 들면, 촬상 화상에 포함되는 주목 영역(ROI)의 수, 각 주목 영역(ROI)의 영역 번호, 각 주목 영역(ROI)의 데이터 길이, 및 각 주목 영역(ROI)의 화상 포맷을 추출한다.
ROI 화상 생성부(223)는, 정보 추출부(221)에서 얻어진 ROI 정보에 의거하여, 촬상 화상에서의 각 주목 영역(ROI)의 화상을 생성한다. ROI 화상 생성부(223)는, 생성한 화상을 ROI 화상(223A)으로서 출력한다.
메모리(225)는, ROI 화상 생성부(223)가 생성한 ROI 화상을 일시적으로 기억한다. ROI 화상 생성부(223)는, ROI 화상을 생성할 때에, 메모리(225)에 축적한 ROI 화상을 이용하여 화상을 합성하는 처리를 행한다. 이에 의해, ROI 화상 생성부(223)는, 움직임 흐려짐을 억제한 ROI 화상을 생성할 수 있다.
도 6에는, 수직 방향의 사이즈가 전체의 1/16인 화상을 전송하는 예를 나타냈지만, 여기서 다른 예를 나타낸다. 도 11은, 화상에 설정된 영역만을 화상 센서(100)로부터 프로세서(200)에 전송하는 경우에 있어서 프레임의 노광 시간을 변화시킬 때의 동작의 개요를 도시하는 설명도이다. 도 11에는, 어느 임의의 프레임에서 노광 시간을 짧게(도 11의 예에서는 1/480초) 하고, 또한 당해 프레임에서, 수직 방향의 사이즈 및 수평 방향의 사이즈가 각각 전체의 1/4인 데이터를 복수(도 11의 예에서는 16개) 전송하고 있는 양상이 도시되어 있다.
도 12는, 화상에 설정된 영역만을 화상 센서(100)로부터 프로세서(200)에 전송하는 경우에 있어서 프레임의 노광 시간을 변화시킬 때의 동작의 개요를 도시하는 설명도이다. 도 12에는, 어느 임의의 프레임에서 노광 시간을 짧게(도 12의 예에서는 1/240초) 하고, 또한 당해 프레임에서, 수직 방향의 사이즈가 전체의 1/8, 수평 방향의 사이즈가 전체의 1/4인 복수(도 12의 예에서는 8개)의 데이터, 및, 수직 방향의 사이즈가 전체의 1/16, 수평 방향의 사이즈가 전체의 1/2인 데이터를 복수(도 12의 예에서는 8개) 전송하고 있는 양상이 도시되어 있다. 즉, 화상 센서(100)에서 판독된 영역의 크기에 응하여 노광 시간이 정해져도 좋고, 화상 센서(100)에서의 노광 시간(또는 프레임 레이트)에 응하여 화상 센서(100)에서 판독되는 영역의 크기가 정해져도 좋다. 예를 들면, ROI 화상 생성부(223)가, 화상 센서(100)에 대해, ROI 화상으로서 생성하는 사이즈에 맞추어서 화상 센서(100)에서의 프레임 레이트를 결정해도 좋고, 화상 센서(100)에서의 프레임 레이트에 맞추어서 ROI 화상의 사이즈를 결정해도 좋다.
도 13은, 도 12에 도시한 바와 같은 전송을 실현할 때에 있어서의, 본 실시 형태에 관한 화상 센서(100)가 전송하는 데이터의 구체례를 도시하는 설명도이다. 화상 센서(100)로부터 도 12와 같은 2개의 영역의 화상을, 각각 0번째부터 7번째까지 합계(8)개 전송하는 경우, Payload Data에, 0번째부터 7번째까지의 데이터가 격납되어 있다. 이에 의해 화상 센서(100)는, 화상 전체를 전송하는 경우와 같은 데이터량으로, 노광 시간이 짧은 화상을 복수개 전송하는 것이 가능해진다.
화상 센서(100)는, 일부의 영역을 전송하는 프레임으로부터, 모든 영역을 전송하는 프레임으로 복귀할 때에, 상기 일부의 영역에 대한 단시간의 노광과, 상기 일부의 영역으로서 지정되지 않은 영역에 대한 장시간의 노광을 혼재시켜도 좋다. 화상 센서(100)는, 혼재시킨 노광을 실행함으로써, 전화면 거의 일양한 노광을, 복귀 최초의 프레임으로부터 실현할 수 있게 된다.
도 14는, 화상에 설정된 영역만을 화상 센서(100)로부터 프로세서(200)에 전송하는 경우에 있어서 프레임의 노광 시간을 변화시킬 때의 동작의 개요를 도시하는 설명도이다. 도 14에는, 어느 임의의 프레임에서 노광 시간을 짧게(도 14의 예에서는 1/240초) 하고, 또한 당해 프레임에서, 수직 방향의 사이즈가 전체의 1/8, 수평 방향의 사이즈가 전체의 1/4인 데이터를 복수(도 14의 예에서는 8개), 및, 수직 방향의 사이즈가 전체의 1/16, 수평 방향의 사이즈가 전체의 1/2인 데이터를 복수(도 14의 예에서는 8개) 전송하고 있는 양상이 도시되어 있다.
여기서, n+1번째의 프레임에서는, 일부의 영역에 대한 단시간의 노광과, 일부의 영역으로서 지정되지 않은 영역에 대한 장시간의 노광이 혼재하고 있다. 화상 센서(100)로부터 전송을 받은 프로세서(200)는, 일부의 영역에 대한 단시간의 노광의 결과를 가산하고, 그 영역 이외의 영역에 대한 노광의 결과와 합성함으로써, 전화면 거의 일양한 노광을, 복귀 최초의 프레임으로부터 실현할 수 있다.
다른 예를 나타낸다. 도 15는, 화상에 설정된 영역만을 화상 센서(100)로부터 프로세서(200)에 전송하는 경우에 있어서 프레임의 노광 시간을 변화시킬 때의 동작의 개요를 도시하는 설명도이다. 도 15에는, 어느 임의의 프레임에서 노광 시간을 짧게(도 15의 예에서는 1/480초) 하고, 또한 당해 프레임에서, 수직 방향의 사이즈가 전체의 1/8, 수평 방향의 사이즈가 전체의 1/2인 데이터를 복수(도 15의 예에서는 16개) 전송하고 있는 양상이 도시되어 있다.
이 경우에도, n+1번째의 프레임에서는, 일부의 영역에 대한 단시간의 노광과, 일부의 영역으로서 지정되지 않은 영역에 대한 장시간의 노광이 혼재하고 있다. 화상 센서(100)로부터 전송을 받은 프로세서(200)는, 일부의 영역에 대한 단시간의 노광의 결과를 가산하고, 그 영역 이외의 영역에 대한 노광의 결과와 합성함으로써, 전화면 거의 일양한 노광을, 복귀 최초의 프레임으로부터 실현할 수 있다.
화상 센서(100)는, 화상 센서 디바이스(102)로부터의 판독을 실행하는 회로를 복수 구비함으로써, 복수의 영역의 판독을 동시에 실행할 수 있다. 도 16은, 화상에 설정된 영역만을 화상 센서(100)로부터 프로세서(200)에 전송하는 경우에 있어서 프레임의 노광 시간을 변화시킬 때의 동작의 개요를 도시하는 설명도이다. 도 16에는, 어느 임의의 프레임에서 노광 시간을 짧게(도 16의 예에서는 1/480초) 하고, 또한 당해 프레임에서, 수직 방향의 사이즈가 전체의 1/4, 수평 방향의 사이즈가 전체의 1/8인 2개의 데이터를 복수(도 16의 예에서는 16개) 전송하고 있는 양상이 도시되어 있다.
화상 센서(100)는, 프레임 단위로 판독하는 영역을 변화시킬 수 있다. 예를 들면, 프로세서(200)(또는 프로세서(200)의 후단의 장치)가, 어느 프레임에서 일부의 영역 중에서 동체를 검지했다고 한다. 그 경우, 프로세서(200)(또는 프로세서(200)의 후단의 장치)는, 검지한 동체의 움직임을 보다 상세히 취득하기 위해, 다음의 프레임부터, 그 동체가 포함되는 영역만을 화상 센서(100)에 지정할 수 있다.
도 17은, 화상에 설정된 영역만을 화상 센서(100)로부터 프로세서(200)에 전송하는 경우에 있어서 프레임의 노광 시간을 변화시킬 때의 동작의 개요를 도시하는 설명도이다. 예를 들면, 어느 임의의 프레임에서 노광 시간을 짧게(도 17의 예에서는 1/480초) 하고, 또한 당해 프레임에서, 수직 방향의 사이즈가 전체의 1/4, 수평 방향의 사이즈가 전체의 1/4인 2개의 데이터를 복수(도 17의 예에서는 16개) 전송하고 있다고 한다.
프로세서(200)(또는 프로세서(200)의 후단의 장치)는, 그 프레임에서 동체를 검출하면, 다음의 프레임에서, 화상 센서(100)에 대해 더욱 노광 시간을 짧게(도 17의 예에서는 1/1920초) 하도록 지시한다. 또한 프로세서(200)(또는 프로세서(200)의 후단의 장치)는, 화상 센서(100)에 대해 당해 프레임에서, 수직 방향의 사이즈가 전체의 1/8, 수평 방향의 사이즈가 전체의 1/8인 화상, 및, 수직 방향의 사이즈가 전체의 1/16, 수평 방향의 사이즈가 전체의 1/4인 화상을 판독하도록 지시한다.
본 개시의 실시의 형태에 관한 화상 센서(100)는, 일부의 영역에 대한 노광을 실행함으로써, 고화질, 고감도로 하이 다이내믹 레인지의 동화상을 촬상 및 작성할 수 있다. 여기서, 영역의 지정 방법은 어떤 것이라도 좋다. 예를 들면, 영역의 크기의 정보가 되는 영역 정보 데이터를 프로세서(200)에서(예를 들면 ROI 화상 생성부(223)에서) 계산하고, 그 영역 정보 데이터의 계산 결과를 화상 센서(100)에 송신함으로써, 노광하는 영역이 지정되어도 좋다. 여기서 영역 정보 데이터에는, 영역의 폭, 높이, 좌표 등이 포함될 수 있다.
여기서, ROI 영역의 데이터 포맷의 한 예를 설명한다. 도 18은 ROI 영역의 예를 도시하는 설명도이다. 예를 들면, 도 18과 같이 A∼D의 4개의 ROI 영역이 존재했다고 한다. 도 19는, ROI 영역의 데이터 포맷의 한 예를 도시하는 설명도이다.
"PH"는 패킷 헤더를 나타낸다. "Embedded Data"는 전송되는 패킷에 매입하는 것의 가능한 데이터이다. "Embedded Data"에는, 적어도, ROI 영역을 식별하는 ID, ROI 영역의 좌상(左上)의 좌표의 위치 정보, ROI 영역의 높이 및 폭이 포함될 수 있다. 도 19에 도시한 포맷의 3행째부터는, 실제의 ROI 영역의 데이터가 격납된다. 여기서, 도 18의 영역(A)와 영역(B)과 같이 ROI 영역이 겹쳐져 있는 경우, 겹쳐져 있는 영역은 한번만 격납된다.
계속해서, 본 실시 형태에 관한 통신 시스템에서, 화상 센서(100)(송신 장치)로부터 프로세서(200)(수신 장치)에의 화상의 송신에 이용되는 패킷의 구조의 다른 예에 관해 설명한다. 본 실시 형태에 관한 통신 시스템에서는, 화상 센서(100)에 의해 촬상된 화상이 행 단위의 부분화상으로 분할되고, 행마다의 당해 부분화상의 데이터가 1 이상의 패킷을 이용하여 송신된다. 이것은, 화상에 대해 설정되는 영역의 영역 데이터(즉, ROI가 설정된 부분의 화상의 데이터)에 대해서도 마찬가지이다.
예를 들면, 도 20은, 본 실시 형태에 관한 통신 시스템에서 화상의 데이터의 송신에 이용되는 패킷의 구조의 한 예에 관해 설명하기 위한 설명도이다. 도 20에 도시하는 바와 같이, 화상의 송신에 이용되는 패킷(Packet)은, 데이터 스트림 중에서, 스타트 코드(Start Code)로 시작되고, 엔드 코드(End Code)로 종료하는 일련의 데이터로서 규정된다. 또한, 당해 패킷에는, 헤더(Header)와, 페이로드 데이터(Payload Data)가 이 순서로 배열되어 포함된다. 또한, 페이로드 데이터의 뒤에, 푸터(Footer)가 부가되어도 좋다. 페이로드 데이터(이하, 단지 「페이로드」라고도 칭한다)는, 행 단위의 부분화상의 픽셀 데이터가 포함된다. 헤더에는, 페이로드에 포함되는 부분화상에 대응하는 행에 관한 각종 정보가 포함된다. 푸터에는, 부가적인 정보(옵션)가 포함된다.
여기서, 헤더에 포함되는 정보에 관해 설명한다. 도 20에 도시하는 바와 같이, 헤더에는, 「Frame Start」, 「Frame End」, 「Line Valid」, 「Line Number」, 「EBD Line」, 「Data ID」, 「Reserved」, 및 「Header ECC」가 이 순서로 포함된다.
Frame Start는, 프레임의 선두를 나타내는 1비트의 정보이다. 예를 들면, 송신 대상이 되는 화상의 데이터 중 1행째의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Frame Start에는 1의 값이 설정되고, 다른 행의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Frame Start에는 0의 값이 설정된다. 또한, Frame Start가, 「프레임의 시작을 나타내는 정보」의 한 예에 상당한다.
Frame End는, 프레임의 종단을 나타내는 1비트의 정보이다. 예를 들면, 송신 대상이 되는 화상의 데이터 중 유효 화소 영역의 종단 라인의 화소 데이터를 페이로드에 포함하는 패킷의 헤더의 Frame End에는 1의 값이 설정되고, 다른 라인의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Frame End에는 0의 값이 설정된다. 또한, Frame End가, 「프레임의 종료를 나타내는 정보」의 한 예에 상당한다.
Frame Start와 Frame End가, 프레임에 관한 정보인 프레임 정보(Frame Information)의 한 예에 상당한다.
Line Valid는, 페이로드에 격납되어 있는 화소 데이터의 라인이 유효 화소의 라인인 것인지의 여부를 나타내는 1비트의 정보이다. 유효 화소 영역 내의 행의 화소 데이터의 전송에 이용되는 패킷의 헤더의 Line Valid에는 1의 값이 설정되고, 다른 라인의 화소 데이터의 전송에 이용된 패킷의 헤더의 Line Valid에는 0의 값이 설정된다. 또한, Line Valid가, 「대응하는 행이 유효인지의 여부를 나타내는 정보」의 한 예에 상당한다.
Line Number는, 페이로드에 격납되어 있는 화소 데이터에 의해 구성되는 행의 행 번호를 나타내는 13비트의 정보이다.
EBD Line는, 매입된 데이터를 갖는 행인지의 여부를 나타내는 1비트의 정보이다. 즉, EBD Line가, 「매입된 데이터를 갖는 행인지의 여부를 나타내는 정보」의 한 예에 상당한다.
Data ID는, 복수 스트림으로 나누어 데이터를 전송하는 경우에, 각 데이터(즉, 페이로드에 포함되는 데이터)를 식별하기 위한 4비트의 정보이다. 또한, Data ID가, 「페이로드에 포함되는 데이터의 식별 정보」의 한 예에 상당한다.
Line Valid, Line Number, EBD Line, 및 Data ID가, 행에 관한 정보인 행 정보(Line Information)가 된다.
Reserved는 확장용의 27비트의 영역이다. 또한, 이후에는, Reserved로서 나타낸 당해 영역을 「확장 영역」이라고도 칭한다. 또한, 헤더 정보 전체의 데이터량은 6바이트가 된다.
도 20에 도시하는 바와 같이, 헤더 정보에 계속해서 배치되는 Header ECC에는, 6바이트의 헤더 정보에 의거하여 계산된 2바이트의 오류 검출 부호인 CRC(Cyclic Redundancy Check) 부호가 포함된다. 즉, Header ECC가, 「헤더에 포함되는 정보의 오류 정정 부호」의 한 예에 상당한다. 또한, Header ECC에는, CRC 부호에 계속해서, 헤더 정보와 CRC 부호의 조(組)인 8바이트의 정보와 같은 정보가 2개 포함된다.
즉, 하나의 패킷의 헤더에는, 같은 헤더 정보와 CRC 부호의 조가 3개 포함된다. 헤더 전체의 데이터량은, 1조째의 헤더 정보와 CRC 부호의 조의 8바이트와, 2조째의 헤더 정보와 CRC 부호의 조의 8바이트와, 3조째의 헤더 정보와 CRC 부호의 조의 8바이트의, 합쳐서 24바이트가 된다.
여기서, 도 21 및 도 22를 참조하여, 패킷의 헤더에 마련되는 확장 영역(Reserved)에 관해 설명한다. 도 21 및 도 22는, 패킷의 헤더에 마련되는 확장 영역에 관해 설명하기 위한 설명도이다.
도 21에 도시하는 바와 같이, 확장 영역은, 선두의 3비트에 대해, 헤더 정보의 종별(種別)(Header Info Type)로서, 패킷으로 송신되는 정보에 응한 종별을 나타내는 정보가 설정된다. 이 헤더 정보의 종별에 응하여, 확장 영역 중, 당해 헤더 정보의 종별이 지정된 3비트를 제외한 나머지 24비트의 영역에 설정되는 정보의 포맷(즉, 정보의 종별이나 당해 정보가 설정되는 위치)이 결정된다. 이에 의해, 수신측은, 헤더 정보의 종별을 확인함으로써, 확장 영역 중 당해 헤더 정보의 종별이 지정된 영역 이외의 다른 영역의, 어느 위치에 어떤 정보가 설정되어 있는지를 인식하고, 당해 정보를 판독하는 것이 가능해진다.
예를 들면, 도 22는, 헤더 정보의 종별의 설정과, 당해 설정에 응한 확장 영역의 사용 방법의 한 예로서, 패킷의 페이로드 길이(환언하면, 행의 길이)를 가변으로 하는 경우의 설정의 한 예에 관해 도시하고 있다. 구체적으로는, 도 22에 도시하는 예에서는, 헤더 정보의 종별에 대해, 페이로드 길이가 가변으로 하는 경우의 종별에 응한 값이 설정된다. 보다 구체적으로는, 도 22에 도시하는 예로는, 헤더 정보의 종별에 대해, 도 21에 도시하는 예에서 당해 헤더 정보의 종별 설정된 「000」과는 다른 값으로써, 「001」이 설정되어 있다. 즉, 이 경우에는, 헤더 정보의 종별 중 「001」에 대응하는 종별은, 페이로드 길이가 가변으로 하는 경우의 종별을 의미하고 있는 것으로 된다. 또한, 도 22에 도시하는 예에서는, 확장 영역 중의 14비트가, 「Line Length」에 할당되어 있다. 「Line Length」는, 페이로드 길이를 통지하기 위한 정보이다. 이와 같은 구성에 의해, 수신측은, 헤더 정보의 종별로서 설정된 값에 의거하여, 페이로드 길이가 가변인 것을 인식함과 함께, 확장 영역에 「Line Length」로서 설정된 값을 판독함으로써, 페이로드 길이를 인식하는 것이 가능해진다.
이상, 도 20∼도 22를 참조하여, 본 실시 형태에 관한 통신 시스템에서, 화상 센서(100)(송신 장치)로부터 프로세서(200)(수신 장치)에의 화상의 송신에 이용되는 패킷의 구조의 한 예에 관해 설명했다.
계속해서, 본 개시에 관한 통신 시스템의 기술적 특징으로서, 화상에 대해 설정되는 영역(ROI)의 영역 데이터를 송신하기 위한 송신 방식의 한 예에 관해 설명한다.
화상 센서(100)는, 화상에 설정되는 영역의 영역 데이터를, 패킷의 페이로드에 격납하여 행마다 송신시킨다. 그래서, 이후의 설명에서는, 화상에 설정되는 영역 중, 각 행에 상당하는 부분을 편의상 「부분영역」이라고도 칭한다.
(데이터의 포맷)
우선, 도 23은, 송신되는 데이터의 포맷에 관해 설명하기 위한 설명도이다. 도 23에서, 참조 부호 A1로 나타낸 일련의 패킷은, 화상에 설정되는 영역의 영역 데이터가 송신되는 패킷(환언하면, 유효 화소 영역의 데이터가 송신되는 패킷)을 모식적으로 나타내고 있다. 또한, 참조 부호 A2 및 A3으로 나타낸 일련의 패킷은, 영역 데이터를 송신하기 위한 패킷과는 다른 패킷에 상당한다. 또한, 이후의 설명에서는, 참조 부호 A1, A2, 및 A3으로 나타낸 각 패킷을 구별하는 경우에는, 편의상, 각각 「패킷(A1)」, 「패킷(A2)」, 및 「패킷(A3)」이라고도 칭한다. 즉, 1프레임분의 데이터가 송신되는 기간에서, 일련의 패킷(A1)이 송신되기 전에, 일련의 패킷(A2)이 송신된다. 또한, 일련의 패킷이 송신된 후에, 일련의 패킷(A3)이 송신되어도 좋다. 또한, 패킷(A2 및 A3)의 적어도 어느 하나가, 「제1의 패킷」의 한 예에 상당한다. 또한, 패킷(A1)이, 「제2의 패킷」의 한 예에 상당한다.
도 23에 도시하는 예에서는, 일련의 패킷(A2) 중 적어도 일부가, Embedded Data의 송신에 이용된다. 예를 들면, Embedded Data는, 패킷(A2)의 페이로드에 격납하여 송신되어도 좋다. 또한, 다른 한 예로서, Embedded Data는, 패킷(A2) 중 페이로드와는 다른 영역에 격납하여 송신되어도 좋다.
Embedded Data는, 화상 센서(100)가 부가적으로 송신되는 부가 정보(환언하면, 화상 센서(100)에 의해 매입된 정보)에 상당하고, 예를 들면, 화상의 촬상 조건에 관한 정보나, 영역 데이터가 송신되는 영역(ROI)에 관한 정보 등을 들 수 있다.
또한, 도 23에 도시하는 예에서는, 패킷(A2) 중 적어도 일부가 Embedded Data의 송신에 이용되고 있는데, 당해 패킷(A2)에 대신하여, 패킷(A3)의 적어도 일부가 Embedded Data의 송신에 이용되어도 좋다. 또한, 이후의 설명에서는, Embedded Data를 「EBD」라고도 칭한다.
도 23에서, 「SC」는, 「Start Code」를 나타내고 있고, 패킷의 시작을 나타내는 심볼군이다. Start Code는, 패킷의 앞에 부가된다. Start Code는, 예를 들면, 3종류의 K Character의 조합인 K28.5, K27.7, K28.2, 및 K27.7의 4볼로 표시된다.
「EC」는, 「End Code」를 나타내고 있고, 패킷의 종료를 나타내는 심볼군이다. End Code는, 패킷의 뒤에 부가된다. End Code는, 예를 들면, 3종류의 K Character의 조합인 K28.5, K27.7, K30.7, 및 K27.7의 4심볼로 표시된다.
「PH」는, 「패킷 헤더(Packet Header)」를 나타내고 있고, 예를 들면, 도 2를 참조하여 설명한 헤더가 해당한다. 「FS」는, FS(Frame Start) 패킷을 나타내고 있다. 「FE」는, FE(Frame End) 패킷을 나타내고 있다.
「DC」는, 「Deskew Code」를 나타내고 있고, 레인 사이의 Data Skew, 즉, 수신 측의 각 레인에서 수신되는 데이터의 수신 타이밍의 어긋남의 보정에 이용되는 심볼군이다. Deskew Code는, 예를 들면, K28.5 및 Any**의 4심볼로 표시된다.
「IC」는, 「Idle Code」를 나타내고 있고, 패킷 데이터의 전송시 이외의 기간에 반복 송신되는 심볼군이다. Idle Code는, 예를 들면, 8B10B Code인 D Character의 D00.0(00000000)로 표시된다.
「DATA」는, 페이로드에 격납된 영역 데이터(즉, 화상 중에 설정된 영역에 대응하는 부분의 화소 데이터)를 나타내고 있다.
「XY」는, 페이로드에 격납된 영역 데이터에 대응하는 부분영역의 좌단(左端)의 위치(화상 중의 위치)를, X좌표 및 Y좌표로서 나타낸 정보에 상당한다. 또한, 이후에는, 「XY」로 나타낸, 부분영역의 좌단의 위치를 나타내는 X좌표 및 Y좌표를, 단지 「부분영역의 XY좌표」라고도 칭한다.
부분영역의 XY좌표는, 패킷(A1)의 페이로드의 선두에 격납된다. 또한, 부분영역의 XY좌표는, 연속해서 송신되는 패킷(A1) 사이에서, 각각에 대응하는 부분영역의 X좌표에 변경이 없고, 또한 Y좌표가 +1만 변경되는 경우에는, 나중에 송신되는 패킷(A1)에서 생략되어도 좋다. 또한, 본 제어에 관해서는, 구체례를 들어 별도 후술한다.
또한, 이 송신 방식에서는, 수평 방향에 서로 이간한 복수의 영역이 설정된 행에 관해, 당해 복수의 영역 각각에 대응하는 부분영역의 영역 데이터를 송신하는 경우에는, 당해 복수의 영역 각각에 관한 패킷(A1)이 개별적으로 생성되어 송신된다. 즉, 수평 방향으로 서로 이간한 2개의 영역이 설정된 행에 관해서는, 2개의 패킷(A1)이 생성 및 송신되게 된다.
계속해서, 도 24를 참조하여, 화상에 설정된 영역(ROI)의 영역 데이터를 송신하는 패킷(A1)의 패킷 헤더의 구성의 한 예에 관해, 특히, 확장 영역의 구성에 주목하여 설명한다. 도 24는, 패킷 헤더의 구성의 한 예에 관해 설명하기 위한 설명도이다.
도 24에 도시하는 바와 같이, 이 송신 방식에서는, 화상에 설정된 영역(ROI)의 영역 데이터를 송신하는 경우에는, 당해 영역 데이터의 송신에 이용하는 패킷(A1)의 패킷 헤더에서, 헤더 정보의 종별로써, 영역의 정보를 송신하는 것을 나타내는 정보(즉, 영역의 정보의 송신을 상정한 종별에 대응하는 정보)가 설정된다. 또한, 확장 영역의 적어도 일부에 대해, 페이로드를 이용하여 영역의 데이터(즉, 부분영역의 영역 데이터)를 송신하는 것을 나타내는 정보가 설정된다. 또한, 페이로드를 이용하여 영역의 좌표(즉, 부분영역의 XY좌표)가 송신되는 경우에는, 확장 영역의 적어도 일부에 대해, 당해 영역의 좌표를 송신하는 것을 나타내는 정보가 설정된다. 또한, 화상에 설정된 영역(ROI)의 영역 데이터를 송신하는 경우에는, 당해 영역의 수평 방향의 폭에 응하여, 패킷(A1)의 페이로드의 길이가 변화할 수 있다. 그때문에, 확장 영역의 일부에는, 도 22를 참조하여 설명한 예와 마찬가지로, 페이로드 길이를 나타내는 정보가 설정되어도 좋다.
<2. 정리>
본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 이상과 같은 구성을 가지고, 위에서 설명하는 바와 같이 동작함으로써, 움직임 흐림의 발생과 포화하는 영역의 발생과 S/N 저하의 발생을 동시에 억제할 수 있다. 움직임 흐림의 발생과 포화하는 영역의 발생과 S/N 저하의 발생을 동시에 억제함으로써, 본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 고화질, 고감도로 하이 다이내믹 레인지의 동화상을 촬상 및 작성할 수 있다.
본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 움직임 흐림의 발생과 포화하는 영역의 발생과 S/N 저하의 발생을 동시에 억제하기 위해, 주목 영역의 범위만 선택적으로 노광 시간을 단축함으로써, 출력 데이터 레이트를 일정하게 유지한 채로 프레임 레이트를 고속화하여 출력할 수 있다.
본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 움직임 흐림의 발생과 포화하는 영역의 발생과 S/N 저하의 발생을 동시에 억제하기 위해, 주목 영역의 범위만 선택적으로 노광 시간을 단축하고, 그만큼 프레임 레이트를 고속화하여 출력하기 때문에, 이미지 센서 내에서의 1프레임의 화상의 노광 시간이 짧게 되어 버리고, 그 1프레임의 화상만을 평가한 때에는 감도 부족에 빠지는 일이 있었다고 하더라도, 노광 시간이 짧아진 분만큼 프레임 레이트가 고속화되고, 노광 프레임 수를 많게 할 수 있기 때문에, 노광 시간을 단축하지 않은 경우와 동등한 감도를 이미지 센서로부터 출력된 화상을, 신호 처리함으로서 얻을 수 있다.
예를 들면, 컨벤셔널 방법으로 1/30초의 노광 시간에서 감도가 부족하지 않고, 1/480초의 노광 시간에서 감도가 부족하였다고 하여도, 본 실시 형태에서는 1/480초의 노광 시간에서 취득한 화상을 1/30초의 시간 내에 16장 취득할 수 있기 때문에, 1/480초의 노광 시간에서 취득한 16장의 화상을 가산하는 것만으로, 1/30초의 노광 시간에서 취득하고 있던 화상을 용이하게 재현 가능하다.
더하여, 본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 움직임 흐림이나 움직임의 어긋남이 비교적 적은 복수의 화상(상기 예에서는, 1/480초의 노광 시간에서 취득한 16장의 화상)을 사용하여 신호 처리를 할 수 있다. 동체는 시간이 경과함과 함께 공간 내(화상 내)의 위치를 이동하게 되고, 단순하게 16장의 화상을 가산해 버리면, 원래의 움직임 흐려짐을 재현해 버리는 것이 된다. 한편, 1/480초의 노광 시간에서 화상을 취득하는 경우, 1/480초라는 상대적으로 짧은 시간에서의 움직임을 파악한 화상을 취득하는데 더하여, 2프레임 사이의 시간차도 1/480초로 상대적으로 짧다. 따라서, 연속한 2프레임 사이에 움직이는 물체가 움직인 양도 상대적으로 작아진다. 따라서, 본 개시의 실시의 형태에 관한 통신 시스템(1000)에서는, 움직이는 물체마다 움직임 보상을 하고 나서 가산하는 것이 용이해지고, 감도 부족에도 움직임 흐림 대책에도 동시에 대응하는 것이 가능하다.
예를 들면, 컨벤셔널 방법으로는, 1/30초의 노광 시간에서 적정 노광이었던 경우에도, 부분적으로 포화 영역이 발생하는 경우가 있을 수 있다. 이에 대해 본 실시 형태에서는, 1/480초의 노광 시간에서 취득하는 화상을 1/30초의 시간 내에 16장 취득할 수 있다. 본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 취득한 16장의 화상을 가산할 때에, 포화를 시키지 않고 충분한 하모니를 유지한 채로 가산함으로써, 1/30초의 노광 시간에서 취득하는 화상을, 포화를 발생시키는 일 없이, 용이하게 하이 다이내믹 레인지 화상으로 하는 것이 가능하다.
본 개시의 실시의 형태에 관한 통신 시스템(1000)의 효과를 설명한다.
화상 센서(100)의 전 화소의 데이터를, 후단의 프로세서(200)에 전송하는데 필요로 하는 시간을 1프레임 시간이라고 하면, 그 시간을 n분할(n는 임의의 2 이상의 정수)한 시간에서 ROI 영역은 노광되기 때문에, 1장의 화상으로서는 신호량이 1/n 배, 쇼트 노이즈는 1/(n)1/2배가 되어, SN비는 악화하지만, 후단에서는, 그 화상을 n매 가산 처리할 수 있기 때문에, 신호량은 1/n×n=1배, 쇼트 노이즈는 ((1/(n)1/2)2×n)1/2=1배가 되여, 본 개시의 실시의 형태에 관한 통신 시스템(1000)은, SN비를 악화시키는 일 없이 가산 화상을 취득할 수 있다.
그에 대해, 1프레임 시간에서 노광함으로써 포화하고 있던 화상 내의 영역은, 1프레임 시간의 1/n배의 시간에서 노광됨으로써, 본 개시의 실시의 형태에 관한 통신 시스템(1000)은, n배 밝기의 피사체까지 포화하지 않고서 취득할 수 있다.
또한, 본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 움직이고 있는 피사체에 관해서는, 블러량(量)을 1/n로 줄이는 효과가 있다.
더하여, 상기 n매의 화상을 가산하는 처리에서 움직임 검출을 하여 움직이고 있는 영역에 관해서는 가산 처리를 하지 않다는 처리를 함으로써, 본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 동체의 블러량을 1/n으로 저감시키면서, 정지체의 SN비를 악화시키지 않고 취득할 수 있다.
더하여, 본 개시의 실시의 형태에 관한 통신 시스템(1000)은, 상기 동체 부분에 대해, 움직임 보상을 하면서 가산을 해 감으로써, 동체의 블러량을 1/n로 저감한 채로 정지체뿐만 아니라 동체 부분도 SN비를 악화시키지 않고 취득할 수 있다.
이상, 첨부 도면을 참조하면서 본 개시의 알맞은 실시 형태에 관해 상세히 설명했지만, 본 개시의 기술적 범위는 이러한 예로 한정되지 않는다. 본 개시의 기술 분야에서의 통상의 지식을 갖는 자라면, 청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이것들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이고 한정적이 아니다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께, 또는 상기 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 이룰 수 있다.
예를 들면, ROI의 처리에 필요한, 화상 센서(100)나 프로세서(200)로서 도 7, 10에서 도시한 회로의 구성 요소의 일부 또는 전부가, 화상 센서(100) 또는 프로세서(200)의 어느 일방에 포함되어도 좋다. 또한, 화상 센서(100)나 프로세서(200)로서 도 7, 10에서 도시한 회로의 구성 요소의 일부 또는 전부가 하드웨어로 구성되어도 좋고, 소프트웨어로 구성되어도 좋다. 화상 센서(100)에 포함할 때는, 화상 센서(100)와 프로세서(200)가 모듈화되어 있어도 좋다.
또한 예를 들면, 도 10에 도시한 프로세서(200)의 구성에서는, ROI 화상과 통상 화상을 제각기 출력하고 있는데, 본 개시는 이러한 예로 한정되는 것이 아니다. 프로세서(200)는, ROI 화상과 통상 화상과 동일한 출력으로 해도 좋다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
촬상 영역의 전체의 화상 데이터를 수신하는 제1의 모드와, 상기 촬상 영역의 일부의 영역만을 수신하는 제2의 모드의 적어도 어느 하나로 화상 데이터를 수신하는 수신부와,
상기 수신부가 수신한 화상 데이터에 의거하여 화상을 생성하는 정보 처리부를 구비하고,
상기 정보 처리부는, 상기 제2의 모드에서 화상 데이터를 수신할 때에, 상기 제1의 모드와는 다른 파라미터가 부가된 화상 데이터를 수신하는, 수신 장치.
(2)
상기 정보 처리부는, 상기 제2의 모드에서 수신한 화상 데이터를, 그 화상 데이터의 노광 시간에 응하여 복수장 합성함으로써 화상을 생성하는, 상기 (1)에 기재된 수신 장치.
(3)
상기 노광 시간은, 상기 제2의 모드에서 수신한 때의 상기 영역의 크기에 맞추어서 결정되는, 상기 (2)에 기재된 수신 장치.
(4)
상기 정보 처리부는, 상기 파라미터에 포함되는 상기 제2의 모드가 계속하는 프레임 수의 정보로부터, 상기 제2의 모드에서 수신한 화상 데이터를 합성하는 수를 결정하는, 상기 (2)에 기재된 수신 장치.
(5)
상기 제2의 모드에서의 영역의 사이즈는, 그 제2의 모드에서의 노광 시간과, 상기 제1의 모드의 노광 시간으로부터 결정되는, 상기 (1)∼(4)의 어느 하나에 기재된 수신 장치.
(6)
상기 정보 처리부는, 상기 제2의 모드에서의 영역의 사이즈의 정보를, 촬상을 행하는 장치에 출력하는, 상기 (1)∼(5)의 어느 하나에 기재된 수신 장치.
(7)
상기 정보 처리부는, 상기 제2의 모드에서의 판독의 다음의 프레임에서 상기 제1의 모드에서의 화상의 생성일 때에, 상기 제2의 모드에서 판독된 영역과, 그 영역 이외의 영역을 이용하여 화상을 생성하는, 상기 (1)∼(6)의 어느 하나에 기재된 수신 장치.
(8)
상기 수신부는, 화상 데이터를 패킷의 페이로드부에 포함함과 함께, 상기 파라미터를 소정의 헤더부에 포함하는 전송 신호를 수신하는, 상기 (1)∼(7)의 어느 하나에 기재된 수신 장치.
(9)
상기 정보 처리부는, 상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 헤더부로부터, 상기 영역에 관한 영역 정보를 추출함과 함께, 추출한 상기 영역 정보에 의거하여, 상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 페이로드부로부터, 상기 영역의 화상 데이터를 추출하는, 상기 (8)에 기재된 수신 장치.
(10)
상기 영역 정보에는, 상기 영역의 크기를 나타내는 정보와, 그 영역에서 전송되는 화상의 프레임 수를 나타내는 정보가 포함되는, 상기 (9)에 기재된 수신 장치.
(11)
상기 수신부는, MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2 규격, MIPI CSI-3 규격, 또는, MIPI DSI(Display Serial Interface) 규격으로 신호를 수신하는, 상기 (9)에 기재된 수신 장치.
(12)
촬상 영역의 전체를 판독하는 제1의 모드와, 상기 촬상 영역의 일부의 영역을 판독하는 제2의 모드의 적어도 어느 하나로 화상 데이터를 판독하는 화상 처리부와,
상기 화상 처리부가 판독한 화상 데이터를 소정의 포맷에 따른 전송 신호에 격납하여 전송하는 송신부를 구비하고,
상기 화상 처리부는, 상기 제2의 모드에서 화상을 판독할 때에 판독 속도를 가변으로 하는, 송신 장치.
(13)
상기 화상 처리부는, 상기 제2의 모드에서 판독할 때의 프레임 레이트에 맞추어서 상기 영역의 크기를 결정하는, 상기 (12)에 기재된 송신 장치.
(14)
상기 화상 처리부는, 상기 제2의 모드에서 판독할 때의 상기 영역의 크기에 맞추어서 프레임 레이트를 결정하는, 상기 (12)에 기재된 송신 장치.
(15)
상기 화상 처리부는, 상기 제2의 모드에서의 노광 시간을, 그 제2의 모드에서의 영역의 사이즈와, 상기 제1의 모드의 노광 시간으로부터 결정하는, 상기 (12)에 기재된 송신 장치.
(16)
상기 화상 처리부는, 상기 제2의 모드에서의 영역의 사이즈를, 그 제2의 모드에서의 노광 시간과, 상기 제1의 모드의 노광 시간으로부터 결정하는, 상기 (12)에 기재된 송신 장치.
(17)
상기 전송 신호는, 화상 데이터가 격납되는 패킷의 페이로드부와, 상기 화상 데이터에 관한 정보가 포함되는 소정의 헤더부를 포함하는, 상기 (12)∼(16)의 어느 하나에 기재된 송신 장치.
(18)
상기 헤더부는, 상기 영역에 관한 영역 정보를 포함하는, 상기 (17)에 기재된 송신 장치.
(19)
상기 영역 정보는, 상기 영역의 크기를 나타내는 정보와, 그 영역에서 전송되는 화상의 프레임 수를 나타내는 정보를 포함하는, 상기 (18)에 기재된 송신 장치.
(20)
상기 송신부는, MIPI-2 규격, MIPI CSI-3 규격, 또는, MIPI DSI 규격으로 신호를 송신하는, 상기 (12)∼(19)의 어느 하나에 기재된 송신 장치.
100: 화상 센서
200: 프로세서
1000: 통신 시스템

Claims (20)

  1. 데이터를 수신하는 수신부와
    상기 수신부로부터 출력되는 화상 데이터에 의거하여 화상을 생성하는 정보 처리부를 구비하고,
    상기 수신부는, 제1의 모드에서 촬상 영역의 전체를 상기 화상 데이터로서 출력하고, 제2의 모드에서 촬상 영역의 일부의 영역을 상기 화상 데이터로서 출력하는 것으로서, 상기 화상 데이터에 포함되는 부가 정보에 의거하여, 상기 제1의 모드 또는 상기 제2의 모드를 선택하는 것을 특징으로 하는 수신 장치.
  2. 제1항에 있어서,
    상기 정보 처리부는, 상기 제2의 모드에서 수신한 화상 데이터를 복수장 합성함으로써 화상을 생성하는 것을 특징으로 하는 수신 장치.
  3. 제1항에 있어서,
    촬상 장치에 영역 정보 데이터를 송신하는 송신부를 더 구비하고,
    상기 정보 처리부는, 상기 제1의 모드에서 생성한 화상에 의거하여, 취득해야 할 촬상 영역의 일부의 영역을 결정하여, 상기 영역 정보 데이터를 생성하는 것을 특징으로 하는 수신 장치.
  4. 제2항에 있어서,
    상기 정보 처리부는, 상기 제2의 모드에서 수신한 화상 데이터를 합성하는 수를 결정하는 것을 특징으로 하는 수신 장치.
  5. 제3항에 있어서,
    상기 제2의 모드에서의 영역의 사이즈는, 그 제2의 모드에서의 노광 시간과, 상기 제1의 모드의 노광 시간으로부터 결정되는 것을 특징으로 하는 수신 장치.
  6. 제3항에 있어서,
    상기 정보 처리부는, 상기 영역 정보 데이터로서, 상기 제2의 모드에서의 영역의 좌표 및 사이즈의 정보를 생성하고, 상기 수신부에 그 정보를 제공하는 것을 특징으로 하는 수신 장치.
  7. 제1항에 있어서,
    상기 정보 처리부는, 상기 제2의 모드에서의 판독의 다음의 프레임에서 상기 제1의 모드에서의 화상의 생성일 때에, 상기 제2의 모드에서 판독된 영역과, 그 영역 이외의 영역을 이용하여 화상을 생성하는 것을 특징으로 하는 수신 장치.
  8. 제1항에 있어서,
    상기 수신부는, 상기 화상 데이터를 패킷의 페이로드부에 포함함과 함께, 상기 부가 정보를 소정의 헤더부에 포함하는 전송 신호를 수신하는 것을 특징으로 하는 수신 장치.
  9. 제8항에 있어서,
    상기 정보 처리부는, 상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 헤더부로부터, 상기 영역에 관한 영역 정보를 추출함과 함께, 추출한 상기 영역 정보에 의거하여, 상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 페이로드부로부터, 상기 영역의 화상 데이터를 추출하는 것을 특징으로 하는 수신 장치.
  10. 제9항에 있어서,
    상기 영역 정보에는, 상기 영역의 크기를 나타내는 정보와, 그 영역에서 전송되는 화상의 프레임 수를 나타내는 정보가 포함되는 것을 특징으로 하는 수신 장치.
  11. 제8항에 있어서,
    상기 수신부는, MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2 규격, MIPI CSI-3 규격, 또는, MIPI DSI(Display Serial Interface) 규격으로 신호를 수신하는 것을 특징으로 하는 수신 장치.
  12. 촬상 영역의 전체를 판독하는 제1의 모드와, 상기 촬상 영역의 일부의 영역을 판독하는 제2의 모드의 적어도 어느 하나로 화상 데이터를 판독하는 화상 처리부와,
    상기 화상 처리부가 판독한 화상 데이터를 소정의 포맷에 따른 전송 신호에 격납하여 전송하는 송신부를 구비하고,
    상기 화상 처리부는, 상기 제2의 모드에서 화상을 판독할 때에 판독 속도를 가변으로 하는 것을 특징으로 하는 송신 장치.
  13. 제12항에 있어서,
    상기 화상 처리부는, 상기 제2의 모드에서 판독할 때의 프레임 레이트에 맞추어서 상기 영역의 크기를 결정하는 것을 특징으로 하는 송신 장치.
  14. 제12항에 있어서,
    상기 화상 처리부는, 상기 제2의 모드에서 판독할 때의 상기 영역의 크기에 맞추어서 프레임 레이트를 결정하는 것을 특징으로 하는 송신 장치.
  15. 제12항에 있어서,
    상기 화상 처리부는, 상기 제2의 모드에서의 노광 시간을, 그 제2의 모드에서의 영역의 사이즈와, 상기 제1의 모드의 노광 시간으로부터 결정하는 것을 특징으로 하는 송신 장치.
  16. 제12항에 있어서,
    상기 화상 처리부는, 상기 제2의 모드에서의 영역의 사이즈를, 그 제2의 모드에서의 노광 시간과, 상기 제1의 모드의 노광 시간으로부터 결정하는 것을 특징으로 하는 송신 장치.
  17. 제12항에 있어서,
    상기 전송 신호는, 화상 데이터가 격납되는 패킷의 페이로드부와, 상기 화상 데이터에 관한 정보가 포함되는 소정의 헤더부를 포함하는 것을 특징으로 하는 송신 장치.
  18. 제17항에 있어서,
    상기 헤더부는, 상기 영역에 관한 영역 정보를 포함하는 것을 특징으로 하는 송신 장치.
  19. 제18항에 있어서,
    상기 영역 정보는, 상기 영역의 크기를 나타내는 정보와, 그 영역에서 전송되는 화상의 프레임 수를 나타내는 정보를 포함하는 것을 특징으로 하는 송신 장치.
  20. 제12항에 있어서,
    상기 송신부는, MIPI-2 규격, MIPI CSI-3 규격, 또는, MIPI DSI 규격으로 신호를 송신하는 것을 특징으로 하는 송신 장치.
KR1020217015146A 2018-12-06 2019-11-22 수신 장치 및 송신 장치 KR20210096090A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-229200 2018-12-06
JP2018229200 2018-12-06
PCT/JP2019/045883 WO2020116213A1 (ja) 2018-12-06 2019-11-22 受信装置および送信装置

Publications (1)

Publication Number Publication Date
KR20210096090A true KR20210096090A (ko) 2021-08-04

Family

ID=70974925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217015146A KR20210096090A (ko) 2018-12-06 2019-11-22 수신 장치 및 송신 장치

Country Status (7)

Country Link
US (2) US11606500B2 (ko)
EP (1) EP3893485A4 (ko)
JP (1) JP7414733B2 (ko)
KR (1) KR20210096090A (ko)
CN (1) CN113170044B (ko)
TW (1) TW202101958A (ko)
WO (1) WO2020116213A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331643A (ja) 1998-05-14 1999-11-30 Toshiba Corp 動き劣化補正処理装置及びその方法
JP2001250119A (ja) 1999-12-28 2001-09-14 Sony Corp 信号処理装置および方法、並びに記録媒体
JP2002230544A (ja) 2001-02-05 2002-08-16 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2008160881A (ja) 2008-02-12 2008-07-10 Sony Corp 固体撮像装置および撮像方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4896208A (en) * 1986-12-02 1990-01-23 Minolta Camera Kabushiki Kaisha Apparatus and method for reading and digitally editing multiple images
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
JP2006109001A (ja) 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
JP4888081B2 (ja) 2006-01-23 2012-02-29 セイコーエプソン株式会社 撮像装置、撮像方法、撮像システム及び画像処理装置
JP4740781B2 (ja) * 2006-03-30 2011-08-03 富士フイルム株式会社 固体撮像装置
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
JP5206494B2 (ja) 2009-02-27 2013-06-12 株式会社リコー 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP2012034099A (ja) 2010-07-29 2012-02-16 Sanyo Electric Co Ltd データ送信装置
US8970750B2 (en) 2010-11-12 2015-03-03 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
KR101720774B1 (ko) * 2010-11-24 2017-03-28 삼성전자주식회사 디지털 촬영 장치 및 그의 사진 제공 방법
JP5979849B2 (ja) * 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
JP5932376B2 (ja) 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
WO2014138695A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US9832468B2 (en) * 2013-07-17 2017-11-28 Samsung Electronics Co., Ltd. Electronic device for storing image and image storage method thereof
JP2015091005A (ja) 2013-11-05 2015-05-11 オリンパス株式会社 撮像装置
KR20150088139A (ko) 2014-01-23 2015-07-31 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
US9906749B2 (en) 2014-09-02 2018-02-27 Canon Kabushiki Kaisha Image capturing apparatus capable of generating and adding pixel region information to image data, method of controlling the same, and image sensor
JP6558976B2 (ja) 2014-09-02 2019-08-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに撮像素子
US10009544B2 (en) * 2014-09-02 2018-06-26 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP6774233B2 (ja) * 2016-06-21 2020-10-21 キヤノン株式会社 焦点検出装置、制御方法およびプログラム
JP6936018B2 (ja) 2017-02-21 2021-09-15 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置
US20200186841A1 (en) * 2017-06-09 2020-06-11 Sony Semiconductor Solutions Corporation Picture transmission device and picture reception device
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
JP6917298B2 (ja) 2017-12-27 2021-08-11 大和化成工業株式会社 クリップ
US10867393B2 (en) * 2018-03-22 2020-12-15 Texas Instruments Incorporated Video object detection
JP7404640B2 (ja) * 2019-04-03 2023-12-26 沖電気工業株式会社 符号化装置、復号装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331643A (ja) 1998-05-14 1999-11-30 Toshiba Corp 動き劣化補正処理装置及びその方法
JP2001250119A (ja) 1999-12-28 2001-09-14 Sony Corp 信号処理装置および方法、並びに記録媒体
JP2002230544A (ja) 2001-02-05 2002-08-16 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2008160881A (ja) 2008-02-12 2008-07-10 Sony Corp 固体撮像装置および撮像方法

Also Published As

Publication number Publication date
JP7414733B2 (ja) 2024-01-16
EP3893485A1 (en) 2021-10-13
US20220006954A1 (en) 2022-01-06
US11606500B2 (en) 2023-03-14
EP3893485A4 (en) 2021-12-29
CN113170044A (zh) 2021-07-23
TW202101958A (zh) 2021-01-01
JPWO2020116213A1 (ja) 2021-10-21
US11924546B2 (en) 2024-03-05
WO2020116213A1 (ja) 2020-06-11
US20230239570A1 (en) 2023-07-27
CN113170044B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
KR102617485B1 (ko) 관심 영역 모드 선택을 갖는 송신 장치 및 방법
KR102641559B1 (ko) 송신 장치
JP7357620B2 (ja) 画像処理装置、および画像処理システム
US8149285B2 (en) Video camera which executes a first process and a second process on image data
JP7414733B2 (ja) 受信装置および送信装置
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
TWI827725B (zh) 圖像處理裝置及圖像處理方法