KR20230036167A - 영상 송신 장치 및 영상 수신 장치 - Google Patents

영상 송신 장치 및 영상 수신 장치 Download PDF

Info

Publication number
KR20230036167A
KR20230036167A KR1020237007533A KR20237007533A KR20230036167A KR 20230036167 A KR20230036167 A KR 20230036167A KR 1020237007533 A KR1020237007533 A KR 1020237007533A KR 20237007533 A KR20237007533 A KR 20237007533A KR 20230036167 A KR20230036167 A KR 20230036167A
Authority
KR
South Korea
Prior art keywords
roi
image
unit
region
data
Prior art date
Application number
KR1020237007533A
Other languages
English (en)
Other versions
KR102636747B1 (ko
Inventor
나오키 요시모치
타츠야 스기오카
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20230036167A publication Critical patent/KR20230036167A/ko
Application granted granted Critical
Publication of KR102636747B1 publication Critical patent/KR102636747B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Communication Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시의 한 실시 형태에 관한 영상 송신 장치는 화상에서의 ROI의 화상 데이터를 LongPacket의 PayloadData로 송출함과 함께, ROI에 관한 정보를 EmbeddedData로 송출하는 송신부를 구비하고 있다.

Description

영상 송신 장치 및 영상 수신 장치{VIDEO TRANSMISSION DEVICE AND VIDEO RECEPTION DEVICE}
본 개시는 영상 송신 장치 및 영상 수신 장치에 관한 것이다.
근래, 데이터량의 큰 데이터를 대량으로 송신하는 용도가 증가하여 오고 있다. 전송 시스템에 큰 부하가 걸리기 쉽고, 최악의 경우에는 전송 시스템이 다운하고, 데이터 전송이 행할 수 없게 될 우려가 있다.
종래에는 전송 시스템의 다운을 피하기 위해, 예를 들면, 촬영한 화상을 전부 송신하는 것이 아니고, 촬영 대상의 물체를 특정하고, 특정한 물체를 절출한 일부의 화상만을 송신하는 것이 행하여지고 있다. 또한, 촬영한 화상으로부터 일부의 화상을 절출하는 것에 관해서는 예를 들면, 하기한 특허 문헌에 기재되어 있다.
특허 문헌 1 : 일본 특개2016-201756호 공보 특허 문헌 2 : 일본 특개2014-39219호 공보 특허 문헌 3 : 일본 특개2013-164834호 공보 특허 문헌 4 : 일본 특개2012-209831호 공보
그런데, 이미지 센서로부터 어플리케이션 프로세서로의 전송에 이용되는 방식으로서, MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2, MIPI CSI-3 등이 이용되는 일이 있다. 또한, 어플리케이션 프로세서로부터 디스플레이로의 전송에 이용되는 방식으로서, MIPI DSI(Display Serial Interface) 등이 이용되는 일이 있다. 이들의 방식을 이용하여 촬상 화상으로부터 절출한 일부의 영역(ROI(Region Of Interest))을 전송하려고 한 경우 다양한 제약에 의해, ROI의 전송이 용이하지 않는 일이 있다. 따라서, 다양한 제약하에서도, ROI의 전송을 행하는 것의 가능한 영상 송신 장치 및 영상 수신 장치를 제공하는 것이 바람직하다.
본 개시의 한 실시 형태에 관한 제1의 영상 송신 장치는 화상에서의 ROI의 화상 데이터를 LongPacket의 PayloadData로 송출함과 함께, ROI에 관한 정보를 EmbeddedData로 송출하는 송신부를 구비하고 있다. LongPacket의 PayloadData란, 장치 사이에서 전송되는 주요한 데이터(어플리케이션 데이터)를 가리키고 있다. EmbeddedData란, 화상 데이터 프레임의 헤더 또는 푸터에 매입하는 것의 가능한 추가 정보를 가리키고 있다.
본 개시의 한 실시 형태에 관한 제1의 영상 송신 장치에서는 화상에서의 ROI의 화상 데이터가 LongPacket의 PayloadData로 송출됨과 함께, ROI에 관한 정보가 EmbeddedData로 송출된다. 이에 의해, 영상 송신 장치로부터 송출된 전송 신호를 수신한 장치에서 전송 신호로부터, ROI의 화상 데이터를 용이하게 추출할 수 있다.
본 개시의 한 실시 형태에 관한 제2의 영상 송신 장치는 화상에서의 각 ROI에 관한 정보에 의거하여 2 이상의 ROI끼리가 중첩되는 겹침 영역을 검출하는 검출부를 구비하고 있다. 제2의 영상 송신 장치는 또한, 화상에서의 복수의 ROI의 제1 화상 데이터에서 겹침 영역의 제2 화상 데이터가 중복하여 포함되지 않도록, 복수의 제1 화상 데이터로부터 제2 화상 데이터를 할애(割愛)한 것인 복수의 제3 화상 데이터를 LongPacket의 PayloadData로 송출하는 송신부를 구비하고 있다. 이 송신부는 또한, 화상에서의 각 ROI에 관한 정보를 EmbeddedData로 송출한다.
본 개시의 한 실시 형태에 관한 제2의 영상 송신 장치에서는 복수의 제3 화상 데이터가 LongPacket의 PayloadData로 송출됨과 함께, 화상에서의 각 ROI에 관한 정보가 EmbeddedData로 송출된다. 이에 의해, 영상 송신 장치로부터 송출된 전송 신호를 수신한 장치에서 전송 신호로부터, ROI의 화상 데이터를 용이하게 추출할 수 있다.
본 개시의 한 실시 형태에 관한 영상 수신 장치는 화상에서의 ROI의 화상 데이터를 LongPacket의 PayloadData에 포함함과 함께, ROI에 관한 정보를 EmbeddedData에 포함한 전송 신호를 수신하는 수신부를 구비하고 있다. 이 영상 수신 장치는 또한, 수신부에서 수신한 전송 신호에 포함되는 EmbeddedData로부터, ROI에 관한 정보를 추출함과 함께, 추출한 정보에 의거하여 수신부에서 수신한 전송 신호에 포함되는 LongPacket의 PayloadData로부터, ROI의 화상 데이터를 추출하는 정보 처리부를 구비하고 있다.
본 개시의 한 실시 형태에 관한 영상 수신 장치에서는 수신부에서 수신한 전송 신호에 포함되는 EmbeddedData로부터, ROI에 관한 정보가 추출됨과 함께, 추출한 ROI에 관한 정보에 의거하여 수신부에서 수신한 전송 신호에 포함되는 LongPacket의 PayloadData로부터, ROI의 화상 데이터가 추출된다. 이에 의해, 전송 신호로부터, ROI의 화상 데이터를 용이하게 추출할 수 있다.
본 개시의 한 실시 형태에 관한 제1 및 제2의 영상 송신 장치 및 영상 수신 장치에 의하면, 영상 송신 장치로부터 송출된 전송 신호를 수신한 장치에서 전송 신호로부터, ROI의 화상 데이터를 용이하게 추출할 수 있도록 하였기 때문에 다양한 제약하에서도, ROI의 전송을 행할 수가 있다. 또한, 본 개시의 효과는 여기에 기재된 효과로 반드시는 한정되지 않고, 본 명세서 중에 기재된 어느 하나의 효과라도 좋다.
도 1은 영상 전송 시스템의 개략 구성례를 도시하는 도면.
도 2는 도 1의 영상 송신 장치의 개략 구성례를 도시하는 도면.
도 3은 촬상 화상에 2개의 ROI가 포함되어 있을 때의, 전송 데이터의 생성 순서의 한 예를 도시하는 도면.
도 4는 패킷 헤더의 구성례를 도시하는 도면.
도 5는 전송 데이터의 구성례를 도시하는 도면.
도 6은 전송 데이터의 구성례를 도시하는 도면.
도 7은 LongPacket의 PayloadData의 구성례를 도시하는 도면.
도 8은 도 1의 영상 수신 장치의 개략 구성례를 도시하는 도면.
도 9는 전송 데이터에 2개의 화상이 포함되어 있을 때의, 촬상 화상에 포함되는 2개의 ROI 화상의 생성 순서의 한 예를 도시하는 도면.
도 10은 도 1의 영상 수신 장치의 개략 구성의 한 변형례를 도시하는 도면.
도 11은 1라인의 구성의 한 변형례를 도시하는 도면.
도 12는 1라인의 구성의 한 변형례를 도시하는 도면.
도 13은 도 1의 영상 송신 장치의 개략 구성의 한 변형례를 도시하는 도면.
도 14는 전송 데이터의 구성례를 도시하는 도면.
이하, 본 개시를 실시하기 위한 형태에 관해, 도면을 참조하여 상세히 설명한다. 이하의 설명은 본 개시의 한 구체례이고, 본 개시는 이하의 양태로 한정되는 것이 아니다.
<실시의 형태>
[구성]
근래, 스마트 폰 등의 휴대 디바이스나 카메라 디바이스 등에서는 취급하는 화상 데이터의 대용량화가 진행되어, 디바이스 내 또는 다른 디바이스 사이에서의 데이터 전송에 고속화, 또한 저소비전력화가 요구되고 있다. 이와 같은 요구에 응하기 위해, 휴대 디바이스나 카메라 디바이스용의 접속 인터페이스로서, MIPI 얼라이언스가 책정한 C-PHY 규격이나 D-PHY 규격이라는 고속 인터페이스 규격의 표준화가 진행되어 있다. C-PHY 규격이나 D-PHY 규격은 통신 프로토콜의 물리층(physical layer : PHY)의 인터페이스 규격이다. 또한, C-PHY 규격이나 D-PHY 규격의 상위 프로토콜·레이어로서, 휴대 디바이스의 디스플레이용의 DSI나 카메라 디바이스용의 CSI가 존재한다.
본 개시의 한 실시 형태에 관한 영상 전송 시스템(1)은 MIPI CSI-2 규격, MIPI CSI-3 규격, 또는 MIPI DSI 규격으로 신호를 송수신하는 시스템이다. 도 1은 본 실시의 형태에 관한 영상 전송 시스템(1)의 개요를 도시한 것이다. 영상 전송 시스템(1)은 데이터 신호, 클록 신호 및 제어 신호의 전송에 적용되는 것이고, 영상 송신 장치(100) 및 영상 수신 장치(200)를 구비하고 있다. 영상 전송 시스템(1)은 영상 송신 장치(100)와 영상 수신 장치(200)에 걸쳐서, 예를 들면 화상 데이터 등의 데이터 신호를 전송하는 데이터 레인(DL)과, 클록 신호를 전송하는 클록 레인(CL)과, 제어 신호를 전송하는 카메라 제어 인터페이스(CCI)를 구비하고 있다. 도 1에는 하나의 데이터 레인(DL)이 마련되어 있는 예가 도시되어 있지만, 복수의 데이터 레인(DL)이 마련되어 있어도 좋다. 카메라 제어 인터페이스(CCI)는 I 2C(Inter-Integrated Circuit) 규격과 호환성을 갖는 쌍방향 제어 인터페이스이다.
영상 송신 장치(100)는 MIPI CSI-2 규격, MIPI CSI-3 규격, 또는 MIPI DSI 규격으로 신호를 송출하는 장치이다. CSI 트랜스미터(100A)와, CCI 슬레이브(100B)를 갖고 있다. 영상 수신 장치(200)는 CSI 리시버(200A)와, CCI 마스터(200B)를 갖고 있다. 클록 레인(CL)에서 CSI 트랜스미터(100A)와 CSI 리시버(200A)의 사이는 클록 신호선으로 접속되어 있다. 데이터 레인(DL)에서 CSI 트랜스미터(100A)와 CSI 리시버(200A)의 사이는 클록 신호선으로 접속되어 있다. 카메라 제어 인터페이스(CCI)에서 CCI 슬레이브(100B)와 CCI 마스터(200B)의 사이는 제어 신호선에서 접속되어 있다.
CSI 트랜스미터(100A)는 클록 신호로서 차동의 클록 신호를 생성하고, 클록 신호선에 출력하는 차동 신호 송신 회로이다. CSI 트랜스미터(100A)는 또한, 데이터 신호로서 차동의 데이터 신호를 생성하고, 데이터 신호선에 출력하는 차동 신호 송신 회로이기도 하다. CSI 리시버(200A)는 클록 신호로서 차동의 클록 신호를 클록 신호선을 통하여 수신하고, 수신한 차동의 클록 신호에 대해 소정의 처리를 행하는 차동 신호 수신 회로이다. CSI 리시버(200A)는 또한, 데이터 신호로서 차동의 데이터 신호를 데이터 신호선을 통하여 수신하고, 수신한 차동의 데이터 신호에 대해 소정의 처리를 행하는 차동 신호 수신 회로이기도 하다.
(영상 송신 장치(100))
도 2는 영상 송신 장치(100)의 구성의 한 예를 도시한 것이다. 영상 송신 장치(100)는 CSI 트랜스미터(100A)의 한 구체례에 상당한다. 영상 송신 장치(100)는 예를 들면, 촬상부(110), 화상 처리부(120, 130) 및 송신부(140)를 구비하고 있다. 영상 송신 장치(100)는 촬상부(110)에서 얻어진 촬상 화상(111)에 대해 소정의 처리를 행함에 의해 생성한 전송 데이터(147A)를 데이터 레인(DL)을 통하여 영상 수신 장치(200)에 송신한다. 도 3은 전송 데이터(147A)의 생성 순서의 한 예를 도시한 것이다.
촬상부(110)는 예를 들면, 광학 렌즈 등을 통하여 얻어진 광학적인 화상 신호를 화상 데이터로 변환한다. 촬상부(110)는 예를 들면, CCD(Charge Coupled Device) 이미지 센서나 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 포함하여 구성되어 있다. 촬상부(110)는 아날로그-디지털 변환 회로를 갖고 있고, 아날로그의 화상 데이터를 디지털의 화상 데이터로 변환한다. 변환한 후의 데이터 형식은 각 화소의 색을 휘도 성분(Y) 및 색차 성분(Cb, Cr)으로 표현하는 YCbCr 형식이라도 좋고, RGB 형식 등이라도 좋다. 촬상부(110)는 촬상에 의해 얻어진 촬상 화상(111)(디지털의 화상 데이터)을 화상 처리부(120)에 출력한다.
화상 처리부(120)는 촬상부(110)로부터 입력된 촬상 화상(111)에 대해 소정의 처리를 행하는 회로이다. 화상 처리부(120)는 ROI의 절출(切出)을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 촬상부(110)로부터 입력된 촬상 화상(111)에 대해 소정의 처리를 행한다. 이에 의해, 화상 처리부(120)는 여러가지의 데이터(120A, 120B, 120C)를 생성하여 송신부(140)에 출력한다. 화상 처리부(130)는 촬상부(110)로부터 입력된 촬상 화상(111)에 대해 소정의 처리를 행하는 회로이다. 화상 처리부(130)는 통상 화상의 출력을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 촬상부(110)로부터 입력된 촬상 화상(111)에 대해 소정의 처리를 행한다. 이에 의해, 화상 처리부(130)는 화상 데이터(130A)를 생성하여 송신부(140)에 출력한다.
화상 처리부(130)는 예를 들면, 인코드부(131)를 갖고 있다. 인코드부(131)는 촬상 화상(111)을 인코드하여 압축상(壓縮像) 데이터(130A)를 생성한다. 화상 처리부(130)는 예를 들면, 압축상 데이터(130A)의 형식으로서, JPEG(Joint Photographic Experts Group) 규격에 준거한 압축 형식 등에 의해 촬상 화상(111)을 압축한다.
화상 처리부(120)는 예를 들면, ROI 절출부(121), ROI 해석부(122), 겹침 검출부(123), 우선도 설정부(124), 인코드부(125) 및 화상 처리 제어부(126)를 갖고 있다.
ROI 절출부(121)는 촬상부(110)로부터 입력된 촬상 화상(111)에 포함되는 촬영 대상의 1 또는 복수의 물체를 특정하고, 특정한 물체마다 주목 영역(ROI)을 설정한다. 주목 영역(ROI)은 예를 들면, 특정한 물체를 포함하는 사각형상의 영역이다. ROI 절출부(121)는 촬상 화상(111)으로부터, 각 주목 영역(ROI)의 화상(예를 들면 도 3 중의 ROI 화상(112))을 절출한다. ROI 절출부(121)는 또한, 설정한 주목 영역(ROI)마다, 식별자로서 영역 번호를 부여한다. ROI 절출부(121)는 예를 들면, 촬상 화상(111)에서 2개의 주목 영역(ROI)을 설정한 경우에는 일방의 주목 영역(ROI)(예를 들면 도 3 중의 주목 영역(ROI1))에 대해, 영역 번호 1을 부여하고, 타방의 주목 영역(ROI)(예를 들면 도 3 중의 주목 영역(ROI2))에 대해, 영역 번호 2를 부여한다. ROI 절출부(121)는 예를 들면, 부여한 식별자(영역 번호)를 기억부에 격납한다. ROI 절출부(121)는 예를 들면, 촬상 화상(111)으로부터 절출한 각 ROI 화상(112)을 기억부에 격납한다. ROI 절출부(121)는 또한, 예를 들면, 각 주목 영역(ROI)에 부여한 식별자(영역 번호)를 ROI 화상(112)과 관련시켜서 기억부에 격납한다.
ROI 해석부(122)는 주목 영역(ROI)마다, 촬상 화상(111)에서의 주목 영역(ROI)의 위치 정보(113)를 도출한다. 위치 정보(113)는 예를 들면, 주목 영역(ROI)의 좌상단(左上端) 좌표(Xa, Ya)와, 주목 영역(ROI)의 X축방향의 길이와, 주목 영역(ROI)의 Y축방향의 길이에 의해 구성되어 있다. 주목 영역(ROI)의 X축방향의 길이는 예를 들면, 주목 영역(ROI)의 X축방향의 물리 영역 길이(XLa)이다. 주목 영역(ROI)의 Y축방향의 길이는 예를 들면, 주목 영역(ROI)의 Y축방향의 물리 영역 길이(YLa)이다. 물리 영역 길이란, 주목 영역(ROI)의 물리적인 길이(데이터 길이)를 가리키고 있다. 위치 정보(113)에서 주목 영역(ROI)의 좌상단과는 다른 위치의 좌표가 포함되어 있어도 좋다. ROI 해석부(122)는 예를 들면, 도출한 위치 정보(113)를 기억부에 격납한다. ROI 해석부(122)는 예를 들면, 주목 영역(ROI)에 대해 부여된 식별자(영역 번호)와 관련시켜서 기억부에 격납한다.
ROI 해석부(122)는 주목 영역(ROI)마다, 위치 정보(113)로서, 또한, 예를 들면, 주목 영역(ROI)의 X축방향의 출력 영역 길이(XLc)나 주목 영역(ROI)의 Y축방향의 출력 영역 길이(YLc)를 도출하여도 좋다. 출력 영역 길이란, 예를 들면, 주목 영역(ROI)에 대해 솎아내기 처리나 화소 가산 등에 의한 해상도 변경이 이루어진 후의 주목 영역(ROI)의 물리적인 길이(데이터 길이)이다. ROI 해석부(122)는 예를 들면, 주목 영역(ROI)마다, 위치 정보(113) 외에 예를 들면, 센싱 인포메이션, 노광 정보, 게인 정보, AD(Analog-Digital)어(語) 길이, 화상 포맷 등을 도출하고, 기억부에 격납하여도 좋다.
센싱 인포메이션이란, 주목 영역(ROI)에 포함되는 물체에 관한 연산 내용이나 ROI 화상(112)에 대한 후단(後段) 신호 처리를 위한 보충 정보 등을 가리키고 있다. 노광 정보란, 주목 영역(ROI)의 노광 시간을 가리키고 있다. 게인 정보란, 주목 영역(ROI)의 게인 정보를 가리키고 있다. AD어 길이란, 주목 영역(ROI) 내에서 AD 변환된 1화소당의 데이터의 어(語) 길이를 가리키고 있다. 화상 포맷이란, 주목 영역(ROI)의 화상의 포맷을 가리키고 있다. ROI 해석부(122)는 예를 들면, 촬상 화상(111)에 포함되는 주목 영역(ROI)의 수(數)(ROI수)를 도출하고, 기억부에 격납하여도 좋다.
겹침 검출부(123)는 촬상 화상(111)에서 촬영 대상의 복수의 물체가 특정된 때에는 촬상 화상(111)에서의 복수의 주목 영역(ROI)의 위치 정보(113)에 의거하여 2 이상의 주목 영역(ROI)끼리가 중첩되는 겹침 영역(ROO(Region Of Overlap))을 검출한다. 즉, 겹침 검출부(123)는 겹침 영역(ROO)마다, 촬상 화상(111)에서의 겹침 영역(ROO)의 위치 정보(114)를 도출한다. 겹침 검출부(123)는 예를 들면, 도출한 위치 정보(114)를 기억부에 격납한다. 겹침 검출부(123)는 예를 들면, 도출한 위치 정보(114)를 겹침 영역(ROO)과 대응시켜서 기억부에 격납한다. 겹침 영역(ROO)은 예를 들면, 서로 중첩하는 2 이상의 주목 영역(ROI)에서의 가장 작은 주목 영역(ROI)과 동일한 크기나 그것보다도 작은 사각형상의 영역이다. 위치 정보(114)는 예를 들면, 겹침 영역(ROO)의 좌상단 좌표(Xb, Yb)와, 겹침 영역(ROO)의 X축방향의 길이와, 겹침 영역(ROO)의 Y축방향의 길이에 의해 구성되어 있다. 겹침 영역(ROO)의 X축방향의 길이는 예를 들면, 물리 영역 길이(XLb)이다. 겹침 영역(ROO)의 Y축방향의 길이는 예를 들면, 물리 영역 길이(YLb)이다. 위치 정보(114)에서 주목 영역(ROI)의 좌상단과는 다른 위치의 좌표가 포함되어 있어도 좋다.
우선도 설정부(124)는 촬상 화상(111)에서 주목 영역(ROI)마다 우선도(115)를 부여한다. 우선도 설정부(124)는 예를 들면, 부여한 우선도(115)를 기억부에 격납한다. 우선도 설정부(124)는 예를 들면, 부여한 우선도(115)를 주목 영역(ROI)과 대응시켜서 기억부에 격납한다. 우선도 설정부(124)는 주목 영역(ROI)마다 부여되어 있는 영역 번호와는 별도로, 우선도(115)를 주목 영역(ROI)마다 부여하여도 좋고, 주목 영역(ROI)마다 부여되어 있는 영역 번호를 우선도(115)의 대신으로 하여도 좋다. 우선도 설정부(124)는 예를 들면, 우선도(115)를 주목 영역(ROI)과 관련시켜서 기억부에 격납하여도 좋고, 주목 영역(ROI)마다 부여되어 있는 영역 번호를 주목 영역(ROI)과 관련시켜서 기억부에 격납하여도 좋다.
우선도(115)는 각 주목 영역(ROI)의 식별자이고, 촬상 화상(111)에서의 복수의 주목 영역(ROI)의 어느 것에 대해 겹침 영역(ROO)의 할애가 행하여졌는지를 판별하는 것의 가능한 판별 정보이다. 우선도 설정부(124)는 예를 들면, 각각이 겹침 영역(ROO)을 포함하는 2개의 주목 영역(ROI)에서 일방의 주목 영역(ROI)에 대해 우선도(115)로서 1을 부여하고, 타방의 주목 영역(ROI)에 대해 우선도(115)로서 2를 부여한다. 이 경우에는 후술하는 전송 화상(116)의 작성에 즈음하여 우선도(115)의 수치가 큰 쪽의 주목 영역(ROI)에 대해, 겹침 영역(ROO)의 할애가 행하여진다. 또한, 우선도 설정부(124)는 주목 영역(ROI)마다 부여되어 있는 영역 번호와 같은 번호를 주목 영역(ROI)에 대해 우선도(115)로서 부여하여도 좋다. 우선도 설정부(124)는 예를 들면, 각 주목 영역(ROI)에 부여한 우선도(115)를 ROI 화상(112)과 관련시켜서 기억부에 격납한다.
인코드부(125)는 각 전송 화상(116)을, 인코드하여 압축상 데이터(120A)를 생성한다. 인코드부(125)는 예를 들면, 압축상 데이터(120A)의 형식으로서, JPEG 규격에 준거한 압축 형식 등에 의해 각 전송 화상(116)을 압축한다. 인코드부(125)는 상기한 압축 처리를 행하기 전에 각 전송 화상(116)을 생성한다. 인코드부(125)는 촬상 화상(111)으로부터 얻어진 복수의 ROI 화상(112)에서의 겹침 영역(ROO)의 화상(118)이 중복하여 포함되지 않도록, 촬상 화상(111)으로부터 얻어진 복수의 ROI 화상(112)으로부터 화상(118)을 할애한 것인 복수의 전송 화상(116)을 생성한다.
인코드부(125)는 예를 들면, 주목 영역(ROI)마다 부여되어 있는 우선도(115)에 의거하여 복수의 ROI 화상(112)의 어느 것에 대해 화상(118)의 할애를 행하는지를 결정한다. 또한, 인코드부(125)는 예를 들면, 주목 영역(ROI)마다 부여되어 있는 영역 번호를 우선도(115)로서 이용함에 의해, 복수의 ROI 화상(112)의 어느 것에 대해 화상(118)의 할애를 행하는지를 결정하여도 좋다. 인코드부(125)는 상기한 바와 같이 하여 특정된 ROI 화상(112)에서의 화상(118)을 할애한 것을, 전송 화상(116)(예를 들면 도 3의 전송 화상(116a2))으로 한다. 인코드부(125)는 겹침 영역(ROO)을 포함하지 않는 ROI 화상(112)나 상기한 결정에 의해 화상(118)이 할애되지 않게 된 ROI 화상(112)에 관해서는 ROI 화상(112) 그 자체를 전송 화상(116)(예를 들면 도 3의 전송 화상(116a1)으로 한다.
화상 처리 제어부(126)는 ROI 정보(120B) 및 프레임 정보(120C)를 생성하여 송신부(140)에 송신한다. ROI 정보(120B)는 예를 들면, 각 위치 정보(113)를 포함하고 있다. ROI 정보(120B)는 또한, 예를 들면, 각 주목 영역(ROI)의 데이터 타입, 촬상 화상(111)에 포함되는 주목 영역(ROI)의 수, 각 주목 영역(ROI)의 영역 번호(또는 우선도(115)), 각 주목 영역(ROI)의 데이터 길이, 및 각 주목 영역(ROI)의 화상 포맷 중 적어도 하나를 포함하고 있다. 프레임 정보(120C)는 예를 들면, 프레임마다 부여된 버추얼 채널의 번호, 각 주목 영역(ROI)의 데이터 타입, 라인마다의 Payload 길이 등을 포함하고 있다. 데이터 타입에는 예를 들면, YUV 데이터, RGB 데이터 또는 RAW 데이터 등이 포함되어 있다. 데이터 타입에는 또한, 예를 들면, ROI 형식의 데이터 또는 통상 형식의 데이터 등이 포함되어 있다. Payload 길이는 예를 들면, LongPacket의 Payload에 포함되는 픽셀수이고, 예를 들면, 주목 영역(ROI)마다의 픽셀수이다. 여기서, Payload란, 정보 송신 장치(100) 및 정보 수신 장치(200)의 사이에서 전송되는 주요한 데이터(어플리케이션 데이터)를 가리키고 있다. LongPacket란, 패킷 헤드 PH와 패킷 푸터(PF) 사이에 배치되는 패킷을 가리키고 있다.
송신부(140)는 화상 처리부(120, 130)로부터 입력된 여러가지의 데이터(120A, 120B, 120C, 130A)에 의거하여 전송 데이터(147A)를 생성하여 송출하는 회로이다. 송신부(140)는 촬상 화상(111)에서의 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 EmbeddedData로 송출한다. 송신부(140)는 또한, ROI의 절출을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 LongPacket의 PayloadData로 송출한다. 이때, 송신부(140)는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 서로 공통의 버추얼 채널로 송출한다. 또한, 송신부(140)는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 화상 데이터 프레임에 의해 송출함과 함께, 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 화상 데이터 프레임의 헤더로 송출한다. 송신부(140)는 또한, 통상 화상의 출력을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 통상의 화상 데이터(압축상 데이터(130A))를 LongPacket의 PayloadData로 송출한다.
송신부(140)는 예를 들면, LINK 제어부(141), ECC 생성부(142), PH 생성부(143), EBD 버퍼(144), ROI 데이터 버퍼(145), 통상 화상 데이터 버퍼(146) 및 합성부(147)를 갖고 있다. LINK 제어부(141), ECC 생성부(142), PH 생성부(143), EBD 버퍼(144) 및 ROI 데이터 버퍼(145)는 ROI의 절출을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 합성부(147)로의 출력을 행한다. 통상 화상 데이터 버퍼(146)는 통상 화상의 출력을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 합성부(147)로의 출력을 행한다.
또한, ROI 데이터 버퍼(145)가, 통상 화상 데이터 버퍼(146)를 겸하고 있어도 좋다. 이 경우 송신부(140)는 ROI 데이터 버퍼(145) 및 ROI 데이터 버퍼(145)의 각각의 출력단과, 합성부(147)의 입력단의 사이에 ROI 데이터 버퍼(145) 및 ROI 데이터 버퍼(145)의 어느 하나의 출력을 선택하는 셀렉터를 갖고 있어도 좋다.
LINK 제어부(141)는 예를 들면, 프레임 정보(120C)를 라인마다 ECC 생성부(142) 및 PH 생성부(143)에 출력한다. ECC 생성부(142)는 예를 들면, 프레임 정보(120C)에서의 1라인의 데이터(예를 들면, 버추얼 채널의 번호, 각 주목 영역(ROI)의 데이터 타입, 라인마다의 Payload 길이 등)에 의거하여 그 라인의 오류 정정 부호를 생성한다. ECC 생성부(142)는 예를 들면, 생성한 오류 정정 부호를 PH 생성부(143)에 출력한다. PH 생성부(143)는 예를 들면, 프레임 정보(120C)와, ECC 생성부(142)에서 생성된 오류 정정 부호를 이용하여 1라인마다 패킷 헤더(PH)를 생성한다. 이때, 패킷 헤더(PH)는 예를 들면, 도 4에 도시한 바와 같이, LongPacket의 PayloadData의 패킷 헤더이다. 이 패킷 헤더(PH)에는 예를 들면, DI, WC 및 ECC가 포함되어 있다. WC는 정보 수신 장치(200)에 대해 패킷의 끝을 워드 수로 나타내기 위한 영역이다. WC에는 예를 들면, Payload 길이가 포함되어 있고, 예를 들면, 주목 영역(ROI)마다의 화소 수가 포함되어 있다. ECC는 비트 에러를 수정하기 위한 값을 격납하는 영역이다. ECC에는 오류 정정 부호가 포함되어 있다. DI는 데이터 식별자를 격납하는 영역이다. DI에는 VC(버추얼 채널)의 번호 및 DataType(각 주목 영역(ROI)의 데이터 타입)이 포함되어 있다. VC(버추얼 채널)는 패킷의 플로우 제어를 위해 도입된 개념이고, 동일한 링크를 공용하는 복수의 독립한 데이터 스트림을 서포트하기 위한 메커니즘이다. PH 생성부(143)는 생성한 패킷 헤더(PH)를 합성부(147)에 출력한다.
EBD 버퍼(144)는 ROI 정보(120B)를 일차적으로 격납하고, 소정의 타이밍에서 ROI 정보(120B)를 EmbeddedData로서 합성부(147)에 출력한다. EmbeddedData란, 화상 데이터 프레임(후술하는 도 5 참조)의 헤더 또는 푸터에 매입하는 것의 가능한 추가 정보를 가리키고 있다. EmbeddedData에는 예를 들면, ROI 정보(120B)가 포함되어 있다.
ROI 데이터 버퍼(145)는 압축상 데이터(120A)를 일차적으로 격납하고, 소정의 타이밍에서 압축상 데이터(120A)를 LongPacket의 PayloadData로서 합성부(147)에 출력한다. ROI 데이터 버퍼(145)는 ROI의 절출을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 압축상 데이터(120A)를 LongPacket의 PayloadData로서 합성부(147)에 출력한다. 통상 화상 데이터 버퍼(146)는 압축상 데이터(130A)를 일차적으로 격납하고, 소정의 타이밍에서 압축상 데이터(130A)를 LongPacket의 PayloadData로서 합성부(147)에 출력한다. 통상 화상 데이터 버퍼(146)는 통상 화상의 출력을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 압축상 데이터(130A)를 LongPacket의 PayloadData로서 합성부(147)에 출력한다.
합성부(147)는 통상 화상의 출력을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 입력된 데이터(압축상 데이터(130A))에 의거하여 전송 데이터(147A)를 생성한다. 합성부(147)는 생성한 전송 데이터(147A)를 데이터 레인(DL)을 통하여 영상 수신 장치(200)에 출력한다. 한편, 합성부(147)는 ROI의 절출을 지시하는 제어 신호가 카메라 제어 인터페이스(CCI)를 통하여 영상 수신 장치(200)로부터 입력된 경우에 입력된 각종 데이터(패킷 헤더(PH), ROI 정보(120B), 및 압축상 데이터(120A))에 의거하여 전송 데이터(147A)를 생성한다. 합성부(147)는 생성한 전송 데이터(147A)를 데이터 레인(DL)을 통하여 영상 수신 장치(200)에 출력한다. 즉, 합성부(147)는 DataType(각 주목 영역(ROI)의 데이터 타입)을 LongPacket의 PayloadData의 패킷 헤더(PH)에 포함하여 송출한다. 또한, 합성부(147)는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 서로 공통의 버추얼 채널로 송출한다.
전송 데이터(147A)는 예를 들면, 도 5에 도시한 바와 같은 화상 데이터 프레임에 의해 구성되어 있다. 화상 데이터 프레임은 통상, 헤더 영역, 패킷 영역, 및 푸터 영역을 갖고 있다. 도 5에서는 편의적으로, 푸터 영역의 기재가 생략되어 있다. 전송 데이터(147A)의 프레임 헤더 영역(R1)에는 EmbeddedData가 포함되어 있다. 이때, EmbeddedData에는 ROI 정보(120B)가 포함되어 있다. 도 5에서 전송 데이터(147A)의 패킷 영역(R2)에는 1라인마다, LongPacket의 PayloadData가 포함되어 있고, 또한, LongPacket의 PayloadData를 끼워 넣는 위치에 패킷 헤더(PH) 및 패킷 푸터(PF)가 포함되어 있다. 또한, 패킷 헤더(PH)와 패킷 푸터(PF)를 끼워 넣는 위치에 로우 파워 모드(LP)가 포함되어 있다.
이때, 패킷 헤더(PH)에는 예를 들면, DI, WC 및 ECC가 포함되어 있다. WC에는 예를 들면, Payload 길이가 포함되어 있고, 예를 들면, 주목 영역(ROI)마다의 화소 수가 포함되어 있다. ECC에는 오류 정정 부호가 포함되어 있다. DI에는 VC(버추얼 채널의 번호) 및 DataType(각 주목 영역(ROI)의 데이터 타입)이 포함되어 있다. 본 실시의 형태에서는 각 라인의 VC에는 서로 공통의 버추얼 채널의 번호가 부여되어 있다. 또한, 도 5에서 전송 데이터(147A)의 패킷 영역(R2)에는 압축상 데이터(147B)가 포함되어 있다. 압축상 데이터(147B)는 하나의 압축상 데이터(120A), 또는 복수의 압축상 데이터(120A)에 의해 구성되어 있다. 여기서, 도 5에서 패킷 헤더(PH) 가까이의 패킷군에는 예를 들면, 도 3 중의 전송 화상(116a1)의 압축상 데이터(120A)(120A1)가 포함되어 있고, 패킷 헤더(PH)로부터 떨어진 패킷군에는 예를 들면, 도 3 중의 전송 화상(116a2)의 압축상 데이터(120A)(120A2)가 포함되어 있다. 이들 2개의 압축상 데이터(120A1, 120A2)에 의해 압축상 데이터(147B)가 구성되어 있다. 각 라인의 LongPacket의 PayloadData에는 압축상 데이터(147B)에서의 1라인분의 화소 데이터가 포함되어 있다.
도 6은 전송 데이터(147A)의 구성례를 도시한 것이다. 전송 데이터(147A)는 예를 들면, 프레임 헤더 영역(R1) 및 패킷 영역(R2)을 포함하고 있다. 또한, 도 6에는 프레임 헤더 영역(R1)의 내용이 상세히 예시되어 있다. 또한, 도 6에서는 로우 파워 모드(LP)가 생략되어 있다.
프레임 헤더 영역(R1)에는 예를 들면, 전송 데이터(147A)의 식별자로서의 프레임 번호(F1)가 포함되어 있다. 프레임 헤더 영역(R1)은 패킷 영역(R2)에 포함되는 압축상 데이터(147B)에 관한 정보를 포함하고 있다. 프레임 헤더 영역(R1)은 예를 들면, 압축상 데이터(147B)에 포함되는 압축상 데이터(120A)의 수(ROI수)와, 압축상 데이터(147B)에 포함되는 각 압축상 데이터(120A)에 대응하는 ROI 화상(112)에 관한 정보(ROI 정보(120B))를 포함하고 있다.
합성부(147)는 예를 들면, 전송 데이터(147A)의 패킷 영역(R2)에서 압축상 데이터(147B)를 압축상 데이터(120A)의 화소행마다 나누어서 배치한다. 따라서, 전송 데이터(147A)의 패킷 영역(R2)에는 겹침 영역(ROO)의 화상(118)에 대응하는 압축상 데이터가 중복하여 포함되어 있지 않다. 또한, 합성부(147)는 예를 들면, 전송 데이터(147A)의 패킷 영역(R2)에서 촬상 화상(111) 중 각 전송 화상(116)과 대응하지 않는 화소행을 할애하고 있다. 따라서, 전송 데이터(147A)의 패킷 영역(R2)에는 촬상 화상(111) 중 각 전송 화상(116)에 대응하지 않는 화소행은 포함되어 있지 않다. 또한, 도 6의 패킷 영역(R2)에서 파선으로 둘러싼 부분이, 겹침 영역(ROO)의 화상(118)의 압축상 데이터에 상당한다.
패킷 헤더(PH) 가까이의 패킷군(예를 들면 도 6 중의 1(n))과, 패킷 헤더(PH)로부터 떨어진 패킷군(예를 들면 도 6 중의 2(1))과의 경계는 패킷 헤더(PH) 가까이의 패킷군(예를 들면 도 6 중의 1(n))의 압축상 데이터에 대응하는 ROI 화상(112)의 물리 영역 길이(XLa1)에 의해 특정된다. 패킷 헤더(PH) 가까이 패킷군(예를 들면 도 6 중의 1(n))에 포함되는 겹침 영역(ROO)의 화상(118)에 대응하는 압축상 데이터에서 패킷의 시작 위치는 패킷 헤더(PH)로부터 떨어진 패킷군(예를 들면 도 6 중의 2(1))에 대응하는 ROI 화상(112)의 물리 영역 길이(XLa2)에 의해 특정된다.
합성부(147)는 예를 들면, 전송 데이터(147A)의 패킷 영역(R2)에서 1라인마다, LongPacket의 PayloadData를 생성할 때에 LongPacket의 PayloadData에 예를 들면, 압축상 데이터(147B)에서의 1라인분의 화소 데이터 외에 예를 들면, 도 7에 도시한 바와 같이, ROI 정보(120B)를 포함하여도 좋다. 즉, 합성부(147)는 ROI 정보(120B)를 LongPacket의 PayloadData에 포함하여 송출하여도 좋다. 이때, ROI 정보(120B)는 예를 들면, 도 7(A)∼도 7(K)에 도시한 바와 같이, 촬상 화상(111)에 포함되는 주목 영역(ROI)의 수(ROI수), 각 주목 영역(ROI)의 영역 번호(또는 우선도(115)), 각 주목 영역(ROI)의 데이터 길이, 및 각 주목 영역(ROI)의 화상 포맷 중 적어도 하나를 포함하고 있다. ROI 정보(120B)는 LongPacket의 PayloadData에서 패킷 헤더(PH)측의 단부(즉, LongPacket의 PayloadData의 선두)에 배치되는 것이 바람직하다.
(영상 수신 장치(200))
다음에 영상 수신 장치(200)에 관해 설명한다. 도 8은 영상 수신 장치(200)의 구성의 한 예를 도시한 것이다. 도 9는 영상 수신 장치(200)에서의 ROI 화상(223A)의 생성 순서의 한 예를 도시한 것이다. 영상 수신 장치(200)는 영상 송신 장치(100)와 공통의 규격(예를 들면, MIPI CSI-2 규격, MIPI CSI-3 규격, 또는 MIPIDSI 규격)으로 신호를 수신하는 장치이다. 영상 수신 장치(200)는 예를 들면, 수신부(210) 및 정보 처리부(220)를 갖고 있다. 수신부(210)는 영상 송신 장치(100)로부터 출력된 전송 데이터(147A)를 데이터 레인(DL)을 통하여 수신하고, 수신한 전송 데이터(147A)에 대해 소정의 처리를 행함에 의해, 여러가지의 데이터(214A, 215A, 215B)를 생성하여 정보 처리부(220)에 출력하는 회로이다. 정보 처리부(220)는 수신부(210)로부터 수신한 여러가지의 데이터(214A, 215A)에 의거하여 ROI 화상(223A)을 생성하거나 수신부(210)로부터 수신한 데이터(215B)에 의거하여 통상 화상(224A)을 생성하거나 하는 회로이다.
수신부(210)는 예를 들면, 헤더 분리부(211), 헤더 해석부(212), Payload 분리부(213), EBD 해석부(214) 및 ROI 데이터 분리부(215)를 갖고 있다.
헤더 분리부(211)는 전송 데이터(147A)를 데이터 레인(DL)을 통하여 영상 송신 장치(100)로부터 수신한다. 즉, 헤더 분리부(211)는 촬상 화상(111)에서의 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 EmbeddedData에 포함함과 함께, 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 LongPacket의 PayloadData에 포함하는 전송 데이터(147A)를 수신한다. 헤더 분리부(211)는 수신한 전송 데이터(147A)를 프레임 헤더 영역(R1)과 패킷 영역(R2)으로 분리한다. 헤더 해석부(212)는 프레임 헤더 영역(R1)에 포함되는 데이터(구체적으로는 EmbeddedData)에 의거하여 패킷 영역(R2)에 포함되는 LongPacket의 PayloadData의 위치를 특정한다. Payload 분리부(213)는 헤더 해석부(212)에 의해 특정된 LongPacket의 PayloadData의 위치에 의거하여 패킷 영역(R2)에 포함되는 LongPacket의 PayloadData를 패킷 영역(R2)으로부터 분리한다.
EBD 해석부(214)는 EmbeddedData를 EBD 데이터(214A)로서, 정보 처리부(220)에 출력한다. EBD 해석부(214)는 또한, EmbeddedData에 포함되는 데이터 타입으로부터, LongPacket의 PayloadData에 포함되는 화상 데이터가 ROI의 화상 데이터(116)의 압축상 데이터(120A)인지 또는 통상 화상 데이터의 압축상 데이터(130A)인지 판별한다. EBD 해석부(214)는 판별 결과를 ROI 데이터 분리부(215)에 출력한다.
LongPacket의 PayloadData에 포함되는 화상 데이터가 ROI의 화상 데이터(116)의 압축상 데이터(120A)인 경우 ROI 데이터 분리부(215)는 LongPacket의 PayloadData를 PayloadData(215A)로서, 정보 처리부(220)(구체적으로는 ROI 디코드부(222))에 출력한다. PayloadData에 포함되는 화상 데이터가 통상 화상 데이터의 압축상 데이터(130A)인 경우 ROI 데이터 분리부(215)는 LongPacket의 PayloadData를 PayloadData(215B)로서, 정보 처리부(220)(구체적으로는 통상 화상 디코드부(224))에 출력한다. LongPacket의 PayloadData에 RIO 정보(120B)가 포함되어 있는 경우에는 PayloadData(215A)는 RIO 정보(120B)와, 압축상 데이터(147B) 중 1라인분의 화소 데이터를 포함하고 있다.
정보 처리부(220)는 EBD 데이터(214A)에 포함되는 EmbeddedData로부터, ROI 정보(120B)를 추출한다. 정보 처리부(220)는 정보 추출부(221)에서 추출한 ROI 정보(120B)에 의거하여 수신부(210)에서 수신한 전송 데이터(147A)에 포함되는 LongPacket의 PayloadData로부터, 촬상 화상(111)에서의 각 주목 영역(ROI)의 화상(ROI 화상(112))을 추출한다. 정보 처리부(220)는 예를 들면, 정보 추출부(221), ROI 디코드부(222), ROI 화상 생성부(223) 및 통상 화상 디코드부(224)를 갖고 있다.
통상 화상 디코드부(224)는 PayloadData(215B)를 디코드하여 통상 화상(224A)을 생성한다. ROI 디코드부(222)는 PayloadData(215A)에 포함되는 압축상 데이터(147B)를 디코드하여 화상 데이터(222A)를 생성한다. 이 화상 데이터(222A)는 1 또는 복수의 전송 화상(116)에 의해 구성되어 있다.
정보 추출부(221)는 EBD 데이터(214A)에 포함되는 EmbeddedData로부터, ROI 정보(120B)를 추출한다. 정보 추출부(221)는 예를 들면, EBD 데이터(214A)에 포함되는 EmbeddedData로부터, 예를 들면, 촬상 화상(111)에 포함되는 주목 영역(ROI)의 수, 각 주목 영역(ROI)의 영역 번호(또는 우선도(115)), 각 주목 영역(ROI)의 데이터 길이, 및 각 주목 영역(ROI)의 화상 포맷을 추출한다. 즉, 전송 데이터(147A)는 당해 전송 데이터(147A)로부터 얻어지는 복수의 전송 화상(116)의 어느 것에 대해 겹침 영역(ROO)의 화상(118)의 할애가 행하여졌는지를 판별하는 것의 가능한 판별 정보로서, 각 전송 화상(116)에 대응하는 주목 영역(ROI)의 영역 번호(또는 우선도(115))를 포함하고 있다.
ROI 화상 생성부(223)는 정보 추출부(221)에서 얻어진 ROI 정보(120B)에 의거하여 2 이상의 주목 영역(ROI)끼리가 중첩되는 겹침 영역(ROO)을 검출한다.
정보 추출부(221)가, 예를 들면, EBD 데이터(214A)에 포함되는 EmbeddedData로부터, ROI 화상(112a1)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa1, Ya1)), 길이(예를 들면 물리 영역 길이(XLa1, YLa1)) 및 영역 번호 1(또는 우선도(115)(=1))를 추출한다. 정보 추출부(221)가, 또한, 예를 들면, EBD 데이터(214A)에 포함되는 EmbeddedData로부터, ROI 화상(112a2)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa2, Ya2)), 길이(예를 들면 물리 영역 길이(XLa2, YLa2)) 및 영역 번호 2(또는 우선도(115)(=2))를 추출한다.
이때, ROI 화상 생성부(223)는 추출한 이들의 정보(이하, 「추출 정보(221A)」라고 칭한다.)에 의거하여 겹침 영역(ROO)의 위치 정보(114)를 도출한다. ROI 화상 생성부(223)는 상기한 겹침 영역(ROO)의 위치 정보(114)로서, 예를 들면, 겹침 영역(ROO)의 좌표(예를 들면 좌상단 좌표(Xb1, Yb1)) 및 길이(예를 들면 물리 영역 길이(XLb1, YLb1))를 도출한다.
또한, ROI 화상 생성부(223)는 EBD 데이터(214A)에 포함되는 EmbeddedData로부터 RIO 정보(120B)를 취득하는 대신에 PayloadData(215A)로부터 RIO 정보(120B)를 취득하여도 좋다. 이 경우 ROI 화상 생성부(223)는 PayloadData(215A)에 포함되는 RIO 정보(120B)에 의거하여 2 이상의 주목 영역(ROI)끼리가 중첩되는 겹침 영역(ROO)을 검출하여도 좋다. 또한, ROI 화상 생성부(223)는 PayloadData(215A)에 포함되는 RIO 정보(120B)로부터, 추출 정보(221A)를 추출하여도 좋고, 그와 같이 하여 추출한 추출 정보(221A)에 의거하여 겹침 영역(ROO)의 위치 정보(114)를 도출하여도 좋다.
ROI 화상 생성부(223)는 또한, 화상 데이터(222A)와, 추출 정보(221A)와, 겹침 영역(ROO)의 위치 정보(114)에 의거하여 촬상 화상(111)에서의 각 주목 영역(ROI)의 화상(ROI 화상(112a1, 112a2))을 생성한다. ROI 화상 생성부(223)는 생성한 화상을 ROI 화상(223A)으로서 출력한다.
[순서]
다음에 도 3, 도 9를 참고로 하여 영상 전송 시스템(1)에서의 데이터 전송의 순서의 한 예에 관해 설명한다.
우선, 촬상부(110)는 촬상에 의해 얻어진 촬상 화상(111)(디지털의 화상 데이터)을 화상 처리부(120)에 출력한다. ROI 절출부(121)는 촬상부(110)로부터 입력된 촬상 화상(111)에 포함되는 2개의 주목 영역(ROI1, ROI2)을 특정한다. ROI 절출부(121)는 촬상 화상(111)으로부터, 각 주목 영역(ROI1, ROI2)의 화상(ROI 화상(112a1, 112a2))을 절출한다. ROI 절출부(121)는 주목 영역(ROI1)에 대해 식별자로서 영역 번호 1을 부여하고, 주목 영역(ROI2)에 대해 식별자로서 영역 번호 2를 부여한다.
ROI 해석부(122)는 주목 영역(ROI)마다, 촬상 화상(111)에서의 주목 영역(ROI)의 위치 정보(113)를 도출한다. ROI 해석부(122)는 주목 영역(ROI1)에 의거하여 주목 영역(ROI1)의 좌상단 좌표(Xa1, Ya1)와, 주목 영역(ROI1)의 X축방향의 길이(XLa1)와, 주목 영역(ROI1)의 Y축방향의 길이(YLa1)를 도출한다. ROI 해석부(122)는 주목 영역(ROI2)에 의거하여 주목 영역(ROI2)의 좌상단 좌표(Xa2, Ya2)와, 주목 영역(ROI2)의 X축방향의 길이(XLa2)와, 주목 영역(ROI2)의 Y축방향의 길이(YLa2)를 도출한다.
겹침 검출부(123)는 촬상 화상(111)에서의 2개의 주목 영역(ROI1, ROI2)의 위치 정보(113)에 의거하여 2개의 주목 영역(ROI1, ROI2)끼리가 중첩되는 겹침 영역(ROO)을 검출한다. 즉, 겹침 검출부(123)는 촬상 화상(111)에서의 겹침 영역(ROO)의 위치 정보(114)를 도출한다. 겹침 검출부(123)는 촬상 화상(111)에서의 겹침 영역(ROO)의 위치 정보(114)로서, 겹침 영역(ROO)의 좌상단 좌표(Xb1, Yb1)와, 겹침 영역(ROO)의 X축방향의 길이(XLb1)와, 겹침 영역(ROO)의 Y축방향의 길이(YLb1)를 도출한다.
우선도 설정부(124)는 2개의 주목 영역(ROI1, ROI2)에서 일방의 주목 영역(ROI1)에 대해 우선도(115)로서 1을 부여하고, 타방의 주목 영역(ROI2)에 대해 우선도(115)로서 2를 부여한다.
인코드부(125)는 2개의 주목 영역(ROI1, ROI2)에서 겹침 영역(ROO)의 화상(118)이 중복하여 포함되지 않도록, 촬상 화상(111)으로부터 얻어진 2개의 ROI 화상(112a1, 112a2)으로부터 화상(118)을 할애한 것인 2개의 전송 화상(116a1, 116a2)을 생성한다.
인코드부(125)는 2개의 주목 영역(ROI1, ROI2)의 영역 번호(또는 우선도(115))에 의거하여 2개의 ROI 화상(112a1, 112a2)의 어느 것에 대해 화상(118)의 할애를 행하는지를 결정한다. 인코드부(125)는 2개의 주목 영역(ROI1, ROI2)에서 영역 번호(또는 우선도(115))가 큰 쪽인 주목 영역(ROI2)에 대응하는 ROI 화상(112a2)에 대해 화상(118)의 할애를 행하고, 이에 의해, 전송 화상(116a2)을 생성한다. 인코드부(125)는 2개의 주목 영역(ROI1, ROI2)에서 영역 번호(또는 우선도(115))가 작은 쪽인 주목 영역(ROI1)에 대응하는 ROI 화상(112a1)에 관해서는 ROI 화상(112a1) 그 자체를 전송 화상(116a1)으로 한다.
화상 처리 제어부(126)는 ROI 정보(120B) 및 프레임 정보(120C)를 생성하여 송신부(140)에 송신한다. 송신부(140)는 화상 처리부(120, 130)로부터 입력된 여러가지의 데이터(120A, 120B, 120C, 130A)에 의거하여 전송 데이터(147A)를 생성한다. 송신부(140)는 생성한 전송 데이터(147A)를 데이터 레인(DL)을 통하여 영상 수신 장치(200)에 송출한다.
수신부(210)는 영상 송신 장치(100)로부터 출력된 전송 데이터(147A)를 데이터 레인(DL)을 통하여 수신한다. 수신부(210)는 수신한 전송 데이터(147A)에 대해 소정의 처리를 행함에 의해, EBD 데이터(214A) 및 PayloadData(215A)를 생성하여 정보 처리부(220)에 출력한다.
정보 추출부(221)는 EBD 데이터(214A)에 포함되는 EmbeddedData로부터, ROI 정보(120B)를 추출한다. 정보 추출부(221)는 EBD 데이터(214A)에 포함되는 EmbeddedData로부터, ROI 화상(112a1)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa1, Ya1)), 길이(예를 들면 물리 영역 길이(XLa1, YLa1)) 및 영역 번호 1(또는 우선도(115)(=1))를 추출한다. 정보 추출부(221)는 또한, ROI 화상(112a2)에 대응하는 주목 영역(ROI)의 좌표(예를 들면 좌상단 좌표(Xa2, Ya2)), 길이(예를 들면 물리 영역 길이(XLa2, YLa2)) 및 영역 번호 2(또는 우선도(115)(=2))를 추출한다. ROI 디코드부(222)는 PayloadData(215A)에 포함되는 압축상 데이터(147B)를 디코드하여 화상 데이터(222A)를 생성한다.
ROI 화상 생성부(223)는 추출한 이들의 정보(추출 정보(221A))에 의거하여 겹침 영역(ROO)의 위치 정보(114)를 도출한다. ROI 화상 생성부(223)는 상기한 겹침 영역(ROO)의 위치 정보(114)로서, 예를 들면, 겹침 영역(ROO)의 좌표(예를 들면 좌상단 좌표(Xb1, Yb1)) 및 길이(예를 들면 물리 영역 길이(XLb1, YLb1))를 도출한다. ROI 화상 생성부(223)는 또한, 화상 데이터(222A)와, 추출 정보(221A)와, 겹침 영역(ROO)의 위치 정보(114)에 의거하여 촬상 화상(111)에서의 각 주목 영역(ROI)의 화상(ROI 화상(112a1, 112a2))을 생성한다.
[효과]
다음에 본 실시의 형태에 관한 영상 전송 시스템(1)의 효과에 관해 설명한다.
근래, 데이터량의 큰 데이터를 대량으로 송신하는 용도가 증가하여 오고 있다. 전송 시스템에 큰 부하가 걸리기 쉽고, 최악의 경우에는 전송 시스템이 다운하고, 데이터 전송이 행할 수 없게 될 우려가 있다.
종래에는 전송 시스템의 다운을 피하기 위해, 예를 들면, 촬영한 화상을 전부 송신하는 것이 아니라, 촬영 대상의 물체를 특정하고, 특정한 물체를 절출한 일부의 화상만을 송신하는 것이 행하여지고 있다.
그런데, 이미지 센서로부터 어플리케이션 프로세서로의 전송에 이용되는 방식으로서, MIPI CSI-2가 이용되는 일이 있다. 이 방식을 이용하여 ROI를 전송하려고 한 경우 다양한 제약에 의해, ROI의 전송이 용이하지 않는 일이 있다.
한편, 본 실시의 형태에서는 촬상 화상(111)에서의 각 주목 영역(ROI)에 관한 ROI 정보(120B)가 EmbeddedData로 송출됨과 함께, 각 주목 영역(ROI)의 화상 데이터가 LongPacket의 PayloadData로 송출된다. 이에 의해, 영상 송신 장치(100)로부터 송출된 전송 데이터(147A)를 수신한 장치(영상 수신 장치(200))에서 전송 데이터(147A)로부터, 각 주목 영역(ROI)의 화상 데이터(ROI 화상(211))를 용이하게 추출할 수 있다. 그 결과, 다양한 제약하에서도, 주목 영역(ROI)의 전송을 행할 수가 있다.
또한, 본 실시의 형태에서는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))가 서로 공통의 버추얼 채널로 송출된다. 이에 의해, 동일 패킷 중에서 복수의 ROI 화상(211)을 보낼 수 있기 때문에 복수의 ROI 화상(211)을 보내는 사이에 LP 모드에 들어갈 필요가 없어서, 높은 전송 효율을 얻을 수 있다.
또한, 본 실시의 형태에서는 각 주목 영역(ROI)의 데이터 타입이 LongPacket의 PayloadData의 패킷 헤더(PH)에 포함하여 송출된다. 이에 의해, EmbeddedData에 액세스하지 않아도, LongPacket의 PayloadData의 패킷 헤더(PH)에 액세스하는 것만으로, 각 주목 영역(ROI)의 데이터 타입을 얻을 수 있다. 이에 의해, 정보 수신 장치(200)에서의 처리 속도를 빠르게 할 수 있기 때문에 높은 전송 효율을 얻을 수 있다.
또한, 본 실시의 형태에서 ROI 정보(120B)가 LongPacket의 PayloadData에 포함하여 송출된 경우에는 EmbeddedData에 액세스하지 않아도, LongPacket의 PayloadData에 액세스하는 것만으로, ROI 정보(120B)를 얻을 수 있다. 이에 의해, 정보 수신 장치(200)에서의 처리 속도를 빠르게 할 수 있기 때문에 높은 전송 효율을 얻을 수 있다.
또한, 본 실시의 형태에서는 전송 데이터(147A)에 포함되는 EmbeddedData로부터, 각 주목 영역(ROI)에 관한 ROI 정보(120B)가 추출됨과 함께, 추출된 ROI 정보(120B)에 의거하여 전송 데이터(147A)에 포함되는 LongPacket의 PayloadData로부터, 각 주목 영역(ROI)의 화상(ROI 화상(112))이 추출된다. 이에 의해, 전송 데이터(147A)로부터, 각 주목 영역(ROI)의 화상(ROI 화상(112))을 용이하게 추출할 수 있다. 그 결과, 다양한 제약하에서도, 주목 영역(ROI)의 전송을 행할 수가 있다.
<2. 변형례>
[변형례 A]
도 10은 상기 실시의 형태의 통신 시스템(1)에 탑재된 정보 송신 장치(200)의 구성의 한 변형례를 도시한 것이다. 본 변형례에 관한 정보 송신 장치(200)에서는 ROI 데이터 분리부(215)가 생략되어 있고, Payload 분리부(213)가 PayloadData(215A) 또는 PayloadData(215B)를 출력한다.
본 변형례에서 Payload 분리부(213)는 LongPacket의 PayloadData의 패킷 헤더(PH)에 포함되는 DataType(각 주목 영역(ROI)의 데이터 타입)으로부터, LongPacket의 PayloadData에 포함되는 화상 데이터가 ROI의 화상 데이터(116)의 압축상 데이터(120A)인지 또는 통상 화상 데이터의 압축상 데이터(130A)인지 판별한다. 그 결과, LongPacket의 PayloadData에 포함되는 화상 데이터가 ROI의 화상 데이터(116)의 압축상 데이터(120A)인 경우에는 Payload 분리부(213)는 LongPacket의 PayloadData를 PayloadData(215A)로서, 정보 처리부(220)(구체적으로는 ROI 디코드부(222))에 출력한다. LongPacket의 PayloadData에 포함되는 화상 데이터가 통상 화상 데이터의 압축상 데이터(130A)인 경우 Payload 분리부(213)는 LongPacket의 PayloadData를 PayloadData(215B)로서, 정보 처리부(220)(구체적으로는 통상 화상 디코드부(224))에 출력한다.
본 변형례에서는 EmbeddedData에 액세스하지 않아도, LongPacket의 PayloadData의 패킷 헤더(PH)에 액세스하는 것만으로, 각 주목 영역(ROI)의 데이터 타입을 판별할 수 있다. 이에 의해, 정보 수신 장치(200)에서의 처리 속도를 빠르게 할 수 있기 때문에 높은 전송 효율을 얻을 수 있다.
[변형례 B]
상기 실시의 형태의 통신 시스템(1)에서 LongPacket의 PayloadData의 패킷 헤더(PH)에 DataType(각 주목 영역(ROI)의 데이터 타입)이 포함되지 않아도 좋다. 이와 같이 한 경우라도, EmbeddedData에 포함되는 데이터 타입으로부터, LongPacket의 PayloadData에 포함되는 화상 데이터가 주목 영역(ROI)의 화상 데이터(116)의 압축상 데이터(120A)인지 또는 통상 화상 데이터의 압축상 데이터(130A)인지 판별할 수 있다. 이에 의해, 패킷 헤더(PH)의 데이터 사이즈가 작아지기 때문에 전송 용량을 적게 할 수 있다.
[변형례 C]
상기 실시의 형태의 통신 시스템(1)에서는 합성부(147)는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 서로 공통의 버추얼 채널로 송출하고 있다. 그러나 합성부(147)는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 서로 다른 버추얼 채널로 송출하여도 좋다. 단, 그 경우에는 예를 들면, 도 11에 도시한 바와 같이, 대응하는 주목 영역(ROI)이 서로 다른 2개의 LongPacket의 PayloadData끼리의 사이에 로우 파워 모드(LP)가 포함되게 된다.
그런데, 대응하는 주목 영역(ROI)이 서로 다른 2개의 LongPacket의 PayloadData끼리의 사이에 로우 파워 모드(LP)가 포함된다는 것은 대응하는 주목 영역(ROI)이 서로 다른 2개의 LongPacket의 PayloadData끼리를 분리한 처리가 불필요한 것을 의미한다. 따라서, 본 변형례에서는 그 분리 처리에 필요로 하는 처리시간을 없앨 수 있다.
[변형례 D]
상기 실시의 형태의 통신 시스템(1)에서는 합성부(147)는 LongPacket의 PayloadData에 압축상 데이터(147B)에서의 1라인분의 화소 데이터 외에 ROI 정보(120B)를 포함하고 있는 경우가 있다. 그러나 상기 실시의 형태의 통신 시스템(1)에서 합성부(147)는 예를 들면, LongPacket의 PayloadData의 앞(手前)에 마련된 1 또는 복수의 쇼트 패킷의 데이터 필드(ShortPackt의 DataField)(SP)에 ROI 정보(120B)를 포함하여 송출하여도 좋다. 합성부(147)는 예를 들면, LongPacket의 PayloadData의 앞에 마련된 1 또는 복수의 쇼트 패킷의 데이터 필드(SP)에 촬상 화상(111)에 포함되는 주목 영역(ROI)의 수(ROI수), 각 주목 영역(ROI)의 영역 번호(또는 우선도(115)), 각 주목 영역(ROI)의 데이터 길이, 및 각 주목 영역(ROI)의 화상 포맷 중 적어도 하나를 포함하여 송출하여도 좋다. 합성부(147)는 예를 들면, 도 12에 도시한 바와 같이, LongPacket의 PayloadData의 앞에 마련된 1 또는 복수의 쇼트 패킷의 데이터 필드(SP)에 촬상 화상(111)에 포함되는 주목 영역(ROI)의 수(ROI수), 각 주목 영역(ROI)의 영역 번호(또는 우선도(115)), 각 주목 영역(ROI)의 데이터 길이, 및 각 주목 영역(ROI)의 화상 포맷을 포함하여 송출하여도 좋다.
본 변형례에서는 EmbeddedData에 액세스하지 않아도, LongPacket의 PayloadData의 앞에 마련된 1 또는 복수의 쇼트 패킷의 데이터 필드(SP)에 액세스하는 것만으로, ROI 정보(120B)를 취득할 수 있다. 이에 의해, 정보 수신 장치(200)에서의 처리 속도를 빠르게 할 수 있기 때문에 높은 전송 효율을 얻을 수 있다.
[변형례 E]
상기 실시의 형태의 통신 시스템(1) 및 그 변형례(변형례 A∼D)에서는 복수의 ROI 화상(112)으로부터 화상(118)이 할애된 복수의 전송 화상(116)에 대응하는 압축상 데이터(147B)를 이용하여 전송 데이터(120A)가 생성되어 있다. 그러나 상기 실시의 형태의 통신 시스템(1) 및 그 변형례(변형례 A∼D)에서 복수의 주목 영역(ROI)의 화상(ROI 화상(112))에서의 겹침 영역(ROO)의 화상(118)이 존재하는지의 여부에 관계없이, 전송 데이터(120A)에 각 ROI 화상(112)에 대응하는 압축상 데이터(120A)를 이용하여 전송 데이터(120A)가 생성되어 있어도 좋다. 즉, 상기 실시의 형태의 통신 시스템(1) 및 그 변형례(변형례 A∼D)에서 압축상 데이터(147B)가, 각 ROI 화상(112)에 대응하는 압축상 데이터(120A)에 의해 구성되어 있다.
이와 같이 한 경우 예를 들면, 도 13에 도시한 바와 같이, 화상 처리부(120)에서 ROI 해석부(122), 겹침 검출부(123) 및 우선도 설정부(124)를 생략하는 것이 가능하다. 이와 같이, 화상 처리부(120)에서 ROI 해석부(122), 겹침 검출부(123) 및 우선도 설정부(124)를 생략한 경우라도, 상기 실시의 형태의 통신 시스템(1) 및 그 변형례(변형례 A∼D)와 마찬가지로, 송신부(140)는 촬상 화상(111)에서의 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 EmbeddedData로 송출한다. 송신부(140)는 또한, 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 LongPacket의 PayloadData로 송출한다. 또한, 송신부(140)는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 화상 데이터 프레임에 의해 송출함과 함께, 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 화상 데이터 프레임의 헤더로 송출한다. 이에 의해, 영상 송신 장치(100)로부터 송출된 전송 데이터(147A)를 수신한 장치(영상 수신 장치(200))에서 전송 데이터(147A)로부터, 각 주목 영역(ROI)의 화상 데이터(ROI 화상(211))를 용이하게 추출할 수 있다. 그 결과, 다양한 제약하에서도, 주목 영역(ROI)의 전송을 행할 수가 있다.
또한, 본 변형례에서 송신부(140)는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 서로 공통의 버추얼 채널로 송출하는 경우에는 동일 패킷 중에서 복수의 ROI 화상(211)을 보낼 수 있다. 이에 의해, 복수의 ROI 화상(211)을 보내는 사이에 LP 모드에 들어갈 필요가 없기 때문에 높은 전송 효율을 얻을 수 있다.
또한, 본 변형례에서 송신부(140)는 각 주목 영역(ROI)의 화상 데이터(압축상 데이터(120A))를 서로 다른 버추얼 채널로 송출하는 경우에는 대응하는 주목 영역(ROI)이 서로 다른 2개의 LongPacket의 PayloadData끼리를 분리하는 처리가 불필요하게 된다. 따라서, 본 변형례에서는 그 분리 처리에 필요로 하는 처리시간을 없앨 수 있다.
또한, 본 변형례에서 송신부(140)는 각 주목 영역(ROI)의 데이터 타입을 LongPacket의 PayloadData의 패킷 헤더(PH)에 포함하여 송출하는 경우에는 EmbeddedData에 액세스하지 않아도, LongPacket의 PayloadData의 패킷 헤더(PH)에 액세스하는 것만으로, 각 주목 영역(ROI)의 데이터 타입을 얻을 수 있다. 이에 의해, 정보 수신 장치(200)에서의 처리 속도를 빠르게 할 수 있기 때문에 높은 전송 효율을 얻을 수 있다.
또한, 본 변형례에서 송신부(140)는 ROI 정보(120B)를 LongPacket의 PayloadData에 포함하여 송출하는 경우에는 EmbeddedData에 액세스하지 않아도, LongPacket의 PayloadData에 액세스하는 것만으로, ROI 정보(120B)를 얻을 수 있다. 이에 의해, 정보 수신 장치(200)에서의 처리 속도를 빠르게 할 수 있기 때문에 높은 전송 효율을 얻을 수 있다.
또한, 본 변형례에서 송신부(140)는 LongPacket의 PayloadData의 앞에 마련된 1 또는 복수의 쇼트 패킷의 데이터 필드(SP)에 ROI 정보(120B)를 포함하여 송출하는 경우에는 EmbeddedData에 액세스하지 않아도, LongPacket의 PayloadData의 앞에 마련된 1 또는 복수의 쇼트 패킷의 데이터 필드(SP)에 액세스하는 것만으로, ROI 정보(120B)를 취득할 수 있다. 이에 의해, 정보 수신 장치(200)에서의 처리 속도를 빠르게 할 수 있기 때문에 높은 전송 효율을 얻을 수 있다.
또한, 본 변형례에서 송신부(140)는 전송 데이터(147A)에 포함되는 EmbeddedData로부터, 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 추출함과 함께, 추출한 ROI 정보(120B)에 의거하여 전송 데이터(147A)에 포함되는 LongPacket의 PayloadData로부터, 각 주목 영역(ROI)의 화상(ROI 화상(112))을 추출하는 경우에는 전송 데이터(147A)로부터, 각 주목 영역(ROI)의 화상(ROI 화상(112))을 용이하게 추출할 수 있다. 그 결과, 다양한 제약하에서도, 주목 영역(ROI)의 전송을 행할 수가 있다.
[변형례 F]
상기 실시의 형태의 통신 시스템(1) 및 그 변형례(변형례 A∼E)에서는 송신부(140)가, 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 화상 데이터 프레임의 헤더(프레임 헤더 영역(R1))로 송출하고 있다. 그러나 상기 실시의 형태의 통신 시스템(1) 및 그 변형례(변형례 A∼E)에서 송신부(140)는 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 화상 데이터 프레임의 푸터(프레임 푸터 영역(R3))로 송출하여도 좋다. 예를 들면, 도 14에 도시한 바와 같이, 송신부(140)는 촬상 화상(111)에서의 각 주목 영역(ROI)에 관한 ROI 정보(120B)를 EmbeddedData로 송출할 때에 ROI 정보(120B)를 프레임 푸터 영역(R3)으로 송출하여도 좋다. 또한, 도 14에서는 편의적으로, 헤더 영역(R1)의 기재가 생략되어 있다. 본 변형례와 같이 한 경우라도, 다양한 제약하에서도, 주목 영역(ROI)의 전송을 행할 수가 있다.
[변형례 G]
상기 실시의 형태의 통신 시스템(1) 및 그 변형례(변형례 A∼F)에서는 화상 데이터 프레임은 프레임 헤더 영역(R1), 패킷 영역(R2) 및 프레임 푸터(R3)를 포함하고 있다. 그러나 상기 실시의 형태의 통신 시스템(1) 및 그 변형례(변형례 A∼E)에서 화상 데이터 프레임은 프레임 푸터(R3)를 포함하지 않아도 좋다. 또한, 상기 변형례 F에서 화상 데이터 프레임은 프레임 헤더 영역(R1)을 포함하지 않아도 좋다.
이상, 실시의 형태 및 그 변형례를 들어 본 개시를 설명하였지만, 본 개시는 상기 실시의 형태 등으로 한정되는 것이 아니고, 여러가지 변형이 가능하다. 또한, 본 명세서 중에 기재된 효과는 어디까지나 예시이다. 본 개시의 효과는 본 명세서 중에 기재된 효과로 한정되는 것이 아니다. 본 개시가, 본 명세서 중에 기재된 효과 이외의 효과를 갖고 있어도 좋다.
또한, 예를 들면, 본 개시는 이하와 같은 구성을 취할 수 있다.
(1) 화상에서의 ROI(Region Of Interest)의 화상 데이터를 LongPacket의 PayloadData로 송출함과 함께, 상기 ROI에 관한 정보를 EmbeddedData로 송출하는 송신부를 구비한 영상 송신 장치.
(2) 상기 송신부는 각 상기 ROI의 상기 화상 데이터를 서로 다른 버추얼 채널로 송출하는 (1)에 기재된 영상 송신 장치.
(3) 상기 송신부는 각 상기 ROI의 상기 화상 데이터를 서로 공통의 버추얼 채널로 송출하는 (1)에 기재된 영상 송신 장치.
(4) 상기 송신부는 각 상기 ROI의 데이터 타입을 상기 PayloadData의 패킷 헤더에 포함하여 송출하는 (3)에 기재된 영상 송신 장치.
(5) 상기 송신부는 상기 화상에 포함되는 상기 ROI의 수, 각 상기 ROI의 영역 번호, 각 상기 ROI의 데이터 길이, 및 각 상기 ROI의 화상 포맷 중 적어도 하나를 상기 PayloadData에 포함하여 송출하는 (3)에 기재된 영상 송신 장치.
(6) 상기 송신부는 상기 화상에 포함되는 상기 ROI의 수, 각 상기 ROI의 영역 번호, 각 상기 ROI의 데이터 길이, 및 각 상기 ROI의 화상 포맷 중 적어도 하나를 ShortPacket에 포함하여 송출하는 (3)에 기재된 영상 송신 장치.
(7) 상기 송신부는 상기 ROI의 상기 화상 데이터를 화상 데이터 프레임에 의해 송출함과 함께, 상기 ROI에 관한 정보를 상기 화상 데이터 프레임의 헤더 또는 푸터로 송출하는 (1) 내지 (6)의 어느 하나에 기재된 영상 송신 장치.
(8) 상기 송신부는 MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2 규격, MIPI CSI-3 규격, 또는 MIPI DSI(Display Serial Interface) 규격으로 신호를 송출하는 (1) 내지 (7)의 어느 하나에 기재된 영상 송신 장치.
(9) 화상에서의 각 ROI(Region Of Interest)에 관한 정보에 의거하여 2 이상의 상기 ROI끼리가 중첩되는 겹침 영역을 검출하는 검출부와,
상기 화상에서의 복수의 상기 ROI의 제1 화상 데이터에서 상기 겹침 영역의 제2 화상 데이터가 중복하여 포함되지 않도록, 복수의 상기 제1 화상 데이터로부터 상기 제2 화상 데이터를 할애한 것인 복수의 제3 화상 데이터를 LongPacket의 PayloadData로 송출함과 함께, 상기 화상에서의 각 상기 ROI에 관한 정보를 EmbeddedData로 송출하는 송신부를 구비한 영상 송신 장치.
(10) 상기 송신부는 각 상기 ROI의 상기 화상 데이터를 서로 다른 버추얼 채널로 송출하는 (9)에 기재된 영상 송신 장치.
(11) 상기 송신부는 각 상기 ROI의 상기 화상 데이터를 서로 공통의 버추얼 채널로 송출하는 (9)에 기재된 영상 송신 장치.
(12) 상기 송신부는 각 상기 ROI의 데이터 타입을 상기 PayloadData의 패킷 헤더에 포함하여 송출하는 (11)에 기재된 영상 송신 장치.
(13) 상기 송신부는 상기 화상에 포함되는 상기 ROI의 수, 각 상기 ROI의 영역 번호, 각 상기 ROI의 데이터 길이, 및 각 상기 ROI의 화상 포맷 중 적어도 하나를 상기 PayloadData에 포함하여 송출하는 (11)에 기재된 영상 송신 장치.
(14) 상기 송신부는 상기 화상에 포함되는 상기 ROI의 수, 각 상기 ROI의 영역 번호, 각 상기 ROI의 데이터 길이, 및 각 상기 ROI의 화상 포맷 중 적어도 하나를 ShortPacket의 DataField에 포함하여 송출하는 (9)에 기재된 영상 송신 장치.
(15) 상기 송신부는 상기 ROI의 상기 화상 데이터를 화상 데이터 프레임에 의해 송출함과 함께, 상기 ROI에 관한 정보를 상기 화상 데이터 프레임의 헤더 또는 푸터로 송출하는 (9) 내지 (14)의 어느 하나에 기재된 영상 송신 장치.
(16) 상기 송신부는 MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2 규격, MIPI CSI-3 규격, 또는 MIPI DSI(Display Serial Interface) 규격으로 신호를 송출하는 (9) 내지 (15)의 어느 하나에 기재된 영상 송신 장치.
(17) 화상에서의 ROI(Region Of Interest)의 화상 데이터를 LongPacket의 PayloadData에 포함함과 함께, 상기 ROI에 관한 정보를 EmbeddedData에 포함하는 전송 신호를 수신하는 수신부와,
상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 EmbeddedData로부터, 상기 ROI에 관한 정보를 추출함과 함께, 추출한 상기 정보에 의거하여 상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 PayloadData로부터, 상기 ROI의 화상 데이터를 추출하는 정보 처리부를 구비한 영상 수신 장치.
(18) 상기 정보 처리부는 추출한 상기 정보에 의거하여 2 이상의 상기 ROI끼리가 중첩되는 겹침 영역을 검출하고, 추출한 상기 정보와, 검출한 상기 겹침 영역의 정보에 의거하여 상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 PayloadData로부터, 각 상기 ROI의 화상 데이터를 추출하는 (17)에 기재된 영상 수신 장치.
(19) 상기 송신부는 MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2 규격, MIPI CSI-3 규격, 또는 MIPI DSI(Display Serial Interface) 규격으로 신호를 수신하는 (17) 또는 (18)에 기재된 영상 수신 장치.
본 출원은 일본 특허청에서 2017년 6월 9일에 출원된 일본 특허출원 번호 제2017-114690호를 기초로 하여 우선권을 주장하는 것이고, 이 출원의 모든 내용을 참조에 의해 본 출원에 원용한다.
당업자라면, 설계상의 요건이나 다른 요인에 응하여 여러가지의 수정, 콤비네이션, 서브 콤비네이션, 및 변경을 상도할 수 있는데, 그것들은 첨부한 청구의 범위나 그 균등물의 범위에 포함되는 것으로 이해된다.

Claims (11)

  1. 화상에서의 각 ROI(Region Of Interest)에 관한 정보에 의거하여 제1의 ROI 영역과 제2의 ROI 영역이 중첩되는 겹침 영역을 검출하는 검출부와,
    상기 ROI 마다 우선도 설정부에 의해 부여한 우선도를 기억부에 격납함과 함께,
    상기 겹침 영역을 제외하는 제1의 ROI 영역에 대응하며, 제1의 우선도가 부여된 제1의 화상 테이터와,
    상기 겹침 영역을 포함하는 제2의 ROI 영역에 대응하며, 제2의 우선도가 부여된 제2의 화상 데이터를 LongPacket의 PayloadData로 송출함과 함께, 상기 화상에서의 각 상기 ROI에 관한 정보를 EmbeddedData로 송출하는 송신부를 구비한 것을 특징으로 하는 영상 송신 장치.
  2. 제1항에 있어서,
    상기 송신부는 각 상기 ROI를 서로 다른 버추얼 채널로 송출하는 것을 특징으로 하는 영상 송신 장치.
  3. 제1항에 있어서,
    상기 송신부는 각 상기 ROI를 서로 공통의 버추얼 채널로 송출하는 것을 특징으로 하는 영상 송신 장치.
  4. 제3항에 있어서,
    상기 송신부는 각 상기 ROI의 데이터 타입을 상기 PayloadData의 패킷 헤더에 포함하여 송출하는 것을 특징으로 하는 영상 송신 장치.
  5. 제3항에 있어서,
    상기 송신부는 상기 화상에 포함되는 상기 ROI의 수, 각 상기 ROI의 영역 번호, 각 상기 ROI의 데이터 길이, 및 각 상기 ROI의 화상 포맷 중 적어도 하나를 상기 PayloadData에 포함하여 송출하는 것을 특징으로 하는 영상 송신 장치.
  6. 제3항에 있어서,
    상기 송신부는 상기 화상에 포함되는 상기 ROI의 수, 각 상기 ROI의 영역 번호, 각 상기 ROI의 데이터 길이, 및 각 상기 ROI의 화상 포맷 중 적어도 하나를 ShortPacket의 DataField에 포함하여 송출하는 것을 특징으로 하는 영상 송신 장치.
  7. 제1항에 있어서,
    상기 송신부는 상기 ROI의 상기 화상 데이터를 화상 데이터 프레임에 의해 송출함과 함께, 상기 ROI에 관한 정보를 상기 화상 데이터 프레임의 헤더 또는 푸터로 송출하는 것을 특징으로 하는 영상 송신 장치.
  8. 제1항에 있어서,
    상기 송신부는 MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2 규격, MIPI CSI-3 규격, 또는 MIPI DSI(Display Serial Interface) 규격으로 신호를 송출하는 것을 특징으로 하는 영상 송신 장치.
  9. 화상에서의 각 ROI(Region Of Interest)에 관한 정보에 의거하여 제1의 ROI 영역과 제2의 ROI 영역이 중첩되는 겹침 영역을 검출하는 검출부와,
    상기 ROI 마다 우선도 설정부에 의해 부여한 우선도를 기억부에 격납함과 함께,
    상기 겹침 영역을 제외하는 제1의 ROI 영역에 대응하며, 제1의 우선도가 부여된 제1의 화상 테이터와,
    상기 겹침 영역을 포함하는 제2의 ROI 영역에 대응하며, 제2의 우선도가 부여된 제2의 화상 데이터를 LongPacket의 PayloadData로 송출하기 위한 화상 처리부와,
    상기 화상 처리부는 ROI절출부, ROI 해석부, 겹침 검출부, 우선도 설정부, 인코드부 및 화상 처리 제어부를 구비하고,
    상기 화상에서의 각 상기 ROI에 관한 정보를 EmbeddedData로 송출하는 전송 신호를 수신하는 수신부와,
    상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 EmbeddedData로부터, 상기 ROI에 관한 정보를 추출함과 함께, 추출한 상기 정보에 의거하여 상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 PayloadData로부터, 상기 ROI의 화상 데이터를 추출하는 정보 처리부를 구비한 것을 특징으로 하는 영상 수신 장치.
  10. 제9항에 있어서,
    상기 정보 처리부는 추출한 상기 정보에 의거하여 2 이상의 상기 ROI끼리가 중첩되는 겹침 영역을 검출하고, 추출한 상기 정보와, 검출한 상기 겹침 영역의 정보에 의거하여 상기 수신부에서 수신한 상기 전송 신호에 포함되는 상기 PayloadData로부터, 각 상기 ROI의 화상 데이터를 추출하는 것을 특징으로 하는 영상 수신 장치.
  11. 제9항에 있어서,
    상기 수신부는 MIPI(Mobile Industry Processor Interface) CSI(Camera Serial Interface)-2 규격, MIPI CSI-3 규격, 또는 MIPI DSI(Display Serial Interface) 규격으로 신호를 수신하는 것을 특징으로 하는 영상 수신 장치.
KR1020237007533A 2017-06-09 2018-05-11 영상 송신 장치 및 영상 수신 장치 KR102636747B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017114690 2017-06-09
JPJP-P-2017-114690 2017-06-09
PCT/JP2018/018349 WO2018225449A1 (ja) 2017-06-09 2018-05-11 映像送信装置および映像受信装置
KR1020197035266A KR102509132B1 (ko) 2017-06-09 2018-05-11 영상 송신 장치 및 영상 수신 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197035266A Division KR102509132B1 (ko) 2017-06-09 2018-05-11 영상 송신 장치 및 영상 수신 장치

Publications (2)

Publication Number Publication Date
KR20230036167A true KR20230036167A (ko) 2023-03-14
KR102636747B1 KR102636747B1 (ko) 2024-02-15

Family

ID=64567136

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237007533A KR102636747B1 (ko) 2017-06-09 2018-05-11 영상 송신 장치 및 영상 수신 장치
KR1020197035266A KR102509132B1 (ko) 2017-06-09 2018-05-11 영상 송신 장치 및 영상 수신 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197035266A KR102509132B1 (ko) 2017-06-09 2018-05-11 영상 송신 장치 및 영상 수신 장치

Country Status (9)

Country Link
US (1) US20200186841A1 (ko)
EP (1) EP3637784A4 (ko)
JP (1) JP7163285B2 (ko)
KR (2) KR102636747B1 (ko)
CN (1) CN110710222A (ko)
BR (1) BR112019025471A2 (ko)
SG (1) SG11201910049VA (ko)
TW (1) TWI829638B (ko)
WO (1) WO2018225449A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210096090A (ko) 2018-12-06 2021-08-04 소니 세미컨덕터 솔루션즈 가부시키가이샤 수신 장치 및 송신 장치
JP2020188323A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法
US11871008B2 (en) 2019-06-28 2024-01-09 Sony Semiconductor Solutions Corporation Transmitting apparatus, receiving apparatus, and transmission system
JP7499765B2 (ja) 2019-06-28 2024-06-14 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
TW202110184A (zh) * 2019-07-30 2021-03-01 日商索尼半導體解決方案公司 發送裝置、接收裝置、及通訊系統
WO2021039011A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 撮像装置、処理装置、データ伝送システム、及びデータ伝送方法
WO2021039012A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 撮像装置、データ伝送システム、及びデータ伝送方法
WO2021100627A1 (ja) * 2019-11-20 2021-05-27 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、および伝送システム
WO2021192764A1 (ja) * 2020-03-25 2021-09-30 ソニーセミコンダクタソリューションズ株式会社 受信装置及び伝送システム
JP7450704B2 (ja) 2020-03-31 2024-03-15 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
CN116076057A (zh) * 2020-09-01 2023-05-05 索尼半导体解决方案公司 信息处理装置、移动体装置和通信***
CN114245030A (zh) * 2021-12-20 2022-03-25 北京镁伽科技有限公司 上位机显示测试图像的方法、装置及图像信号发生器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014039219A (ja) 2012-08-20 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2016201756A (ja) 2015-04-14 2016-12-01 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184153B2 (en) * 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
US8970750B2 (en) * 2010-11-12 2015-03-03 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
JP2013121032A (ja) 2011-12-07 2013-06-17 Sony Corp 画像処理装置および方法
CN103260081B (zh) * 2012-02-21 2016-08-10 ***通信集团公司 一种视频图像缩放处理方法及装置
JP6295951B2 (ja) * 2012-06-25 2018-03-20 ソニー株式会社 画像復号装置及び画像復号方法
JP2015533051A (ja) * 2012-09-18 2015-11-16 ヴィド スケール インコーポレイテッド タイルおよびタイル群を使用した関心領域ビデオ符号化
RU2667719C1 (ru) * 2012-12-18 2018-09-24 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
KR101879519B1 (ko) * 2013-07-29 2018-07-17 코닌클리즈케 케이피엔 엔.브이. 타일 비디오 스트림을 클라이언트에게 제공하는 방법
US9894422B2 (en) * 2014-02-18 2018-02-13 Lg Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
KR101953679B1 (ko) * 2014-06-27 2019-03-04 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
CN105320270B (zh) * 2014-07-18 2018-12-28 宏达国际电子股份有限公司 用于执行脸部追踪功能的方法及其电子装置
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
JP2016103808A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102511705B1 (ko) * 2015-11-16 2023-03-20 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
JP6646433B2 (ja) 2015-12-21 2020-02-14 太平洋セメント株式会社 複合構造体
JP6936018B2 (ja) * 2017-02-21 2021-09-15 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014039219A (ja) 2012-08-20 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2016201756A (ja) 2015-04-14 2016-12-01 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌(NXP Semiconductors. MIPI-CSI2 Peripheral on i.MX6 MPUs. NXP Semiconductors AN5305, 2016.07<URL:https://www.nxp.com/docs/en/application-note/AN5305.pdf> ) *

Also Published As

Publication number Publication date
TW201904281A (zh) 2019-01-16
JP7163285B2 (ja) 2022-10-31
CN110710222A (zh) 2020-01-17
EP3637784A4 (en) 2020-04-22
EP3637784A1 (en) 2020-04-15
KR20200016229A (ko) 2020-02-14
TWI829638B (zh) 2024-01-21
KR102636747B1 (ko) 2024-02-15
JPWO2018225449A1 (ja) 2020-04-09
SG11201910049VA (en) 2019-11-28
WO2018225449A1 (ja) 2018-12-13
KR102509132B1 (ko) 2023-03-13
BR112019025471A2 (pt) 2020-06-23
US20200186841A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
KR102509132B1 (ko) 영상 송신 장치 및 영상 수신 장치
KR102593633B1 (ko) 영상 송신 장치 및 영상 수신 장치
CN111295887B (zh) 具有感兴趣区域模式选择的发送装置和方法
EP3993435A1 (en) Sending device, receiving device, and transmission system
WO2021020224A1 (ja) 送信装置、受信装置、及び通信システム
US12041344B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US11900572B2 (en) Transmission device, reception device, and transmission system
US12052515B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US20220217310A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
US11695883B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
CN113170044B (zh) 接收装置和发送装置
CN113170029A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right