JP7282798B2 - 撮影装置、画像処理方法、及び、プログラム - Google Patents

撮影装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP7282798B2
JP7282798B2 JP2020553780A JP2020553780A JP7282798B2 JP 7282798 B2 JP7282798 B2 JP 7282798B2 JP 2020553780 A JP2020553780 A JP 2020553780A JP 2020553780 A JP2020553780 A JP 2020553780A JP 7282798 B2 JP7282798 B2 JP 7282798B2
Authority
JP
Japan
Prior art keywords
image
vehicle
unit
resolution
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020553780A
Other languages
English (en)
Other versions
JPWO2020090511A1 (ja
Inventor
剛 山中
卓也 山口
泰宏 湯川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020090511A1 publication Critical patent/JPWO2020090511A1/ja
Application granted granted Critical
Publication of JP7282798B2 publication Critical patent/JP7282798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本技術は、撮影装置、画像処理方法、及び、プログラムに関し、特に、例えば、高コスト化を抑制することができるようにする撮影装置、画像処理方法、及び、プログラムに関する。
例えば、自動車等の車両については、車両の後部に、撮影装置としてのカメラを設置し、そのカメラで撮影された車両の後方が写る画像を表示するビューイングシステムが提案されている。
ビューイングシステムが提供する、車両の後方が写る画像としては、車両の後部の直後より後方が写る画像や、車両の後部の直後が写る画像がある。
ここで、車両の後部の直後より後方が写る画像は、例えば、いわゆる室内バックミラー（ルームミラー）と呼ばれるクラスIミラーに写る画像に相当する画像であり、以下、BM(Back Mirror)画像ともいう。また、車両の後部の直後が写る画像は、車両の後部とその直後とが写る画像であり、以下、RV(Rear View)画像ともいう。
BM画像及びRV画像については、撮影に必要とされる仕様、すなわち、画角や光軸の方向が異なるため、BM画像及びRV画像は、別のカメラを用いて撮影される。したがって、ビューイングシステムにおいて、BM画像及びRV画像を表示する場合には、車両の後部に、BM画像を撮影するカメラと、RV画像を撮影するカメラとの２台のカメラを設ける必要がある。
近年、低コスト化等のために、１台のカメラでBM画像及びRV画像を撮影することが要請されている。
例えば、特許文献１には、PTZ(Pan, Tilt, Zoom)動作により、画角及び光軸の方向を変化させるカメラが記載されている。特許文献１に記載のカメラでは、PTZ動作によって、車両の遠方の範囲が写る遠方画像の撮影と、車両に近接する範囲が写る近接画像の撮影とを切り替えることができる。
特開平11-312300号公報
特許文献１に記載のカメラによれば、遠方画像をBM画像として出力することと、近接画像をRV画像として出力することとを切り替えることができる。しかしながら、特許文献１に記載のカメラでは、遠方画像と近接画像とを同時に出力することは困難である。
また、車両でデータ伝送に使用することができる車両伝送帯域には制限がある。そのため、仮に、遠方画像をBM画像として出力することと、近接画像をRV画像として出力することとを同時に行うことができたとしても、遠方画像及び近接画像の伝送を同時に行って表示することは困難である。
車両伝送帯域を大きくすることにより、遠方画像及び近接画像の伝送を同時に行うことが可能となるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。
本技術は、このような状況に鑑みてなされたものであり、高コスト化を抑制することができるようにするものである。
本技術の撮影装置、又は、プログラムは、撮影を行うイメージセンサと、前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部とを備える撮影装置、又は、そのような撮影装置としてコンピュータを機能させるためのプログラムである。
本技術の画像処理方法は、撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することとを含む画像処理方法である。
本技術の撮影装置、画像処理方法、及び、プログラムにおいては、撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御が行われる。そして、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量が調整される。
なお、撮影装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。 車両１０の車内の構成例を示す斜視図である。 車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。 制御部３６による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。 ジャイロ情報に応じたBM画像（としての領域R11）の抽出制御を説明する図である。 イメージセンサ３２の構成例を示す図である。 イメージセンサ３２から出力することができる画像の例を説明する図である。 車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。 制御部３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。 制御部３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。 ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。 車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。 車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。 制御部８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。 ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。 車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜ビューイングシステムを搭載した車両の構成例＞
図１は、本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。
例えば、（四輪）自動車である車両１０には、後部に、車両１０の後方を撮影する撮影装置としての１台のカメラユニット１１が設置されている。図１では、カメラユニット１１は、車両１０のリアガラスの上部に設置されている。
カメラユニット１１は、BM画像（第１の画像）となる範囲と、RV画像（第２の画像）となる範囲との両方が写る画像を一つの画像として撮影することができるように、広角のカメラユニットになっている。さらに、カメラユニット１１は、BM画像において、遠方の被写体が明確に写るように、高解像度のカメラユニットになっている。したがって、カメラユニット１１は、広角かつ高解像度の画像を撮影することができる。
なお、カメラユニット１１では、後述するように、カメラユニット１１において撮影される画像（以下、撮影画像ともいう）から、BM画像及びRV画像が抽出される。
BM画像には、車両１０に室内バックミラー（ルームミラー。国際連合欧州経済委員会〈UN/ECE〉が定めるRegulation No.46におけるクラスIミラー）が設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子の画像が含まれるように、かつ、RV画像には、車両１０の後部とその（後部の）直後の様子の画像が含まれるように、カメラユニット１１は、光軸の向きが調整されて設置される。
したがって、BM画像は、車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子が写る画像である。また、RV画像は、車両１０の後部とその直後の様子とが写る画像である。RV画像には、室内バックミラーでは死角となる車両１０の後部の直後が写るので、RV画像は、車両１０の後進時に、特に有用である。また、RV画像は、車両１０を上部から見たような俯瞰画像の生成に用いることができる。
なお、上述のようなBM画像及びRV画像を抽出することができる撮影画像を撮影することができれば、カメラユニット１１を設置する位置は、車両１０のリアガラスの上部に限定されるものではない。例えば、カメラユニット１１は、車両１０のリアガラスの上部の他、車両１０の後部のナンバープレートの上部の位置P11等に設置することができる。
図２は、図１の車両１０の車内の構成例を示す斜視図である。
車両１０の車内の室内バックミラーが設置される位置には、BM画像を表示するBM表示部２１が設けられている。BM表示部２１は、室内バックミラーの代替となる表示部である。
車両１０の車内のダッシュボードの中央の位置には、RV画像を表示するRV表示部２２が設けられている。
なお、車両１０の車内のダッシュボードの運転席側には、運転者を撮影する車内カメラ２３が設けられている。車内カメラ２３では、運転者を撮影し、その運転者が写る画像が出力される。車両１０では、運転者が写る画像から、運転者の視線や頭部の位置が検出される。
ここで、運転者を撮影する車内カメラ２３は、ダッシュボード以外の任意の位置、例えば、BM表示部２１の上部の位置P21等に設けることができる。
＜ビューイングシステムの第１の構成例＞
図３は、車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。
ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。
カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、及び、制御部３６を有する。
光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。
イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、撮影画像を撮影する。そして、イメージセンサ３２は、制御部３６の制御に従い、撮影画像から、BM画像及びRV画像を抽出して出力する。イメージセンサ３２が出力するBM画像及びRV画像は、データ量調整部３３に供給される。
データ量調整部３３は、制御部３６の制御に従い、イメージセンサ３２が出力するBM画像及びRV画像のデータ量を調整し、データ量が調整された後のBM画像及びRV画像を、出力部３４に供給する。
出力部３４は、データ量調整部３３からのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部３４からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部３４からのRV画像が、RV表示部２２の仕様に従って表示される。出力部３４は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。
取得部３５は、車両１０から取得することが可能な情報（以下、車両情報ともいう）を、車両１０から取得し、制御部３６に供給する。
ここで、車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、車両１０の運転者の視線及び頭部の位置、ジャイロ情報等がある。
走行情報とは、車両１０の走行状態を表す情報であり、具体的には、車速や、走行方向（前進又は後進）を表す。車速は、例えば、車両１０が速度センサを搭載している場合には、その速度センサの出力から取得することができる。走行方向は、例えば、トランスミッションの状態から取得することができる。
BM表示部２１及びRV表示部２２の仕様とは、例えば、BM表示部２１及びRV表示部２２の解像度等であり、BM表示部２１及びRV表示部２２から取得することができる。
車両１０の運転者の視線及び頭部の位置は、車内カメラ２３で撮影された画像から求めることができる。
ジャイロ情報とは、車両１０の姿勢（／車両の傾きの角度）を表す情報である。ジャイロ情報は、車両１０がジャイロセンサを搭載している場合には、そのジャイロセンサの出力から求めることができる。ジャイロ情報によれば、車両１０が坂道に位置しているかどうかを認識することができる。
制御部３６は、取得部３５から供給される車両情報に応じて、イメージセンサ３２やデータ量調整部３３を制御する。
すなわち、制御部３６は、車両情報に応じて、イメージセンサ３２での撮影画像からのBM画像及びRV画像の抽出を制御する抽出制御を行う。また、制御部３６は、車両情報に応じて、データ量調整部３３でのBM画像及びRV画像のデータ量の調整を制御する調整制御を行う。
したがって、イメージセンサ３２は、車両情報に応じて、撮影画像から、BM画像及びRV画像を抽出し、データ量調整部３３は、車両情報に応じて、BM画像及びRV画像のデータ量を調整する、ということができる。
＜撮影画像からのBM画像及びRV画像の抽出制御＞
図４は、制御部３６による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
光学系３１と、イメージセンサ３２が撮影する撮影画像とは、例えば、図４に示すように、撮影画像（イメージセンサ３２の受光面）が光学系３１（を構成するレンズ）のイメージサークルを包含するような位置関係になっている。
制御部３６は、抽出制御において、撮像画像から、車両１０の後部の直後より後方が写る所定の領域（車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察される領域）R11を、BM画像として抽出するように、イメージセンサ３２からのデータ（画素信号）の読み出しを制御する。
さらに、制御部３６は、抽出制御において、撮像画像（のうちのイメージサークル内の画像）から、車両１０の後部と、その直後とが写る所定の領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
イメージセンサ３２は、制御部３６の制御に従い、撮影により得られた撮影画像から、BM画像（のデータ）となる領域R11のデータ（画素信号）を読み出すとともに、RV画像となる領域R12のデータを読み出す。
なお、領域R11及びR12の大きさは、BM表示部２１及びRV表示部２２の仕様に応じて設定することができる。
また、制御部３６は、BM画像の抽出制御において、車両情報に含まれる運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する。
すなわち、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動すると、室内バックミラーによって運転者が見ることができる画像に写る範囲が変化する。制御部３６は、車両１０に、室内バックミラーが設置されている場合に観察することができる画像と同様の範囲が写るBM画像を、運転者が見ることができるように、BM画像の抽出制御において、運転者の視線や頭部の位置に応じて、BM画像として抽出する領域R11の位置を変更させる。
その他、制御部３６は、BM画像の抽出制御において、車両情報に含まれるジャイロ情報に応じて、BM画像として抽出する領域R11を制御することができる。
図５は、ジャイロ情報に応じたBM画像（としての領域R11）の抽出制御を説明する図である。
いま、BM画像に写る３次元空間の範囲を、BM範囲ということとする。また、説明を簡単にするため、運転者の視線及び頭部の位置は固定されているとする。したがって、ここでは、撮影画像からBM画像として抽出される領域R11（の位置）、ひいては、BM範囲に関して、運転者が視線や頭部の位置を動かすことに起因する変化はないこととする。
さらに、車両１０が平坦な道（道路）に位置している場合に、BM画像中に、車両１０から所定の距離だけ後方にある物体が写ることとする。
この場合、車両１０が、上りの坂道に位置すると、BM範囲は変化しないが、車両１０の後部に設置されたカメラユニット１１の光軸が、車両１０が平坦な道に位置しているケースよりも下側（道路側）に傾く。
その結果、車両１０が平坦な道に位置している場合は、BM範囲に入って、BM画像中に写る、車両１０から所定の距離だけ後方にある物体が、車両１０が上りの坂道に位置している場合には、BM範囲に入らず、BM画像中に写らなくなる。すなわち、車両１０から所定の距離だけ後方にある物体が、車両１０が平坦な道に位置している場合には、BM画像中に写るが、車両１０が上りの坂道に位置している場合には、BM画像中に写らなくなる。
この場合、車両１０が上りの坂道に位置しているケースでは、車両１０の運転者がBM画像を見て確認することができる道路上の後方の範囲が、車両１０が平坦な道に位置しているケースよりも狭くなる。
そこで、制御部３６では、BM画像の抽出制御において、車両情報に含まれるジャイロ情報に応じて、BM画像として抽出する領域R11を制御することができる。
すなわち、制御部３６は、ジャイロ情報に応じ、車両１０の前方が上側に傾いているほど、BM画像として抽出する領域R11の位置を、撮影画像中の上方位置に変更させることができる。
これにより、車両１０から所定の距離だけ後方にある物体が、車両１０が平坦な道に位置している場合には、BM画像に写る。そして、車両１０が上りの坂道に位置している場合には、BM画像に写らなくなることを防止することができる。なお、制御部３６では、車両１０が下りの坂道に位置している場合には、ジャイロ情報に応じて、BM画像として抽出する領域R11の位置を、撮影画像中の下方位置に変更させることができる。
＜イメージセンサ３２の構成例＞
図６は、図３のイメージセンサ３２の構成例を示す図である。
イメージセンサ３２は、複数の画素５１、AD(Analog to Digital)変換部、及び、ラインメモリ５３を有する。
複数の画素５１は、２次元平面上に配置される。図６では、複数の画素５１は、格子状に配置されている。格子状に配置された画素５１の各列には、VSL(Vertical Signal Line)が配線され、各列の画素５１は、その列に配線されたVSLに接続されている。画素５１は、そこに入射する光を、その光の光量に応じた電気信号としての画素信号に変換する。画素信号は、画素５１から読み出され、その画素５１の列に配線されたVSLに出力される。
AD変換部５２は、例えば、格子状に配置された画素５１の列ごとに、その列の画素５１の画素信号のAD変換を担当する図示せぬADC(AD Converter)を有する。各列のADCは、その列に配線されたVSLに接続され、そのVSLに接続された画素５１から読み出された画素信号のAD変換を行う。AD変換部５２の各列のADCでのAD変換後の画素信号は、ラインメモリ５３に供給される。
ラインメモリ５３は、AD変換部５２から供給される最大で１行分の画素５１の画素信号を記憶し、行方向に順次転送することで、最大で１行分の画素５１の画素信号を、イメージセンサ３２の外部に出力する。
ここで、以下、適宜、図６において、上からy行目で、左からx列目の画素５１、及び、その画素５１で得られる画素信号を、画素yx、及び、画素信号yxともそれぞれ表す。
撮像画像は、イメージセンサ３２の受光面の画素（有効画素）５１すべてで得られる画素信号で構成される画像であり、イメージセンサ３２では、撮像画像を出力する場合、例えば、最上行のa行の画素５１から、下の行に向かって、１行単位で、画素信号が読み出される。
１行の画素５１の画素信号は、VSLを介して、AD変換部５２に供給される。AD変換部５２では、１行の画素５１の画素信号が、同時にAD変換され、AD変換後の画素信号は、ラインメモリ５３に供給されて記憶される。
ラインメモリ５３では、AD変換部５２から供給される１行の画素５１の画素信号が記憶され、行方向に順次転送されることにより、イメージセンサ３２の外部に読み出される。
以上の処理が、画素５１の全行に対して行われることで、１画面分の撮像画像（の画素信号）が、イメージセンサ３２の外部に読み出される。
BM画像及びRV画像は、撮影画像の一部の領域（の画像）であるため、BM画像及びRV画像を得る場合に、イメージセンサ３２から、撮像画像の全体を読み出す必要はなく、撮影画像のBM画像及びRV画像としての一部の領域（の画素信号）だけを読み出せば十分である。
ここで、イメージセンサ３２から、撮像画像の全体を読み出すことを、全読み出しともいい、撮影画像の一部の領域を読み出すことを、部分読み出しともいう。
制御部３６において、撮像画像から、BM画像及びRV画像を抽出するように、イメージセンサ３２からのデータの読み出しを制御する抽出制御では、部分読み出しを行うように、イメージセンサ３２が制御される。
例えば、BM画像となる領域R11が、図６に示すように、d行からh行までの画素５１のうちの、1列から5列までの画素５１で構成される場合、制御部３６は、d行からh行までの画素５１のうちの、1列から5列までの画素５１の画素信号を読み出すように、イメージセンサ３２を制御する。
この場合、イメージセンサ３２では、d行の画素５１の画素信号が読み出され、AD変換部５２においてAD変換されて、ラインメモリ５３に供給される。ラインメモリ５３では、d行の画素５１のAD変換後の画素信号が記憶される。そして、ラインメモリ５３では、d行の画素５１のうちの、1行から5行までの画素５１の画素信号d1, d2, d3, d4, d5が順次転送され、イメージセンサ３２の外部に読み出される。
ラインメモリ５３において、d行の画素５１のうちの、1行から5行までの画素５１の画素信号d1ないしd5が転送されている間、次のe行の画素５１の画素信号が、AD変換部５２においてAD変換され、以下、同様にして、d行からh行までの画素５１のうちの、1列から5列までの画素５１の画素信号が、イメージセンサ３２の外部に読み出される。
以上のように、イメージセンサ３２では、部分読み出しにより、撮像画像から、BM画像及びRV画像を抽出することができる。
なお、図６では、AD変換部５２のAD変換方式として、1列の画素５１の画素信号のAD変換を、1個のADCが担当する列並列AD変換方式を採用するが、AD変換部５２のAD変換方式は、列並列AD変換方式に限定されるものではない。例えば、AD変換部５２のAD変換方式としては、１画素、又は、複数画素で構成されるエリア内の画素５１の画素信号のAD変換を、1個のADCが担当するエリアAD変換方式を採用することができる。
＜イメージセンサ３２から出力することができる画像＞
図７は、イメージセンサ３２から出力することができる画像の例を説明する図である。
いま、イメージセンサ３２が出力可能な最高解像度の撮影画像を、最高解像度画像ということとする。イメージセンサ３２は、例えば、解像度（画素数）Rmaxの最高解像度画像を、60fps(frame per second)（のフレームレート）以上で出力することができる性能を有することとする。
ここでは、最高解像度画像から抽出される最高解像度（画素数）のBM画像の解像度RBMが、最高解像度画像の解像度Rmaxの1/2以下であることとする。また、最高解像度画像から抽出される最高解像度のRV画像の解像度RRVが、BM画像の解像度RBM以下であることとする。
本実施の形態では、例えば、BM画像の解像度RBMとRV画像の解像度RRVとの加算値RBM+RRVとが、最高解像度画像の解像度Rmaxの1/2以下であるとする。この場合、解像度Rmaxで、60fps（以上）の最高解像度画像を出力可能なイメージセンサ３２を用いると、最高解像度画像の一部の部分読み出しにより得られる解像度RBMのBM画像と、解像度RRVのRV画像との両方の画像を、120fpsで出力することができる。
＜車両１０でデータ伝送に使用することができる車両伝送帯域の例＞
図８は、車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。
すなわち、図８は、カメラユニット１１がデータ量調整部３３でのデータ量の調整なしで出力することができるBM画像及びRV画像の例を示している。
カメラユニット１１は、BM画像として、例えば、解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が（輝度及び色差のそれぞれについて）8ビットのカラー画像を出力することができる。また、カメラユニット１１は、RV画像として、例えば、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのカラー画像を出力することができる。
解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのBM画像を、最高画質のBM画像と呼び、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのRV画像を、最高画質のRV画像と呼ぶこととする。
本実施の形態では、カメラユニット１１からデータが伝送される帯域である車両伝送帯域は、例えば、60fpsの最高画質のBM画像を２画面分だけ（リアルタイムで）伝送することができる伝送帯域になっていることとする。本実施の形態では、RBM>=RRVであるので、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によれば、例えば、60fpsの最高画質のRV画像を２画面分を伝送することができる。また、車両伝送帯域によれば、例えば、60fpsの最高画質のBM画像を１画面分と、60fpsの最高画質のRV画像を１画面分との合計で２画面分とを伝送することができる。
図７及び図８で説明したことから、カメラユニット１１は、最高画質のBM画像及びRV画像の両方を、最大120fpsで出力することができる。
しかしながら、本実施の形態では、車両伝送帯域は、60fpsで、最高画質のBM画像（又はRV画像）の２画面分しか伝送することができない。
車両伝送帯域を大きくすることにより、カメラユニット１１が出力可能な、120fpsで、最高画質のBM画像及びRV画像の両方を伝送することができるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。
本技術では、ビューイングシステムが高コスト化することを抑制するため、カメラユニット１１は、BM画像やRV画像のデータ量を適切に調整し、車両伝送帯域内で、BM画像やRV画像を伝送する。
＜車両伝送帯域が、60fpsで、最高画質のBM画像の２画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
図９は、制御部３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。
図９のＡは、車両１０が前進している場合、及び、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
この場合、制御部３６は、解像度RBMで、120fpsのBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、120fpsのBM画像を出力するとともに、RV画像の出力を制限する。
したがって、この場合、カメラユニット１１からは、解像度RBMで、120fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、120fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
以上から、車両１０が前進している場合、及び、高速で後進している場合には、運転者は、解像度RBMで、120fpsのBM画像、すなわち、高解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
なお、車両１０が前進している場合、及び、高速で後退している場合には、車両１０の後部の直後の画像を含むRV画像は、表示しない。
また、カメラユニット１１が出力する解像度RBMで、120fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
ここで、データ量調整部３３において、画像のデータ量を調整するデータ量調整方法としては、上述のように、画像の出力を制限する（画像を出力しない）方法の他、例えば、解像度（画素数）を小さくする方法や、階調（１画素のビット数）を小さくする方法、フレームレートを小さく方法、所定の圧縮符号化方式で圧縮する方法等がある。
データ量調整方法の中で、画像の出力の制限、解像度を小さくすること、階調を小さくすること、フレームレートを小さくすることは、データ量調整部３３に行わせる他、制御部３６において、イメージセンサ３２の抽出制御等の制御を行うことにより、イメージセンサ３２に行わせることができる。
すなわち、画像の出力の制限、例えば、RV画像の出力の制限は、制御部３６において、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２からのデータの読み出しを制御し、画素５１（図６）からの、RV画像となる画素信号の読み出しを行わないことにより行うことができる。制御部３６は、車両１０が前進している場合、及び、高速で後進している場合、車両情報に応じて、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２の抽出制御を行うことができる。もちろん、イメージセンサ３２で制限せずに、データ量調整部３３においてRV画像の出力の制限を行っても良い。
画像の解像度を小さくすることは、制御部３６において、例えば、画素信号を読み出す画素５１を間引くように、又は、いわゆるSF(Source Follower)加算やFD(Floating Diffusion)加算等により、複数の画素５１の画素信号を加算するビニング(Binning)を行うように、イメージセンサ３２を制御することにより行うことができる。
階調を小さくすることは、制御部３６において、例えば、AD変換部５２（図６）のAD変換のビット数を小さくするように、イメージセンサ３２を制御することにより行うことができる。
フレームレートを小さくすることは、制御部３６において、例えば、画素５１から画素信号を読み出すレートや、AD変換部５２でAD変換を行うレートを小さくするように、イメージセンサ３２を制御することにより行うことができる。
図９のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
この場合、制御部３６は、解像度RBM未満の解像度RBMMで、120fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、120fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
したがって、この場合、カメラユニット１１からは、解像度RBMMで、120fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、120fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、120fpsのBM画像、すなわち、中解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
なお、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レート（ここでは解像度RBMのBM画像を圧縮せずに120fpsで伝送する場合に必要になる伝送レート）と解像度RBMMを120fpsで伝送する場合に必要となる伝送レート（第1の伝送レート）の差の伝送帯域以下であることとする。この場合、カメラユニット１１が出力する解像度RBMMで、120fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
ここで、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下ではない場合、データ量調整部３３では、BM画像及びRV画像の一方又は両方を、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下となるように（解像度RRVMのRV画像が伝送できる程度になるように）圧縮（符号化）することができる。例えば、解像度RBMMで、120fpsのBM画像については、その一部又は全部を圧縮（符号化）することにより、データ量を少なくすることができる。解像度RRVMで、30fpsのRV画像については、カラー画像のまま、又は、白黒画像に変換し、圧縮符号化することにより、データ量を少なくすることができる。
図９のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
この場合、制御部３６は、解像度RBMで、60fpsのBM画像が出力され、かつ、解像度RRVで、60fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、解像度RRVで、60fpsのRV画像を出力する。
したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像と、解像度RRVで、60fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVで、60fpsのRV画像が表示される。
以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVで、60fpsのRV画像、すなわち、高解像度で、中フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
車両１０が、低速で後進している場合とは、例えば、車両１０を駐車しようとしている場合等であり、運転者から死角となる車両１０の後部の直後の確認が重要である。そのため、車両１０が、低速で後進している場合には、RV画像は、車両１０が高速や中速で後進している場合よりも高解像度かつ高フレームレートで表示される。これにより、死角となる領域の確認と、死角の状況に応じた車両制御が行い易くなる。
なお、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像、及び、解像度RRVで、60fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
＜車両伝送帯域が、60fpsで、最高画質のBM画像の１画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
図１０は、制御部３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。
ここで、BM画像及びRV画像のデータ量の調整制御の第２の例では、車両伝送帯域が、例えば、60fps（以上）の最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる伝送帯域になっていることとする。
図１０のＡは、車両１０が前進している場合、及び、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
この場合、制御部３６は、解像度RBMで、60fps（以上）のBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、RV画像の出力を制限する。
したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
以上から、車両１０が前進している場合、及び、高速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
なお、車両１０が前進している場合、及び、高速で後進している場合には、図９のＡで説明したように、車両１０の後部の直後の画像を含むRV画像は、表示しない。
また、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
図１０のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
この場合、制御部３６は、解像度RBM未満の解像度RBMMで、60fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
したがって、この場合、カメラユニット１１からは、解像度RBMMで、60fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、60fpsのBM画像、すなわち、中解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
なお、カメラユニット１１が出力する解像度RBMMで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な伝送帯域（以下、必要伝送帯域ともいう）が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、中速用の第１の圧縮率で圧縮することや、RV画像を、カラー画像のまま、又は、白黒画像に変換して、中速用の第１の圧縮率より高圧縮の中速用の第２の圧縮率で圧縮することができる。
図１０のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
この場合、制御部３６は、解像度RBMM未満の解像度RBMLで、60fpsのBM画像が出力され、かつ、解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMLで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
したがって、この場合、カメラユニット１１からは、解像度RBMLで、60fpsのBM画像と、解像度RRVで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMLで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMLで、60fpsのBM画像、すなわち、低解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
なお、カメラユニット１１が出力する解像度RBMLで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な必要伝送帯域が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、低速用の第１の圧縮率で圧縮することや、RV画像を、（カラー画像のまま）低速用の第１の圧縮率より高圧縮の低速用の第２の圧縮率で圧縮することができる。
ここで、低速用の第１の圧縮率としては、中速用の第１の圧縮率よりも高圧縮の圧縮率を採用することができる。中速用の第２の圧縮率、及び、低速用の第２の圧縮率としては、同一の圧縮率を採用することができる。この場合、低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率の関係は、低速用の第２の圧縮率＝中速用の第２の圧縮率＞低速用の第１の圧縮率＞中速用の第１の圧縮となる。但し、ここでは、圧縮率の値が大きいほど、高圧縮であるとする。低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率それぞれでの圧縮後のデータ量の関係は、低速用の第２の圧縮率による圧縮後のデータ量＝中速用の第２の圧縮率による圧縮後のデータ量＜低速用の第１の圧縮率による圧縮後のデータ量＜中速用の第１の圧縮による圧縮後のデータ量となる。
以上、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像のデータ量を調整する調整制御について説明した。調整制御の方法は、図９及び図１０で説明した方法に限定されるものではない。すなわち、調整制御の方法は、車両伝送帯域や、イメージセンサ３２の性能、BM表示部２１及びRV表示部２２の仕様等に応じて、適宜設定することができる。データ量は表示されるBM画像の画質やRV画像の画質と関係しているため、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像の画質を変えていると言える。
また、調整制御において、BM画像及びRV画像の解像度を小さくすることは、BM画像及びRV画像を構成する画素数を少なくすることにより行うこともできるし、BM画像及びRV画像の（不可逆な）圧縮を、画素数を変化させずに行うことにより行うこともできる。
BM画像及びRV画像を圧縮することにより、BM画像及びRV画像の解像度を小さくする場合、BM画像及びRV画像を圧縮する圧縮率としては、圧縮及び伸張により得られる、高周波成分等の一部の周波数成分が失われたBM画像及びRV画像の実質的な解像度（画像が有する最高の周波数成分）が、図９や図１０で説明した解像度（画素数）と等価になるような圧縮率を採用することができる。
＜表示処理＞
図１１は、図３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
ステップＳ１１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１２に進む。
ステップＳ１２では、取得部３５は、車両１０から車両情報を取得し、制御部３６に供給して、処理は、ステップＳ１３に進む。
ステップＳ１３では、制御部３６は、取得部３５からの車両情報に応じて、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部３６の抽出制御に従い、撮影画像から、BM画像及びRV画像を抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部３３に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
ステップＳ１４では、制御部３６は、取得部３５からの車両情報に応じて、データ量調整部３３の調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部３３は、データ量が調整されたBM画像及びRV画像を、出力部３４に供給して、処理は、ステップＳ１４からステップＳ１５に進む。
ステップＳ１５において、出力部３４は、データ量調整部３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力し、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送して、処理は、ステップＳ１６に進む。
ステップＳ１６では、BM表示部２１は、出力部３４からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部３４からのRV画像を、RV表示部２２の仕様に従って表示する。
＜ビューイングシステムの第２の構成例＞
図１２は、車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１２において、ビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、制御部３６、及び、メモリ７１を有する。
したがって、図１２のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし制御部３６を有する点で、図３の場合と共通する。
但し、図１２のビューイングシステムは、カメラユニット１１が、メモリ７１を新たに有する点で、図３の場合と相違する。
図１２のビューイングシステムにおいて、イメージセンサ３２は、最高解像度画像（最高解像度の撮影画像）を、メモリ７１に供給し、メモリ７１は、イメージセンサ３２からの最高解像度画像を記憶する。そして、制御部３６は、イメージセンサ３２ではなく、メモリ７１に対して、抽出制御としての、メモリ７１からのデータ（画素信号）の読み出しの制御を行うことで、図３の場合と同様に、最高解像度画像から、BM画像及びRV画像を抽出させる。
メモリ７１に記憶された最高解像度画像から抽出されたBM画像及びRV画像は、データ量調整部３３に供給される。
なお、図１２のビューイングシステムにおいて、図９のＡ及び図１０のＡで説明したような、車両１０が前進している場合、及び、高速で後進している場合のRV画像の出力の制限は、データ量調整部３３において、RV画像の出力を制限することにより行う他、メモリ７１の抽出制御において、最高解像度画像からのRV画像の抽出を制限する（RV画像を読み出さない）ことにより行うことができる。
また、図１２のビューイングシステムにおいて、BM画像及びRV画像を表示する表示処理は、図１１で説明した場合と同様であるため、説明を省略する。
但し、図１２のビューイングシステムでは、ステップＳ１１において、イメージセンサ３２が撮影画像を撮影した後、その撮影画像が、メモリ７１に記憶される。また、ステップＳ１３において、制御部３６は、取得部３５からの車両情報に応じて、イメージセンサ３２ではなく、メモリ７１の抽出制御を行い、これにより、メモリ７１に記憶された撮影画像から、BM画像及びRV画像が抽出される。
＜ビューイングシステムの第３の構成例＞
図１３は、車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。
なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１３において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、及び、制御部８１を有する。
したがって、図１３のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし取得部３５を有する点で、図３の場合と共通する。
但し、図１３のビューイングシステムは、抽出部８２が新たに設けられている点、及び、カメラユニット１１において、制御部３６に代えて、制御部８１が設けられている点で、図３の場合と相違する。
なお、図１３では、抽出部８２は、カメラユニット１１の外部に設けられているが、カメラユニット１１の内部に設けることができる。
制御部８１には、取得部３５から、車両情報が供給される。車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。但し、この例では、取得部３５から供給される車両情報には、運転者の視線及び頭部の位置は、含まれない。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部８２に入力される。
制御部８１は、制御部３６と同様に、取得部３５からの車両情報に応じて、イメージセンサ３２の抽出制御、及び、データ量調整部３３の調整制御を行う。
但し、制御部８１は、抽出制御において、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する代わりに、領域R11よりサイズが大きい領域を、BM画像として抽出させる。
したがって、図１３において、出力部３４が出力するBM画像のサイズは、図３及び図１２において、出力部３４が出力するBM画像のサイズよりも大きい。
図１３において、出力部３４が出力する領域R11より大きいサイズのBM画像は、抽出部８２に供給される。
抽出部８２には、出力部３４から領域R11より大きいサイズのBM画像が供給される他、車両情報のうちの、運転者の視線及び頭部の位置が供給される。
抽出部８２は、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、出力部３４からの領域R11より大きいサイズのBM画像の一部の領域、すなわち、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出し、BM表示部２１に供給する。
＜撮影画像からのBM画像及びRV画像の抽出制御＞
図１４は、制御部８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
図１４は、図４と同様に、光学系３１のイメージサークルと、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）とを示している。
制御部８１は、抽出制御において、制御部３６と同様に、領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
また、制御部８１は、抽出制御において、撮像画像から、領域R11ではなく、領域R11のサイズよりも大きいサイズの領域R31を、BM画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
領域R31は、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動することにより、室内バックミラーによって運転者が見ることができる最大の範囲を包含する領域である。領域R11は、運転者の視線や頭部の位置に応じて位置が変更される可変の領域であるが、領域R31は、固定の領域である。
抽出部８２では、以上のような領域R31から、運転者の視線及び頭部の位置のうちの一方又は両方に応じた位置の領域であって、領域R11と同一サイズの領域が、BM表示部２１に表示させる最終的なBM画像として抽出される。すなわち、抽出部８２では、領域R31から、車両１０に室内バックミラーが設置されていたならば、運転者が、その室内バックミラーによって観察するであろう領域R11が、BM画像として抽出される。
＜表示処理＞
図１５は、図１３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
ステップＳ２１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ２２に進む。
ステップＳ２２では、取得部３５は、車両１０から車両情報を取得し、制御部３６に供給して、処理は、ステップＳ２３に進む。
ステップＳ２３では、制御部３６は、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部３６の抽出制御に従い、図１４で説明したように、撮影画像から、領域R31及びR12を、BM画像及びRV画像としてそれぞれ抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部３３に供給して、処理は、ステップＳ２３からステップＳ２４に進む。
ステップＳ２４では、制御部３６は、取得部３５からの車両情報に応じて、データ量調整部３３の調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部３３は、データ量が調整されたBM画像及びRV画像を、出力部３４に供給して、処理は、ステップＳ２４からステップＳ２５に進む。
ステップＳ２５において、出力部３４は、データ量調整部３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力して、処理は、ステップＳ２６に進む。これにより、図１３では、BM画像は、抽出部８２に供給され、RV画像は、RV表示部２２に伝送される。
ステップＳ２６では、抽出部８２は、車両１０から、車両情報に含まれる運転者の視線及び頭部の位置を取得し、処理は、ステップＳ２７に進む。
ステップＳ２７では、抽出部８２は、出力部３４からのBM画像から、運転者の視線及び頭部の位置に応じた位置の、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出する。そして、抽出部８２は、最終的なBM画像を、BM表示部２１に伝送して、処理は、ステップＳ２７からステップＳ２８に進む。
ステップＳ２８では、BM表示部２１は、抽出部８２からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部３４からのRV画像を、RV表示部２２の仕様に従って表示する。
＜ビューイングシステムの第４の構成例＞
図１６は、車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。
なお、図中、図１２又は図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。取得部３５にて取得される車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部８２に入力される。
図１６において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、メモリ７１、及び、制御部８１を有する。
したがって、図１６のビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１が、光学系３１ないし取得部３５、及び、制御部８１を有する点で、図１３の場合と共通する。
但し、図１６のビューイングシステムは、図１２のメモリ７１を新たに有する点で、図１３の場合と相違する。
図１６のビューイングシステムでは、図１２のビューイングシステムと同様に、メモリ７１が、イメージセンサ３２からの最高解像度画像（撮像画像）を記憶し、抽出制御が、イメージセンサ３２ではなく、メモリ７１に対して行われることを除いて、図１３の場合と同様の処理が行われる。
＜本技術を適用したコンピュータの説明＞
次に、上述した制御部３６及び８１や、データ量調整部３３、抽出部８２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
撮影を行うイメージセンサと、
前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
を備える撮影装置。
＜２＞
前記制御部は、前記抽出制御として、前記イメージセンサからのデータの読み出しの制御を行う
＜１＞に記載の撮影装置。
＜３＞
前記制御部は、前記抽出制御として、前記イメージセンサが出力する前記撮影画像を記憶する記憶部からのデータの読み出しの制御を行う
＜１＞に記載の撮影装置。
＜４＞
前記制御部は、前記車両情報に応じて、前記抽出制御を行う
＜１＞ないし＜３＞のいずれかに記載の撮影装置。
＜５＞
前記車両情報は、前記車両の走行方向を含み、
前記制御部は、前記車両の走行方向が前進である場合、前記撮影画像からの前記第２の画像の抽出を制限する
＜４＞に記載の撮影装置。
＜６＞
前記車両情報は、前記車両の運転者の視線又は頭部の位置を含み、
前記制御部は、前記車両の運転者の視線又は頭部の位置に応じて、前記撮影画像から前記第１の画像として抽出する領域を制御する
＜４＞に記載の撮影装置。
＜７＞
前記データ量調整部は、前記第２の画像の出力を制限することにより、前記第２の画像のデータ量を調整する
＜１＞ないし＜６＞のいずれかに記載の撮影装置。
＜８＞
前記データ量調整部は、前記第１の画像又は前記第２の画像を圧縮することにより、前記第１の画像又は前記第２の画像のデータ量を調整する
＜１＞ないし＜７＞のいずれかに記載の撮影装置。
＜９＞
前記車両の運転者の視線又は頭部の位置に応じて、前記第１の画像の一部の領域を、前記第１の表示部に表示させる画像として抽出する抽出部をさらに備える
＜１＞ないし＜３＞のいずれかに記載の撮影装置。
＜１０＞
前記車両情報は、前記車両の走行方向又は車速を含む
＜１＞ないし＜９＞のいずれかに記載の撮影装置。
＜１１＞
前記第１の表示部は、クラスIミラーの代替となる表示部である
＜１＞ないし＜１０＞のいずれかに記載の撮影装置。
＜１２＞
前記第１の画像は、前記車両の後部の直後より後方が写る画像である
＜１＞ないし＜１１＞のいずれかに記載の撮影装置。
＜１３＞
前記第２の画像は、前記車両の後部の直後が写る画像である
＜１＞ないし＜１２＞のいずれかに記載の撮影装置。
＜１４＞
撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することと
を含む画像処理方法。
＜１５＞
撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
して、コンピュータを機能させるためのプログラム。
１０ 車両， １１ カメラユニット， ２１ BM表示部， ２２ RV表示部， ２３ 車内カメラ， ３１ 光学系， ３２ イメージセンサ， ３３ データ量調整部， ３４ 出力部， ３５ 取得部， ３６ 制御部， ５１ 画素， ５２ AD変換部， ５３ ラインメモリ， ７１ メモリ， ８１ 制御部， ８２ 抽出部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体

Claims (15)

  1. 撮影を行うイメージセンサと、
    前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
    車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
    を備える撮影装置。
  2. 前記制御部は、前記抽出制御として、前記イメージセンサからのデータの読み出しの制御を行う
    請求項１に記載の撮影装置。
  3. 前記制御部は、前記抽出制御として、前記イメージセンサが出力する前記撮影画像を記憶する記憶部からのデータの読み出しの制御を行う
    請求項１に記載の撮影装置。
  4. 前記制御部は、前記車両情報に応じて、前記抽出制御を行う
    請求項１に記載の撮影装置。
  5. 前記車両情報は、前記車両の走行方向を含み、
    前記制御部は、前記車両の走行方向が前進である場合、前記撮影画像からの前記第２の画像の抽出を制限する
    請求項４に記載の撮影装置。
  6. 前記車両情報は、前記車両の運転者の視線又は頭部の位置を含み、
    前記制御部は、前記車両の運転者の視線又は頭部の位置に応じて、前記撮影画像から前記第１の画像として抽出する領域を制御する
    請求項４に記載の撮影装置。
  7. 前記データ量調整部は、前記第２の画像の出力を制限することにより、前記第２の画像のデータ量を調整する
    請求項１に記載の撮影装置。
  8. 前記データ量調整部は、前記第１の画像又は前記第２の画像を圧縮することにより、前記第１の画像又は前記第２の画像のデータ量を調整する
    請求項１に記載の撮影装置。
  9. 前記車両の運転者の視線又は頭部の位置に応じて、前記第１の画像の一部の領域を、前記第１の表示部に表示させる画像として抽出する抽出部をさらに備える
    請求項１に記載の撮影装置。
  10. 前記車両情報は、前記車両の走行方向又は車速を含む
    請求項１に記載の撮影装置。
  11. 前記第１の表示部は、クラスIミラーの代替となる表示部である
    請求項１に記載の撮影装置。
  12. 前記第１の画像は、前記車両の後部の直後より後方が写る画像である
    請求項１に記載の撮影装置。
  13. 前記第２の画像は、前記車両の後部の直後が写る画像である
    請求項１に記載の撮影装置。
  14. 撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、
    車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することと
    を含む画像処理方法。
  15. 撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
    車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
    して、コンピュータを機能させるためのプログラム。
JP2020553780A 2018-10-31 2019-10-18 撮影装置、画像処理方法、及び、プログラム Active JP7282798B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018204836 2018-10-31
JP2018204836 2018-10-31
PCT/JP2019/041036 WO2020090511A1 (ja) 2018-10-31 2019-10-18 撮影装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2020090511A1 JPWO2020090511A1 (ja) 2021-10-14
JP7282798B2 true JP7282798B2 (ja) 2023-05-29

Family

ID=70461837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020553780A Active JP7282798B2 (ja) 2018-10-31 2019-10-18 撮影装置、画像処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US11722645B2 (ja)
EP (1) EP3876516A4 (ja)
JP (1) JP7282798B2 (ja)
CN (1) CN113039778B (ja)
WO (1) WO2020090511A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113039778B (zh) * 2018-10-31 2024-01-02 索尼集团公司 图像捕获装置、图像处理方法和记录介质
JP7434730B2 (ja) * 2019-06-14 2024-02-21 マツダ株式会社 車両用情報表示装置及び車両用制御装置
KR20210130330A (ko) * 2020-04-21 2021-11-01 삼성전자주식회사 호스트 차량을 제어하는 전자 장치 및 이의 동작 방법
WO2023006832A1 (en) * 2021-07-28 2023-02-02 Motherson Innovations Company Ltd. Camera monitor system, vehicle therewith and method for adjusting the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254318A (ja) 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2017187811A1 (ja) 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
WO2018012299A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018012439A (ja) 2016-07-21 2018-01-25 株式会社富士通ゼネラル 後方視界補助装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312300A (ja) 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JPH11312301A (ja) 1998-04-28 1999-11-09 Hitachi Ltd 磁気ディスクメモリ装置
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置
WO2008077119A2 (en) * 2006-12-19 2008-06-26 Ortiva Wireless Intelligent video signal encoding utilizing regions of interest information
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US8890955B2 (en) * 2010-02-10 2014-11-18 Magna Mirrors Of America, Inc. Adaptable wireless vehicle vision system based on wireless communication error
EP3010761B1 (en) * 2013-06-21 2019-07-24 Magna Electronics Inc. Vehicle vision system
WO2015083228A1 (ja) * 2013-12-03 2015-06-11 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
KR102124483B1 (ko) * 2014-05-12 2020-06-19 엘지전자 주식회사 비히클 및 그 제어 방법
US20180134217A1 (en) 2015-05-06 2018-05-17 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
WO2017187801A1 (ja) 2016-04-27 2017-11-02 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN107666467B (zh) 2016-07-29 2020-11-06 华为技术有限公司 资源分配方法、设备和***
CN113039778B (zh) 2018-10-31 2024-01-02 索尼集团公司 图像捕获装置、图像处理方法和记录介质
JP7342024B2 (ja) 2018-10-31 2023-09-11 ソニーグループ株式会社 撮影装置、制御方法、及び、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006254318A (ja) 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2017187811A1 (ja) 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
WO2018012299A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018012439A (ja) 2016-07-21 2018-01-25 株式会社富士通ゼネラル 後方視界補助装置

Also Published As

Publication number Publication date
WO2020090511A1 (ja) 2020-05-07
CN113039778A (zh) 2021-06-25
EP3876516A1 (en) 2021-09-08
EP3876516A4 (en) 2021-12-15
US11722645B2 (en) 2023-08-08
CN113039778B (zh) 2024-01-02
US20210400241A1 (en) 2021-12-23
JPWO2020090511A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
JP7282798B2 (ja) 撮影装置、画像処理方法、及び、プログラム
US10462372B2 (en) Imaging device, imaging system, and imaging method
CN109690628B (zh) 图像处理设备
US7027616B2 (en) Monitoring system
EP2293240B1 (en) Image processing device and imaging apparatus
JP4844979B2 (ja) 画像処理方法と該画像処理方法を用いた撮像装置
US20160037096A1 (en) Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
JP7342024B2 (ja) 撮影装置、制御方法、及び、プログラム
JP4504412B2 (ja) 画像処理装置及び画像処理方法
US20090096916A1 (en) Camera and photographing method thereof
KR20160137289A (ko) 촬영 장치 및 촬영 장치의 동작방법
JP2004289225A (ja) 撮像装置
JP6563694B2 (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
KR20220038638A (ko) 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기
CN114270799B (zh) 相机装置以及相机装置的图像生成方法
WO2020003630A1 (ja) 画像処理装置、画像処理方法、ドライブレコーダー
JP6022428B2 (ja) 画像撮影装置及び画像撮影方法
KR20120005664A (ko) Ｃｃｔｖ 카메라의 어안 영상의 평면 영상 변환 장치
KR20180028354A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법
JP2005109725A (ja) 映像監視システム
JP2014154999A (ja) 信号処理装置、その制御方法、および制御プログラム
KR20180028353A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230517

R150 Certificate of patent or registration of utility model

Ref document number: 7282798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150