JP2023046930A - カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム - Google Patents
カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2023046930A JP2023046930A JP2021155782A JP2021155782A JP2023046930A JP 2023046930 A JP2023046930 A JP 2023046930A JP 2021155782 A JP2021155782 A JP 2021155782A JP 2021155782 A JP2021155782 A JP 2021155782A JP 2023046930 A JP2023046930 A JP 2023046930A
- Authority
- JP
- Japan
- Prior art keywords
- camera unit
- image
- resolution area
- optical system
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 title claims description 117
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 105
- 230000003287 optical effect Effects 0.000 claims abstract description 105
- 230000005484 gravity Effects 0.000 claims abstract description 17
- 238000009434 installation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 abstract description 5
- 238000012937 correction Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 15
- 230000010354 integration Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/06—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe involving anamorphosis
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B43/00—Testing correct operation of photographic apparatus or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【課題】画角の設定等が容易なカメラユニットの設置方法を提供する。【解決手段】カメラユニットの設置方法であって、前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第1の方向にずれるように配置されており、前記第1の方向を所定の着目領域以外の方向に向けて前記カメラユニットを設置することを特徴とする。【選択図】 図4
Description
本発明は、カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム等に関する。
近年、車両に搭載されるルームミラー(後写鏡)を電子ルームミラーで置き換えるという要望がある。例えば特許文献1には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段で構成され、撮像手段で撮像した画像を車両内のディスプレイで表示することにより、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。
他方、車両の後退時などに車両後方の死角をドライバーが確認できるようにする後方確認システムがある。特許文献2には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバーが確認できるようにするための後方確認システムが開示されている。
上述の電子ルームミラー用画像を撮像する撮像手段としてのカメラは、ドライバーが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、後方確認システム用カメラは、後退時などの衝突を回避するために、車両後方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。
また、電子ルームミラーシステムと後方確認システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、後方確認システム用のカメラを個別に搭載すると車載画像処理システムが複雑になってしまう。このような課題は、例えば、車両の周囲の状況を撮影するために複数のカメラを配置して自動運転などを行う自動運転システムにおいても同様に発生している。
これに対して、例えば特殊な超広角レンズを用いたカメラを採用することによって、車両に設置するカメラの数を減らすことができる。しかし、超広角レンズなどを用いた場合には、広い画角は得られるものの周辺部の歪曲が大きく、設置位置や姿勢の調整が難しい。しかも複雑な形状の超広角レンズの歪曲補正は処理負荷が大きいという問題がある。
したがって本発明では、上記の課題を鑑みて、画角の設定等が容易なカメラユニットの設置方法を提供することを1つの目的とする。
上記目的を達成するために、本発明の1つの実施形態のカメラユニットの設置方法は、
前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第1の方向にずれるように配置されており、前記第1の方向を所定の着目領域以外の方向に向けて前記カメラユニットを設置することを特徴とする。
前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第1の方向にずれるように配置されており、前記第1の方向を所定の着目領域以外の方向に向けて前記カメラユニットを設置することを特徴とする。
本発明によれば、画角の設定等が容易なカメラユニットの設置方法を実現することができる。
以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
[実施形態1]
実施形態1では、高精細な電子ルームミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立すると共に、画角の割り当てを最適化できる画像処理システムについて説明する。
図1は、実施形態1のカメラユニットと車両の位置関係を説明する図である。
実施形態1では、高精細な電子ルームミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立すると共に、画角の割り当てを最適化できる画像処理システムについて説明する。
図1は、実施形態1のカメラユニットと車両の位置関係を説明する図である。
本実施形態では、図1に示すように、移動体(移動体本体)としての例えば自動車の車両1の前方、右側方、後方、左側方にそれぞれカメラユニット11、12、13、14が設置されている。なお、本実施形態では4つのカメラユニットを有するが、カメラユニットの数は4に限定されず、少なくとも1つ以上のカメラユニットがあればよい。
カメラユニット11~14は、移動体としての車両1のそれぞれ前方、右側方、左側方、後方を撮像範囲とするように設置されている。
本実施形態では、カメラユニット11~14は略同様の構成を有し、それぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。
なお、例えばカメラユニット11、13が有する光学系の光軸は略水平となるように設置し、カメラユニット12、14が有する光学系の光軸は水平よりも若干下方を向くか、或いは真下を向くように設置されている。
本実施形態では、カメラユニット11~14は略同様の構成を有し、それぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。
なお、例えばカメラユニット11、13が有する光学系の光軸は略水平となるように設置し、カメラユニット12、14が有する光学系の光軸は水平よりも若干下方を向くか、或いは真下を向くように設置されている。
また、本実施形態で使用するカメラユニット11~14が有する光学系はそれぞれ光軸周辺の狭い画角において高精細な画像を得ることができ、かつ広い画角において低解像度の撮像画像を得ることができるように構成されている。なお、11a~14aは高解像度で低歪曲な像を撮像可能な撮像画角であり、11b~14bは低解像度で高歪曲な像を撮像可能な撮像画角を示している。
本実施形態におけるカメラユニット11~14が有する光学系について図2を用いて説明する。なお、それぞれのカメラユニット11~14の光学系の特性は同じでなくてもよいが、本実施形態においては、カメラユニット11~14が有する光学系は略同じ特性を有するものとし、カメラユニット11が有する光学系について例示的に説明する。
図2(A)、(B)は、本発明の本実施形態における撮像部の光学特性を説明するための図であり、図2(A)は、本実施形態におけるカメラユニット11が有する光学系の、撮像素子の受光面上での各半画角における像高yを等高線状に示した図である。
図2(B)は、本実施形態におけるカメラユニット11が有する光学系の像高yと半画角θとの関係を表す射影特性を表した図である。図2(B)では、半画角(光軸と入射光線とがなす角度)θを横軸とし、カメラユニット11のセンサ面上(像面上)での結像高さ(像高)yを縦軸として示している。
図2(B)は、本実施形態におけるカメラユニット11が有する光学系の像高yと半画角θとの関係を表す射影特性を表した図である。図2(B)では、半画角(光軸と入射光線とがなす角度)θを横軸とし、カメラユニット11のセンサ面上(像面上)での結像高さ(像高)yを縦軸として示している。
本実施形態におけるカメラユニット11が有する光学系は、図2(B)に示すように、所定の半画角θa未満の領域と半画角θa以上の領域でその射影特性y(θ)が異なるように構成されている。したがって、単位あたりの半画角θに対する像高yの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性y(θ)の半画角θでの微分値dy(θ)/dθで表されるともいえる。即ち、図2(B)の射影特性y(θ)の傾きが大きいほど解像度が高いといえる。また、図2(A)の等高線状の各半画角における像高yの間隔が大きいほど解像度が高いともいえる。
本実施形態においては、半画角θが所定の半画角θa未満のときにセンサ面上に形成される中心寄り(中央部)の領域を高解像度領域10a、半画角θが所定の半画角θa以上の外寄り(周辺部)の領域を低解像度領域10bと呼ぶ。なお、高解像度領域10aは撮像画角11a~14aに対応しており、低解像度領域10bは撮像画角11b~14bに対応している。
なお、本実施形態では、高解像度領域10aと低解像度領域10bの境界の円を解像度境界と呼び、解像度境界に対応する表示画面上の境界画像を表示解像度境界または単に境界画像と呼ぶ。なお、表示画面に表示される境界画像(表示解像度境界)は円状でなくてもよい。便宜的に長方形などにしてもよい。また、高解像度領域10aと低解像度領域10bの境界は円状でなくてもよく、楕円でもよく、或いは歪んだ形状でもよい。
また、境界93(高解像度領域10a)の重心は、光学系の光軸が受光面と交わる位置と一致していなくてもよい。ただし、本実施形態では、境界93(高解像度領域10a)の重心は、光学系の光軸が受光面と交わる位置とほぼ一致しているので光学系の設計が容易であると共に、安定的な光学特性が得られ、歪曲補正の負荷も抑制することができる効果がある。
なお、本実施形態において、高解像度領域10aは歪曲が相対的に少ない低歪曲領域であり、低解像度領域10bは歪曲が相対的に多い高歪曲領域となっている。したがって、本実施形態においては、高解像度領域、低解像度領域はそれぞれ低歪曲領域、高歪曲領域に対応しており、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。また、逆に低歪曲領域、高歪曲領域をそれぞれ高解像度領域、低解像度領域と呼ぶこともある。
本実施形態におけるカメラユニット11が有する光学系は、高解像度領域(低歪曲領域)10aにおいてその射影特性y(θ)がf×θより大きくなるように構成されている(fはカメラユニット11が有する光学系の焦点距離)。また、高解像度領域(低歪曲領域)における射影特性y(θ)は低解像度領域(高歪曲領域)における射影特性とは異なるように設定されている。
また、θmaxをカメラユニット11が有する光学系が有する最大の半画角とするとき、θaとθmaxの比θa/θmaxは所定の下限値以上であることが望ましく、例えば所定の下限値として0.15~0.16が望ましい。
また、θmaxをカメラユニット11が有する光学系が有する最大の半画角とするとき、θaとθmaxの比θa/θmaxは所定の下限値以上であることが望ましく、例えば所定の下限値として0.15~0.16が望ましい。
また、θaとθmaxの比θa/θmaxは所定の上限値以下であることが望ましく、例えば0.25~0.35とすることが望ましい。例えば、θmaxを90°とし、所定の下限値を0.15、所定の上限値0.35とする場合、θaは13.5~31.5°の範囲で決定することが望ましい。
さらに、カメラユニット11が有する光学系は、その射影特性y(θ)が、以下の数1も満足するように構成されている。
さらに、カメラユニット11が有する光学系は、その射影特性y(θ)が、以下の数1も満足するように構成されている。
1<f×sin(θmax)/y(θmax)≦1.9 ・・・(数1)
fは、前述のようにカメラユニット11が有する光学系の焦点距離である。下限値を1とすることで、同じ最大結像高さを有する正射影方式(y=f×sinθ)の魚眼レンズよりも中心解像度を高くすることができる。上限値を1.9とすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。上限値は、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、1.4~1.9の範囲で設定するのが望ましい。
fは、前述のようにカメラユニット11が有する光学系の焦点距離である。下限値を1とすることで、同じ最大結像高さを有する正射影方式(y=f×sinθ)の魚眼レンズよりも中心解像度を高くすることができる。上限値を1.9とすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。上限値は、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、1.4~1.9の範囲で設定するのが望ましい。
以上のように光学系を構成することで、高解像度領域10aにおいては、高解像度が得られる一方、低解像度領域10bでは、単位あたりの半画角θに対する像高yの増加量を小さくし、より広い画角を撮像することが可能になる。したがって、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域10aにおいては、高い解像度を得ることができる。
さらに、本実施形態では、高解像度領域(低歪曲領域)においては、通常の撮像用の光学系の射影特性である中心射影方式(y=f×tanθ)や等距離射影方式(y=f×θ)に近い特性としているため、光学歪曲が小さく、精細に表示することが可能となる。したがって、先行車や後続車両といった周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。
なお、上述の数1の条件を満たす射影特性y(θ)であれば、同様の効果を得ることができるため、本発明は図2に示した射影特性に限定されない。なお、本実施形態では上述の数1の条件を満たす射影特性y(θ)を有する光学系を異画角レンズと呼ぶ場合がある。
なお、カメラユニット11~14のそれぞれの光学系の高解像度領域10aは撮像画角11a~14aに対応しており、低解像度領域10bは撮像画角11b~14bに対応している。
なお、カメラユニット11~14のそれぞれの光学系の高解像度領域10aは撮像画角11a~14aに対応しており、低解像度領域10bは撮像画角11b~14bに対応している。
次に本実施形態における画像処理システムの構成について図3を用いて説明する。
図3は実施形態1における画像処理システムの構成を説明するための機能ブロック図である。
図3において画像処理システム100は、移動体としての車両1に搭載されており、カメラユニット11~14の筐体内にはそれぞれ撮像部21~24とカメラ処理部31~34が配置されている。
図3は実施形態1における画像処理システムの構成を説明するための機能ブロック図である。
図3において画像処理システム100は、移動体としての車両1に搭載されており、カメラユニット11~14の筐体内にはそれぞれ撮像部21~24とカメラ処理部31~34が配置されている。
撮像部21~24はそれぞれ異画角レンズ21c~24cと例えばCMOSイメージセンサやCCDイメージセンサなどの撮像素子21d~24dを有する。
光学系としての異画角レンズ21c~24cは、1枚以上の光学レンズから構成されており、数1の条件を満たす射影特性y(θ)を有し、低歪曲領域と高歪曲領域とを有する光学像をそれぞれ撮像素子21d~24dの受光面に形成する。撮像素子21d~24dは撮像手段として機能しており、光学像を光電変換して撮像信号を出力する。撮像素子21d~24dの受光面には例えばRGBの色フィルタが画素毎に配列されている。RGBの配列は例えばベイヤー配列となっている。
光学系としての異画角レンズ21c~24cは、1枚以上の光学レンズから構成されており、数1の条件を満たす射影特性y(θ)を有し、低歪曲領域と高歪曲領域とを有する光学像をそれぞれ撮像素子21d~24dの受光面に形成する。撮像素子21d~24dは撮像手段として機能しており、光学像を光電変換して撮像信号を出力する。撮像素子21d~24dの受光面には例えばRGBの色フィルタが画素毎に配列されている。RGBの配列は例えばベイヤー配列となっている。
したがって、撮像素子からは、ベイヤー配列にしたがって例えば所定の行からはR,G,R、Gの信号が順次出力され、隣の行からはG,B,G,B、の信号が順次出力されるように構成されている。
31~34はカメラ処理部であり、撮像部21~24と共にそれぞれ同じカメラユニット11~14の筐体に収納されており、撮像部21~24から出力された撮像信号をそれぞれ処理する。なお、図3では撮像部24、カメラ処理部34の詳細およびその配線は便宜上省略されている。
31~34はカメラ処理部であり、撮像部21~24と共にそれぞれ同じカメラユニット11~14の筐体に収納されており、撮像部21~24から出力された撮像信号をそれぞれ処理する。なお、図3では撮像部24、カメラ処理部34の詳細およびその配線は便宜上省略されている。
カメラ処理部31~34はそれぞれ画像処理部31a~34a、認識部31b~34b、カメラ情報部31c~34cを有する。画像処理部31a~34aは撮像部21~24から出力された撮像信号をそれぞれ画像処理する。なお、カメラ処理部31の一部または全部を撮像素子21d~24d内の積層された信号処理部で行ってもよい。
具体的には、画像処理部31a~34aは、撮像部21~24からベイヤー配列にしたがって入力された画像データをそれぞれデベイヤ処理し、RGBのラスタ形式の画像データへ変換する。さらに、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理など種々の補正処理を行う。但し、非可逆圧縮処理などは行わず、いわゆるRAW画像信号を形成する。
認識部31b~34bは画像処理部31a~34aで画像処理された歪曲補正されていないRAW画像信号からそれぞれ所定の対象物(例えば自動車、人物、障害物など)を画像認識する。即ち、認識部31b~34bは、低歪曲領域に対応する画像信号を歪曲補正せずにRAW画像信号の状態で画像認識して第1の画像認識結果を出力する。
なお、本実施形態の認識部31b~34bは少なくとも高解像度領域10aから得られたRAW画像信号に対して画像認識処理を行い、所定の対象物を認識する。そのために、高解像度領域10aだけを切り出してから画像認識処理してもよい。
なお、本実施形態の認識部31b~34bは少なくとも高解像度領域10aから得られたRAW画像信号に対して画像認識処理を行い、所定の対象物を認識する。そのために、高解像度領域10aだけを切り出してから画像認識処理してもよい。
なお、この時、認識部31b~34bは、低解像度領域10bから得られたRAW画像信号についても画像認識処理をしてもよい。但し、RAW画像信号は歪曲補正されていないので、異画角レンズの周辺部の画像は歪が大きく認識の信頼性は落ちることになる。
或いは、認識部31b~34bは、高解像度領域10aから得られたRAW画像信号を切り出して、その高解像度領域10aから得られたRAW画像信号に対してだけ画像認識処理を行ってもよい。
或いは、認識部31b~34bは、高解像度領域10aから得られたRAW画像信号を切り出して、その高解像度領域10aから得られたRAW画像信号に対してだけ画像認識処理を行ってもよい。
なお、その際画像認識のために切り出す領域は、画像認識処理に適した形状である矩形にすることが望ましい。また、切り出す矩形領域は高解像度領域10a内の一部だけ(例えば高解像度領域10aに内接する矩形)でもよいし、高解像度領域10aと低解像度領域10bの両方を含んだ矩形でもよい。
ここで、認識部31b~34bは撮像手段により取得された画像信号の内、少なくとも一部領域の画像信号に基づき画像認識して第1の画像認識結果を出力する第1の画像認識手段として機能している。なお、本実施形態において、前記一部領域は低歪曲領域に対応する領域である。
認識部31b~34bは、対象物の種類と座標のセットを認識結果として統合処理部40に送信する。
一方、認識部31b~34bは、統合処理部40の統合制御部41cから、対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。
一方、認識部31b~34bは、統合処理部40の統合制御部41cから、対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。
ここで、正面に対して設置されたカメラユニット11の認識部31bの出力は走行制御部(ECU)60にも直接供給されている。これは、認識部31bの障害物などの認識結果に基づいて直ちに走行を停止したり、障害物を回避するように走行を制御する必要が生じる場合があるからである。
カメラ情報部31c~34cはそれぞれカメラユニット11~14のカメラ情報を予めメモリに保持している。カメラ情報部はカメラユニット11~14内に設けた各種センサ等からの情報を一時的に保持することもできる。カメラ情報は、例えば異画角レンズ21c~24cが形成する光学像の図2に示されるような特性情報(解像度境界情報など)を含む。また、撮像素子21d~24dの画素数、カメラユニットの車両座標における取り付け位置座標および姿勢(ピッチ、ロール、ヨーなど)の情報、撮像方向などを含む。カメラ情報は、ガンマ特性、感度特性、フレームレートなどの情報を含んでも良い。
さらに、カメラ情報は、画像処理部31a~34aにおいてRAW画像信号を生成する際の画像処理方法や画像フォーマットに関する情報を含んでもよい。
なお、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいてもよい。また、カメラユニットの姿勢座標は車両1に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得してもよい。あるいは3次元加速度センサなどを用いて取得してもよい。
なお、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいてもよい。また、カメラユニットの姿勢座標は車両1に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得してもよい。あるいは3次元加速度センサなどを用いて取得してもよい。
また、撮像方向に関する情報は例えば地磁気センサを用いて取得してもよい。カメラの解像度境界情報はレンズ設計によって決まるので予めカメラ情報部内のメモリに記憶しておくものとする。
なお、カメラ情報は撮像部21~24の固有の情報であり、互いに異なり、それらの情報は統合処理部40に送信され、統合処理部40において画像処理などをする際に参照される。ここで、カメラ情報部31c~34cは、光学像の特性に関する特性情報やカメラユニットの位置姿勢情報を保持する保持手段として機能している。
なお、カメラ情報は撮像部21~24の固有の情報であり、互いに異なり、それらの情報は統合処理部40に送信され、統合処理部40において画像処理などをする際に参照される。ここで、カメラ情報部31c~34cは、光学像の特性に関する特性情報やカメラユニットの位置姿勢情報を保持する保持手段として機能している。
なお、カメラ処理部31~34の内部にはコンピュータとしてのCPUや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。また、CPUはメモリ内のコンピュータプログラムを実行することにより、カメラ処理部31~34内の各部を制御するように構成されている。
なお、本実施形態では、画像処理部31a~34aや認識部31b~34bは例えば専用回路(ASIC)やプロセッサ(リコンフィギュラブルプロセッサ、DSP)などのハードウェアを用いる。それによって、高解像度領域の画像認識の高速化が実現でき、事故を回避できる可能性を高めることができる。なお、画像処理部31a~34aは歪曲補正機能を持っていてもよい。
なお、カメラ処理部31~34の内部の機能ブロックの一部または全部を、CPUに、メモリに記憶されたコンピュータプログラムを実行させることによって実現してもよいが、その場合には、CPUの処理速度を高めることが望ましい。
なお、カメラ処理部31~34の内部の機能ブロックの一部または全部を、CPUに、メモリに記憶されたコンピュータプログラムを実行させることによって実現してもよいが、その場合には、CPUの処理速度を高めることが望ましい。
40は統合処理部であり、SOC(Sytem On Chip)/FPGA(Field Programable Gate Array)41、コンピュータとしてのCPU42、記憶媒体としてのメモリ43を有する。CPU42はメモリ43に記憶されたコンピュータプログラムを実行することによって、画像処理システム100全体の各種制御を行う。なお、本実施形態では統合処理部40はカメラユニットとは別の筐体で収納されている。
SOC/FPGA41は画像処理部41a、認識部41b、統合制御部41cを有する。
画像処理部41aはカメラ処理部31~34からそれぞれのRAW画像信号を取得すると共に、カメラ情報部31c~34cより各カメラユニット11~14のカメラ情報を取得する。
カメラ情報は、前述のように、異画角レンズ21c~24cの光学特性や撮像素子21d~24dの画素数、光電変換特性、γ特性、感度特性、RAW画像信号のフォーマット情報、カメラユニットの車両座標における取り付け位置の座標や姿勢情報などを含む。
画像処理部41aはカメラ処理部31~34からそれぞれのRAW画像信号を取得すると共に、カメラ情報部31c~34cより各カメラユニット11~14のカメラ情報を取得する。
カメラ情報は、前述のように、異画角レンズ21c~24cの光学特性や撮像素子21d~24dの画素数、光電変換特性、γ特性、感度特性、RAW画像信号のフォーマット情報、カメラユニットの車両座標における取り付け位置の座標や姿勢情報などを含む。
画像処理手段としての画像処理部41aは光学系の特性情報などのカメラ情報を取得する。そしてカメラ情報に基づきカメラ処理部31~34からの夫々のRAW画像信号に対して解像度変換を行うと共に、撮像部21~24の夫々の低解像度領域10bから得られた画像信号に対して歪曲補正等の画像処理ステップを実行する。
すなわち、光学像の特性に基づき歪曲補正領域の画像信号に対して歪曲補正すると共に、歪曲補正された画像信号と、歪曲補正しない非歪曲補正領域の画像信号とを合成して合成画像を生成する。すなわち、画像処理部41aは表示信号生成手段としても機能しており、歪曲補正などを行って、合成画像を生成する表示信号生成ステップを行う。なお、本実施形態において歪曲補正領域はユーザにより、または自動で設定可能である。
本実施形態では画像処理部41aは、高解像度領域10aから得られた画像信号は歪曲が殆どないので歪曲補正は行わない。但し、画像処理部41aは、高解像度領域10aから得られた画像信号に対しても簡略的な歪曲補正を行ってもよい。また、画像処理部41aはカメラ処理部31~34からそれぞれのRAW画像信号に対して適宜非可逆圧縮処理などを行う。
また、画像処理部41aは歪曲補正を行った撮像部21~24のそれぞれの低解像度領域10bの画像信号と、高解像度領域10aの画像信号をスムーズにつなぎ合わせるように合成して撮像部21~24毎の全体画像を形成する。
なお、低解像度領域10bの画像信号と高解像度領域10aから得られた画像信号の両方に対して歪曲補正を行う場合には、画像処理部31a~34aでそれぞれ得られたRAW画像信号をそのまま歪曲補正してもよい。
なお、画像処理部41aでは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき画像の回転等の画像処理を行う。これについては後述する。
なお、画像処理部41aでは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき画像の回転等の画像処理を行う。これについては後述する。
認識部41bは少なくとも低解像度領域を歪曲補正した後の、撮像部21~24毎の全体画像に対して画像認識処理を行い、撮像部21~24毎の全体画像における所定の対象物(例えば自動車、人物、障害物など)を画像認識する。即ち、認識部41bは、少なくとも低解像度領域(高歪曲領域)に対応する画像信号を歪曲補正した後で画像認識して第2の画像認識結果を出力する。
その際に、認識部31b~34bによる認識結果(対象物の種類や座標)も参照する。なお、上記では、認識部41bは撮像部21~24毎の全体画像に対して画像認識をしているが、必ずしも全体画像に対して画像認識をしなくてもよい。例えば画像の周辺部については画像認識しなくても良い。
即ち、認識部41bは、例えば認識部31b~34bにより認識した領域を含み、それより広い領域を認識するものであればよい。
ここで、認識部41bは、画像取得手段により取得された画像信号の内、第1の画像認識手段で画像認識を行った一部領域を含む、該一部領域より広い領域の画像信号を画像認識して第2の画像認識結果を出力する第2の画像認識手段として機能している。なお、第2の画像認識手段は、低歪曲領域としての高解像度領域10aと高歪曲領域としての低解像度領域10bに対応した画像信号を合成した合成画像について画像認識して第2の画像認識結果を出力している。
ここで、認識部41bは、画像取得手段により取得された画像信号の内、第1の画像認識手段で画像認識を行った一部領域を含む、該一部領域より広い領域の画像信号を画像認識して第2の画像認識結果を出力する第2の画像認識手段として機能している。なお、第2の画像認識手段は、低歪曲領域としての高解像度領域10aと高歪曲領域としての低解像度領域10bに対応した画像信号を合成した合成画像について画像認識して第2の画像認識結果を出力している。
本実施形態では、画像処理部41aは、複数の撮像部としてのカメラユニット12~14からの画像をつなぎ合わせるように合成して、パノラマ的な合成画像を形成する。
その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されていることが望ましい。
その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されていることが望ましい。
なお、後述するように、カメラユニット12と13の撮影範囲は互いに重複するようにそれぞれ配置してもよい。また、カメラユニット13と14の撮影範囲が互いに重複するようにそれぞれ配置してもよい。しかも、その際、少なくとも2つの画像取得手段の低歪曲領域の撮影範囲が互いに重複するように配置してもよい。
また、認識部41bは、そのパノラマ的な合成画像に対して画像認識を行う。そうすることによって、例えば複数の撮像部の画角にまたがるように撮影された対象物の画像認識が可能となる。これは、それぞれの撮像部からの個別の全体画像では対象物の全体像が分からない場合があるが、パノラマ的な合成画像においてはその対象物のほぼ全体が映り画像処理により画像認識が可能になる場合があるからである。
統合制御部41cは、例えば認識部31b~34bによる認識結果と認識部41bによる認識結果が異なる場合には、より信頼性が高い方の認識結果を採用することで統合された画像認識結果を出力する。
例えば認識部31b~34bにより認識された画像内の対象物の占める割合と認識部41bにより認識された同じ対象物の、画面内に占める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判断して採用してもよい。
例えば認識部31b~34bにより認識された画像内の対象物の占める割合と認識部41bにより認識された同じ対象物の、画面内に占める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判断して採用してもよい。
或いは高解像度領域内と低解像度領域の両方にまたがっている対象物の場合には、認識部31b~34bによる認識結果よりも認識部41bによる認識結果を、より信頼性が高いと判断して採用してもよい。或いは、認識部31b~34bにより認識された対象物の位置が画面の周辺部の場合には、信頼性が低いと判断して、認識部41bによる認識結果を、より信頼性が高いと判断して採用してもよい。
或いは、認識部41bでは、低解像度領域を歪曲補正した状態で、低解像度領域だけ画像認識をすると共に、もし低解像度領域と高解像度領域にまたがる対象物があった場合には、その対象物に対して画像認識をするようにしてもよい。即ち、高解像度領域だけに存在する対象物に対しては認識部31b~34bによる認識の信頼性の方が高いとみなして認識部41bでは画像認識処理をしないように制御してもよい。
ここで、統合制御部41cは、第1の画像認識結果の信頼性と第2の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理手段として機能している。
ここで、統合制御部41cは、第1の画像認識結果の信頼性と第2の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理手段として機能している。
また、統合制御部41cは、撮像部21~24毎の全体画像や、パノラマ的な合成画像などの内、所望の画像を第1表示部50,第2表示部51などに表示するための信号を形成する。また、認識された対象物を強調表示するための枠や、対象物の種類、サイズ、位置、速度などに関する情報や警告などのためのCGなどを生成する。さらに、カメラ情報部31c~34cから取得した表示解像度境界情報などの光学系の特性情報に基づき境界を表示するための境界画像のCGを生成してもよい。
また、これらのCGや文字を画像に重畳するための表示処理などを行う。ここで第1表示部50,第2表示部51などは表示手段として機能しており、画像信号や統合された画像認識結果を表示する。
さらにまた、本実施形態においては、統合制御部41cは複数のカメラユニットの間で認識された対象物に関する情報を共有するように構成されている。即ち、例えばカメラユニット14において認識された対象物がカメラユニット11の画角の方向に移動していることが認識されたものとする。その場合には、統合制御部41cはその対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報を含む予測情報をカメラユニット11の認識部31bに送信する。
このような予測情報をカメラユニット11~14の認識部31b~34bで共有することによってカメラユニット11~14の認識部31b~34bにおける画像認識精度を向上させることができる。なお、このような予測情報を共有するメリットは、カメラユニット11~14の認識部31b~34bが統合処理部40の認識部41bと別体の場合に特に効果が大きい。
また、統合制御部41cは走行制御部(ECU)60などとCANやFlexRay、Ethernetなどのプロトコルを用いて内部に設けられた不図示の通信手段を介して通信を行う。それによって、走行制御部(ECU)60などから受信した車両制御信号に基づき表示する情報を適宜変更する表示処理を行う。即ち、例えば車両制御信号により取得された車両の移動状態に応じて表示手段に表示する画像の範囲などを変化させる。
なお、走行制御部(ECU)60は、車両1に搭載されており、車両1の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。走行制御部(ECU)60からは車両制御信号として例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行(移動状態)に関する情報などが統合処理部40に対して入力される。
逆に統合制御部41cは、認識部41bで認識された所定の対象物(障害物など)の種類、位置、移動方向、移動速度などの情報を走行制御部(ECU)60に送信する。それによって走行制御部(ECU)60は車両の停止、駆動、走行方向の変更などの障害物の回避などに必要な制御を行う。ここで走行制御部(ECU)60は、統合された画像認識結果に基づき移動体としての車両の移動を制御する移動制御手段として機能している。
第1表示部50は例えば車両1の運転席の前方上部の車幅方向の中央付近に、表示画面を車両後方に向けて設置され電子ルームミラーとして機能する。なお、ハーフミラーなどを用いて、ディスプレイとして使用しないときは鏡として使用できる構成としてもよい。また、タッチパネルや操作ボタンを備えユーザからの指示を取得し、統合制御部41cへ出力可能な構成としてもよい。
第2表示部51は、例えば車両1の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。なお、移動体としての車両1には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。
第2表示部51は、例えば車両1の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。なお、移動体としての車両1には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。
そして、例えば第2表示部には、ナビゲーションシステムや、オーディオシステムや走行制御部(ECU)60からの各種制御信号なども表示することができる。また、タッチパネルや操作ボタンを備え、ユーザからの指示を取得可能な構成としている。
なお、第2表示部51は例えばタブレット端末の表示部であってもよく、統合処理部40に対して有線で接続することにより表示することもできるし、通信部62を介して無線で画像を受信して表示することもできる。
なお、第2表示部51は例えばタブレット端末の表示部であってもよく、統合処理部40に対して有線で接続することにより表示することもできるし、通信部62を介して無線で画像を受信して表示することもできる。
なお、第1表示部50、第2表示部51のディスプレイパネルとしては、液晶ディスプレイや有機ELディスプレイなどを用いることができる。なお、表示部の数は3つに限定されない。
なお、統合処理部40などに含まれる機能ブロックの一部または全部をハードウェアで実現するようにしてもよいし、CPU42に、メモリ43に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路(ASIC)やプロセッサ(リコンフィギュラブルプロセッサ、DSP)などを用いることができる。
なお、統合処理部40などに含まれる機能ブロックの一部または全部をハードウェアで実現するようにしてもよいし、CPU42に、メモリ43に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路(ASIC)やプロセッサ(リコンフィギュラブルプロセッサ、DSP)などを用いることができる。
なお、画像処理部31a~34aで行っている画像処理の一部または全部を統合処理部40の画像処理部41aで行ってもよい。即ち、本実施形態では、例えば画像取得手段と第1の画像認識手段とは同じカメラユニットの筐体に収納されており、カメラユニットと第2の画像認識手段とは別の筐体に収納されている。しかし、例えば第1の画像認識手段を第2の画像認識手段と共に統合処理部40の筐体に収納してもよい。
なお、本実施形態では統合処理部40は移動体としての車両1に搭載されているが、統合処理部40の画像処理部41a、認識部41b、統合制御部41cの一部の処理を例えばネットワークを介して外部サーバなどで行ってもよい。その場合、例えば画像取得手段としての撮像部21~24は移動体としての車両1に搭載されるが、例えばカメラ処理部31~34や統合処理部40の機能の一部を外部サーバなどで処理することが可能になる。また、統合処理部40の一部または全部の機能を走行制御部(ECU)60に持たせることも可能である。
61は記録部であり、統合処理部40で生成された撮像部21~24毎の全体画像や、パノラマ的な合成画像を記録する。さらに、認識された対象物を示す所定の枠や文字や警告などのCGや、CGが重畳され第1表示部50,第2表示部51などに表示された画像を時刻などやGPS情報などと共に記録する。
統合処理部40は記録部61に記録された過去の情報を再生し、それを第1表示部50や第2表示部51に表示することも可能である。
統合処理部40は記録部61に記録された過去の情報を再生し、それを第1表示部50や第2表示部51に表示することも可能である。
62は通信部であり、ネットワークを介して外部サーバなどと通信するためのものであり、記録部61に記録される前の情報や記録部61に記録された過去の情報を外部サーバなどに送信して外部サーバなどに保存することが可能である。また、前述のように画像を外部のタブレット端末などに送信して、タブレット端末の表示部である第2表示部51に画像を表示することもできる。また、外部サーバなどから渋滞情報や、各種の情報を取得して、統合処理部40を介して第1表示部50や第2表示部51に表示することも可能である。
63は操作部でありユーザの操作によって画像処理システムに対する様々な指示を入力するためのものである。操作部は例えばタッチパネルや操作ボタンなどを含む。
63は操作部でありユーザの操作によって画像処理システムに対する様々な指示を入力するためのものである。操作部は例えばタッチパネルや操作ボタンなどを含む。
図4は実施形態1のカメラユニットの撮像素子の受光面と高解像度領域と低解像度領域の対応関係を説明するための図である。
図4(A)は実施形態1における、後方のカメラユニット13の光学系と撮像素子の受光面130との関係の例を示す図であり、図4(B)は実施形態1における後方のカメラユニット13の歪曲補正後の画像の例を示す図である。
図4(A)は実施形態1における、後方のカメラユニット13の光学系と撮像素子の受光面130との関係の例を示す図であり、図4(B)は実施形態1における後方のカメラユニット13の歪曲補正後の画像の例を示す図である。
一方、図4(C)は実施形態1における、左側面のカメラユニット14の光学系と撮像素子の受光面140との関係の例を示す図であり、図4(D)は実施形態1における、左側面のカメラユニット14の歪曲補正後の画像の例を示す図である。
図4(A)においては、例えば後方のカメラユニット13の撮像素子の受光面130に対して図2(A)で示すような像が結像する。その際に撮像素子の受光面130の略中央と高解像度領域10aの重心(光学系の光軸)はほぼ重なるように配置されている。なお、93は高解像度領域10aと低解像度領域10bの境界を説明のために示したものであり、境界93の重心は例えば後方のカメラユニット13の撮像素子の受光面130の略中央とほぼ一致する。なお、本実施形態では、境界93(高解像度領域10a)の重心は光学系の光軸が受光面と交わる位置と一致しているが、一致していなくてもよい。
従って、図4(B)に示されるような後方のカメラユニット13からの画像信号を歪曲補正した後の画像131についても、境界93の中心は画面のほぼ中央に配置される。なお、低解像度領域(高歪曲領域)10bの画像を歪曲補正する際に、高解像度領域10aの画像も歪曲補正しても良いが、高解像度領域10aの画像は歪曲補正しなくても良い。ただし、その場合に、歪曲補正しない高解像度領域10aの画像と歪曲補正した低解像度領域(高歪曲領域)10bの画像を合成する際に、境界部分をスムーズにつなぎ合わせるための処理が必要になる。
なお、本実施形態における歪曲補正とは、歪曲を減らすための補正処理であって、歪曲がゼロにならないものも含み、例えば周辺部などの一部に歪曲が残っている場合もあり得る。
また、歪曲補正をしない領域は図4(B)のように円形の高解像度領域(低歪曲領域)10aに限定されない。矩形などの他の形状でもよいし、大きさや位置も変更可能としてもよい。
また、歪曲補正をしない領域は図4(B)のように円形の高解像度領域(低歪曲領域)10aに限定されない。矩形などの他の形状でもよいし、大きさや位置も変更可能としてもよい。
このように、例えば後方のカメラユニット13の撮像画角13aの画像は、図4(A)に示すように、受光面130の高解像度領域(低歪曲領域)10aに結像する。また、撮像画角13bの画像は受光面130の低解像度領域(高歪曲領域)10bに結像する。なお、正面のカメラユニット11についても図4(A)、図4(B)と同様の関係が成り立つ。
一方、図4(C)のように、本実施形態においては、左側面のカメラユニット14の高解像度領域(低歪曲領域)10aの重心を撮像素子の受光面140の中心から図中上側(第1の方向)にずれるように配置している。すなわち、左側面のカメラユニット14においては、境界93の重心を撮像素子の受光面140の中心から図中上側(第1の方向)にずれるように光学系と撮像素子が配置されている。このとき第1の方向をけられ方向Fとも呼ぶ。このようにすることで、撮像素子上に結像する低解像度領域10bの範囲を制御することができる。図4(c)では、けられ方向Fとは反対方向に低解像度領域10bの撮像可能範囲を広げることができる。
なお、本実施形態においては、撮像素子の受光面140には複数の画素が行及び列状に配置されており、所定の行の前記画素から順次行毎に所定の第2の方向(垂直走査方向)に読出しを行うように構成されている。また、受光面は長方形であって、長手方向の画素数は短手方向の画素数よりも多い。また、撮像素子の受光面の各画素で光電変換された電荷信号は長方形の長手方向を左右としたときに左上端から右下端に向かって順次行毎に読出される。ここで本実施形態においては、前記第1の方向は、前記第2の方向とは反対の方向としている。
従って歪曲補正後の画像141についても、図4(D)に示されるように、境界93の重心は画面のほぼ上側にずれている。これにより、図4(C)、図4(D)の上方向(けられ方向F)の画角は一部がけられる反面、下側の画角は図4(A)の例よりも広げることができる。従って撮像素子の受光面の画素を有効に利用することができる。なお、右側面のカメラユニット12についても図4(C)、図4(D)と同様の関係が成り立つ。
なお、本実施形態では第1の方向は、第2の方向とは反対の方向としているが同じ方向であってもよい。ただし、その場合には、画像の向きを変換するための処理が必要になる。また、第1の方向を、第2の方向と直交する方向としてもよい。ただし、その場合には画素数を最大限有効に使えない場合がある。或いは第1の方向と第2の方向は適宜の角度に設定しても良い。
図5~図7は左側面のカメラユニット14の配置例を説明するための図であり、図5はカメラユニット14の撮像素子を縦に配置し、光学系の光軸を車両1の左後方の、水平より少し下に向けて配置した実施形態1の例を示す図である。また、図5(A)は実施形態1において車両1を上方向から見た図、図5(B)は実施形態1において車両1を左側面方向から見た図である。
図5の例では図4(C)における撮像素子の上側(けられ方向F)が、図5(A)のように車両1の方向を向くように配置されている。即ち、第1の方向(けられ方向F)が鉛直線に直交する方向であって、前記移動体の方向に向けて配置されている。
このように配置することによって、非着目領域としての車体部分を撮像素子上に結像させないことができ、撮像可能な低解像度領域10bに対応した撮像画角14bが左側前方まで広がるため、左前側の障害物などを認識しやすくすることができる。
このように配置することによって、非着目領域としての車体部分を撮像素子上に結像させないことができ、撮像可能な低解像度領域10bに対応した撮像画角14bが左側前方まで広がるため、左前側の障害物などを認識しやすくすることができる。
また、図5の配置では、高さ方向(Z方向)の画素数が車両1の短軸方向(Y方向)の画素数より多くなり、車両1の長軸方向(X方向)については光学系の光軸が車両1の側線より外側を向くように配置されている。なお、図5~7において光軸は一点鎖線で示されている。また、車両の高さ方向(Z方向)については、光学系の光軸が水平方向または前記水平方向より下を向くように配置されている。
このように配置することによって、けられる画角が車両側となり、車両1の一部が画面に表示されるので他の対象物との相対的な距離感をつかみやすくなると共に、前側方の表示画角を広げることができるので撮像素子の受光面を有効に使うことができる。
また、電子ルームミラー用表示として高解像度領域10aを多く用いることができるため、ドライバーが後側方を精細に確認できると共に、低解像度領域10bで前側方の死角の撮像を両立できる効果がある。
また、電子ルームミラー用表示として高解像度領域10aを多く用いることができるため、ドライバーが後側方を精細に確認できると共に、低解像度領域10bで前側方の死角の撮像を両立できる効果がある。
すなわち、図5のような配置にした場合には、車両1の高さ方向について、低解像度領域10bの画角内に前輪を含めることができるので、前側方の死角を十分に視認でき、狭いスペースに駐車する場合などに非常に有効である。
なお、図5では左側方のカメラユニット14について説明したが、右側方のカメラユニット12についても左右対称の関係に配置にすることができ、その場合には同様の効果が得られる。
なお、図5では左側方のカメラユニット14について説明したが、右側方のカメラユニット12についても左右対称の関係に配置にすることができ、その場合には同様の効果が得られる。
なお、図5のような配置にした場合には、統合処理部40の画像処理部41aは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき、カメラユニット14からの画像を回転して表示する。また、必要に応じて後方のカメラユニット13からの画像と合成して表示する。
一方、カメラユニット12が図5と左右対称に取り付けられている場合には、カメラ情報のカメラの配置位置と姿勢情報に基づき、カメラユニット12からの画像を回転して表示する。また、必要に応じて後方のカメラユニット13からの画像と合成して表示する。なお、画像処理部41aは、カメラの配置位置と姿勢情報に基づき、カメラユニット11,13からの画像については画像を回転しないでそのまま表示する。或いは、他の画像との合成を行う。
[実施形態2]
次に図6はカメラユニット14の撮像素子を縦に配置し、光学系の光軸を車両1の左後方の、ほぼ真下に向けて配置した実施形態2の例を示す図である。また、図6(A)は実施形態2において車両1を上方向から見た図、図6(B)は実施形態2において車両1を左側面方向から見た図、図6(C)は実施形態2において車両1を正面から見た図である。
次に図6はカメラユニット14の撮像素子を縦に配置し、光学系の光軸を車両1の左後方の、ほぼ真下に向けて配置した実施形態2の例を示す図である。また、図6(A)は実施形態2において車両1を上方向から見た図、図6(B)は実施形態2において車両1を左側面方向から見た図、図6(C)は実施形態2において車両1を正面から見た図である。
図6の例でも図4(C)における撮像素子の上側(けられ方向F)が、図6(A)、(C)のように、車両1の方向を向くように配置されている。
また、図6の配置では、車両1の長軸方向(X方向)についての画素数が車両1の短軸方向(Y方向)の画素数より多くなり、図6(C)のように、車両1の短軸方向(Y方向)について、光軸は鉛直下向きよりも外側に向いている。また、車両の高さ方向(Z方向)については、光学系の光軸が略鉛直方向に沿った下方向を向くように配置されている。但し、図6(C)のように、車両1の側方においては、光軸は鉛直方向から外側に傾いている。
また、図6の配置では、車両1の長軸方向(X方向)についての画素数が車両1の短軸方向(Y方向)の画素数より多くなり、図6(C)のように、車両1の短軸方向(Y方向)について、光軸は鉛直下向きよりも外側に向いている。また、車両の高さ方向(Z方向)については、光学系の光軸が略鉛直方向に沿った下方向を向くように配置されている。但し、図6(C)のように、車両1の側方においては、光軸は鉛直方向から外側に傾いている。
このように車両1の側の高解像度領域10aに対応する撮像画角14aにけられ方向を向けることにより、図6(C)のように、正面から見たときに、高解像度領域10aに対応する撮像画角14aが例えば50度のように少し狭くなる。しかし、図6(B)のように、低解像度領域10bに対応した撮像画角14bは車両1の前方下側から後方下側までが撮像することができるため、下側の障害物などについては図5の例よりも認識しやすくなる。
また、前方側方の死角に高解像度領域10aに対応する撮像画角14aが割り当てられているため、前方側方の死角を高解像で確認することができる。
更に、車両1の短軸方向(Y方向)については高解像度領域10aに対応する撮像画角14aに車体の一部が入り込むので障害物などの距離感を把握しやすい。また、車両1の周囲の下側のアラウンドビュー画像を得るためには撮像素子の受光面を有効に使うことができ、特に大型のトラックなどの場合の死角を大幅に減らすことができる。
更に、車両1の短軸方向(Y方向)については高解像度領域10aに対応する撮像画角14aに車体の一部が入り込むので障害物などの距離感を把握しやすい。また、車両1の周囲の下側のアラウンドビュー画像を得るためには撮像素子の受光面を有効に使うことができ、特に大型のトラックなどの場合の死角を大幅に減らすことができる。
なお、図6でも左側方のカメラユニット14について説明したが右側方のカメラユニット12についても左右対称の配置にすることができ、その場合には同様の効果が得られる。
なお、図6のような配置にした場合には、統合処理部40の画像処理部41aは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき、カメラユニット14からの画像を回転させる。また、必要に応じて後方のカメラユニット13からの画像と合成して表示する。
なお、図6のような配置にした場合には、統合処理部40の画像処理部41aは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき、カメラユニット14からの画像を回転させる。また、必要に応じて後方のカメラユニット13からの画像と合成して表示する。
一方、右側方のカメラユニット12が図6と左右反対に取り付けられている場合には、カメラ情報のカメラの配置位置と姿勢情報に基づき、カメラユニット12からの画像を回転して表示する。また、必要に応じて後方のカメラユニット13からの画像と合成して表示する。
[実施形態3]
次に図7はカメラユニット14の撮像素子を横に配置し、光学系の光軸を車両1の左後方の、水平より少し下に向けて配置した実施形態3の例を示す図である。また、図7(A)は実施形態3において車両1を上方向から見た図、図7(B)は実施形態3において車両1を左側面方向から見た図である。
次に図7はカメラユニット14の撮像素子を横に配置し、光学系の光軸を車両1の左後方の、水平より少し下に向けて配置した実施形態3の例を示す図である。また、図7(A)は実施形態3において車両1を上方向から見た図、図7(B)は実施形態3において車両1を左側面方向から見た図である。
図7の例では図4(C)における撮像素子の上側(けられ方向F)が、図7(B)のように上空の方向を向くように配置されている。即ち、けられ方向Fが水平面に対して上側に向くように配置されている。このとき撮像素子の第2の方向(行順次読出し方向)は前記水平面に対して下側に向けられる。
このように配置することによって、非着目領域としての上空方向をケラレ方向とすることができる。そして、図7(B)のように高解像度領域10aに対応した撮像画角14aが例えば50度のように少し狭くなる一方、左側の低解像度領域10bに対応した撮像画角14bは左側前方まで広がることになり、左前側の障害物などを認識可能となる。
また、図7の配置では、短軸方向(Y方向)の画素数は、車両1の高さ方向(Z方向)の画素数より多くなり、車両1の長軸方向(X方向)については光学系の光軸が車両1の側線より外側を向くように配置されている。また、車両1の高さ方向(Z方向)については光学系の光軸が平行または水平線より下方に向けられている。
このように配置することによって、けられる画角が障害物などの少ない上空側となり、撮像素子の受光面を有効に使うことができる。
また、電子ルームミラー用表示として高解像度領域10aを多く用いることができるため、ドライバーが後方を精細に確認できると共に、低解像度領域10bに対応した撮像画角14bで前側方の死角の撮像を両立できる効果がある。
また、電子ルームミラー用表示として高解像度領域10aを多く用いることができるため、ドライバーが後方を精細に確認できると共に、低解像度領域10bに対応した撮像画角14bで前側方の死角の撮像を両立できる効果がある。
また、車両1の長軸方向(X方向)については、高解像度領域10aに対応した撮像画角14aが車両1の一部を含むため、障害物などの距離感を把握しやすい。また、車両1の高さ方向(Z方向)についても、低解像度領域10bの撮像画角14b内に前輪を含めることができるので、前側方の死角を十分に視認でき、狭いスペースに駐車する場合などに非常に有効となる。
なお、図7でも左側方のカメラユニット14について説明したが、右側方のカメラユニット12についても左右対称の配置にすることができ、同様の効果が得られる。
なお、図7のような配置にした場合には、統合処理部40の画像処理部41aは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき、カメラユニット14が図6のように配置されている場合には画像の回転をせずに表示する。また、必要に応じて後方のカメラユニット13からの画像と合成して表示する。
なお、図7のような配置にした場合には、統合処理部40の画像処理部41aは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき、カメラユニット14が図6のように配置されている場合には画像の回転をせずに表示する。また、必要に応じて後方のカメラユニット13からの画像と合成して表示する。
なお、右側方のカメラユニット12が図6と左右反対に取り付けられている場合には、カメラ情報のカメラの配置位置と姿勢情報に基づき、カメラユニット12からの画像を回転しないで表示する。また、必要に応じて後方のカメラユニット13からの画像と合成して表示する。
以上のように、実施形態1~3によれば、高解像度領域10aと低解像度領域(高歪曲領域)10bを有する光学系の高解像度領域10aの重心を撮像素子の受光面の中心から意図的にずらしている。そして、それによって、画角の一部がけられるようにすると共に、反対側の画角を広げている。
即ち、けられる方向(第1の方向)を着目領域以外の方向に向けて設置しているので撮像画角を最適化でき撮像素子の画素を最大限有効に用いることができる。
即ち、けられる方向(第1の方向)を着目領域以外の方向に向けて設置しているので撮像画角を最適化でき撮像素子の画素を最大限有効に用いることができる。
しかも用途や配置位置に応じて、高解像度領域10aの重心と撮像素子の受光面の中心のずらし量などを変更できる。例えば前方のカメラユニット11や後方のカメラユニット13の場合には上記のずらし量を小さく或いはゼロにすることで図4(A)、(B)のようにすることができる。一方、右側方のカメラユニット12や左側方のカメラユニット14の場合には図4(C)、(D)のようにずらし量を大きくすることが簡単にできる。
また例えば大型車両の場合と小型車両の場合で上記のずらし量などを適宜変更するだけで対応できる。また、設置する移動物体として車両の場合とドローンなどの場合でもずらし量の設定を変えるだけで対応が可能になる場合があり、光学系の設計を用途等に応じて変更するものに比べて柔軟性が高いというメリットもある。
なお、ここで着目領域は、例えば車両1の側面にカメラユニットを設置する場合には、例えば車両1の側方の斜め後方や車輪の外側周辺など障害物などが想定される領域を含む。一方、けられる方向(第1の方向)は着目領域以外の自身の車両1の方向(或いは設置位置側の方向)や上空の方向となっている。ただし、カメラユニットを設置する用途によって着目領域は変化する。
以上のように実施形態1~3では、高解像度領域(低歪曲領域)10aは、上述のように通常の撮像用の光学系の中心射影方式(y=f×tanθ)または等距離射影方式(y=f×θ)に近似した射影特性となるように構成されている。したがって、例えば第1表示部50や第2表示部51に表示される高解像度領域(低歪曲領域)10aの画像は、解像度が低解像度領域(高歪曲領域)10bと比較して高く、車両1の正面、側方、後方の遠方を、より精細に表示することができる。しかも画角の異なる複数のカメラユニットを用いる場合に比べてコスト、処理効率、小型化等において優れている。
また、高解像度領域10aは光学歪曲が小さいため、第1表示部50に表示される電子ルームミラー用の画像も歪みが小さい状態で表示することができ、車両の周囲を運転者がより自然な遠近感で視認できる。
また、実施形態における高解像度領域10aは、光学歪みが小さくなるように構成されており、歪曲補正をしないRAW画像信号の状態で画像認識ができるので、画像認識のための処理負荷を低減し高速で画像認識をすることができる。したがって画像認識結果に基づき障害物を早期に発見でき、障害物を回避するための動作をタイムリーに行える。このように、本実施形態の構成を用いた場合には、特に高速道路などでの高速走行時において大きな効果を得ることができる。
また、以上の実施形態では歪曲補正を行うか行わないかの二者択一の選択をする例を説明したが、歪曲補正を行わない場合は歪曲補正率が所定値X1より低い場合を含む。また、歪曲補正を行う場合は歪曲補正率が所定値X2(但しX2はX1以上)より高い場合を含み、X1を例えば10%、X2を例えば90%などとしてもよい。また、2種類の歪曲補正率を選択するものに限らず、歪曲補正率を徐々に変更できる構成にしてもよい。本発明の実施形態はそのようなものも含む。
なお、以上の実施形態では複数のカメラユニットを用いる例を説明したが、カメラユニットが1つだけのシステムにおいても有効である。
なお、歪曲補正をする領域と歪曲補正をしない領域の境界を示すための境界画像を例えば通常走行中などに表示可能としてもよい。
なお、歪曲補正をする領域と歪曲補正をしない領域の境界を示すための境界画像を例えば通常走行中などに表示可能としてもよい。
特に、歪曲補正の有無による境界部分の画像のずれや、歪曲補正領域と非歪曲補正領域とで露光タイミング差によって輝度段差が目立つ場合には、違和感を低減するために上記のような境界画像を表示してもよい。その場合に、境界画像の線の幅や濃度や色なども、歪曲補正領域と非歪曲補正領域の間の違和感を低減するように変更してもよい。また、境界画像の大きさ、形状に応じて、歪曲補正領域における歪曲補正率を調整し、静止した物体について歪曲補正領域と非歪曲補正領域の画像がスムーズにつながるようにしてもよい。
また、通常走行時以外にも前述のように歪曲補正しない領域をユーザが予め設定する場合や、各カメラユニットの姿勢などを調整する工程において、上記の境界画像を表示するようにしてもよい。それによって歪曲補正領域と非歪曲補正領域の境界が明確になり、調整作業を効率化することができる。
なお、上述の実施形態においては車両などの移動体に画像処理システムを搭載した例について説明した。しかし、これらの実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動装置であれば、どのようなものであってもよい。また、実施形態の画像処理システムはそれらの移動体に搭載されていてもよいし、搭載されていなくてもよい。また、例えば移動体をリモートでコントロールする場合にもこれらの実施形態の構成を適用することができる。
[実施形態4]
上述した実施形態1~3において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態4では、上述した実施形態1おいて説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムX」と呼ぶ。さらに、実施形態4では、プログラムXを実行するためのコンピュータを「コンピュータY」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、CPU(Central Processing Unit)などは、コンピュータYの一例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータYの一例である。
上述した実施形態1~3において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態4では、上述した実施形態1おいて説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムX」と呼ぶ。さらに、実施形態4では、プログラムXを実行するためのコンピュータを「コンピュータY」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、CPU(Central Processing Unit)などは、コンピュータYの一例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータYの一例である。
上述した実施形態1~3において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータYがプログラムXを実行することによって実現することができる。この場合において、プログラムXは、コンピュータ読み取り可能な記憶媒体を介してコンピュータYに供給される。実施形態4におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ROM、RAMなどの少なくとも一つを含む。さらに、実施形態4におけるコンピュータ読み取り可能な記憶媒体は、non-transitory(非一時的)な記憶媒体である。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
1:車両
10a:高解像度領域
10b:低解像度領域
11~14:カメラユニット
21~24:撮像部
31~34:カメラ処理部
31b~34b:認識部
40:統合処理部
41b:認識部
50:第1表示部
51:第2表示部
60:走行制御部ECU
10a:高解像度領域
10b:低解像度領域
11~14:カメラユニット
21~24:撮像部
31~34:カメラ処理部
31b~34b:認識部
40:統合処理部
41b:認識部
50:第1表示部
51:第2表示部
60:走行制御部ECU
Claims (21)
- カメラユニットの設置方法であって、
前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第1の方向にずれるように配置されており、
前記第1の方向を所定の着目領域以外の方向に向けて前記カメラユニットを設置することを特徴とするカメラユニットの設置方法。 - 前記高解像度領域と前記低解像度領域は低歪曲領域と高歪曲領域にそれぞれ対応していることを特徴とする請求項1に記載のカメラユニットの設置方法。
- 前記光学系の焦点距離をf、半画角をθ、像面での像高をy、像高yと半画角θとの関係を表す射影特性をy(θ)とするとき、
前記低歪曲領域におけるy(θ)はf×θより大きいことを特徴とする請求項2に記載のカメラユニットの設置方法。 - 前記高解像度領域と前記低解像度領域は射影特性が互いに異なることを特徴とする請求項1~3のいずれか1項に記載のカメラユニットの設置方法。
- 前記光学系の焦点距離をf、θmaxを前記光学系が有する最大の半画角、像面での像高をy、像高yと半画角θとの関係を表す射影特性をy(θ)とするとき、
1<f×sinθmax/y(θmax)≦1.9
を満足することを特徴とする請求項1~4のいずれか1項に記載のカメラユニットの設置方法。 - 前記撮像手段の前記受光面には複数の画素が行及び列状に配置されており、所定の行の前記画素から順次行毎に所定の第2の方向に読出しを行うように構成されており、前記第1の方向は、前記第2の方向とは反対の方向であることを特徴とする請求項1~5のいずれか1項に記載のカメラユニットの設置方法。
- 前記第1の方向が水平面に対して上側に向くように配置されることを特徴とする請求項1~6のいずれか1項に記載のカメラユニットの設置方法。
- 前記カメラユニットは移動体に設置され、前記第1の方向が前記移動体の方向を向くように配置されることを特徴とする請求項1~7のいずれか1項に記載のカメラユニットの設置方法。
- 前記光学系の光軸が水平方向または前記水平方向より下を向くように配置されることを特徴とする請求項1~8のいずれか1項に記載のカメラユニットの設置方法。
- 前記光学系の光軸が鉛直方向に沿って下を向くように配置されることを特徴とする請求項9に記載のカメラユニットの設置方法。
- 前記カメラユニットは、前記カメラユニットの位置と姿勢の情報を保持する保持手段を有することを特徴とする請求項1~10のいずれか1項に記載のカメラユニットの設置方法。
- カメラユニットと、該カメラユニットが取り付けられる移動体本体を備える移動体であって、
前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第1の方向にずれるように配置されており、
前記カメラユニットは、前記第1の方向が所定の着目領域以外の方向を向くように設置されていることを特徴とする移動体。 - 前記カメラユニットは、前記第1の方向が水平面に対して上側に向くように設置されていることを特徴とする請求項12に記載の移動体。
- 前記カメラユニットは、前記第1の方向が前記移動体本体の方向を向くように設置されていることを特徴とする請求項12または13に記載の移動体。
- カメラユニットと、前記カメラユニットの位置と姿勢情報に基づき前記カメラユニットから得られた画像信号を処理する画像処理手段を有する画像処理システムであって、
前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第1の方向にずれるように配置されており、
前記カメラユニットは、前記第1の方向が所定の着目領域以外の方向を向くように設置されていることを特徴とする画像処理システム。 - 前記光学系の特性情報を保持する保持手段を有し、
前記画像処理手段は、少なくとも前記特性情報に基づき前記撮像手段からの画像信号に対して歪曲補正をすることを特徴とする請求項15に記載の画像処理システム。 - 前記画像処理手段は、前記撮像手段からの画像信号に対して画像認識をすることを特徴とする請求項15又は16に記載の画像処理システム。
- 前記画像処理手段は、複数の前記カメラユニットからの画像信号を合成して合成画像を生成すると共に、前記合成画像に対して前記画像認識をすることを特徴とする請求項17に記載の画像処理システム。
- 少なくとも2つの前記カメラユニットの撮影範囲が互いに重複するように配置されていることを特徴とする請求項18に記載の画像処理システム。
- カメラユニットからの画像信号を処理する画像処理方法であって、
前記カメラユニットは、
中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第1の方向にずれるように配置されており、
前記カメラユニットは、前記第1の方向が所定の着目領域以外の方向を向くように設置されており、
前記カメラユニットの姿勢に基づき前記カメラユニットから得られた画像信号を処理する画像処理ステップを有することを特徴する画像処理方法。 - カメラユニットからの画像信号を処理する画像処理システムのコンピュータに、以下のステップを行わせるためのコンピュータプログラムであって、
前記カメラユニットは、
中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第1の方向にずれるように配置されており、
前記カメラユニットは、前記第1の方向が所定の着目領域以外の方向を向くように設置されており、
前記ステップは、前記カメラユニットの姿勢に基づき前記カメラユニットから得られた画像信号を処理する画像処理ステップを含むことを特徴とするコンピュータプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155782A JP2023046930A (ja) | 2021-09-24 | 2021-09-24 | カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム |
EP22194687.4A EP4155817A1 (en) | 2021-09-24 | 2022-09-08 | Camera unit installing method, mobile object, image processing system, image processing method, and storage medium |
CN202211141129.5A CN115883776A (zh) | 2021-09-24 | 2022-09-20 | 相机单元安装方法、移动设备、图像处理***、图像处理方法、以及存储介质 |
US17/933,676 US20230096414A1 (en) | 2021-09-24 | 2022-09-20 | Camera unit installing method, moving device, image processing system, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155782A JP2023046930A (ja) | 2021-09-24 | 2021-09-24 | カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023046930A true JP2023046930A (ja) | 2023-04-05 |
Family
ID=83271208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021155782A Pending JP2023046930A (ja) | 2021-09-24 | 2021-09-24 | カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230096414A1 (ja) |
EP (1) | EP4155817A1 (ja) |
JP (1) | JP2023046930A (ja) |
CN (1) | CN115883776A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023178051A (ja) * | 2022-06-03 | 2023-12-14 | キヤノン株式会社 | 移動体、移動体の制御方法、及びコンピュータプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004345554A (ja) | 2003-05-23 | 2004-12-09 | Clarion Co Ltd | 車両後方モニタ装置及び車両後方モニタシステム |
JP4766841B2 (ja) * | 2003-09-08 | 2011-09-07 | 株式会社オートネットワーク技術研究所 | 車両に搭載されるカメラ装置及び車両周辺監視装置 |
JP2007038856A (ja) * | 2005-08-03 | 2007-02-15 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
JP2010095202A (ja) | 2008-10-19 | 2010-04-30 | Alpine Electronics Inc | ルームミラー位置後視カメラ画像表示装置 |
JP2015121591A (ja) * | 2013-12-20 | 2015-07-02 | 株式会社富士通ゼネラル | 車載カメラ |
JP7436391B2 (ja) * | 2019-01-23 | 2024-02-21 | ソニーセミコンダクタソリューションズ株式会社 | 車載カメラ、及び車載カメラシステム |
-
2021
- 2021-09-24 JP JP2021155782A patent/JP2023046930A/ja active Pending
-
2022
- 2022-09-08 EP EP22194687.4A patent/EP4155817A1/en active Pending
- 2022-09-20 US US17/933,676 patent/US20230096414A1/en active Pending
- 2022-09-20 CN CN202211141129.5A patent/CN115883776A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4155817A1 (en) | 2023-03-29 |
CN115883776A (zh) | 2023-03-31 |
US20230096414A1 (en) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6459016B2 (ja) | 撮像システム、および、移動体システム | |
US20230113406A1 (en) | Image processing system, mobile object, image processing method, and storage medium | |
JP2024063155A (ja) | 移動体、画像処理方法、およびコンピュータプログラム | |
JP2023046930A (ja) | カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム | |
US20230098424A1 (en) | Image processing system, mobile object, image processing method, and storage medium | |
JP2024050331A (ja) | 移動体及び撮像装置の設置方法 | |
JP7434476B2 (ja) | 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム | |
EP4286223A1 (en) | Movable apparatus, control method for movable apparatus, and storage medium | |
US12028603B2 (en) | Image processing system, image processing method, storage medium, image pickup apparatus, and optical unit | |
JP4611898B2 (ja) | 画像表示システム | |
US20240177492A1 (en) | Image processing system, image processing method, and storage medium | |
JP7476151B2 (ja) | 画像処理システム、画像処理方法、およびコンピュータプログラム | |
WO2023145690A1 (ja) | 画像処理システム、移動体、撮像システム、画像処理方法、及び記憶媒体 | |
US20230007190A1 (en) | Imaging apparatus and imaging system | |
US20240114252A1 (en) | Movable apparatus and installation method for imaging device | |
WO2023145693A1 (ja) | 画像処理システム、移動体、画像処理方法、及び記憶媒体 | |
US20240253565A1 (en) | Image processing system, movable apparatus, image processing method, and storage medium | |
CN118413752A (zh) | 图像处理***、可移动设备、图像处理方法和存储介质 | |
JP2023077492A (ja) | カメラシステム、移動体、制御方法、及びコンピュータプログラム | |
JP2024094584A (ja) | 撮像設定装置、撮像装置および撮像設定方法 | |
JP2023109164A (ja) | 画像処理システム、移動体、撮像システム、画像処理方法、及びコンピュータプログラム | |
JP2023154265A (ja) | 画像処理装置、移動体、画像処理方法、及びコンピュータプログラム |