JP2023046930A - カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】画角の設定等が容易なカメラユニットの設置方法を提供する。【解決手段】カメラユニットの設置方法であって、前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第１の方向にずれるように配置されており、前記第１の方向を所定の着目領域以外の方向に向けて前記カメラユニットを設置することを特徴とする。【選択図】 図４

Description

本発明は、カメラユニットの設置方法、移動体、画像処理システム、画像処理方法、およびコンピュータプログラム等に関する。

近年、車両に搭載されるルームミラー（後写鏡）を電子ルームミラーで置き換えるという要望がある。例えば特許文献１には、車両外の後方を撮像範囲とする撮像手段と車両内の表示手段で構成され、撮像手段で撮像した画像を車両内のディスプレイで表示することにより、ドライバーが車両外の後方の様子を確認できる電子ルームミラーシステムが開示されている。

他方、車両の後退時などに車両後方の死角をドライバーが確認できるようにする後方確認システムがある。特許文献２には、車両後方を撮像するようにカメラを設置し、撮像画像を車室内に表示することにより、後退時などに車両後方の死角をドライバーが確認できるようにするための後方確認システムが開示されている。

特開２０１０－９５２０２号公報 特開２００４－３４５５５４号公報

上述の電子ルームミラー用画像を撮像する撮像手段としてのカメラは、ドライバーが後方の比較的遠方の様子をより精細に確認するため高解像度を有することが求められる。一方で、後方確認システム用カメラは、後退時などの衝突を回避するために、車両後方の死角や後側方を含んだより広い範囲での安全を確認するため、より広い範囲を撮像することが求められる。

また、電子ルームミラーシステムと後方確認システムを車両に同時に搭載する場合、電子ルームミラーシステム用のカメラと、後方確認システム用のカメラを個別に搭載すると車載画像処理システムが複雑になってしまう。このような課題は、例えば、車両の周囲の状況を撮影するために複数のカメラを配置して自動運転などを行う自動運転システムにおいても同様に発生している。

これに対して、例えば特殊な超広角レンズを用いたカメラを採用することによって、車両に設置するカメラの数を減らすことができる。しかし、超広角レンズなどを用いた場合には、広い画角は得られるものの周辺部の歪曲が大きく、設置位置や姿勢の調整が難しい。しかも複雑な形状の超広角レンズの歪曲補正は処理負荷が大きいという問題がある。

したがって本発明では、上記の課題を鑑みて、画角の設定等が容易なカメラユニットの設置方法を提供することを１つの目的とする。

上記目的を達成するために、本発明の１つの実施形態のカメラユニットの設置方法は、
前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第１の方向にずれるように配置されており、前記第１の方向を所定の着目領域以外の方向に向けて前記カメラユニットを設置することを特徴とする。

本発明によれば、画角の設定等が容易なカメラユニットの設置方法を実現することができる。

実施形態１のカメラユニットと車両の位置関係を説明する図である。 （Ａ）、（Ｂ）は、実施形態１の撮像部の光学特性を説明するための図である。 実施形態１における画像処理システムの構成を説明するための機能ブロック図である。 （Ａ）は実施形態１における、後方のカメラユニット１３の光学系と撮像素子の受光面１３０との関係の例を示す図であり、（Ｂ）は実施形態１における後方のカメラユニット１３の歪曲補正後の画像の例を示す図である。（Ｃ）は実施形態１における、左側面のカメラユニット１４の光学系と撮像素子の受光面１４０との関係の例を示す図であり、（Ｄ）は実施形態１における、左側面のカメラユニット１４の歪曲補正後の画像の例を示す図である。 （Ａ）は実施形態１において車両１を上方向から見た図、（Ｂ）は実施形態１において車両１を左側面方向から見た図である。 （Ａ）は実施形態２において車両１を上方向から見た図、（Ｂ）は実施形態２において車両１を左側面方向から見た図、（Ｃ）は実施形態２において車両１を正面から見た図である。 （Ａ）は実施形態３において車両１を上方向から見た図、（Ｂ）は実施形態３において車両１を左側面方向から見た図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。

［実施形態１］
実施形態１では、高精細な電子ルームミラー用の表示や広範囲な後方などの車両周辺確認用の表示を少ない数のカメラで両立すると共に、画角の割り当てを最適化できる画像処理システムについて説明する。
図１は、実施形態１のカメラユニットと車両の位置関係を説明する図である。

本実施形態では、図１に示すように、移動体（移動体本体）としての例えば自動車の車両１の前方、右側方、後方、左側方にそれぞれカメラユニット１１、１２、１３、１４が設置されている。なお、本実施形態では４つのカメラユニットを有するが、カメラユニットの数は４に限定されず、少なくとも１つ以上のカメラユニットがあればよい。

カメラユニット１１～１４は、移動体としての車両１のそれぞれ前方、右側方、左側方、後方を撮像範囲とするように設置されている。
本実施形態では、カメラユニット１１～１４は略同様の構成を有し、それぞれ光学像を撮像する撮像素子と、撮像素子の受光面に光学像を形成する光学系とを有する。
なお、例えばカメラユニット１１、１３が有する光学系の光軸は略水平となるように設置し、カメラユニット１２、１４が有する光学系の光軸は水平よりも若干下方を向くか、或いは真下を向くように設置されている。

また、本実施形態で使用するカメラユニット１１～１４が有する光学系はそれぞれ光軸周辺の狭い画角において高精細な画像を得ることができ、かつ広い画角において低解像度の撮像画像を得ることができるように構成されている。なお、１１ａ～１４ａは高解像度で低歪曲な像を撮像可能な撮像画角であり、１１ｂ～１４ｂは低解像度で高歪曲な像を撮像可能な撮像画角を示している。

本実施形態におけるカメラユニット１１～１４が有する光学系について図２を用いて説明する。なお、それぞれのカメラユニット１１～１４の光学系の特性は同じでなくてもよいが、本実施形態においては、カメラユニット１１～１４が有する光学系は略同じ特性を有するものとし、カメラユニット１１が有する光学系について例示的に説明する。

図２（Ａ）、（Ｂ）は、本発明の本実施形態における撮像部の光学特性を説明するための図であり、図２（Ａ）は、本実施形態におけるカメラユニット１１が有する光学系の、撮像素子の受光面上での各半画角における像高ｙを等高線状に示した図である。
図２（Ｂ）は、本実施形態におけるカメラユニット１１が有する光学系の像高ｙと半画角θとの関係を表す射影特性を表した図である。図２（Ｂ）では、半画角（光軸と入射光線とがなす角度）θを横軸とし、カメラユニット１１のセンサ面上（像面上）での結像高さ（像高）ｙを縦軸として示している。

本実施形態におけるカメラユニット１１が有する光学系は、図２（Ｂ）に示すように、所定の半画角θａ未満の領域と半画角θａ以上の領域でその射影特性ｙ（θ）が異なるように構成されている。したがって、単位あたりの半画角θに対する像高ｙの増加量を解像度というとき解像度が領域によって異なる。この局所的な解像度は、射影特性ｙ（θ）の半画角θでの微分値ｄｙ（θ）／ｄθで表されるともいえる。即ち、図２（Ｂ）の射影特性ｙ（θ）の傾きが大きいほど解像度が高いといえる。また、図２（Ａ）の等高線状の各半画角における像高ｙの間隔が大きいほど解像度が高いともいえる。

本実施形態においては、半画角θが所定の半画角θａ未満のときにセンサ面上に形成される中心寄り（中央部）の領域を高解像度領域１０ａ、半画角θが所定の半画角θａ以上の外寄り（周辺部）の領域を低解像度領域１０ｂと呼ぶ。なお、高解像度領域１０ａは撮像画角１１ａ～１４ａに対応しており、低解像度領域１０ｂは撮像画角１１ｂ～１４ｂに対応している。

なお、本実施形態では、高解像度領域１０ａと低解像度領域１０ｂの境界の円を解像度境界と呼び、解像度境界に対応する表示画面上の境界画像を表示解像度境界または単に境界画像と呼ぶ。なお、表示画面に表示される境界画像（表示解像度境界）は円状でなくてもよい。便宜的に長方形などにしてもよい。また、高解像度領域１０ａと低解像度領域１０ｂの境界は円状でなくてもよく、楕円でもよく、或いは歪んだ形状でもよい。

また、境界９３（高解像度領域１０ａ）の重心は、光学系の光軸が受光面と交わる位置と一致していなくてもよい。ただし、本実施形態では、境界９３（高解像度領域１０ａ）の重心は、光学系の光軸が受光面と交わる位置とほぼ一致しているので光学系の設計が容易であると共に、安定的な光学特性が得られ、歪曲補正の負荷も抑制することができる効果がある。

なお、本実施形態において、高解像度領域１０ａは歪曲が相対的に少ない低歪曲領域であり、低解像度領域１０ｂは歪曲が相対的に多い高歪曲領域となっている。したがって、本実施形態においては、高解像度領域、低解像度領域はそれぞれ低歪曲領域、高歪曲領域に対応しており、高解像度領域、低解像度領域をそれぞれ低歪曲領域、高歪曲領域と呼ぶことがある。また、逆に低歪曲領域、高歪曲領域をそれぞれ高解像度領域、低解像度領域と呼ぶこともある。

本実施形態におけるカメラユニット１１が有する光学系は、高解像度領域（低歪曲領域）１０ａにおいてその射影特性ｙ（θ）がｆ×θより大きくなるように構成されている（ｆはカメラユニット１１が有する光学系の焦点距離）。また、高解像度領域（低歪曲領域）における射影特性ｙ（θ）は低解像度領域（高歪曲領域）における射影特性とは異なるように設定されている。
また、θｍａｘをカメラユニット１１が有する光学系が有する最大の半画角とするとき、θａとθｍａｘの比θａ／θｍａｘは所定の下限値以上であることが望ましく、例えば所定の下限値として０．１５～０．１６が望ましい。

また、θａとθｍａｘの比θａ／θｍａｘは所定の上限値以下であることが望ましく、例えば０．２５～０．３５とすることが望ましい。例えば、θｍａｘを９０°とし、所定の下限値を０．１５、所定の上限値０．３５とする場合、θａは１３．５～３１．５°の範囲で決定することが望ましい。
さらに、カメラユニット１１が有する光学系は、その射影特性ｙ（θ）が、以下の数１も満足するように構成されている。

１＜ｆ×ｓｉｎ（θｍａｘ）／ｙ（θｍａｘ）≦１．９ ・・・（数１）
ｆは、前述のようにカメラユニット１１が有する光学系の焦点距離である。下限値を１とすることで、同じ最大結像高さを有する正射影方式（ｙ＝ｆ×ｓｉｎθ）の魚眼レンズよりも中心解像度を高くすることができる。上限値を１．９とすることで、魚眼レンズ同等の画角を得つつ良好な光学性能を維持することができる。上限値は、高解像度領域と、低解像度領域の解像度のバランスを考慮して決めればよく、１．４～１．９の範囲で設定するのが望ましい。

以上のように光学系を構成することで、高解像度領域１０ａにおいては、高解像度が得られる一方、低解像度領域１０ｂでは、単位あたりの半画角θに対する像高ｙの増加量を小さくし、より広い画角を撮像することが可能になる。したがって、魚眼レンズと同等の広画角を撮像範囲としつつ、高解像度領域１０ａにおいては、高い解像度を得ることができる。

さらに、本実施形態では、高解像度領域（低歪曲領域）においては、通常の撮像用の光学系の射影特性である中心射影方式（ｙ＝ｆ×ｔａｎθ）や等距離射影方式（ｙ＝ｆ×θ）に近い特性としているため、光学歪曲が小さく、精細に表示することが可能となる。したがって、先行車や後続車両といった周囲の車両などを目視する際における自然な遠近感が得られると共に、画質の劣化を抑えて良好な視認性を得ることができる。

なお、上述の数１の条件を満たす射影特性ｙ（θ）であれば、同様の効果を得ることができるため、本発明は図２に示した射影特性に限定されない。なお、本実施形態では上述の数１の条件を満たす射影特性ｙ（θ）を有する光学系を異画角レンズと呼ぶ場合がある。
なお、カメラユニット１１～１４のそれぞれの光学系の高解像度領域１０ａは撮像画角１１ａ～１４ａに対応しており、低解像度領域１０ｂは撮像画角１１ｂ～１４ｂに対応している。

次に本実施形態における画像処理システムの構成について図３を用いて説明する。
図３は実施形態１における画像処理システムの構成を説明するための機能ブロック図である。
図３において画像処理システム１００は、移動体としての車両１に搭載されており、カメラユニット１１～１４の筐体内にはそれぞれ撮像部２１～２４とカメラ処理部３１～３４が配置されている。

撮像部２１～２４はそれぞれ異画角レンズ２１ｃ～２４ｃと例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子２１ｄ～２４ｄを有する。
光学系としての異画角レンズ２１ｃ～２４ｃは、１枚以上の光学レンズから構成されており、数１の条件を満たす射影特性ｙ（θ）を有し、低歪曲領域と高歪曲領域とを有する光学像をそれぞれ撮像素子２１ｄ～２４ｄの受光面に形成する。撮像素子２１ｄ～２４ｄは撮像手段として機能しており、光学像を光電変換して撮像信号を出力する。撮像素子２１ｄ～２４ｄの受光面には例えばＲＧＢの色フィルタが画素毎に配列されている。ＲＧＢの配列は例えばベイヤー配列となっている。

したがって、撮像素子からは、ベイヤー配列にしたがって例えば所定の行からはＲ，Ｇ，Ｒ、Ｇの信号が順次出力され、隣の行からはＧ，Ｂ，Ｇ，Ｂ、の信号が順次出力されるように構成されている。
３１～３４はカメラ処理部であり、撮像部２１～２４と共にそれぞれ同じカメラユニット１１～１４の筐体に収納されており、撮像部２１～２４から出力された撮像信号をそれぞれ処理する。なお、図３では撮像部２４、カメラ処理部３４の詳細およびその配線は便宜上省略されている。

カメラ処理部３１～３４はそれぞれ画像処理部３１ａ～３４ａ、認識部３１ｂ～３４ｂ、カメラ情報部３１ｃ～３４ｃを有する。画像処理部３１ａ～３４ａは撮像部２１～２４から出力された撮像信号をそれぞれ画像処理する。なお、カメラ処理部３１の一部または全部を撮像素子２１ｄ～２４ｄ内の積層された信号処理部で行ってもよい。

具体的には、画像処理部３１ａ～３４ａは、撮像部２１～２４からベイヤー配列にしたがって入力された画像データをそれぞれデベイヤ処理し、ＲＧＢのラスタ形式の画像データへ変換する。さらに、ホワイトバランスの調整やゲイン・オフセット調整、ガンマ処理、カラーマトリックス処理や可逆圧縮処理など種々の補正処理を行う。但し、非可逆圧縮処理などは行わず、いわゆるＲＡＷ画像信号を形成する。

認識部３１ｂ～３４ｂは画像処理部３１ａ～３４ａで画像処理された歪曲補正されていないＲＡＷ画像信号からそれぞれ所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部３１ｂ～３４ｂは、低歪曲領域に対応する画像信号を歪曲補正せずにＲＡＷ画像信号の状態で画像認識して第１の画像認識結果を出力する。
なお、本実施形態の認識部３１ｂ～３４ｂは少なくとも高解像度領域１０ａから得られたＲＡＷ画像信号に対して画像認識処理を行い、所定の対象物を認識する。そのために、高解像度領域１０ａだけを切り出してから画像認識処理してもよい。

なお、この時、認識部３１ｂ～３４ｂは、低解像度領域１０ｂから得られたＲＡＷ画像信号についても画像認識処理をしてもよい。但し、ＲＡＷ画像信号は歪曲補正されていないので、異画角レンズの周辺部の画像は歪が大きく認識の信頼性は落ちることになる。
或いは、認識部３１ｂ～３４ｂは、高解像度領域１０ａから得られたＲＡＷ画像信号を切り出して、その高解像度領域１０ａから得られたＲＡＷ画像信号に対してだけ画像認識処理を行ってもよい。

なお、その際画像認識のために切り出す領域は、画像認識処理に適した形状である矩形にすることが望ましい。また、切り出す矩形領域は高解像度領域１０ａ内の一部だけ（例えば高解像度領域１０ａに内接する矩形）でもよいし、高解像度領域１０ａと低解像度領域１０ｂの両方を含んだ矩形でもよい。

ここで、認識部３１ｂ～３４ｂは撮像手段により取得された画像信号の内、少なくとも一部領域の画像信号に基づき画像認識して第１の画像認識結果を出力する第１の画像認識手段として機能している。なお、本実施形態において、前記一部領域は低歪曲領域に対応する領域である。

認識部３１ｂ～３４ｂは、対象物の種類と座標のセットを認識結果として統合処理部４０に送信する。
一方、認識部３１ｂ～３４ｂは、統合処理部４０の統合制御部４１ｃから、対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報のセットである予測情報を受信する。この予測情報については後述する。

ここで、正面に対して設置されたカメラユニット１１の認識部３１ｂの出力は走行制御部（ＥＣＵ）６０にも直接供給されている。これは、認識部３１ｂの障害物などの認識結果に基づいて直ちに走行を停止したり、障害物を回避するように走行を制御する必要が生じる場合があるからである。

カメラ情報部３１ｃ～３４ｃはそれぞれカメラユニット１１～１４のカメラ情報を予めメモリに保持している。カメラ情報部はカメラユニット１１～１４内に設けた各種センサ等からの情報を一時的に保持することもできる。カメラ情報は、例えば異画角レンズ２１ｃ～２４ｃが形成する光学像の図２に示されるような特性情報（解像度境界情報など）を含む。また、撮像素子２１ｄ～２４ｄの画素数、カメラユニットの車両座標における取り付け位置座標および姿勢（ピッチ、ロール、ヨーなど）の情報、撮像方向などを含む。カメラ情報は、ガンマ特性、感度特性、フレームレートなどの情報を含んでも良い。

さらに、カメラ情報は、画像処理部３１ａ～３４ａにおいてＲＡＷ画像信号を生成する際の画像処理方法や画像フォーマットに関する情報を含んでもよい。
なお、取り付け位置座標は、カメラユニット毎に車両に対する取り付け位置が決まっている場合が多いので、事前にカメラ情報部内のメモリに記憶しておいてもよい。また、カメラユニットの姿勢座標は車両１に対する相対的な座標であり、カメラユニットに設けられた不図示のエンコーダなどから取得してもよい。あるいは３次元加速度センサなどを用いて取得してもよい。

また、撮像方向に関する情報は例えば地磁気センサを用いて取得してもよい。カメラの解像度境界情報はレンズ設計によって決まるので予めカメラ情報部内のメモリに記憶しておくものとする。
なお、カメラ情報は撮像部２１～２４の固有の情報であり、互いに異なり、それらの情報は統合処理部４０に送信され、統合処理部４０において画像処理などをする際に参照される。ここで、カメラ情報部３１ｃ～３４ｃは、光学像の特性に関する特性情報やカメラユニットの位置姿勢情報を保持する保持手段として機能している。

なお、カメラ処理部３１～３４の内部にはコンピュータとしてのＣＰＵや記憶媒体としてのコンピュータプログラムを記憶したメモリが内蔵されている。また、ＣＰＵはメモリ内のコンピュータプログラムを実行することにより、カメラ処理部３１～３４内の各部を制御するように構成されている。

なお、本実施形態では、画像処理部３１ａ～３４ａや認識部３１ｂ～３４ｂは例えば専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などのハードウェアを用いる。それによって、高解像度領域の画像認識の高速化が実現でき、事故を回避できる可能性を高めることができる。なお、画像処理部３１ａ～３４ａは歪曲補正機能を持っていてもよい。
なお、カメラ処理部３１～３４の内部の機能ブロックの一部または全部を、ＣＰＵに、メモリに記憶されたコンピュータプログラムを実行させることによって実現してもよいが、その場合には、ＣＰＵの処理速度を高めることが望ましい。

４０は統合処理部であり、ＳＯＣ（Ｓｙｔｅｍ Ｏｎ Ｃｈｉｐ）／ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）４１、コンピュータとしてのＣＰＵ４２、記憶媒体としてのメモリ４３を有する。ＣＰＵ４２はメモリ４３に記憶されたコンピュータプログラムを実行することによって、画像処理システム１００全体の各種制御を行う。なお、本実施形態では統合処理部４０はカメラユニットとは別の筐体で収納されている。

ＳＯＣ／ＦＰＧＡ４１は画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃを有する。
画像処理部４１ａはカメラ処理部３１～３４からそれぞれのＲＡＷ画像信号を取得すると共に、カメラ情報部３１ｃ～３４ｃより各カメラユニット１１～１４のカメラ情報を取得する。
カメラ情報は、前述のように、異画角レンズ２１ｃ～２４ｃの光学特性や撮像素子２１ｄ～２４ｄの画素数、光電変換特性、γ特性、感度特性、ＲＡＷ画像信号のフォーマット情報、カメラユニットの車両座標における取り付け位置の座標や姿勢情報などを含む。

画像処理手段としての画像処理部４１ａは光学系の特性情報などのカメラ情報を取得する。そしてカメラ情報に基づきカメラ処理部３１～３４からの夫々のＲＡＷ画像信号に対して解像度変換を行うと共に、撮像部２１～２４の夫々の低解像度領域１０ｂから得られた画像信号に対して歪曲補正等の画像処理ステップを実行する。

すなわち、光学像の特性に基づき歪曲補正領域の画像信号に対して歪曲補正すると共に、歪曲補正された画像信号と、歪曲補正しない非歪曲補正領域の画像信号とを合成して合成画像を生成する。すなわち、画像処理部４１ａは表示信号生成手段としても機能しており、歪曲補正などを行って、合成画像を生成する表示信号生成ステップを行う。なお、本実施形態において歪曲補正領域はユーザにより、または自動で設定可能である。

本実施形態では画像処理部４１ａは、高解像度領域１０ａから得られた画像信号は歪曲が殆どないので歪曲補正は行わない。但し、画像処理部４１ａは、高解像度領域１０ａから得られた画像信号に対しても簡略的な歪曲補正を行ってもよい。また、画像処理部４１ａはカメラ処理部３１～３４からそれぞれのＲＡＷ画像信号に対して適宜非可逆圧縮処理などを行う。

また、画像処理部４１ａは歪曲補正を行った撮像部２１～２４のそれぞれの低解像度領域１０ｂの画像信号と、高解像度領域１０ａの画像信号をスムーズにつなぎ合わせるように合成して撮像部２１～２４毎の全体画像を形成する。

なお、低解像度領域１０ｂの画像信号と高解像度領域１０ａから得られた画像信号の両方に対して歪曲補正を行う場合には、画像処理部３１ａ～３４ａでそれぞれ得られたＲＡＷ画像信号をそのまま歪曲補正してもよい。
なお、画像処理部４１ａでは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき画像の回転等の画像処理を行う。これについては後述する。

認識部４１ｂは少なくとも低解像度領域を歪曲補正した後の、撮像部２１～２４毎の全体画像に対して画像認識処理を行い、撮像部２１～２４毎の全体画像における所定の対象物（例えば自動車、人物、障害物など）を画像認識する。即ち、認識部４１ｂは、少なくとも低解像度領域（高歪曲領域）に対応する画像信号を歪曲補正した後で画像認識して第２の画像認識結果を出力する。

その際に、認識部３１ｂ～３４ｂによる認識結果（対象物の種類や座標）も参照する。なお、上記では、認識部４１ｂは撮像部２１～２４毎の全体画像に対して画像認識をしているが、必ずしも全体画像に対して画像認識をしなくてもよい。例えば画像の周辺部については画像認識しなくても良い。

即ち、認識部４１ｂは、例えば認識部３１ｂ～３４ｂにより認識した領域を含み、それより広い領域を認識するものであればよい。
ここで、認識部４１ｂは、画像取得手段により取得された画像信号の内、第１の画像認識手段で画像認識を行った一部領域を含む、該一部領域より広い領域の画像信号を画像認識して第２の画像認識結果を出力する第２の画像認識手段として機能している。なお、第２の画像認識手段は、低歪曲領域としての高解像度領域１０ａと高歪曲領域としての低解像度領域１０ｂに対応した画像信号を合成した合成画像について画像認識して第２の画像認識結果を出力している。

本実施形態では、画像処理部４１ａは、複数の撮像部としてのカメラユニット１２～１４からの画像をつなぎ合わせるように合成して、パノラマ的な合成画像を形成する。
その場合、つなぎ合わされる複数の撮像部の画像は、それぞれの撮影画角の少なくとも一部が互いに所定量以上のオーバーラップ領域を有するように設定されていることが望ましい。

なお、後述するように、カメラユニット１２と１３の撮影範囲は互いに重複するようにそれぞれ配置してもよい。また、カメラユニット１３と１４の撮影範囲が互いに重複するようにそれぞれ配置してもよい。しかも、その際、少なくとも２つの画像取得手段の低歪曲領域の撮影範囲が互いに重複するように配置してもよい。

また、認識部４１ｂは、そのパノラマ的な合成画像に対して画像認識を行う。そうすることによって、例えば複数の撮像部の画角にまたがるように撮影された対象物の画像認識が可能となる。これは、それぞれの撮像部からの個別の全体画像では対象物の全体像が分からない場合があるが、パノラマ的な合成画像においてはその対象物のほぼ全体が映り画像処理により画像認識が可能になる場合があるからである。

統合制御部４１ｃは、例えば認識部３１ｂ～３４ｂによる認識結果と認識部４１ｂによる認識結果が異なる場合には、より信頼性が高い方の認識結果を採用することで統合された画像認識結果を出力する。
例えば認識部３１ｂ～３４ｂにより認識された画像内の対象物の占める割合と認識部４１ｂにより認識された同じ対象物の、画面内に占める割合を比較し、その割合が大きい方の認識結果を、より信頼性が高いと判断して採用してもよい。

或いは高解像度領域内と低解像度領域の両方にまたがっている対象物の場合には、認識部３１ｂ～３４ｂによる認識結果よりも認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用してもよい。或いは、認識部３１ｂ～３４ｂにより認識された対象物の位置が画面の周辺部の場合には、信頼性が低いと判断して、認識部４１ｂによる認識結果を、より信頼性が高いと判断して採用してもよい。

或いは、認識部４１ｂでは、低解像度領域を歪曲補正した状態で、低解像度領域だけ画像認識をすると共に、もし低解像度領域と高解像度領域にまたがる対象物があった場合には、その対象物に対して画像認識をするようにしてもよい。即ち、高解像度領域だけに存在する対象物に対しては認識部３１ｂ～３４ｂによる認識の信頼性の方が高いとみなして認識部４１ｂでは画像認識処理をしないように制御してもよい。
ここで、統合制御部４１ｃは、第１の画像認識結果の信頼性と第２の画像認識結果の信頼性に基づき統合された画像認識結果を出力する統合処理手段として機能している。

また、統合制御部４１ｃは、撮像部２１～２４毎の全体画像や、パノラマ的な合成画像などの内、所望の画像を第１表示部５０，第２表示部５１などに表示するための信号を形成する。また、認識された対象物を強調表示するための枠や、対象物の種類、サイズ、位置、速度などに関する情報や警告などのためのＣＧなどを生成する。さらに、カメラ情報部３１ｃ～３４ｃから取得した表示解像度境界情報などの光学系の特性情報に基づき境界を表示するための境界画像のＣＧを生成してもよい。

また、これらのＣＧや文字を画像に重畳するための表示処理などを行う。ここで第１表示部５０，第２表示部５１などは表示手段として機能しており、画像信号や統合された画像認識結果を表示する。

さらにまた、本実施形態においては、統合制御部４１ｃは複数のカメラユニットの間で認識された対象物に関する情報を共有するように構成されている。即ち、例えばカメラユニット１４において認識された対象物がカメラユニット１１の画角の方向に移動していることが認識されたものとする。その場合には、統合制御部４１ｃはその対象物の種類と、その対象物の移動方向に関する情報または優先認識領域情報を含む予測情報をカメラユニット１１の認識部３１ｂに送信する。

このような予測情報をカメラユニット１１～１４の認識部３１ｂ～３４ｂで共有することによってカメラユニット１１～１４の認識部３１ｂ～３４ｂにおける画像認識精度を向上させることができる。なお、このような予測情報を共有するメリットは、カメラユニット１１～１４の認識部３１ｂ～３４ｂが統合処理部４０の認識部４１ｂと別体の場合に特に効果が大きい。

また、統合制御部４１ｃは走行制御部（ＥＣＵ）６０などとＣＡＮやＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなどのプロトコルを用いて内部に設けられた不図示の通信手段を介して通信を行う。それによって、走行制御部（ＥＣＵ）６０などから受信した車両制御信号に基づき表示する情報を適宜変更する表示処理を行う。即ち、例えば車両制御信号により取得された車両の移動状態に応じて表示手段に表示する画像の範囲などを変化させる。

なお、走行制御部（ＥＣＵ）６０は、車両１に搭載されており、車両１の駆動制御、方向制御などを総合的に行うためのコンピュータやメモリを内蔵したユニットである。走行制御部（ＥＣＵ）６０からは車両制御信号として例えば走行速度、走行方向、シフトレバー、シフトギア、ウインカーの状態、地磁気センサなどによる車両の向きなどの車両の走行（移動状態）に関する情報などが統合処理部４０に対して入力される。

逆に統合制御部４１ｃは、認識部４１ｂで認識された所定の対象物（障害物など）の種類、位置、移動方向、移動速度などの情報を走行制御部（ＥＣＵ）６０に送信する。それによって走行制御部（ＥＣＵ）６０は車両の停止、駆動、走行方向の変更などの障害物の回避などに必要な制御を行う。ここで走行制御部（ＥＣＵ）６０は、統合された画像認識結果に基づき移動体としての車両の移動を制御する移動制御手段として機能している。

第１表示部５０は例えば車両１の運転席の前方上部の車幅方向の中央付近に、表示画面を車両後方に向けて設置され電子ルームミラーとして機能する。なお、ハーフミラーなどを用いて、ディスプレイとして使用しないときは鏡として使用できる構成としてもよい。また、タッチパネルや操作ボタンを備えユーザからの指示を取得し、統合制御部４１ｃへ出力可能な構成としてもよい。
第２表示部５１は、例えば車両１の運転席の前方の車幅方向の中央付近の操作パネル周辺に設置される。なお、移動体としての車両１には、不図示のナビゲーションシステムや、オーディオシステムなどが搭載されている。

そして、例えば第２表示部には、ナビゲーションシステムや、オーディオシステムや走行制御部（ＥＣＵ）６０からの各種制御信号なども表示することができる。また、タッチパネルや操作ボタンを備え、ユーザからの指示を取得可能な構成としている。
なお、第２表示部５１は例えばタブレット端末の表示部であってもよく、統合処理部４０に対して有線で接続することにより表示することもできるし、通信部６２を介して無線で画像を受信して表示することもできる。

なお、第１表示部５０、第２表示部５１のディスプレイパネルとしては、液晶ディスプレイや有機ＥＬディスプレイなどを用いることができる。なお、表示部の数は３つに限定されない。
なお、統合処理部４０などに含まれる機能ブロックの一部または全部をハードウェアで実現するようにしてもよいし、ＣＰＵ４２に、メモリ４３に記憶されたコンピュータプログラムを実行させることによって実現してもよい。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

なお、画像処理部３１ａ～３４ａで行っている画像処理の一部または全部を統合処理部４０の画像処理部４１ａで行ってもよい。即ち、本実施形態では、例えば画像取得手段と第１の画像認識手段とは同じカメラユニットの筐体に収納されており、カメラユニットと第２の画像認識手段とは別の筐体に収納されている。しかし、例えば第１の画像認識手段を第２の画像認識手段と共に統合処理部４０の筐体に収納してもよい。

なお、本実施形態では統合処理部４０は移動体としての車両１に搭載されているが、統合処理部４０の画像処理部４１ａ、認識部４１ｂ、統合制御部４１ｃの一部の処理を例えばネットワークを介して外部サーバなどで行ってもよい。その場合、例えば画像取得手段としての撮像部２１～２４は移動体としての車両１に搭載されるが、例えばカメラ処理部３１～３４や統合処理部４０の機能の一部を外部サーバなどで処理することが可能になる。また、統合処理部４０の一部または全部の機能を走行制御部（ＥＣＵ）６０に持たせることも可能である。

６１は記録部であり、統合処理部４０で生成された撮像部２１～２４毎の全体画像や、パノラマ的な合成画像を記録する。さらに、認識された対象物を示す所定の枠や文字や警告などのＣＧや、ＣＧが重畳され第１表示部５０，第２表示部５１などに表示された画像を時刻などやＧＰＳ情報などと共に記録する。
統合処理部４０は記録部６１に記録された過去の情報を再生し、それを第１表示部５０や第２表示部５１に表示することも可能である。

６２は通信部であり、ネットワークを介して外部サーバなどと通信するためのものであり、記録部６１に記録される前の情報や記録部６１に記録された過去の情報を外部サーバなどに送信して外部サーバなどに保存することが可能である。また、前述のように画像を外部のタブレット端末などに送信して、タブレット端末の表示部である第２表示部５１に画像を表示することもできる。また、外部サーバなどから渋滞情報や、各種の情報を取得して、統合処理部４０を介して第１表示部５０や第２表示部５１に表示することも可能である。
６３は操作部でありユーザの操作によって画像処理システムに対する様々な指示を入力するためのものである。操作部は例えばタッチパネルや操作ボタンなどを含む。

図４は実施形態１のカメラユニットの撮像素子の受光面と高解像度領域と低解像度領域の対応関係を説明するための図である。
図４（Ａ）は実施形態１における、後方のカメラユニット１３の光学系と撮像素子の受光面１３０との関係の例を示す図であり、図４（Ｂ）は実施形態１における後方のカメラユニット１３の歪曲補正後の画像の例を示す図である。

一方、図４（Ｃ）は実施形態１における、左側面のカメラユニット１４の光学系と撮像素子の受光面１４０との関係の例を示す図であり、図４（Ｄ）は実施形態１における、左側面のカメラユニット１４の歪曲補正後の画像の例を示す図である。

図４（Ａ）においては、例えば後方のカメラユニット１３の撮像素子の受光面１３０に対して図２（Ａ）で示すような像が結像する。その際に撮像素子の受光面１３０の略中央と高解像度領域１０ａの重心（光学系の光軸）はほぼ重なるように配置されている。なお、９３は高解像度領域１０ａと低解像度領域１０ｂの境界を説明のために示したものであり、境界９３の重心は例えば後方のカメラユニット１３の撮像素子の受光面１３０の略中央とほぼ一致する。なお、本実施形態では、境界９３（高解像度領域１０ａ）の重心は光学系の光軸が受光面と交わる位置と一致しているが、一致していなくてもよい。

従って、図４（Ｂ）に示されるような後方のカメラユニット１３からの画像信号を歪曲補正した後の画像１３１についても、境界９３の中心は画面のほぼ中央に配置される。なお、低解像度領域（高歪曲領域）１０ｂの画像を歪曲補正する際に、高解像度領域１０ａの画像も歪曲補正しても良いが、高解像度領域１０ａの画像は歪曲補正しなくても良い。ただし、その場合に、歪曲補正しない高解像度領域１０ａの画像と歪曲補正した低解像度領域（高歪曲領域）１０ｂの画像を合成する際に、境界部分をスムーズにつなぎ合わせるための処理が必要になる。

なお、本実施形態における歪曲補正とは、歪曲を減らすための補正処理であって、歪曲がゼロにならないものも含み、例えば周辺部などの一部に歪曲が残っている場合もあり得る。
また、歪曲補正をしない領域は図４（Ｂ）のように円形の高解像度領域（低歪曲領域）１０ａに限定されない。矩形などの他の形状でもよいし、大きさや位置も変更可能としてもよい。

このように、例えば後方のカメラユニット１３の撮像画角１３ａの画像は、図４（Ａ）に示すように、受光面１３０の高解像度領域（低歪曲領域）１０ａに結像する。また、撮像画角１３ｂの画像は受光面１３０の低解像度領域（高歪曲領域）１０ｂに結像する。なお、正面のカメラユニット１１についても図４（Ａ）、図４（Ｂ）と同様の関係が成り立つ。

一方、図４（Ｃ）のように、本実施形態においては、左側面のカメラユニット１４の高解像度領域（低歪曲領域）１０ａの重心を撮像素子の受光面１４０の中心から図中上側（第１の方向）にずれるように配置している。すなわち、左側面のカメラユニット１４においては、境界９３の重心を撮像素子の受光面１４０の中心から図中上側（第１の方向）にずれるように光学系と撮像素子が配置されている。このとき第1の方向をけられ方向Ｆとも呼ぶ。このようにすることで、撮像素子上に結像する低解像度領域１０ｂの範囲を制御することができる。図４（ｃ）では、けられ方向Ｆとは反対方向に低解像度領域１０ｂの撮像可能範囲を広げることができる。

なお、本実施形態においては、撮像素子の受光面１４０には複数の画素が行及び列状に配置されており、所定の行の前記画素から順次行毎に所定の第２の方向（垂直走査方向）に読出しを行うように構成されている。また、受光面は長方形であって、長手方向の画素数は短手方向の画素数よりも多い。また、撮像素子の受光面の各画素で光電変換された電荷信号は長方形の長手方向を左右としたときに左上端から右下端に向かって順次行毎に読出される。ここで本実施形態においては、前記第１の方向は、前記第２の方向とは反対の方向としている。

従って歪曲補正後の画像１４１についても、図４（Ｄ）に示されるように、境界９３の重心は画面のほぼ上側にずれている。これにより、図４（Ｃ）、図４（Ｄ）の上方向（けられ方向Ｆ）の画角は一部がけられる反面、下側の画角は図４（Ａ）の例よりも広げることができる。従って撮像素子の受光面の画素を有効に利用することができる。なお、右側面のカメラユニット１２についても図４（Ｃ）、図４（Ｄ）と同様の関係が成り立つ。

なお、本実施形態では第１の方向は、第２の方向とは反対の方向としているが同じ方向であってもよい。ただし、その場合には、画像の向きを変換するための処理が必要になる。また、第１の方向を、第２の方向と直交する方向としてもよい。ただし、その場合には画素数を最大限有効に使えない場合がある。或いは第１の方向と第２の方向は適宜の角度に設定しても良い。

図５～図７は左側面のカメラユニット１４の配置例を説明するための図であり、図５はカメラユニット１４の撮像素子を縦に配置し、光学系の光軸を車両１の左後方の、水平より少し下に向けて配置した実施形態１の例を示す図である。また、図５（Ａ）は実施形態１において車両１を上方向から見た図、図５（Ｂ）は実施形態１において車両１を左側面方向から見た図である。

図５の例では図４（Ｃ）における撮像素子の上側（けられ方向Ｆ）が、図５（Ａ）のように車両１の方向を向くように配置されている。即ち、第１の方向（けられ方向Ｆ）が鉛直線に直交する方向であって、前記移動体の方向に向けて配置されている。
このように配置することによって、非着目領域としての車体部分を撮像素子上に結像させないことができ、撮像可能な低解像度領域１０ｂに対応した撮像画角１４ｂが左側前方まで広がるため、左前側の障害物などを認識しやすくすることができる。

また、図５の配置では、高さ方向（Ｚ方向）の画素数が車両１の短軸方向（Ｙ方向）の画素数より多くなり、車両１の長軸方向（Ｘ方向）については光学系の光軸が車両１の側線より外側を向くように配置されている。なお、図５～７において光軸は一点鎖線で示されている。また、車両の高さ方向（Ｚ方向）については、光学系の光軸が水平方向または前記水平方向より下を向くように配置されている。

このように配置することによって、けられる画角が車両側となり、車両１の一部が画面に表示されるので他の対象物との相対的な距離感をつかみやすくなると共に、前側方の表示画角を広げることができるので撮像素子の受光面を有効に使うことができる。
また、電子ルームミラー用表示として高解像度領域１０ａを多く用いることができるため、ドライバーが後側方を精細に確認できると共に、低解像度領域１０ｂで前側方の死角の撮像を両立できる効果がある。

すなわち、図５のような配置にした場合には、車両１の高さ方向について、低解像度領域１０ｂの画角内に前輪を含めることができるので、前側方の死角を十分に視認でき、狭いスペースに駐車する場合などに非常に有効である。
なお、図５では左側方のカメラユニット１４について説明したが、右側方のカメラユニット１２についても左右対称の関係に配置にすることができ、その場合には同様の効果が得られる。

なお、図５のような配置にした場合には、統合処理部４０の画像処理部４１ａは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき、カメラユニット１４からの画像を回転して表示する。また、必要に応じて後方のカメラユニット１３からの画像と合成して表示する。

一方、カメラユニット１２が図５と左右対称に取り付けられている場合には、カメラ情報のカメラの配置位置と姿勢情報に基づき、カメラユニット１２からの画像を回転して表示する。また、必要に応じて後方のカメラユニット１３からの画像と合成して表示する。なお、画像処理部４１ａは、カメラの配置位置と姿勢情報に基づき、カメラユニット１１，１３からの画像については画像を回転しないでそのまま表示する。或いは、他の画像との合成を行う。

［実施形態２］
次に図６はカメラユニット１４の撮像素子を縦に配置し、光学系の光軸を車両１の左後方の、ほぼ真下に向けて配置した実施形態２の例を示す図である。また、図６（Ａ）は実施形態２において車両１を上方向から見た図、図６（Ｂ）は実施形態２において車両１を左側面方向から見た図、図６（Ｃ）は実施形態２において車両１を正面から見た図である。

図６の例でも図４（Ｃ）における撮像素子の上側（けられ方向Ｆ）が、図６（Ａ）、（Ｃ）のように、車両１の方向を向くように配置されている。
また、図６の配置では、車両１の長軸方向（Ｘ方向）についての画素数が車両１の短軸方向（Ｙ方向）の画素数より多くなり、図６（Ｃ）のように、車両１の短軸方向（Ｙ方向）について、光軸は鉛直下向きよりも外側に向いている。また、車両の高さ方向（Ｚ方向）については、光学系の光軸が略鉛直方向に沿った下方向を向くように配置されている。但し、図６（Ｃ）のように、車両１の側方においては、光軸は鉛直方向から外側に傾いている。

このように車両１の側の高解像度領域１０ａに対応する撮像画角１４ａにけられ方向を向けることにより、図６（Ｃ）のように、正面から見たときに、高解像度領域１０ａに対応する撮像画角１４ａが例えば５０度のように少し狭くなる。しかし、図６（Ｂ）のように、低解像度領域１０ｂに対応した撮像画角１４ｂは車両１の前方下側から後方下側までが撮像することができるため、下側の障害物などについては図５の例よりも認識しやすくなる。

また、前方側方の死角に高解像度領域１０ａに対応する撮像画角１４ａが割り当てられているため、前方側方の死角を高解像で確認することができる。
更に、車両１の短軸方向（Ｙ方向）については高解像度領域１０ａに対応する撮像画角１４ａに車体の一部が入り込むので障害物などの距離感を把握しやすい。また、車両１の周囲の下側のアラウンドビュー画像を得るためには撮像素子の受光面を有効に使うことができ、特に大型のトラックなどの場合の死角を大幅に減らすことができる。

なお、図６でも左側方のカメラユニット１４について説明したが右側方のカメラユニット１２についても左右対称の配置にすることができ、その場合には同様の効果が得られる。
なお、図６のような配置にした場合には、統合処理部４０の画像処理部４１ａは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき、カメラユニット１４からの画像を回転させる。また、必要に応じて後方のカメラユニット１３からの画像と合成して表示する。

一方、右側方のカメラユニット１２が図６と左右反対に取り付けられている場合には、カメラ情報のカメラの配置位置と姿勢情報に基づき、カメラユニット１２からの画像を回転して表示する。また、必要に応じて後方のカメラユニット１３からの画像と合成して表示する。

［実施形態３］
次に図７はカメラユニット１４の撮像素子を横に配置し、光学系の光軸を車両１の左後方の、水平より少し下に向けて配置した実施形態３の例を示す図である。また、図７（Ａ）は実施形態３において車両１を上方向から見た図、図７（Ｂ）は実施形態３において車両１を左側面方向から見た図である。

図７の例では図４（Ｃ）における撮像素子の上側（けられ方向Ｆ）が、図７（Ｂ）のように上空の方向を向くように配置されている。即ち、けられ方向Ｆが水平面に対して上側に向くように配置されている。このとき撮像素子の第２の方向（行順次読出し方向）は前記水平面に対して下側に向けられる。

このように配置することによって、非着目領域としての上空方向をケラレ方向とすることができる。そして、図７（Ｂ）のように高解像度領域１０ａに対応した撮像画角１４ａが例えば５０度のように少し狭くなる一方、左側の低解像度領域１０ｂに対応した撮像画角１４ｂは左側前方まで広がることになり、左前側の障害物などを認識可能となる。

また、図７の配置では、短軸方向（Ｙ方向）の画素数は、車両１の高さ方向（Ｚ方向）の画素数より多くなり、車両１の長軸方向（Ｘ方向）については光学系の光軸が車両１の側線より外側を向くように配置されている。また、車両１の高さ方向（Ｚ方向）については光学系の光軸が平行または水平線より下方に向けられている。

このように配置することによって、けられる画角が障害物などの少ない上空側となり、撮像素子の受光面を有効に使うことができる。
また、電子ルームミラー用表示として高解像度領域１０ａを多く用いることができるため、ドライバーが後方を精細に確認できると共に、低解像度領域１０ｂに対応した撮像画角１４ｂで前側方の死角の撮像を両立できる効果がある。

また、車両１の長軸方向（Ｘ方向）については、高解像度領域１０ａに対応した撮像画角１４ａが車両１の一部を含むため、障害物などの距離感を把握しやすい。また、車両１の高さ方向（Ｚ方向）についても、低解像度領域１０ｂの撮像画角１４ｂ内に前輪を含めることができるので、前側方の死角を十分に視認でき、狭いスペースに駐車する場合などに非常に有効となる。

なお、図７でも左側方のカメラユニット１４について説明したが、右側方のカメラユニット１２についても左右対称の配置にすることができ、同様の効果が得られる。
なお、図７のような配置にした場合には、統合処理部４０の画像処理部４１ａは、カメラ情報の中の特にカメラの配置位置と姿勢情報に基づき、カメラユニット１４が図６のように配置されている場合には画像の回転をせずに表示する。また、必要に応じて後方のカメラユニット１３からの画像と合成して表示する。

なお、右側方のカメラユニット１２が図６と左右反対に取り付けられている場合には、カメラ情報のカメラの配置位置と姿勢情報に基づき、カメラユニット１２からの画像を回転しないで表示する。また、必要に応じて後方のカメラユニット１３からの画像と合成して表示する。

以上のように、実施形態１～３によれば、高解像度領域１０ａと低解像度領域（高歪曲領域）１０ｂを有する光学系の高解像度領域１０ａの重心を撮像素子の受光面の中心から意図的にずらしている。そして、それによって、画角の一部がけられるようにすると共に、反対側の画角を広げている。
即ち、けられる方向（第１の方向）を着目領域以外の方向に向けて設置しているので撮像画角を最適化でき撮像素子の画素を最大限有効に用いることができる。

しかも用途や配置位置に応じて、高解像度領域１０ａの重心と撮像素子の受光面の中心のずらし量などを変更できる。例えば前方のカメラユニット１１や後方のカメラユニット１３の場合には上記のずらし量を小さく或いはゼロにすることで図４（Ａ）、（Ｂ）のようにすることができる。一方、右側方のカメラユニット１２や左側方のカメラユニット１４の場合には図４（Ｃ）、（Ｄ）のようにずらし量を大きくすることが簡単にできる。

また例えば大型車両の場合と小型車両の場合で上記のずらし量などを適宜変更するだけで対応できる。また、設置する移動物体として車両の場合とドローンなどの場合でもずらし量の設定を変えるだけで対応が可能になる場合があり、光学系の設計を用途等に応じて変更するものに比べて柔軟性が高いというメリットもある。

なお、ここで着目領域は、例えば車両１の側面にカメラユニットを設置する場合には、例えば車両１の側方の斜め後方や車輪の外側周辺など障害物などが想定される領域を含む。一方、けられる方向（第１の方向）は着目領域以外の自身の車両１の方向（或いは設置位置側の方向）や上空の方向となっている。ただし、カメラユニットを設置する用途によって着目領域は変化する。

以上のように実施形態１～３では、高解像度領域（低歪曲領域）１０ａは、上述のように通常の撮像用の光学系の中心射影方式（ｙ＝ｆ×ｔａｎθ）または等距離射影方式（ｙ＝ｆ×θ）に近似した射影特性となるように構成されている。したがって、例えば第１表示部５０や第２表示部５１に表示される高解像度領域（低歪曲領域）１０ａの画像は、解像度が低解像度領域（高歪曲領域）１０ｂと比較して高く、車両１の正面、側方、後方の遠方を、より精細に表示することができる。しかも画角の異なる複数のカメラユニットを用いる場合に比べてコスト、処理効率、小型化等において優れている。

また、高解像度領域１０ａは光学歪曲が小さいため、第１表示部５０に表示される電子ルームミラー用の画像も歪みが小さい状態で表示することができ、車両の周囲を運転者がより自然な遠近感で視認できる。

また、実施形態における高解像度領域１０ａは、光学歪みが小さくなるように構成されており、歪曲補正をしないＲＡＷ画像信号の状態で画像認識ができるので、画像認識のための処理負荷を低減し高速で画像認識をすることができる。したがって画像認識結果に基づき障害物を早期に発見でき、障害物を回避するための動作をタイムリーに行える。このように、本実施形態の構成を用いた場合には、特に高速道路などでの高速走行時において大きな効果を得ることができる。

また、以上の実施形態では歪曲補正を行うか行わないかの二者択一の選択をする例を説明したが、歪曲補正を行わない場合は歪曲補正率が所定値Ｘ１より低い場合を含む。また、歪曲補正を行う場合は歪曲補正率が所定値Ｘ２（但しＸ２はＸ１以上）より高い場合を含み、Ｘ１を例えば１０％、Ｘ２を例えば９０％などとしてもよい。また、２種類の歪曲補正率を選択するものに限らず、歪曲補正率を徐々に変更できる構成にしてもよい。本発明の実施形態はそのようなものも含む。

なお、以上の実施形態では複数のカメラユニットを用いる例を説明したが、カメラユニットが１つだけのシステムにおいても有効である。
なお、歪曲補正をする領域と歪曲補正をしない領域の境界を示すための境界画像を例えば通常走行中などに表示可能としてもよい。

特に、歪曲補正の有無による境界部分の画像のずれや、歪曲補正領域と非歪曲補正領域とで露光タイミング差によって輝度段差が目立つ場合には、違和感を低減するために上記のような境界画像を表示してもよい。その場合に、境界画像の線の幅や濃度や色なども、歪曲補正領域と非歪曲補正領域の間の違和感を低減するように変更してもよい。また、境界画像の大きさ、形状に応じて、歪曲補正領域における歪曲補正率を調整し、静止した物体について歪曲補正領域と非歪曲補正領域の画像がスムーズにつながるようにしてもよい。

また、通常走行時以外にも前述のように歪曲補正しない領域をユーザが予め設定する場合や、各カメラユニットの姿勢などを調整する工程において、上記の境界画像を表示するようにしてもよい。それによって歪曲補正領域と非歪曲補正領域の境界が明確になり、調整作業を効率化することができる。

なお、上述の実施形態においては車両などの移動体に画像処理システムを搭載した例について説明した。しかし、これらの実施形態の移動体は、自動車などの車両に限らず、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動装置であれば、どのようなものであってもよい。また、実施形態の画像処理システムはそれらの移動体に搭載されていてもよいし、搭載されていなくてもよい。また、例えば移動体をリモートでコントロールする場合にもこれらの実施形態の構成を適用することができる。

［実施形態４］
上述した実施形態１～３において説明された様々な機能、処理および方法の少なくとも一つは、プログラムを用いて実現することができる。以下、実施形態４では、上述した実施形態１おいて説明された様々な機能、処理および方法の少なくとも一つを実現するためのプログラムを「プログラムＸ」と呼ぶ。さらに、実施形態４では、プログラムＸを実行するためのコンピュータを「コンピュータＹ」と呼ぶ。パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などは、コンピュータＹの一例である。上述した実施形態における画像処理システムなどのコンピュータも、コンピュータＹの一例である。

上述した実施形態１～３において説明された様々な機能、処理および方法の少なくとも一つは、コンピュータＹがプログラムＸを実行することによって実現することができる。この場合において、プログラムＸは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＹに供給される。実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。さらに、実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

１：車両
１０ａ：高解像度領域
１０ｂ：低解像度領域
１１～１４：カメラユニット
２１～２４：撮像部
３１～３４：カメラ処理部
３１ｂ～３４ｂ：認識部
４０：統合処理部
４１ｂ：認識部
５０：第１表示部
５１：第２表示部
６０：走行制御部ＥＣＵ

Claims (21)

1. カメラユニットの設置方法であって、
   前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
   前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第１の方向にずれるように配置されており、
   前記第１の方向を所定の着目領域以外の方向に向けて前記カメラユニットを設置することを特徴とするカメラユニットの設置方法。
2. 前記高解像度領域と前記低解像度領域は低歪曲領域と高歪曲領域にそれぞれ対応していることを特徴とする請求項１に記載のカメラユニットの設置方法。
3. 前記光学系の焦点距離をｆ、半画角をθ、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
   前記低歪曲領域におけるｙ（θ）はｆ×θより大きいことを特徴とする請求項２に記載のカメラユニットの設置方法。
4. 前記高解像度領域と前記低解像度領域は射影特性が互いに異なることを特徴とする請求項１～３のいずれか１項に記載のカメラユニットの設置方法。
5. 前記光学系の焦点距離をｆ、θｍａｘを前記光学系が有する最大の半画角、像面での像高をｙ、像高ｙと半画角θとの関係を表す射影特性をｙ（θ）とするとき、
   １＜ｆ×ｓｉｎθｍａｘ／ｙ（θｍａｘ）≦１．９
   を満足することを特徴とする請求項１～４のいずれか１項に記載のカメラユニットの設置方法。
6. 前記撮像手段の前記受光面には複数の画素が行及び列状に配置されており、所定の行の前記画素から順次行毎に所定の第２の方向に読出しを行うように構成されており、前記第１の方向は、前記第２の方向とは反対の方向であることを特徴とする請求項１～５のいずれか１項に記載のカメラユニットの設置方法。
7. 前記第１の方向が水平面に対して上側に向くように配置されることを特徴とする請求項１～６のいずれか１項に記載のカメラユニットの設置方法。
8. 前記カメラユニットは移動体に設置され、前記第１の方向が前記移動体の方向を向くように配置されることを特徴とする請求項１～７のいずれか１項に記載のカメラユニットの設置方法。
9. 前記光学系の光軸が水平方向または前記水平方向より下を向くように配置されることを特徴とする請求項１～８のいずれか１項に記載のカメラユニットの設置方法。
10. 前記光学系の光軸が鉛直方向に沿って下を向くように配置されることを特徴とする請求項９に記載のカメラユニットの設置方法。
11. 前記カメラユニットは、前記カメラユニットの位置と姿勢の情報を保持する保持手段を有することを特徴とする請求項１～１０のいずれか１項に記載のカメラユニットの設置方法。
12. カメラユニットと、該カメラユニットが取り付けられる移動体本体を備える移動体であって、
    前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
    前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第１の方向にずれるように配置されており、
    前記カメラユニットは、前記第１の方向が所定の着目領域以外の方向を向くように設置されていることを特徴とする移動体。
13. 前記カメラユニットは、前記第１の方向が水平面に対して上側に向くように設置されていることを特徴とする請求項１２に記載の移動体。
14. 前記カメラユニットは、前記第１の方向が前記移動体本体の方向を向くように設置されていることを特徴とする請求項１２または１３に記載の移動体。
15. カメラユニットと、前記カメラユニットの位置と姿勢情報に基づき前記カメラユニットから得られた画像信号を処理する画像処理手段を有する画像処理システムであって、
    前記カメラユニットは、中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
    前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第１の方向にずれるように配置されており、
    前記カメラユニットは、前記第１の方向が所定の着目領域以外の方向を向くように設置されていることを特徴とする画像処理システム。
16. 前記光学系の特性情報を保持する保持手段を有し、
    前記画像処理手段は、少なくとも前記特性情報に基づき前記撮像手段からの画像信号に対して歪曲補正をすることを特徴とする請求項１５に記載の画像処理システム。
17. 前記画像処理手段は、前記撮像手段からの画像信号に対して画像認識をすることを特徴とする請求項１５又は１６に記載の画像処理システム。
18. 前記画像処理手段は、複数の前記カメラユニットからの画像信号を合成して合成画像を生成すると共に、前記合成画像に対して前記画像認識をすることを特徴とする請求項１７に記載の画像処理システム。
19. 少なくとも２つの前記カメラユニットの撮影範囲が互いに重複するように配置されていることを特徴とする請求項１８に記載の画像処理システム。
20. カメラユニットからの画像信号を処理する画像処理方法であって、
    前記カメラユニットは、
    中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
    前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第１の方向にずれるように配置されており、
    前記カメラユニットは、前記第１の方向が所定の着目領域以外の方向を向くように設置されており、
    前記カメラユニットの姿勢に基づき前記カメラユニットから得られた画像信号を処理する画像処理ステップを有することを特徴する画像処理方法。
21. カメラユニットからの画像信号を処理する画像処理システムのコンピュータに、以下のステップを行わせるためのコンピュータプログラムであって、
    前記カメラユニットは、
    中央部に高解像度領域を有し、周辺部に低解像度領域を有する光学像を撮像手段の受光面に形成する光学系を有し、
    前記光学系と前記撮像手段は、前記高解像度領域の重心が前記受光面の中心から第１の方向にずれるように配置されており、
    前記カメラユニットは、前記第１の方向が所定の着目領域以外の方向を向くように設置されており、
    前記ステップは、前記カメラユニットの姿勢に基づき前記カメラユニットから得られた画像信号を処理する画像処理ステップを含むことを特徴とするコンピュータプログラム。
    
    

Images