JP5872171B2 - カメラシステム - Google Patents

Description

本発明は、魚眼レンズを用いたカメラ装置で撮影した画像を表示装置に伝送して表示するカメラシステムに関する。

魚眼レンズは１８０°前後の画角（視野角）を持ち、ほぼ水平の視野を一度に画像センサなどに取り込める。そのため、少ないカメラ数（低コスト）で広範囲を撮影できるので監視カメラやテレビ会議用カメラなどにおける応用を期待されている。さらに最近では、車両の周囲をモニタするカメラにも魚眼レンズが利用され始めている。魚眼レンズなどの広角レンズを用いたカメラシステムでは、次のような技術が提案されている。

特許文献１に開示される撮像データの圧縮方法は、広角レンズにより撮像された円形画像を含む四角形の撮像画像に基づいて、その所定の円形範囲内の複数の画素データが割り付けられ且つ四角形の撮像画像より画素数が少ない四角形の縮小画像を生成するステップと、四角形の縮小画像を圧縮するステップとを有するものである。これにより、広角レンズを用いて撮像される四角形の撮像画像は、それよりも画素数が少ない縮小画像に変換された上で圧縮されるので、圧縮後のデータ量は、撮像画像そのものを圧縮した場合にくらべて削減されると述べられている。

特許文献２に開示される画像提示方法は、視線方向及び画角を含む視野情報がリアルタイムで入力するステップと、入力された視野情報から視線方向に直交し画角によって決まる広さの平面からなる描画領域を算出するステップと、算出された描画領域の各画素位置に対応する魚眼画像中の画素位置をそれぞれ求めることにより描画領域に魚眼画像から歪みを除去した正規化画像を形成するステップを有する。これにより、正規化される対象画素が限定され、高速な動画描画が可能になるとと述べられている。

特開２００７−３１８５９７号公報 特開２００５−３３９３１３号公報

一般にカメラシステムはカメラ装置（撮像装置）とこれを表示する表示装置で構成されるが、カメラ装置に魚眼レンズを用いる場合には、撮影された魚眼画像の歪み補正を行った上で表示する必要がある。その場合の歪み補正などの画像処理は、表示装置内で実行されることが多い。一方、カメラ装置と表示装置が離れて設置されている場合には、画像データをカメラ装置から表示装置へケーブル等で伝送しなければならない。その際、カメラ数が増加すると伝送すべきデータ量も増加し、ケーブルへの負荷が増大する。これに関しては、画像圧縮等により画像データを効率的に削減して伝送することが必要となる。

上記特許文献１では、画素数が少ない縮小画像に変換するために、例えば撮像画像における所定の円形領域から左右及び下にはみ出している画素を、四角形の縮小画像の四隅の領域に移動させる操作を行うものである。これにより画像データ量は削減され、その後圧縮処理されるが、魚眼レンズによる撮影画像の歪みは残留したままとなっている。また特許文献１では、静止画像の圧縮技術で圧縮することを前提としており、動画像の圧縮時に使用する動き補償との関連性については考慮されていない。

上記特許文献２では、魚眼画像から画像歪みを除去して正規化画像を形成するためのアルゴリズムを記載するものであるが、このような処理は画像を表示する画像提示装置にて行われる。すなわち、魚眼撮影装置から画像提示装置までは撮像されたままの非圧縮状態で伝送されるものと推測され、伝送データ量の削減については考慮されていない。

このように従来の技術では、魚眼レンズ使用に伴う画像歪み補正と伝送データ量の低減を両立することは困難であった。

本発明の目的は、魚眼レンズ使用に伴う画像歪みを補正し動画像を効率良く圧縮することで伝送データ量を低減するカメラシステムを提供することにある。

本発明は、カメラ装置で撮影した画像を表示装置へ伝送して表示するカメラシステムであって、カメラ装置は、魚眼レンズを使用するレンズ部と、魚眼レンズで撮影した歪曲収差のある画像を歪曲収差が小さくなるように歪補正処理を行う歪補正部と、歪補正部から出力された画像を圧縮符号化するエンコード部を備える。また表示装置は、カメラ装置のエンコード部で圧縮符号化された画像を伸長復号化するデコード部と、デコード部から出力された画像を表示する表示部を備える。

本発明によれば、魚眼レンズで撮影された画像の画像歪みを補正するとともに、画像データを伝送する伝送路の負荷を軽減することができる。

本発明によるカメラシステムを適用した車載カメラシステムの一実施例を示す模式図。 カメラ装置２の取り付け位置と視野角を示す車両平面図。 車載カメラシステムのブロック構成図（実施例１）。 歪補正部２４による歪補正処理なしで圧縮処理を行う場合を示す図（比較例）。 歪補正部２４による歪補正後に圧縮処理を行う場合を示す図。 車載カメラシステムのブロック構成図（実施例２）。

図１は、本発明によるカメラシステムを適用した車載カメラシステムの一実施例を示す模式図である。車載カメラシステムは、車両１に、カメラ装置（撮像装置）２と表示装置４を取り付け、両者をケーブル３で接続した構成である。カメラ装置２には魚眼レンズを使用しており、魚眼レンズで撮影した動画像に、歪補正、視点変換、飛び出し検出、障害物検出、白線認識、標識認識、車両の上から全体を俯瞰した画像を作成するなどの画像処理を行う。画像処理後の動画像データはケーブル３で運転席近くの表示装置４へ伝送し、運転者への運転支援情報として表示する。後述するように、カメラ装置２にはエンコード部、表示装置４にはデコード部を備えることで、ケーブル３を伝送する画像データを圧縮符号化してその伝送帯域幅を削減し、比較的安価なイーサネット（登録商標）ケーブルの採用を可能にしている。なお、ケーブル３としては他の有線ケーブルでも良いし、ＷｉＦｉ（登録商標）のように無線で伝送する形態としても良い。

次に、図１の車載カメラシステムを使用して、右側への車線変更時に運転者が違和感なく確認できるように、後ろサイドの画像の歪を補正してからカーナビのモニタなどで表示する例を説明する。

図２は、カメラ装置２の取り付け位置と視野角を示す車両平面図である。図面左方向が車両進行方向とする。本実施例では運転席右側の車体側面（サイドミラー近傍）に、視野角略１８０°となる魚眼レンズを搭載したカメラ装置２を設置している。
以下、車載カメラシステムの内部構成と動作について２つの実施例で説明する。

図３は、図１の車載カメラシステムのブロック構成図である。カメラ装置２は、レンズ部２１、センサ部２２、信号処理部２３、歪補正部２４、エンコード部２５、送信部２６を備える。表示装置４は、受信部４１、デコード部４２、表示部（モニタ）４３を備える。ケーブル３は、カメラ装置２の送信部２６と表示装置４の受信部４１とを接続する。

まず、カメラ装置２の構成を説明する。レンズ部２１は魚眼レンズで広範囲の外部光を集光し、センサ部２２にある受光素子で集光した外部光を電気信号（画像）に変換する。信号処理部２３は、撮影した画像の撮像ノイズの除去、コントラスト補正、ホワイトバランスの調整などの高画質化の信号処理を行う。

歪補正部２４は、信号処理後の画像に歪補正処理を行う。ここで歪補正処理とは、魚眼レンズで撮影された特有の歪曲収差のある画像を、歪曲収差が小さくなるように補正する手法であり、一例として特許文献２に記載される方法を用いても良い。

エンコード部２５は、歪補正処理を行った画像のデータ圧縮と符号化処理（エンコード処理）を行う。ここで圧縮方式としては、ＭＰＥＧ２やＨ．２６４などの既知の圧縮方式を用いることができる。送信部２６は、圧縮符号化した画像データを伝送方法に適したパケット化（例えば、イーサネット（登録商標）ケーブルの場合はＲＴＰパケット等）して、ケーブル３に出力する。

次に、表示装置４の構成を説明する。受信部４１は、ケーブル３から受信したパケット化された画像データのデパケッタイズ処理を行う。デコード部４２は、前記エンコード部２５の圧縮方式に対応する方式で画像データの伸長復号化（デコード処理）を行う。表示部４３は、カーナビ、モニタ、ＴＶなどの画像表示機器が相当し、デコード部２５からの画像を表示する。

本実施例では、カメラ装置２において、歪補正部２４にて魚眼画像の歪補正処理を行った後、エンコード部２５にて画像の圧縮符号化処理を行うことに特徴がある。これにより、圧縮符号化処理後のデータ量を大幅に削減し、ケーブル３の負荷を軽減することができる。以下、その理由を説明する。

エンコード部２５では、動き補償を利用して画像圧縮を行う。動き補償とは、時間軸で先行する前の画像から現在の画像を予測する技術（フレーム間予測）であり、ＭＰＥＧ２やＨ．２６４などの動画像の圧縮方式で採用されている。フレーム間予測を用いた圧縮では、現在の画像と前の画像を動き量だけ動かして作成した予測画像の差分（誤差）だけを符号化すれば良いので、符号量を大幅に削減し高い圧縮効率を達成できる。具体的には、現在の画像を１６×１６画素などの矩形ブロックに分割して、その矩形ブロック毎に前の画像から最も誤差の少ない場所を探索し、その動き量を動きベクトルとして符号化する。一般に、動き補償は平行移動を仮定した圧縮方法のため、フレーム間で被写体が平行移動する場合は、差分が小さくなるので必要データ量が少なく圧縮効率は向上する。これに対しフレーム間で被写体が回転や拡大・縮小する場合は、差分が大きくなるので必要なデータ量が多く圧縮効率は悪化する。

本実施例では、エンコード部２５の前に歪補正部２４を配置し、魚眼画像の歪補正処理を先に行うことで、フレーム間の差分を小さくし、圧縮効率を向上させるようにした。

図４は、比較のために歪補正部２４による歪補正処理なしで圧縮処理を行う場合を示す図である。
上部の矢印は時間軸を表し、１０１と１０２は魚眼レンズで撮影した画像であり、１０１は時間軸で先行する前の画像、１０２は現在の画像である。また、後方サイドの確認のために表示装置４で表示する範囲をそれぞれ点線１１１と１１２で示す。ここで表示範囲１１１，１１２は扇形状となっているが、表示装置４内の歪補正処理により矩形状に変換されることになる。また、この表示範囲１１１，１１２の画像を圧縮処理する際に取り込む画像の範囲を１２１，１２２で示す。

ここで、画像１２１と１２２の間で圧縮処理を行う場合の動き補償の効率について述べる。現在の画像１２２の符号化したい矩形ブロックを１３２とすると、前の画像１２１内の最も誤差の少ないブロックが１３１であり、両者間の動きベクトルが１４０となる。矩形ブロック１３２と１３１の内部の絵柄を比較すると、絵柄が回転運動しており差分値（誤差）が大きく発生し、動き補償の効率が低下してしまう。これは、車両は平行移動しているにもかかわらず、魚眼レンズ特有の歪曲収差のため撮影画像では被写体が回転移動になるからである。その結果、圧縮後の符号量が多くなり、圧縮効率が低下してしまう。

図５は、本実施例において歪補正部２４による歪補正後に圧縮処理を行う場合を示す図である。
上部の矢印は時間軸を表し、２０１と２０２は魚眼レンズで撮影した画像であり、２０１は時間軸で先行する前の画像、２０２は現在の画像である。また、後方サイドの確認のために表示部４３で表示する範囲をそれぞれ点線２１１と２１２で示す。なお、画像２０１，２０２、点線２１１，２１２は、それぞれ前記図４の画像１０１，１０２、点線１１１，１１２とほぼ等しい範囲となる。歪補正部２４は撮影画像の歪補正処理を行い、点線２１１の範囲の画像が２２１の画像に、また点線２１２の範囲の画像が２２２の画像に変換される。画像２２１，２２２の範囲は表示部４３で表示する範囲にほぼ等しい矩形状となっている。

ここで、歪補正処理後の画像２２１と２２２の間で圧縮処理する場合の動き補償の効率について述べる。現在の画像２２２の符号化したい矩形ブロックを２３２とすると、前の画像２２１内の最も誤差の少ないブロックが２３１であり、両者間の動きベクトルが２４０となる。矩形ブロック２３２と２３１の内部の絵柄を比較すると、変化は少なく差分値（誤差）は小さくなる。すなわち、前記図４の場合よりも差分値が大幅に低減し動き補償の効率が良くなる。これは、歪補正処理により車両（被写体）の動きが平行移動に補正されるからであり、圧縮後の符号量が少なくてすむので、圧縮効率を向上することができる。
また、本実施例によれば、表示に用いない不要な画像データを削除できる効果がある。

前記図４の比較例の場合、表示範囲１１１，１１２に対し圧縮処理を行う画像範囲は１２１，１２２となる。これは、ＭＰＥＧ２やＨ．２６４などの動画像の圧縮方式では、矩形領域の画像を圧縮することを前提としているため、表示すべき画像を含む最小の矩形領域１２１，１２２を圧縮処理の範囲とするからである。ここで矩形画像１２１，１２２には、表示装置４には表示されない領域１５１，１５２の画像（斜線で示す）が含まれている。すなわち、表示に使用しない領域（画像）にも符号量を割り当てるので不要な画像データが含まれることになり、画像表示効率は低下する。

これに対し図５の本実施例では、表示範囲２１１，２１２に対し圧縮処理を行う画像範囲は２２１，２２２となり、両者の範囲はほぼ一致している。これは、歪補正処理により、撮影画像が表示装置４で表示する矩形領域の画像に変換されているためである。よって、圧縮処理の際には表示装置４で必要な画像領域のみを符号化できるため、画像表示効率が向上するという利点がある。

以上のように本実施例によれば、魚眼レンズによる撮影画像の歪補正処理を行った後に圧縮処理を行うようにしたので、動き補償の効率すなわち圧縮効率を向上することができると共に、表示に用いない不要なデータを符号化する必要がないため表示効率を向上することができる。その結果、同一画質ならばより小さなデータサイズになり伝送帯域幅を削減し、あるいは同一データサイズであればより高画質な画像を伝送可能となる。また画像の高画質化により、カメラシステムにおける画像認識の精度を向上することも可能となる。

実施例２では、表示装置側で魚眼レンズ特有の歪曲収差のある画像を前提とした既存の画像処理部を備えている場合について説明する。すなわち表示装置は、歪み補正を含む画像処理アルゴリズム（例えば視点変換、飛び出し検出、障害物検出、白線認識、標識認識、車両の上から全体を俯瞰した画像を作成するなど）有している。その場合、実施例１に示したカメラ装置２にて歪補正処理を行い、さらに表示装置３の既存の画像処理部にて画像処理を行うと、本来の画像処理の効果が得られなかったり不具合が発生したりするという問題がある。そこで本実施例では、表示装置３においては、画像処理を行う前に歪補正処理の逆の変換式を用いて魚眼レンズ特有の歪曲収差のある画像に戻すことで、この問題を解決するようにした。

図６は、本実施例の車載カメラシステムのブロック構成図である。実施例１（図３）のカメラシステムと同一機能のブロックは同一符号を付し、説明は省略する。図３のカメラシステムと異なる点は、表示装置４のデコード部４２と表示部４３の間に、逆歪補正部４４と画像処理部４５を追加した構成としている点である。なお、画像処理部４５は表示装置４が備える既存のものである。

逆歪補正部４４は、カメラ装置２の歪み補正部２４にて歪補正処理された画像を、歪補正処理の変換式と逆の変換式を用いて、魚眼レンズ特有の歪曲収差のある画像に戻す処理（逆歪補正処理）を行う。さらに画像処理部４５は、逆歪補正部４４にて逆歪補正処理した画像に、魚眼レンズ特有の歪曲収差のある画像を前提とした画像処理（歪補正処理を含む）を行う。その結果、画像処理部４５により本来の画像処理の効果を伴った画像を得ることができる。

本実施例の構成によれば、既存の画像処理部４５の画像処理アルゴリズムを変更する必要がなく、実施例１と同様に圧縮効率を向上すると共に、表示効率を向上することができる。その結果、同一画質ならばより小さなデータサイズになり伝送帯域幅を削減し、あるいは同一データサイズであればより高画質な画像を伝送可能となる。

上記した実施例は、以下のような変形が可能である。
上記実施例では、カメラシステムの一例として車載カメラシステムの例を具体的に説明したが、カメラ装置２と表示装置４の距離が離れている場合、例えば、ＴＶ会議システムや監視カメラシステムなどへも適用できる。この場合も、圧縮効率を向上できるので、同一画質ならば小さなデータサイズになり伝送帯域幅を削減し、同一データサイズならばより高画質な画像を伝送可能となる。

また、カメラ装置２のレンズ部２１では、魚眼レンズで撮影した特有の歪曲収差のある画像についての例を記載したが、広角レンズに置き換えても良い。広角レンズで撮影した画像も歪曲収差があるので、歪補正処理してから圧縮することで、圧縮効率を向上できる。

また、カメラ装置２では信号処理部２３と歪補正部２４を分離する構成としたが、これらの機能を信号処理部２３に統合し、信号処理部２３の中で歪補正処理を行っても良い。あるいは、信号処理部２３と歪補正部２４の順序を入れ換えて、歪補正部２４の後に信号処理部２３を配置しても良い。

また、カメラ装置２と表示装置４の間にＨＤＤやＳＤカードなどの蓄積媒体があり、一旦記録したものを再生する構成にしても良い。この場合も圧縮効率を向上できるので、より長時間記録媒体に記録することが可能となる。

２…カメラ装置、
３…ケーブル、
４…表示装置、
２１…レンズ部、
２２…センサ部、
２３…信号処理部、
２４…歪補正部、
２５…エンコード部、
２６…送信部、
４１…受信部、
４２…デコード部、
４３…表示部、
４４…逆歪補正部、
４５…画像処理部。

Claims (2)

1. カメラ装置で撮影した画像を表示装置へ伝送して表示するカメラシステムにおいて、
   前記カメラ装置は、
   魚眼レンズを使用するレンズ部と、
   該魚眼レンズで撮影した歪曲収差のある画像を歪曲収差が小さくなるように歪補正処理を行う歪補正部と、
   該歪補正部から出力された画像を圧縮符号化するエンコード部を備え、
   前記表示装置は、
   前記カメラ装置の前記エンコード部で圧縮符号化された画像を伸長復号化するデコード部と、
   該デコード部から出力された画像に対し画像処理を行う第１の画像処理部と、
   該第１の画像処理部から出力された画像に対し歪補正処理を含む画像処理を行う第２の画像処理部と、
   該第２の画像処理部から出力された画像を表示する表示部と、
   を備え、
   前記第１の画像処理部は、前記カメラ装置の前記歪補正部にて行う歪補正処理の変換式と逆の変換式を用いて歪曲収差のある画像を生成する逆歪補正を行うことを特徴とするカメラシステム。
2. 請求項１記載のカメラシステムにおいて、
   前記エンコード部にて圧縮符号化する画像の範囲と、前記表示部にて表示する画像の範囲とは略等しいことを特徴とするカメラシステム。

Images