JP5798375B2 - 全周カメラ - Google Patents

Description

本発明は、複数のカメラが実装され、全周画像を撮像する全周カメラに関するものである。

ナビゲータ用の地図情報等として、路線沿線の画像データが取得され、更に取得した画像に基づき計測が行われる。斯かる画像取得の為に全周カメラが用いられる。全周カメラは、自動車等の移動体の天井に設置され、移動体が移動しつつ沿線の構築物、景色等を全周カメラにより撮像していく。

この為、全周カメラで取得した画像を順次取込んでいく速度は、移動体の移動速度に対応する必要があり、移動体の速度は画像を取込む速度に制限されている。

又、全周カメラの撮像素子から出力される信号そのものは、画像データではなく、又膨大なデータ量であるので、画像データとして保存する為には画像データに変換すると共にデータの圧縮が行われる。

図４により、カメラ（撮像素子）から出力されるデータを、画像データとして圧縮する従来の画像データ処理装置について説明する。尚、説明を簡単にする為、データの処理は１つのカメラから出力されたものを示している。

図４中、１は画像データ処理装置、２はカメラから出力される受光信号、３は外部メモリ、４はＣＰＵを示している。前記受光信号２は具体的には、カメラの撮像素子の画素から出力される受光信号であり、又、前記外部メモリ３としては、例えばＤＤＲ２（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ２）等のＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が用いられる。

前記画像データ処理装置１は、主に信号処理部５、第１内部メモリ６、入出力制御部７、メモリコントローラ８、第２内部メモリ９、データ変換部１０、第３内部メモリ１１、第４内部メモリ１２、画像データ入出力部１３、内部レジスタ１４を具備している。

前記受光信号２は前記信号処理部５に入力され、該信号処理部５は入力された前記受光信号２をシリアル信号からパラレル信号に変換し、又ビット数の変換等の所要の信号処理をして前記第１内部メモリ６に出力する。

該第１内部メモリ６は、入力された信号が所定量に達する迄信号を一時保存する。ここで所定量とは、例えば２０４８画素×１６であり、保存するデータ量が２０４８画素×１６に達すると、前記入出力制御部７、前記メモリコントローラ８を介し前記外部メモリ３に書込まれる。ここで、前記メモリコントローラ８は、前記外部メモリ３にデータを書込むタイミング、前記外部メモリ３に書込む領域を制御する。

該外部メモリ３は、受光信号２を格納する受光信号格納領域と、画像データを格納する画像データ格納領域とを持っており、前記第１内部メモリ６から出力された信号は、前記入出力制御部７及び前記メモリコントローラ８を介して前記受光信号格納領域に保存される（図４中、矢印ａ）。

前記第１内部メモリ６へは受光信号２が継続して入力され、該第１内部メモリ６に保存された信号が、所定量に達する度に前記メモリコントローラ８を介して前記外部メモリ３に書込まれ、保存される。保存されたデータが１画像フレーム分に達すると、前記入出力制御部７が、前記メモリコントローラ８を介して１フレーム分の内所定量分（例えば、２０４８画素×１６）だけ切出し（図４中、矢印ｂ）、前記第２内部メモリ９に出力する。

前記データ変換部１０は、例えばＪＰＥＧエンコーダであり、前記第２内部メモリ９に蓄積された信号をＪＰＥＧの画像データに圧縮、変換する。変換された画像データは、一旦第３内部メモリ１１に保存され、前記メモリコントローラ８が管理する所要のタイミングで、前記入出力制御部７から前記外部メモリ３に書込まれる。

所定量ずつのデータが、前記データ変換部１０で画像データに圧縮、変換され、順次前記外部メモリ３に書込まれ、変換した画像データが１フレーム分に達すると、１フレーム分の画像データとして前記画像データ格納領域に格納される（図４中、矢印ｃ）。

次に、前記ＣＰＵ４が画像データに基づき計測等を実行する場合は、前記画像データ入出力部１３を介して前記入出力制御部７に読出し指令が発せられ、前記メモリコントローラ８を介し画像データが読出され（図４中、矢印ｄ）、該画像データは前記第４内部メモリ１２、前記画像データ入出力部１３を介して前記ＣＰＵ４に出力される。

上記した画像データ処理装置１では、１フレーム分の大容量のデータが前記画像データ処理装置１と前記外部メモリ３との間で４度も入出力する構成であり、又画像変換圧縮は、１フレーム毎に実行される為、必然的に１フレーム分の遅れをもって画像処理がなされていた。

この為、従来の画像データ処理では、前記外部メモリ３とのデータの授受がボルトネックになり、更に、画像データの変換又圧縮処理に１フレーム分のタイムラグがある等により、カメラで取得した画像を取込む速度が制限されていた。更に、全周カメラの様に、複数のカメラを有し、複数のカメラで同時に画像を取得する場合では、取込む速度の制限は大きな問題となっていた。

特開２００７−１７１０４８号公報

本発明は斯かる実情に鑑み、カメラで取得したデータの画像変換の高速化を図るものである。

本発明は、デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリから前記データ変換部に信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力される様構成された全周カメラに係るものである。

又本発明は、複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられた全周カメラに係るものである。

又本発明は、前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれる全周カメラに係るものである。

又本発明は、前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量である全周カメラに係るものである。

本発明によれば、デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が所定量に達した方の第１内部メモリから前記データ変換部に信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力される様構成されたので、カメラからのデータの取込みとデータの圧縮変換を並行して実行し、又外部メモリとのデータの授受の回数が少なくなり、データの圧縮変換に要する時間を大幅に短縮できる。

又本発明によれば、複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられたので、カメラ個々からの信号の圧縮変換が、個別に実行され、又変換時間が短縮されるので、全周カメラでの撮像速度を増大させることができる。

又本発明によれば、前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれるので、更に書込むデータ量が少ないので、外部メモリへの書込みが滞留することがなく円滑に行われる。

又本発明によれば、前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量であるので、内部メモリの容量が小さくてよく、更に最小単位のデータ圧縮変換であるので、一度のデータ圧縮変換は短時間で済み、データの取込みとデータの圧縮変換はリアルタイムで同時進行することができるという優れた効果を発揮する。

本発明の実施例に係る全周カメラの概略図である。 該全周カメラに用いられる画像データ処理装置の概略ブロック図である。 該画像データ処理装置の入出力制御部のブロック図である。 従来の画像データ処理装置の概略ブロック図である。

以下、図面を参照しつつ本発明の実施例を説明する。

先ず、図１に於いて、本発明が実施される全周カメラ２１の一例を説明する。

カメラ筐体２２の垂直な４側面に、それぞれデジタル画像を撮像するカメラ２３ａ，２３ｂ，２３ｃ，２３ｄ（２３ｃ，２３ｄは図示せず）が設けられ、天井面にデジタル画像を撮像するカメラ２３ｅが設けられている。前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄによって全周囲の画像が取得でき、又、前記カメラ２３ｅによって上方の画像が取得でき、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅによって下方を除く全ての方向の画像が取得できる。更に、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄの画像を合成することで、全周囲のパノラマ画像が作成できる様になっている。

前記カメラ筐体２２の内部には、画像データ処理装置２０（図２参照）が収納され、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅで取得した信号は、それぞれ前記画像データ処理装置２０に送出され、該画像データ処理装置２０でデータが圧縮され、画像に変換される様になっている。又、前記カメラ筐体２２は水密構造となっており、例えば、自動車の天井に搭載できる様になっている。

次に、図２に於いて本実施例に係る画像データ処理装置２０について説明する。尚、図２中、図４中で示したものと同等のものには同符号を付し、その説明を省略する。

前記画像データ処理装置２０は、主に信号処理部５、書込み切替え部２５、１つのカメラに対して２つ設けられた第１内部メモリ６ａ，６ｂ、入出力制御部７、メモリコントローラ８、第３内部メモリ１１、第４内部メモリ１２、画像データ入出力部１３、内部レジスタ１４を具備している。

尚、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅから出力される個々の信号処理は同一であるので、１つのカメラ２３ａから入力される受光信号２についての処理を説明する。又、前記カメラ２３ａ，２３ｂ，２３ｃ，２３ｄ、前記カメラ２３ｅから出力される信号は、撮像素子からの信号となっている。

前記カメラ２３ａからの受光信号２は信号処理部５に入力され、該信号処理部５は前記受光信号２を取込み、取込んだ該受光信号２をシリアル信号からパラレル信号に変換すると共に８ビットの信号に変換する。

前記信号処理部５からの信号は、所定量が前記書込み切替え部２５を介して前記第１内部メモリ６ａ，６ｂのいずれかに交互に且つ択一的に入力され、該第１内部メモリ６ａ，６ｂに蓄積される。ここで、該第１内部メモリ６ａ，６ｂに蓄積されるデータの所定量は、画像の１フレーム分のデータ、或は第１内部メモリ６ａ，６ｂの容量より大幅に少なく設定され、好ましくはデータ変換部１０で圧縮、画像データに変換し得る最小単位のデータ、例えば８画素×８のデータ量である。

該第１内部メモリ６ａ，６ｂに蓄積されたデータ量が、８画素×８となる度に前記データ変換部１０に出力される。従って、該データ変換部１０には前記第１内部メモリ６ａ，６ｂから交互に８画素×８のデータが入力される。

前記書込み切替え部２５は、前記第１内部メモリ６ａ，６ｂのデータの蓄積、放出を制御するものであり、例えば第１内部メモリ６ａにデータが書込まれている場合は、前記第１内部メモリ６ｂから前記データ変換部１０にデータが出力され、前記第１内部メモリ６ａへのデータが所定量（８画素×８）となると、データが前記第１内部メモリ６ｂに書込まれる様にすると共に前記第１内部メモリ６ａに蓄積されたデータを前記データ変換部１０に出力する。

前記データ変換部１０は、前記第１内部メモリ６の一方から入力された８画素×８の信号を画像データに変換圧縮し、例えばＪＰＥＧの画像データに変換し、前記第３内部メモリ１１に出力する。該第３内部メモリ１１は前記入出力制御部７から出力の指令が来る迄画像データを一時的に保存する。

ここで、前記データ変換部１０によるデータ変換は、画像データ変換の最小単位であり、高速度で変換が可能であり、更に変換速度（変換に要する時間）を前記受光信号２のデータが前記第１内部メモリ６ａ，６ｂの一方に蓄積される時間より早くしておけば、前記第１内部メモリ６ａ，６ｂから前記データ変換部１０に出力する際の待ち時間がなく、前記信号処理部５からのデータの取込みとデータの画像データへの変換、圧縮がリアルタイムで同時進行する。

前記入出力制御部７は、前記データ変換部１０により逐次変換された最小単位の画像データを、前記メモリコントローラ８を介して所定のタイミングで、前記外部メモリ３の所定の領域、所定のアドレスに逐次書込んでいく（図２中、矢印ａ）。前記メモリコントローラ８は、書込まれるデータが１フレーム分となると、データを書込む領域、アドレスを変更し、前記外部メモリ３内で１フレーム毎の画像データが完成する様制御する。

画像データに基づき計測等を実行する場合は、前記ＣＰＵ４よりデータ読出しリクエストが発せられ、前記入出力制御部７及び前記メモリコントローラ８はデータ読出しリクエストに応じて前記外部メモリ３に格納された画像データを所定単位で出力する（図２中、矢印ｄ）。この場合のデータ量は、前記第４内部メモリ１２が保存し得る大きさ、例えば２０４８画素×１６等である。読出された画像データは、前記画像データ入出力部１３により所定のタイミングで出力される。

上記した様に本実施例では、第１内部メモリ６を２つ１組として、交互にデータを蓄積し、一方が蓄積している間にデータ変換を行う様にしたので、１フレーム分のデータを前記外部メモリ３に蓄積する必要がなく、ボルトネックとなっていた前記外部メモリ３と画像データ処理装置１間でのデータの授受がなくなる。更に、データの圧縮、画像データへの変換処理で１フレーム分のデータ蓄積時間の待ち時間がなくなる。この為、データの圧縮、画像データの変換を著しく高速で行うことができる。

上記説明は、カメラが１つの場合を説明したが、カメラが複数の場合は、各カメラに対応し、前記信号処理部５、前記第１内部メモリ６ａ，６ｂ及び前記データ変換部１０、前記第３内部メモリ１１もカメラの数だけ設けられる。而して、各カメラ毎にデータの取込み、データの圧縮変換が実行される。

図３は、カメラ２３が複数ある場合の前記入出力制御部７の構成を示し、特に前記入出力制御部７の書込み部分の構成を示している。

該入出力制御部７は、複数の前記第３内部メモリ１１から出力される画像データの前記外部メモリ３への書込みの制御を行い、前記入出力制御部７はリクエスト調停部２６、リクエストストック部２７、データストック部２８、リクエスト生成部２９、アドレス生成部３０を有する。

前記第３内部メモリ１１に圧縮変換後の画像データが蓄積されると、各第３内部メモリ１１から書込みリクエスト１〜５が発せられ、該書込みリクエスト１〜５は前記リクエスト調停部２６に入力される。該リクエスト調停部２６は、前記書込みリクエスト１〜５に優先順位を付加して前記リクエストストック部２７に保存する。優先順位は、待ち時間が生じない様、或は少なくなる様、時間的に早く入力されたものから順次決定していく。

又、前記第３内部メモリ１１からは前記書込みリクエスト１〜５に対応したデータが前記データストック部２８に出力され、該データストック部２８で一時的に保存される。

前記リクエスト生成部２９は、優先順位に従って前記書込みリクエスト、例えば書込みリクエスト２を出力し、又該書込みリクエスト２に対応する書込みデータのアドレスを前記アドレス生成部３０で決定し、前記書込みリクエスト２と共に前記メモリコントローラ８へ入力する。該メモリコントローラ８は前記書込みリクエスト２に基づき該書込みリクエスト２に対応した書込みデータ２（画像データ）を前記データストック部２８から読込み、前記外部メモリ３の前記アドレスに書込む。

而して、前記複数の第３内部メモリ１１から出力される画像データは、前記外部メモリ３内で各カメラ毎に、更に１フレーム毎の画像データに作成される。

複数のカメラで画像を取得した場合でも、データの圧縮変換は、データの取込みと同時進行で行われ、前記外部メモリ３へは画像データに変換したものが送出されるだけであり、画像データ処理装置２０と外部メモリ３間で変換前のデータの授受はなく、データの変換圧縮の高速化が図れる。

尚、上記実施例では、カメラが５個の全周カメラを示したが、カメラの数はカメラの画角に基づき決定されればよく、５個のカメラに限定されるものではない。

又、カメラは完成された単体ではなく、撮像素子と光学系とをカメラ筐体に組込んだものでもよい。

更に、前記入出力制御部７と前記メモリコントローラ８とは一体として入出力制御部とし、前記画像データ処理装置２０と前記外部メモリ３との間の信号の授受、前記外部メモリ３への書込み、読出しの制御を行ってもよい。又、前記第３内部メモリ１１と前記データストック部２８とは共通化してもよい。

１ 画像データ処理装置
２ 受光信号
３ 外部メモリ
４ ＣＰＵ
５ 信号処理部
６ 第１内部メモリ
７ 入出力制御部
８ メモリコントローラ
９ 第２内部メモリ
１０ データ変換部
１１ 第３内部メモリ
１２ 第４内部メモリ
１３ 画像データ入出力部
１４ 内部レジスタ
２０ 画像データ処理装置
２５ 書込み切替え部
２６ リクエスト調停部
２７ リクエストストック部
２８ データストック部
２９ リクエスト生成部
３０ アドレス生成部

Claims (4)

1. デジタル画像を取得するカメラと、該カメラから出力される信号を圧縮して画像信号に変換する画像データ処理装置と、外部メモリとを具備する全周カメラに於いて、前記画像データ処理装置は、前記信号を取込む信号処理部と、書込み切替え部と、２つ１組の第１内部メモリと、データ変換部と、該データ変換部から出力された変換後のデータを一時保存する第３内部メモリと、該第３内部メモリと前記外部メモリとの間でデータの入出力の制御を行う入出力制御部とを具備し、
   前記書込み切替え部は、前記信号処理部から出力される信号を第１内部メモリの一方に１フレーム分より少ない所定量になる迄蓄積し、蓄積が所定量に達すると、蓄積先を変更して他の第１内部メモリに蓄積することを繰返し、又信号の蓄積が前記所定量に達した方の第１内部メモリから前記データ変換部に前記所定量の信号が出力され、該データ変換部は入力された信号を画像信号に圧縮変換し、該画像信号は前記入出力制御部により前記外部メモリに逐次入力され、前記所定量単位で変換された画像データに基づき前記外部メモリ内で１フレーム分の画像データが作成される様構成されたことを特徴とする全周カメラ。
2. 複数のカメラを有し、前記信号処理部と、前記書込み切替え部と、前記２つ１組の第１内部メモリと、前記データ変換部と、前記第３内部メモリは、各カメラに対応してカメラの数だけ設けられた請求項１の全周カメラ。
3. 前記入出力制御部は、前記第３内部メモリから入力される複数の書込みリクエストに対して優先順位を付与するリクエスト調停部と、前記データ変換部から出力され、前記書込みリクエストと対応する変換後のデータを一時保存するデータストック部とを有し、変換後のデータは付与された優先順位に従って前記外部メモリに書込まれる請求項２の全周カメラ。
4. 前記蓄積されるデータの所定量は、前記データ変換部が圧縮変換可能な最小単位の量である請求項１〜請求項３のいずれかの全周カメラ。

Images