JP5672862B2 - 撮像装置、撮像システム及び撮像方法 - Google Patents

Description

本発明は、例えば、自動車のドライバが視認しにくい場所を撮像して表示する車載カメラに適用して好適な撮像装置、撮像システム及び撮像方法に関する。

従来、自動車の車両や鉄道車両等に小型のカメラを搭載し、そのカメラによる撮影画像を、運転席の周辺等に設置された表示装置に表示させることが行われている（例えば、特許文献１及び２参照）。このようなカメラで、ドライバが運転中に目視することが困難な箇所を撮像し、得られた画像を表示装置に表示することで、ドライバの目視が可能な箇所に変えることができる。ドライバの目視することが困難な箇所としては、例えば自動車の車両であれば、駐車時に後進する場合等を想定して、車両の後方等が設定されている場合が多い。また狭い道路の十字路でも左右から接近する車両を認識することが困難となる事がある。

そして、車両の周辺を表示するために、複数のカメラが出力する画像を取り込んで表示する監視装置等を用いた撮像システムが知られている。この撮像システムは、異なる方向で撮像された画像を同一のモニタ画面に表示するＰｉｎＰ（Picture in Picture）表示機能を用いて複数の画像の視認性を高めている。他の車載される撮像システムとしては、画面内に別の画面領域を配置する機能を用いて、全体画像の一部をカメラが出力する画像を処理するＥＣＵ（Electronic Control Unit）等で変換し、合成してＰｉｎＰ表示を行うものが知られている。この撮像システムは、カメラが出力した画像を、電装ハーネスを介してＥＣＵの画像メモリに取り込んだ後、伝送済みの複数の画像に対して合成処理を行う。このため、車載モニタに表示される画像の精細度が伝送系の帯域に依存しており、送信される画像の解像度を低くした状態で、ＥＣＵの画像メモリに画像を取り込んで変換画像を合成している。

図１８は、従来の車載カメラを用いて車両の周囲の様子を撮像した画像１００の例を示す。
従来、車載カメラを車両の前方に取りつけ、車両の左右方向の映像を表示部に表示することによって、ユーザが車両の前方だけでなく左右方向の確認をすることができるカメラは存在していた。また、車両の左右を確認すると同時に、前方を確認することも出来るようにレンズの光軸を非対称に設計したアナモルフィックレンズなどを採用したカメラも存在していた。前者のタイプのカメラシステムでは、車両の前方と左右側面に取り付けた３台のカメラで撮像した画像を取り込み、カメラ・コントロールＥＣＵやナビゲーション・システムで用いられる画像表示機能で画像を合成し表示をしている。

特開２００２−１９５５６号公報 特開２０１０−３３１０８号公報

ところで、直角に道路を横切ったり、駐車場から車両を車庫出ししたりする際に、ドライバが車両の左右から接近する別の車両や歩行者を運転席から確認することが困難な場合がある。自動車に取り付けられる車載カメラは、広範囲を撮像することが求められるため、魚眼レンズやアナモルフィックレンズ等が用いられる。このため、これらのレンズを通して撮像した画像をそのまま表示すると、画像の周辺部に位置する物体が小さく表示されてしまい、運転中のドライバが危険物や障害物を見落とすことがあった。

また、従来の撮像システムでは、車両の左右と前後方のそれぞれに複数のカメラを取りつける必要があり、且つ、各カメラが撮像した画像の合成処理を行うためには別の画像合成処理デバイスを必要としていた。このため、撮像システムを構築することが大掛かりとなり、高価となるため普及していない。また、複数のレンズを組み合わせてカメラを構成すると、レンズの構成が複雑となり、高価で且つ大型なカメラとなるため、カメラの取付け位置に制限がある。また、従来の広角カメラでただ単に広角画像を表示したのでは、広角カメラの大きな歪みの影響により、接近する車両の遠近感が損なわれるため、そのままドライバが目視して運転するのは日常との遠近感の相違が著しく大変に危険であった。

また、従来の撮像システムでは、ハーネスによる伝送容量により画像の精細度が決まるため、カメラの後段に配置されたＥＣＵが画像の拡大処理を行うと、画像が粗くなる。更に、ＥＣＵは、カメラから伝送された画像全体を一旦メモリに取り込む必要があるため、撮像システム上で画像メモリ用の部品を搭載し、且つ合成処理用の部品が必要となる。このため、撮像システムを構築する部品点数が多くなり、撮像システムの構成が複雑化すると共に高価になりやすかった。

本発明はこのような状況に鑑みて成されたものであり、ドライバ（ユーザ）が特に注視したい局所的な箇所等の画像と合わせて、移動しようとする方向に対して左右方向から撮像した画像を容易に、且つ同時に同じ画面で視認できるようにすることを目的とする。

本発明は、乗物に設置され、乗物の前方方向又は後方方向のいずれかを一の方向とする撮像装置を用いるものである。
この撮像装置では、イメージセンサが被写体光を光電変換して画像信号を生成する。
記憶部は、画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域の内部に第２の領域を設定する。
次に、イメージセンサから画像信号を読み出して記憶部に画像信号を書き込むタイミングと、記憶部から画像信号を読み出すタイミングを調整する。
次に、イメージセンサから読み出される画像信号による画像に所定の処理を加える。また、タイミングが調整されることによって、画像信号を書き込むフレームレートを１フレーム毎に異ならせて、イメージセンサから入力する画像信号のうち、一の方向を撮像した画像に対応する一方向画像信号を所定のフレーム期間で第２の領域に書き込む。一方、一の方向に対して左側方向を撮像した画像に対応する左方向画像信号を一方向画像信号のフレーム期間とは異なるフレーム期間で、第１の領域を分割した第１の分割領域に書き込む。また、一の方向に対して右側方向を撮像した画像に対応する右方向画像信号を、左方向画像信号を第１の分割領域に書き込むフレーム期間とは異なるフレーム期間で、第１の領域を分割した第２の分割領域に書き込む。
そして、第１及び第２の領域から連続走査タイミングで読み出した一方向画像信号、左方向画像信号及び右方向画像信号を所定の方式の画像信号に変換して表示部に出力する。

このように画像信号を適宜記憶部に配置し、保存することで、イメージセンサより読み出される画像信号を１個の記憶部に記憶させ、記憶部から一方向画像信号、左方向画像信号及び右方向画像信号を連続走査タイミングでそのまま出力することができる構成と成る。

本発明によれば、ＰｉｎＰ機能を搭載した撮像装置が出力する画像の内部に子画面を配置して表示部に出力する機能を設ける。この子画面には、一方向画像信号に基づく画像を表示する。そして、子画面を除く画面には、右方向画像信号を、左方向画像信号に基づく左右画像を表示する。これにより、ユーザは広角画像を用いて周辺監視を行う場合に、一方向の確認と左右方向の確認を、同一画面を見る事で同時に行うことができる。そして、視認性を改善する事でドライバが運転する車両の周辺環境の状況を早期に把握することができる。

本発明の一実施の形態における撮像装置と表示装置の内部構成例を示すブロック図である。 従来のイメージセンサが画像信号を読み出すタイミングと、従来の撮像装置が画像信号を出力するタイミングの例を示す説明図である。 第１の領域と第２の領域に配置される画像の例を示す説明図である。 第１の領域と第２の領域への変換画像の書き込み処理の例を示す説明図である。 本発明の一実施の形態による画像変換処理部による画像変換処理の例を示す説明図である。 本発明の一実施の形態によるタイミング調整部による処理の例を示す説明図である。 本発明の一実施の形態におけるＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す説明図である。 本発明の一実施の形態におけるＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す説明図である（第１のケース）。 本発明の一実施の形態におけるＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す説明図である（第２のケース）。 本発明の一実施の形態における左右の画像を上下左右方向に拡大する例を示す説明図である。 本発明の一実施の形態による画像変換処理部による左右小画像のタイミング調整をした画像変換拡大処理の例を示す説明図である。 本発明の一実施の形態における中心画像を左右方向に拡大した画像へＰｉｎＰ重ね表示例を示す説明図である。 本発明の一実施の形態におけるＰｉｎＰをして部分画像を拡大表示する場合の例を示す説明図である。 本発明の一実施の形態における撮像装置が設置される自動車を上面視した例を示す説明図である。 本発明の一実施の形態における撮像装置を用いて車両の周囲の様子を撮像した画像（全体画像を上部に配置）の例を示す説明図である。 本発明の一実施の形態における撮像装置を用いて車両の周囲の様子を撮像した画像（全体画像を下部に配置）の例を示す説明図である。 本発明の一実施の形態における撮像装置を用いて車両の周囲の様子を撮像した画像（全体画像を上部に配置して左右方向に伸張）の例を示す説明図である。 従来の車載カメラを用いて車両の周囲の様子を撮像した画像の例を示す説明図である。

以下、発明を実施するための形態（以下、本例とも称する。）について説明する。なお、説明は以下の順序で行う。
１．一実施の形態（ＰｉｎＰの表示制御：１つの画像記憶部を用いてＰｉｎＰの表示を制御する例）
２．変形例

＜１．一実施の形態＞
［撮像システムの全体構成例］
図１は、本発明に係る撮像システム５の一実施形態としての、撮像装置１及び表示装置２の構成例を示す。本例では、撮像装置１を、図示せぬ自動車車両の後方に取り付けてある車載カメラに適用し、表示装置２を、車内に取り付けられたカーナビゲーション装置等の表示装置に適用した例として説明する。撮像装置１と表示装置２とは、図示せぬケーブル等で接続されており、撮像装置１から表示装置２に対しては画像信号が、表示装置２から撮像装置１に対しては制御信号が入力される撮像システム５を構成する。

なお、本例では撮像装置１を自動車に搭載した例を示すが、これに限定されるものではない。つまり、本発明の撮像装置１を、鉄道車両や、移動式クレーン車等の重機、産業機械、ヨット等、他の乗物といった車体又は船体に搭載するようにしてもよい。

まず、表示装置２を構成する各部について説明する。表示装置２には、表示部２１と操作入力部２２とが含まれる。表示部２１は、例えばＬＣＤ（Liquid Crystal Display）等により構成され、撮像装置１から送信された画像信号を画像として表示する。操作入力部２２は、表示画面設定の選択を行う選択・確定ボタンＢ１により、ユーザによるボタン押下操作の内容に応じた制御信号を生成して、撮像装置１で選択されるべき画像の設定値を制御部１４に供給する。

更に、操作入力部２２は、選択・確定ボタンＢ１とは別に、値入力ボタンＢ２を備える事により、ユーザによるボタン押下操作の内容に応じて、「特に注視したい局所的な箇所」の画像を選択設定して固有な表示を事前設定して記憶させる。これにより、必要な時に選択・確定ボタンＢ１の簡単な押下操作で呼び出しを可能とする。以下、この表示方法で事前設定した表示モードを「パーソナルビューモード」と呼ぶ。

特に、ユーザより、選択・確定ボタンＢ１と値入力ボタンＢ２とを同時に長押しする操作が行われた場合には、操作入力部２２は、「パーソナルビューモード」の設定メニューに遷移させるための割り込み要求信号を生成して撮像装置１に供給する。この設定メニューにより、ユーザによって、選択・確定ボタンＢ１と値入力ボタンＢ２の連続押しする操作を行う事（第１の指示入力）で、制御信号を生成して切り出し位置や部分拡大に必要な制御設定値を確定し、設定値記憶部１５に保存する。そして、撮像装置１に供給して「パーソナルビューモード」の固有な表示に必要な設定を行う。

また、上述した方法で「パーソナルビューモード」が設定された状態の撮像装置１に対して、選択・確定ボタンＢ１の押下を検知した場合には以下の処理を行う。すなわち、その動作を第２の指示入力とみなす。そして、「パーソナルビューモード」として設定された領域の画像を読み出す制御信号を生成する。

「パーソナルビューモード」はユーザ固有の目視困難箇所をより視認しやすくすることを省みてなされた例であるが、撮像装置の設計もしくは製造時に事前に登録を行った領域を設定してＰｉｎＰ形式の表示を適用しても良い。

なお、図１に示す例では、表示装置２として、表示部２１と操作入力部２２とが別々に設けられたものを示しているが、表示部２１と操作入力部２２とが一体化したタッチパネル等を用いた表示装置に適用してもよい。

次に、撮像装置１を構成する各部について説明する。撮像装置１は、イメージセンサ１１と、画質調整部１２と、画像変換部１３と、制御部１４と、設定値記憶部１５と、タイミング調整部１６と、表示制御部１７と、アナログエンコーダ１８（出力部）と、領域選択部１９とを備える。

イメージセンサ１１は、固体撮像素子で構成される。これは、例えばＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等が用いられる。イメージセンサ１１は、撮像装置１が搭載される車体又は船体の周囲における、図示せぬ広角レンズに結像された被写体光を光電変換して画像信号を生成する。イメージセンサ１１で得た画像信号は、画質調整部１２に供給する。画質調整部１２は、供給された画像信号をデジタルの画像信号に変換し、画質調整を行う。画質調整としては、例えばＡＧＣ（Automatic Gain Control）やノイズリダクション、画質強調処理等を行う。そして、画質調整部１２は、イメージセンサ１１の駆動を制御する。また、後述する第１の領域１３２αと第２の領域１３２βに書き込まれる一方向画像信号、左方向画像信号及び右方向画像信号よりなる画像の画質を調整する制御を、イメージセンサ１１から画像信号をフレーム毎に取り込むタイミングで画像信号毎に異ならせて行う。このタイミングは、タイミング調整部１６から供給される読み出しタイミングに基づいて行われる。画質調整部１２で画質調整処理された画像信号は、画像変換部１３に供給される。

画像変換部１３は、画像変換処理部１３１と画像記憶部１３２とで構成され、画像の標準的出力形式、例えばＮＴＳＣ方式、で出力する為の形式に変換調整をする。画像記憶部１３２は、イメージセンサ１１から入力する画像信号による全体画像に対応する第１の画像信号を記憶する第１の領域１３２αと、全体画像の一部に相当する部分画像に対応する第２の画像信号を記憶する第２の領域１３２βと、を有する。また、第１の領域１３２αを２分割して、第１の画像信号のうち、左方向画像信号を記憶する第１の分割領域１３２α１と、右方向画像信号を記憶する第２の分割領域１３２α２を設定する。

本例では、撮像装置１のレンズが向けられる一方向を撮像して得られる「一方向画像信号」を、第２の画像信号として用いる。また、この一方向に対して左方向を撮像して得られる「左方向画像信号」と、一方向に対して右方向を撮像して得られる「右方向画像信号」を合わせて第１の画像信号として用いる。画像記憶部１３２は、画像信号による画像を切り出す範囲を設定する制御部１４によって生成される設定値により特定される特定の領域に対応して第１の領域１３２αの内部に第２の領域１３２βを設定する。そして、第１の領域１３２αは、画像記憶部１３２から第２の領域１３２βを除いた部分に設定する。

また、撮像装置１は、画像記憶部１３２に第１の領域１３２αと第２の領域１３２βとを設けると共に、いずれの領域に書き込むかを選択する領域選択部１９を設けている。第１の領域１３２αには、表示部２１の画面全体に出力するための変換画像を記憶させ、第２の領域１３２βには、ＰｉｎＰ小画面に表示させるための変換画像を記憶させる。フレーム出力タイミングに応じて画像記憶部１３２を全て連続読み出しする事で標準的出力形式の出力にＰｉｎＰ出力形式の画像出力が得られる。

以下、詳述する。画像変換処理部１３１は、制御部１４による制御に基づいて、画質調整部１２から供給された画像信号による画像の中から特定の領域の画像を切り出す。そして、切り出した画像を、表示装置２の表示部２１の一画面分の大きさの画像に拡大する。このとき、画像変換処理部１３１は、イメージセンサ１１から読み出される画像信号による画像に所定の処理を加える。そして、タイミングが調整されることによって、画像信号を書き込むフレームレートを１フレーム毎に異ならせて第２の領域１３２βに画像信号を書き込む。これは、イメージセンサから入力する画像信号のうち、一の方向を撮像した画像に対応する一方向画像信号に対して行われる。

また、画像変換処理部１３１は、一の方向に対して左側方向を撮像した画像に対応する左方向画像信号を一方向画像信号のフレーム期間とは異なるフレーム期間で、第１の領域１３２αを分割した第１の分割領域１３２α１に書き込む。また、一の方向に対して右側方向を撮像した画像に対応する右方向画像信号を、左方向画像信号を第１の分割領域１３２α１に書き込むフレーム期間とは異なるフレーム期間で、第１の領域１３２を分割した第２の分割領域１３２α２に書き込む。に第１の領域に書き込んだ画像信号とは異なる画像信号を次のフレーム分の時間、且つそのフレームの読み出しタイミングの時系列順序を満たすタイミングで書き込む。切り出し及び拡大された画像は、画像記憶部１３２に出力される。画像記憶部１３２は、画像変換処理部１３１から供給された画像信号を所定の期間保持するフレームメモリでもある。

このように撮像装置１の内部に広角画像から歪変換画像を生成し出力する機能を搭載し、その一部の指定領域の画像を全体画像の出力に必要な画像領域の一部に埋め込み保存をする画像変換部１３を備える。不図示としてある撮像装置１の広角レンズを通してイメージセンサ１１から取りこんだ画像は歪みが多いため、画像変換部１３は、画像信号の処理演算を行い歪補正の変換処理を行う。その際に、拡大表示を希望する特定の領域を、出力画像の子画面として指定したアドレス領域に拡大処理をして個別に嵌め込んでバッファメモリとして用いる第２の領域１３２βに保存する。そして、フレーム更新時にその画像を埋め込み画像を含めてカメラの後段における出力処理をする事でＰｉｎＰ機能を実現する。

制御部１４は、例えばＭＰＵ（Micro-Processing Unit）等で構成される。そして、操作入力部２２より入力される制御信号の内容に基づいて、前述した「特定の領域」の範囲を、枠の大きさ及び位置に基づいて特定する「第１の指示入力」で定義する「パーソナルビューモード」の設定値を生成して設定値記憶部１５に記憶する。つまり、この設定値は、画質調整部１２から供給された画像信号による画像を切り出す範囲を指定する設定値となる。設定値は、特定の領域をズーム表示する場合のズーム倍率と、特定の領域のＸ軸座標及びＹ軸座標よりなる。また、制御部１４は、表示装置２の値入力ボタンＢ２の押下回数をカウントするカウンタと、時間を計測するタイマを備える。

また、制御部１４は、操作入力部２２から第２の指示入力がされた場合には、設定値記憶部１５から設定値を読み出して画像変換部１３に出力する。また、制御部１４は、イメージセンサ１１からの画像信号出力タイミングと画像記憶部１３２からの画像信号出力タイミングとを調整するための制御信号を生成して、タイミング調整部１６に供給する。さらに、制御部１４は、画像変換処理部１３１で画像変換された画像信号を、アナログエンコーダ１８に出力するための制御信号を生成して、画像変換処理部１３１に供給する。

領域選択部１９とタイミング調整部１６は、制御部１４から供給される制御信号に基づいて、イメージセンサ１１から画像信号を読み出して画像記憶部１３２に画像信号を書き込むタイミングと、画像記憶部１３２から画像信号を読み出すタイミングを調整する。タイミング調整部１６の処理の詳細については、図６を参照して後述する。

表示制御部１７は、制御部１４から供給される制御信号に基づいて、タイミング調整部１６により調整されたタイミングに従って、画像記憶部１３２に記憶された画像を読み出してアナログエンコーダ１８に出力する。また、表示制御部１７は、特定の領域を設定するためのフレームライン等を生成して、アナログエンコーダ１８に出力する。このとき、表示制御部１７は、ユーザからの操作入力に応じてその大きさ及び位置を可変させる枠を、出力部によって出力された画像信号による画像を表示する表示部２１に表示させる。また、表示制御部１７は、特定の領域として切り出された画像を、ＰｉｎＰの子画面に表示する。また、表示制御部１７は、特定の領域として切り出された画像を、ＰｉｎＰの全画面に表示し、子画面に全体画像を表示する例としているが、出力画面をＰｉｎＰ間で逆に設定する動作をする事も出来る。

アナログエンコーダ１８は、第１の領域１３２α（第１の分割領域１３２α１と第２の分割領域１３２α２）及び第２の領域１３２βから連続走査タイミングで一方向画像信号、左方向画像信号及び右方向画像信号を読み出す。そして、全体画像及び部分画像が嵌め込まれた形で画像信号（一方向画像信号、右方向画像信号、及び左方向画像信号）を所定の方式の画像信号に変換して出力する。この方式は、例えばＮＴＳＣ（National Television System Committee）方式等であり、アナログエンコーダ１８は、この画像信号を表示装置２の表示部２１に供給する。タイミング調整部１６では、画像の切り出し如何によらずＮＴＳＣのタイミングに準拠したＶ同期を満たすタイミングで画像を出力出来るように画像出力タイミングの伸張処理の調整をしている。この調整は、画像フレーム全体を遅延させてイメージセンサ１１からの読み出しと画像変換による画像出力タイミングを調整するために行われる。

図２は、従来のイメージセンサが画像信号を読み出すタイミングと、従来の撮像装置が画像信号を出力するタイミングの例を示す。
ここでは、従来の撮像装置１が画像歪変換やＰｉｎＰや部分画像の切り出し拡大等をしない場合について説明する。

イメージセンサは、１水平期間（１Ｈ）毎にライン方向の画像信号を読み出す。イメージセンサの撮像領域における全水平ラインは、１垂直期間（１Ｖ）のタイミングで読み出しが行われる。イメージセンサ１１から取り込んだ画像はサイズの変換等が行われることなく、そのまま撮像装置の外部に出力される。

従来の撮像装置が備える画像記憶部は、本例の画像記憶部１３２に対応する第１の領域１３２αと第２の領域１３２βを有していない。ここで、画質調整部と画像変換部がそれぞれ所定の処理を行うため、撮像装置１が画像信号を出力するタイミングは全体的に一律の遅延が生じる。その結果、画像局所毎のタイミング調整は不要である。

図３は、第１の領域１３２αと第２の領域１３２βに配置される画像の例を示す。
第１の領域１３２αには、表示部２１の画面全体に出力するための変換画像を記憶させ、第２の領域１３２βには、ＰｉｎＰ小画面に表示させるための変換画像を記憶させる。以下の説明では、表示部２１における全画面を「親画面」と称し、部分画像が表示される領域を「子画面」と称する。画像変換部１３は、子画面の水平及び垂直方向の領域がどの範囲であるかを予め保持している。

そして、画像変換処理部１３１によって処理された画像が１ラインずつ画像記憶部１３２に書き込まれる際に、子画面が表示される開始位置と終了位置を求め、ライン毎に子画面の画像信号を第２の領域１３２βに書き込む。ここで、第１の領域１３２αと第２の領域１３２βへの画像信号の書き込みは、画像変換部１３が備える不図示の子画面判定カウンタの値によって行われる。子画面判定カウンタは、水平方向に１画素ずつ書き込まれた画像信号を計数し、垂直方向に１ラインずつ書き込まれた画像信号を計数するカウンタである。

この書き込みは、垂直方向にも行われるため、子画面の表示開始位置に該当するラインより子画面判定カウンタの値が大きくなると子画面の画像信号を第２の領域１３２βに書き込む。そして、子画面判定カウンタの値が子画面表示終了位置より大きくなると第２の領域１３２βへの書き込みを終了する。なお、第１の領域１３２αに書き込まれる画像信号は現フレームであるのに対し、第２の領域１３２βに書き込まれる画像信号は１フレーム前のものである。１つの画像記憶部１３２を２つの領域に分けることによって現フレームと１フレーム前の画像信号を出力する処理については図４と図５を参照して説明する。

図４は、第１の領域１３２αと第２の領域１３２βへの変換画像の書き込み処理の例を示す図である。
まず、図４Ａに示すように、ＰｉｎＰ小画面に出力するための変換画像Ｓを、第２の領域１３２βに書き込む。第１の領域１３２αはマスク領域として何の画像も書き込まないようにする。次に、図４Ｂに示すように、全画面に出力するための変換画像Ｆを、第１の領域１３２αに書き込む。今度は、第２の領域１３２βをマスク領域として何の画像も書き込まないようにする。

このように書き込まれた全画面出力用の変換画像Ｆと小画面出力用の変換画像Ｓとを、領域選択部１９が、それぞれフレームレートを１／２に落として１フレーム毎に交互にアナログエンコーダ１８から出力させる。つまり、それぞれの変換画像は、２フレームに１回更新されるようになる。このような処理を行うことにより、図４Ｃに示したように、全画面出力用の変換画像Ｆと小画面出力用の変換画像Ｓという時間的に異なる画像が、合成されて出力されるようになる。

このように構成することで、例えば、表示部２１の全画面には通常モードによる撮影画像を表示させ、ＰｉｎＰの小画面には、パーソナルビューモードによる特定の領域Ｐａ（図６Ａ参照）の画像を表示させることができる。出力フレーム毎に両領域の画像を合わせて画像出力する事で、ユーザは、撮像装置１によって撮影された通常の画像も見ながら、特定領域Ｐａの拡大画像も確認することができる。したがって、車両の周囲の状況把握を容易に行えるようになる。また、本例の構成によれば、撮像装置１の外部でＰｉｎＰ生成と合成処理用の機器やその動作に必要な追加メモリ等を用いることなく、画像記憶部１３２を領域の数に対応させて複数設けずに済む。このため、撮像装置１と表示部２１で構成される車両周辺監視システムの部品点数を減らす事ができ、システムのコストを低減できるという効果も得られる。

［画像変換処理部１３１による画像変換処理の例］
図５は、画像を変換するタイミングの例を示す。
図５Ａは、イメージセンサ１１から読み出す画像の読み出しタイミングの例を示す。
ここでは、１フレームずつイメージセンサ１１から画像が読み出されるものとする。

図５Ｂは、１フレーム毎に読み出された画像へ符号を付けた例を示す。
図５Ｃは、画像変換部１３に入力する変換画像の例を示す。イメージセンサ１１から画像変換部１３の間には、画質調整部１２による処理が行われるため、イメージセンサ１１から読み出されるタイミングに比べて、画像変換処理部１３１には遅れて画像が入力する。

図５Ｄは、画像の読み出しタイミングの例を示す。
画像変換処理部１３１は、入力した画像を１フレーム毎に取り出した全体画像又は部分画像のフレームレートを２倍に伸張し、全体画像と部分画像を画像記憶部１３２に書き込むタイミングを１フレーム分だけ異ならせる。本例では、全体画像を変換画像α−ｎ、部分画像を変換画像β−ｎとして表す（ｎは自然数）。

画像変換処理部１３１は、全体画像を第１の領域１３２αに書き込み、部分画像を第２の領域１３２βに書き込む。そして、領域選択部１９は、全体画像と部分画像の読み出しを２フレーム分の時間をかけて行う。また、領域選択部１９によって全体画像と部分画像が画像記憶部１３２から読み出されるタイミングは１フレーム分だけ異なる。これにより、表示部２１に表示されるＰｉｎＰ画像は、１フレームだけ異なる２種類の画像が表示される。

このように、それぞれの変換画像の出力は、２フレームに１回ずつ画像が更新されるため、時間的に異なる画像が合成して出力される。これにより、フレームレートを落とさずにイメージセンサ１１が毎フレームの画像を出力することが可能となる。出力される各フレームはＮＴＳＣフォーマットでは３０ｆｐｓ(フレーム／秒)であり、時間差が生じるが実用上では問題は無い。また、撮像装置１が画像を出力するために、ＮＴＳＣアナログ出力等の基準の垂直同期タイミングで画像を連続的に出力する撮像システム５を構成することが可能となる。

なお、画像変換処理部１３１は、第１の領域１３２αに一方向画像信号を書き込み、第２の領域１３２βに左方向画像信号及び右方向画像信号を書き込むようにしてもよい。このとき、アナログエンコーダ１８は、表示部２１によって表示される画面のうち、ＰｉｎＰ中の子画面には左右の分割拡大画像を表示し、メイン画面には一の方向を撮像した画像を表示する。

［タイミング調整部１６によるタイミング調整処理の例］
図６〜図９は、画像の一部を拡大表示する場合におけるタイミング調整部１６によるタイミング調整処理の例を示す。

図６Ａは、全体画像６を用いてイメージセンサ１１から画像信号を読み出すタイミングを示す。
図６Ａでは、１フレームを構成する各画素のうち、最初の画素（画面左上端の画素）が読み出されるタイミングをタイミングＴｉ１とし、最後の画素（画面右下端の画素）が読み出されるタイミングを、タイミングＴｉｅとしている。タイミングＴｉ１で最初の画素が読み出された後は、水平走査期間１Ｈの期間で、画面右端までの１ライン分の画素が順に読み出される。そして、１ライン目の次は２ライン目といったように、最終ラインまで画素が次々に読み出されることで、１フレーム分の画素がすべて読み出される。つまり、図６Ａに示した、イメージセンサ１１からの画像信号読み出しにおいては、（タイミングＴｉｅ−タイミングＴｉ１）で算出できる期間が、１Ｖ有効期間となる。

図６Ｂは、「パーソナルビューモード」において、特定の領域Ｐａとして設定された領域における部分画像７の例を示す。
図６Ｂでは、特定の領域Ｐａを破線で示してあり、特定の領域Ｐａの左上端の画素が読み出されるタイミングをタイミングＴｉｎ、右下端の画素が読み出されるタイミングをタイミングＴｉｍと示している。（タイミングＴｉｍ−タイミングＴｉｎ）で算出できる期間は、特定の領域Ｐａの大きさによって変わるものとする。本例では、この特定の領域Ｐａ内における部分画像７を切り出して、切り出した画像を１Ｖ有効期間かけて表示装置２に出力する。

図６Ｃは、表示装置２への画像の出力タイミングの例を示す。
図６Ｃでは、特定の領域Ｐａ内における部分画像７に注目した場合における最初の画素を表示装置２に出力するタイミングをタイミングＴｏ１とし、最後の画素を表示装置２に出力するタイミングをＴｏｅとしてある。

図６Ｄは、イメージセンサ１１が画像信号を出力するタイミングの例を示す。
ここでは、１垂直期間における、１番目の水平期間を“１Ｈ”とし、２番目の水平期間を“２Ｈ”とし、ｘ番目の水平期間を“ｘＨ”とする。

図６Ｅは、撮像装置１が画像信号を出力するタイミングの例を示す。
画質処理と画像を切り出す処理によって、撮像装置１が画像信号を出力するタイミングは全体に遅れる。しかし、部分画像を１垂直期間のタイミングに引き伸ばして出力する必要があるために、バッファメモリとして用いる画像記憶部１３２に画像を保持する。

図６Ｂに示した特定の領域Ｐａ内の部分画像７を、（タイミングＴｏｅ−タイミングＴｏ１）で示される１Ｖ有効期間かけて出力する場合には、特定領域Ｐａに相当する部分画像７の出力を、１Ｖ有効期間に引き延ばして行う必要がある。さらに、画質調整部１２による画質調整処理にかかる遅延も加わるため、図６Ｄに示す撮像装置１からの画像信号出力タイミングは、図６Ｅに示すイメージセンサ１１からの読み出しタイミングより、所定の期間遅延されたものとなる。

このため、タイミング調整部１６は、特定の領域Ｐａの部分画像７の引き延ばし出力を実現するために、イメージセンサ１１からの画像信号の読み出しタイミングや、画像記憶部１３２からの部分画像の読み出しタイミングを調整する。

図７は、ＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す。
図７Ａ，図７Ｄ，図７Ｅは、図６Ａ，図６Ｄ，図６Ｅと同様に、イメージセンサ１１が画像信号を出力するセンサ出力タイミングと、撮像装置１が表示装置２に画像信号を出力するカメラ出力タイミングの例を示す。ただし、ＰｉｎＰをして部分画像を拡大表示する場合におけるタイミング調整は一律に定めることができない。

図７Ｂは、特定の領域Ｐａに全体画像６を縮小表示し、部分画像７を全画面表示した例を示す（第１のケース）。
図７Ｃは、特定の領域Ｐａに部分画像７を縮小表示し、全体画像６を全画面表示した例を示す（第２のケース）。
この場合、タイミング調整を行っただけでは、表示タイミングのずれを吸収できないため、以下の図８又は図９に示すようにタイミングを調整する。

図８は、部分画像を拡大してＰｉｎＰ表示する場合のタイミング調整の例を示す（第１のケース）。表示制御部１７は、特定の領域として切り出された第２の画像を、ピクチャインピクチャの全画面に表示し、子画面に第１の画像を表示する。

図８Ａは、イメージセンサ１１が画像信号を出力するタイミングの例を示す。
上述したように、１Ｖ有効期間は次式で求まる。
Ｔｉｅ−Ｔｉ１＝１Ｖ有効期間

図８Ｂは、部分画像７が設定される領域の例を示す。
上述したように、部分画像７が設定される特定の領域Ｐａは可変である。そして、部分画像７の可変有効期間は次式で求まる。
Ｔｉｍ−Ｔｉｎ＝可変有効期間

図８Ｃは、ＰｉｎＰ表示された画面の表示例を示す。
ＰｉｎＰ表示では、全画面表示される部分画像７の内部における特定の領域Ｐａに、全体画像６が縮小表示される。タイミング調整部１６は、タイミング調整機能を用いて画像の書き込みタイミングを調整し、領域選択部１９はタイミング調整部１６の指示に基づいて画像記憶部１３２から画像を伸張出力する。このとき、拡大表示された部分画像７の表示開始タイミングをＴｏ１とし、表示終了タイミングをＴｏｅとすると、１Ｖ有効期間は次式で求まる。
Ｔｏｅ−Ｔｏ１＝１Ｖ有効期間

図８Ｄは、全体画像６を拡大表示した例を示す。
ここで、全体画像６の表示開始タイミングをＴｐ１とし、表示終了タイミングをＴｐとすると、１Ｖ有効期間は次式で求まる。なお、表示開始タイミングＴｐ１と表示終了タイミングＴｐｅは、ＰｉｎＰの配置位置によって可変する値である。
Ｔｐｅ−Ｔｐ１＝１Ｖ有効期間

図９は、ＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す（第２のケース）。表示制御部１７は、特定の領域として切り出された第２の画像を、ピクチャインピクチャの子画面に表示する。

図９Ａ、図９Ｂは、図８Ａ、図８Ｂと同様に、センサ出力タイミングとカメラ出力タイミングの例を示す。

図９Ｃ、図９Ｄは、全体画像６を全画面表示する例を示す。
図９Ｃに示すように、全体画像６の表示開始タイミングをＴｏ１とし、表示終了タイミングをＴｏｅとすると、１Ｖ有効期間は次式で求まる。
Ｔｏｅ−Ｔｏ１＝１Ｖ有効期間

図９Ｄに示すように、特定の領域Ｐａに表示される部分画像７の表示開始タイミングＴｐ１と表示終了タイミングＴｐｅは、ＰｉｎＰの配置位置によって可変する値である。
Ｔｐｅ−Ｔｐ１＝１Ｖ有効期間

図１０は、イメージセンサ１１から読み出される全体画像６に含まれる左右の画像を上下左右方向に拡大する例を示す。
図１０Ａは、全体画像６のうち、左側の一部画像が含まれる領域９Ｌと、右側の一部画像が含まれる領域９Ｒの例を示す。領域９Ｌからは、一の方向に対して左側方向を撮像した画像に対応する左方向画像信号が読み出される。一方、領域９Ｒからは、一の方向に対して右側方向を撮像した画像に対応する右方向画像信号が読み出される。

図１０Ｂは、領域９Ｌに含まれる画像と領域９Ｒに含まれる画像を拡大した例を示す。
画像変換処理部１３１は、イメージセンサ１１から読み出した画像のうち、領域９Ｌに含まれる左方向画像と領域９Ｒに含まれる右方向画像を伸縮変換と、拡大変換を行う。そして、画像変換処理部１３１は、第１の領域１３２αから読み出した画像信号によって表示部２１に表示される画像が表示部２１の画面の上下及び左右方向に拡大又は縮小して互いに重なり合わずに表示されるように、第１の領域１３２αに書き込む。本例では、第１の分割領域１３２α１に変換した左方向画像信号を書き込み、第２の分割領域１３２α２に変換した右方向画像信号を書き込みことによって、左右画像１０Ｌ，１０Ｒを生成する。

図１１は、画像変換処理部１３１による左右画像の画像変換処理の例を示す。
ここでは、イメージセンサ１１から画像を切り出して、左右拡大画像を生成するタイミングについて説明する。

イメージセンサ１１からは、領域９Ｌにおける水平方向のＴｉｎｌｌ′〜Ｔｉｎｌｒ′期間と、Ｔｉｎｒｌ′〜Ｔｉｎｒｒ′期間の画像信号が読み出される。そして、画像変換処理部１３１は、読み出された画像信号を一水平有効期間に連続して出力する画像伸縮処理を行う。また、画像変換処理部１３１は、垂直方向にも左方向画像信号と右方向画像信号に同様なタイミング伸縮処理を施し、１フレーム期間の画像を生成する。

図１２は、イメージセンサ１１から読み出される全体画像６に含まれる中心画像を拡大する例を示す。
図１２Ａは、全体画像６のうち、中心の一部画像が含まれる領域８の例を示す。領域８からは、一の方向（本例では、前方方向）を撮像した画像に対応する一方向画像信号が読み出される。

図１２Ｂは、領域８に含まれる画像を左右方向に拡大した例を示す。
画像変換処理部１３１は、イメージセンサ１１から読み出した画像のうち、領域８に含まれる画像を左右方向に伸縮し、拡大する。そして、図１０Ｂに示した左右画像の上にＰｉｎＰとして重ねて表示部２１に表示されるように、第２の領域１３２βに変換した一方向画像信号を書き込むことによって、中心画像を生成する。

図１３は、部分画像を拡大して表示部２１にＰｉｎＰ表示する場合におけるタイミング調整の例を示す。
図１３Ａは、図６Ａと同様に、イメージセンサ１１が画像信号を出力するセンサ出力タイミングの例を示す。

図１３Ｂは、全体画像６に対して、領域８、領域９Ｌ、及び領域９Ｒを設定した例を示す。
図１３Ｃは、図１２Ｂに示したように、画像記憶部１３２における第１の分割領域１３２α１に左方向画像信号を書き込み、第２の分割領域１３２α２に右方向画像信号を書き込み、第２の領域１３２βに一方向画像信号を書き込んだ例を示す。

図１３Ｄは、第２の領域１３２βに書き込まれた一方向画像信号に基づく画像の例を示す。
このように画像変換処理部１３１は、表示部２１に表示される画面内における上部、中央部、下部に合わせて第２の領域１３２βを配置し、一方向画像信号を第２の領域１３２βに書き込む。また、画像変換処理部１３１は、画面内における上部若しくは下部であって、左右方向に第２の領域１３２βを拡大して一方向画像信号を第２の領域１３２βに書き込む。そして、画像を伸張することにより、第２の領域１３２βに書き込まれた一方向画像信号に基づく画像は、領域８によって切り出された画像を圧縮変換したものであることが分かる。

図１４は、本例の撮像装置１が設置される自動車を上面視した例を示す。
撮像装置１は、自動車のフロント側のボンネット部とリア側のトランク部に設置され、表示装置２が車内の運転席に設置される。フロント側、リア側に設置された撮像装置１は、共に撮像角度が１８０度程度である。本例では、フロント側に設置された撮像装置１では、「前方方向」を「一方向」と呼び、リア側に設置された撮像装置１では、「後方方向」を「一方向」と呼ぶ。

図１５は、表示部２１の上部に、車両の前方方向を撮像した画像をＰｉｎＰ表示する例を示す。
図１５Ａは、画像変換等を行わない状態における全画面表示の例を示す。
この例では、自動車のリア側に設置された撮像装置１が撮像した画像３０を表示している。この撮像装置１に用いられるレンズは曲率が大きいため、特に表示部２１の周辺部における画像の歪みが大きくなる。このため、ユーザは注目すべき車両に気付きにくく、実際に近づいている車両が自車両より遠くにあるかのように車両の位置関係を誤解することがある。

図１５Ｂは、画像３０に含まれる前方方向を撮像した画像と、左右方向を撮像した画像の例を示す。
ここでは、画像３０のうち、左右に位置する領域３１Ｌ，３１Ｒを拡大表示して分割したメイン画面として選択する。また、画像の中心に位置する領域３２を後述する図１５ＣにおけるＰｉｎＰ表示された子画面として選択する。この選択は、設定値記憶部１５から読み出された設定値に基づいて自動的になされる。

このように通常時にドライバが見る変換前の全体画像から、一部の画像を拡大して表示するまでの移行期間内に、一時的に拡大部分となる想定領域（領域３１、領域３１Ｌ及び領域３１Ｒ）の大まかな枠を短時間で表示する。この枠表示に要する時間は、０．５秒〜５秒程度であり、ＰｉｎＰ表示される子画面を見るユーザに注意を喚起する。各設定値は、画像変換処理部１３１によって、第２の領域１３２βに一方向画像信号を書き込み、第１の領域１３２αに左方向画像信号及び右方向画像信号を書き込む前に行われる。画像変換処理部１３１は、設定値により特定される特定の領域を示す情報を付加して、イメージセンサ１１から読み出される画像信号をそのまま画像記憶部１３２に書き込む。これにより、ドライバが表示部２１に表示された画像を見る際に、他の車両等が接近すること、若しくは左右の状況を確認する際に車両の前方にいる歩行者を見逃してしまうといった事態を防ぐことができる。

図１５Ｃは、メイン画面にＰｉｎＰ表示した子画面を組み合わせて表示部２１に表示する例を示す。
表示部２１に画像を表示する前に、画像変換処理部１３１は、領域３１Ｌ，３１Ｒ，３２における画像の歪みを除く。そして、図１５Ｂに示した領域３１Ｌと領域３１Ｒにおける左右画像を拡大し、メイン画面を分割した左画面３３Ｌと右画面３３Ｒに、それぞれ左方向画像と右方向画像が表示される。また、ユーザの操作によって動作する表示制御部１７は、ＰｉｎＰ表示する子画面３４の位置、大きさを変えて、一方向画像を表示することができる。

このように、車両の左右方向を撮像した画像を拡大表示することによって、ユーザは自車両に他の車両が近づくことを認識することができる。また、画面上部に領域３２に含まれる画像を縮小変換した子画面３４をＰｉｎＰ表示することによって、ドライバは、自車両の周囲の状況を把握しやすくなる。また、ドライバは、ＰｉｎＰ表示される子画面３４の大きさを破線の矢印方向に拡大又は縮小して変えることができる。これにより、左画面３３Ｌと右画面３３Ｒに含まれる自動車等が自車両に近づいて拡大しても、子画面３４の表示に際して邪魔にならない。

図１６は、表示部２１の下部に、車両の前方方向を撮像した画像をＰｉｎＰ表示する例を示す。
ここでは、左右画像が表示されるメイン画面３５Ｌ，３５Ｒの中央下部を欠いた箇所に、縮小変換された画像がＰｉｎＰ表示される子画面３４が設定される。子画面３４に表示される画像は、図１５Ｃに示した画像と同様に、破線の矢印方向に拡大又は縮小して大きさを変えることができる。これにより、メイン画面３５Ｌ，３５Ｒに表示される画像に含まれる自動車等が自車両に近づいて拡大した場合に、表示の邪魔にならない。

図１７は、表示部２１の上部に、車両の前方方向を撮像した画像を左右方向に伸張してＰｉｎＰ表示する例を示す。
ここでは、表示部２１の画面上部に配置し、上下を圧縮し、左右を伸張した子画面３７に、領域３１における画像をＰｉｎＰ表示する。ドライバは前方方向を見ることは容易であるため、子画面３７の上下方向は圧縮していても視認性が損なわれることはない。そして、子画面３７の下には、左右を分割したメイン画面を表示するメイン画面３６Ｌ，３６Ｒを設け、ここに、左方向画像と右方向画像を拡大表示する。この場合も、メイン画面３６Ｌ，３６Ｒに表示される画像に含まれる自動車等が自車両に近づいて拡大した場合に、表示の邪魔にならない。

このように、ＰｉｎＰ表示される子画面には、自動車のフロント又はリア側で撮像した画像が嵌め込まれる。このとき、子画面の配置は、撮像装置１の取り付け状況、表示部２１の画面表示サイズ、ドライバの視認性を改善する目的に応じて、全体画面に対して以下のように適宜設定を変えることができる。
ａ．画面中心部への上方配置
ｂ．画面中心部への下方配置
ｃ．画面横長全体の上方配置
ｄ．画面横長全体の下方配置

以上説明した一実施の形態に係る撮像システム５によれば、同一のイメージセンサ１１より取り込まれた画像の一部を取り出して、全体画像か部分画像のいずれかを子画面化してＰｉｎＰ表示することができる。ただし、全体画像と部分画像を表示するために画像変換から表示するまでのタイミングを少なくとも２系統で調整する必要がある。このため、ＰｉｎＰの子画面としてＰｉｎＰ表示機能を実現する際に、子画面側の画像情報が配置されるメモリ領域を第２の領域１３２βとして画像記憶部１３２に確保し、第２の領域１３２βに全画面から取得した画像を予め嵌め込んで配置する。これにより、全画面と子画面を出力する処理におけるタイミングの調整を２系統に分けて行う必要がなくなる。このように、撮像装置１は、全画面表示をする際に用いる、“全画像メモリ”の順次読み出しアドレス内において、ＰｉｎＰの表示位置に応じたアドレス領域に、前フレームの画像を縮小配置する。

また、ＰｉｎＰ機能を搭載した撮像装置１が出力する画像内に子画面を配置する機能を設けており、撮像装置１の内部で全体画面に車両の左右方向を撮像した画像を拡大表示し、子画面には車両の前方方向の画像を表示するよう制御する。これにより車両の進行方向と自車両への接近物を確認することができるため、ドライバは、自車両の前進又は後進が他車両等への進路妨害にならないか発進前に事前に確認することができる。従来は、直角に横切る道路の横断や駐車場からの車庫出しに際して車の左右から接近する車両や歩行者の確認が運転席から困難であった。しかし、表示部２１に表示される一つの画面上で広角画像から車両左右画面の拡大画面での確認と合わせて、前方又は後方を確認することを安価に実現できる。また、見通しが悪い十字路や駐車場から車両を安全に発進させることが出来る撮像システム５を安価に提供できる。

また、それぞれの変換画像の出力は、２フレームに１回ずつ画像が更新される。従って、時間的に１フレームずつ異なる画像が合成されて表示部２１に出力される。このため、イメージセンサ１１が出力する画像のフレームレートを落とすこと無く毎フレームの画像を表示部２１に出力することが可能となる。また、撮像装置１が表示装置２に画像を出力するために、ＮＴＳＣアナログ出力等の基準の垂直同期タイミングで画像を連続的に出力するシステムを構成することが可能である。

このように、撮像装置１は、ＰｉｎＰ機能付き周辺監視用に車載される広角を撮像可能である。広角画像では局所的な画像の詳細把握が困難であり、特にユーザが注視したい特定の箇所が存在しても、そのままの画像では細部を把握が出来ないか、ユーザが認知するまでに時間が掛かることになる。しかし、運転中のドライバは危険物に対して早期に判断することが必要である。そのようなニーズに対して、撮像装置１が取り込んだ広角画像から該当する特定領域Ｐａにおける部分画像を事前に設定し、撮像装置１側で子画面等に該当箇所をＰｉｎＰ表示する機能を提供することで、ドライバが状況を容易に把握することが出来る。ドライバは、全体画像と合わせて特定の注視領域をより詳細に観察できるために、周辺の状況把握が容易且つ迅速に把握できる。

また、撮像装置１は、撮像装置１が出力する同一画面内に子画面を配置するＰｉｎＰ機能を設けており、この子画面には全体画像では目視が困難な箇所の部分画像をドライバ等が指定できる。または子画面に全体画像を表示して、全体画像に特定箇所の拡大詳細画像を表示することも可能とする。そして、全体画像と部分画像をＰｉｎＰとしてほぼ同時に同一画面に嵌め込んで表示装置２に伝送することによって、周囲の全体と特定箇所の詳細を同時に把握することが可能となる。

また、２フレームに１回ずつ画像が更新されるため、画質調整部１２は、読み出される時間が異なり、異なる撮像領域に起因する領域毎に最適な画質に調整することにより、撮像装置１は、それぞれの変換画像を出力することが可能である。そして、画像記憶部１３２にフレームを交互に書き込んで実現するＰｉｎＰ動作方法により、副次的に領域毎の露光制御等の最適化処理を行うことが可能である。従来は、明るさが大きく異なる領域をＰｉｎＰ表示した際に、画像の一部が極端に暗くなるか、または極端に明るくなる場合があった。しかし、領域毎に表示される画像毎に最適な画質に調整する制御を行うことによって、フレーム毎に各領域に書き込まれる画像信号よりなる画像の明るさを調整することが可能となる。このため、撮像装置１は、ドライバが全体を把握しやすい画像を出力することができる。

また、これまでの周辺監視用に車載される撮像装置は、製造過程で設定された特定領域を目視することを目的として予め監視領域が設定されていた。製品の中には工場の出荷段階で目視して管理領域を指定できるものが存在していたが、各ドライバが運転する環境に起因する目視が困難な状況を考慮して監視領域を指定できる製品はなかった。一方、撮像システム５によれば、ドライバが自己の運転で目視が困難な領域指定と、指定した領域の保持ができるため、例えば自宅の狭いスペースに駐車する際には非常に有効な周辺監視ができる。

＜２．変形例＞
なお、図４に示したように、一つの画像記憶部１３２を用いてＰｉｎＰ画面の表示制御を行う構成だけでなく、領域の数に対応して複数の画像記憶部１３２を設ける構成に適用してもよい。

また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

１…撮像装置、２…表示装置、５…撮像システム、１１…イメージセンサ、１２…画質調整部、１３…画像変換部、１４…制御部、１５…設定値記憶部、１６…タイミング調整部、１７…表示制御部、１８…アナログエンコーダ、１９…領域選択部、２１…表示部、２２…操作入力部、１３１…画像変換処理部、１３２…画像記憶部、Ｂ１…選択・確定ボタン、Ｂ２…値入力ボタン

Claims (10)

1. 乗物に設置され、前記乗物の前方方向又は後方方向のいずれかを一の方向とする撮像装置であって、
   被写体光を光電変換して画像信号を生成するイメージセンサと、
   前記画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域の内部に第２の領域を設定する記憶部と、
   前記イメージセンサから前記画像信号を読み出して前記記憶部に前記画像信号を書き込むタイミングと、前記記憶部から前記画像信号を読み出すタイミングを調整するタイミング調整部と、
   前記イメージセンサから読み出される前記画像信号による画像に所定の処理を加え、前記タイミングが調整されることによって、前記画像信号を前記第１及び第２の領域に書き込むフレームを１フレーム毎に異ならせて、前記イメージセンサから入力する前記画像信号のうち、前記一の方向を撮像した画像に対応する一方向画像信号を所定のフレーム期間で前記第２の領域に書き込み、前記一の方向に対して左側方向を撮像した画像に対応する左方向画像信号を前記一方向画像信号のフレーム期間とは異なるフレーム期間で、前記第１の領域を分割した第１の分割領域に書き込み、前記一の方向に対して右側方向を撮像した画像に対応する右方向画像信号を、前記左方向画像信号を前記第１の分割領域に書き込むフレーム期間とは異なるフレーム期間で、前記第１の領域を分割した第２の分割領域に書き込む画像変換処理部と、
   前記第１及び第２の領域から連続走査タイミングで読み出した前記一方向画像信号、前記左方向画像信号及び前記右方向画像信号を所定の方式の画像信号に変換して表示部に出力する出力部と、を備えた
   撮像装置。
2. 前記第１の領域は、前記記憶部から前記第２の領域を除いた部分に設定され、
   前記画像変換処理部は、前記第１の領域から読み出した前記画像信号によって前記表示部に表示される画像が前記表示部の画面の上下及び左右方向に拡大又は縮小して互いに重なり合わずに表示されるように、前記左方向画像信号及び前記右方向画像信号を前記第１の領域に書き込む
   請求項１記載の撮像装置。
3. 前記画像変換処理部は、前記第２の領域に前記一方向画像信号を書き込み、前記第１の領域に前記左方向画像信号及び前記右方向画像信号を前記出力部が出力する切り替え動作開始前に、前記設定値により特定される特定の領域を示す情報を一定期間の通常出力画像に付加して、前記イメージセンサから読み出される前記画像信号をそのまま前記記憶部に書き込む
   請求項２記載の撮像装置。
4. 前記画像変換処理部は、前記表示部に表示される画面内における上部、中央部、下部に前記第２の領域を配置し、又は、前記画面内における上部若しくは下部であって、左右方向に前記第２の領域を拡大して前記一方向画像信号を前記第２の領域に書き込む
   請求項３記載の撮像装置。
5. ユーザからの操作入力に応じてその大きさ及び位置を可変させる枠を、前記出力部によって出力された前記画像信号による画像を表示する表示部に表示させる表示制御部を備え、
   前記制御部は、前記枠の大きさ及び位置に基づいて前記設定値を生成する
   請求項４記載の撮像装置。
6. 前記イメージセンサの駆動を制御すると共に、前記第１及び第２の領域に書き込まれる前記一方向画像信号、前記左方向画像信号及び前記右方向画像信号よりなる画像の画質を調整する制御を、前記イメージセンサから前記画像信号をフレーム毎に取り込むタイミングで前記一方向画像信号と、前記左方向画像信号及び前記右方向画像信号毎に異ならせて行う画質調整部を備える
   請求項５記載の撮像装置。
7. 当該撮像装置は車体又は船体に搭載され、前記イメージセンサは、前記車体又は前記船体の周囲の被写体光を光電変換して前記画像信号を生成する
   請求項６記載の撮像装置。
8. 前記画像変換処理部は、前記第１の領域に前記一方向画像信号を書き込み、前記第２の領域に前記左方向画像信号及び前記右方向画像信号を書き込む
   請求項２記載の撮像装置。
9. 乗物に設置され、前記乗物の前方方向又は後方方向のいずれかを一の方向とする撮像装置と、表示装置とを備える撮像システムであって、
   被写体光を光電変換して画像信号を生成するイメージセンサと、
   前記画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域の内部に第２の領域を設定する記憶部と、
   前記イメージセンサから前記画像信号を読み出して前記記憶部に前記画像信号を書き込むタイミングと、前記記憶部から前記画像信号を読み出すタイミングを調整するタイミング調整部と、
   前記イメージセンサから読み出される前記画像信号による画像に所定の処理を加え、前記タイミングが調整されることによって、前記画像信号を書き込むフレームを１フレーム毎に異ならせて、前記イメージセンサから入力する前記画像信号のうち、前記一の方向を撮像した画像に対応する一方向画像信号を所定のフレーム期間で前記第２の領域に書き込み、前記一の方向に対して左側方向を撮像した画像に対応する左方向画像信号を前記一方向画像信号のフレーム期間とは異なるフレーム期間で、前記第１の領域を分割した第１の分割領域に書き込み、前記一の方向に対して右側方向を撮像した画像に対応する右方向画像信号を、前記左方向画像信号を前記第１の分割領域に書き込むフレーム期間とは異なるフレーム期間で、前記第１の領域を分割した第２の分割領域に書き込む画像変換処理部と、
   前記第１及び第２の領域から連続走査タイミングで読み出した前記一方向画像信号、前記左方向画像信号及び前記右方向画像信号を所定の方式の画像信号に変換して表示部に出力する出力部と、を有する前記撮像装置と、
   前記出力部から出力された画像信号による画像を表示する表示部を有する前記表示装置を備えた
   撮像システム。
10. 乗物に設置され、前記乗物の前方方向又は後方方向のいずれかを一の方向とする撮像装置が行う撮像方法であって、
    イメージセンサが被写体光を光電変換して画像信号を生成するステップと、
    前記画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域の内部に第２の領域を記憶部に設定するステップと、
    前記イメージセンサから前記画像信号を読み出して前記記憶部に前記画像信号を書き込むタイミングと、前記記憶部から前記画像信号を読み出すタイミングを調整するステップと、
    前記イメージセンサから読み出される前記画像信号による画像に所定の処理を加え、前記タイミングが調整されることによって、前記画像信号を書き込むフレームを１フレーム毎に異ならせて、前記イメージセンサから入力する前記画像信号のうち、前記一の方向を撮像した画像に対応する一方向画像信号を所定のフレーム期間で前記第２の領域に書き込み、前記一の方向に対して左側方向を撮像した画像に対応する左方向画像信号を前記一方向画像信号のフレーム期間とは異なるフレーム期間で、前記第１の領域を分割した第１の分割領域に書き込み、前記一の方向に対して右側方向を撮像した画像に対応する右方向画像信号を、前記左方向画像信号を前記第１の分割領域に書き込むフレーム期間とは異なるフレーム期間で、前記第１の領域を分割した第２の分割領域に書き込むステップと、
    前記第１及び第２の領域から連続走査タイミングで読み出した前記一方向画像信号、前記左方向画像信号及び前記右方向画像信号を所定の方式の画像信号に変換して表示部に出力するステップと、を有する
    撮像方法。

Images