JP2016225849A - 表示システム及び表示方法 - Google Patents

Abstract

【課題】複数の撮像装置により画像が撮像されてから当該複数の撮像装置により撮像された画像の合成画像が表示されるまでの遅延時間をより低減することができる表示システム等を提供する。又は、複数の撮像装置により撮像された画像を合成して表示する場合におけるリアルタイム性をより向上させることができる表示システム等を提供する。
【解決手段】表示システムは、少なくとも垂直同期信号を複数の撮像装置に出力する信号出力部と、垂直同期信号の出力タイミングに基づいて所定の周期で刻まれる水平同期信号に応じたタイミングで複数の撮像装置の各々から出力されたライン単位の画像信号をライン単位で合成する合成部とを有する制御装置と、合成部により合成されたライン単位の画像信号をライン単位で逐次表示する画像表示パネルと、を有する。
【選択図】図１０

Description

本発明は、表示システム及び表示方法に関する。

デジタルカメラ等の撮像装置を複数設け、係る複数の撮像装置により撮像された画像を合成して表示出力する表示システムが知られている（例えば特許文献１、特許文献２）。

特開２０１１−１３５２９４号公報 特開平１０−１８６５５０号公報

しかしながら、従来の表示システムは、画像を合成する装置が複数の撮像装置からフレーム単位で画像の取得を完了した後に画像を合成し、係るフレーム画像の合成が完了した後にフレーム単位で表示出力を行う。このため、撮像装置による撮像開始タイミングを基準として、撮像装置によるフレーム画像の出力完了に最低１フレーム分の時間がかかる。その後、フレーム画像の合成のための処理時間が生じる。さらに、フレーム単位で画像を合成及び表示するため、フレーム単位の画像に応じたバッファ（フレームバッファ）を経由して画像データを伝送することになり、バッファを経由したデータの入出力時間がさらに生じる。これらの時間は、画像が撮像されてから表示されるまでの遅延時間となり、合成画像のリアルタイム性を損なっていた。

特に、自動車等の移動体に搭載され、移動体の外部の状況を複数の撮像装置でモニターするための画像を表示するような表示システムの場合、画像が撮像されてから表示されるまでの遅延時間の長大さは、外部の状況の把握の遅れをもたらす。このため、係る表示システムの場合、当該遅延時間は、安全性の面から看過し難い。

本発明は、上記の課題に鑑みてなされたもので、複数の撮像装置により画像が撮像されてから当該複数の撮像装置により撮像された画像の合成画像が表示されるまでの遅延時間をより低減することができる表示システム及び表示方法を提供することを目的とする。又は、複数の撮像装置により撮像された画像を合成して表示する場合におけるリアルタイム性をより向上させることができる表示システム及び表示方法を提供することを目的とする。

本発明の一態様である表示システムは、少なくとも垂直同期信号を複数の撮像装置に出力する信号出力部と、前記垂直同期信号の出力タイミングに基づいて所定の周期で刻まれる水平同期信号に応じたタイミングで前記複数の撮像装置の各々から出力されたライン単位の画像信号をライン単位で合成する合成部とを有する制御装置と、前記合成部により合成されたライン単位の画像信号をライン単位で逐次表示する画像表示パネルと、を有する。

また、本発明の一態様である表示システムは、撮像した画像をライン単位で出力する複数の撮像装置と、少なくとも垂直同期信号を前記複数の撮像装置に出力する信号出力部と、前記垂直同期信号の出力タイミングに基づいて所定の周期で刻まれる水平同期信号に応じたタイミングで前記複数の撮像装置の各々から出力されたライン単位の画像信号をライン単位で合成する合成部とを有する制御装置と、前記合成部により合成されたライン単位の画像信号をライン単位で逐次表示する画像表示パネルと、を有する。

また、本発明の一態様は、ライン単位の画像信号をライン単位で逐次表示する画像表示パネルを有する表示装置による画像の表示方法であって、少なくとも垂直同期信号を複数の撮像装置に出力し、前記垂直同期信号の出力タイミングに基づいて所定の周期で刻まれる水平同期信号に応じたタイミングで前記複数の撮像装置の各々から出力されたライン単位の画像信号をライン単位で合成し、前記合成部により合成されたライン単位の画像信号をライン単位で逐次表示する。

図１は、本発明の実施形態１による表示システムの主要構成を示す図である。 図２は、ルームミラーユニット及びサイドミラーユニットが有する撮像装置の配置例を示す図である。 図３は、サイドミラーユニットが有する表示装置の配置例を示す図である。 図４は、表示装置の構成の一例を示すブロック図である。 図５は、実施形態１に係る画像表示パネルの画素配列を示す図である。 図６は、実施形態１に係る表示装置の画像表示パネル及び画像表示パネル駆動回路の概念図である。 図７は、実施形態１に係る画像表示パネルの画素配列の他の例を示す図である。 図８は、画像表示パネルの表示単位と３つの撮像装置が有する撮像素子が出力する画像のデータ転送単位との関係を示す模式図である。 図９は、実施形態１に係るルームミラーユニットの表示装置に接続された制御装置と、撮像装置との関係を示す模式図である。 図１０は、実施形態１に係る垂直同期信号及び水平同期信号の出力タイミングと撮像装置からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。 図１１は、変形例に係るルームミラーユニットの表示装置に接続された制御装置と、撮像装置との関係を示す模式図である。 図１２は、変形例に係る垂直同期信号及び水平同期信号の出力タイミングと撮像装置からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。 図１３は、実施形態１及び変形例に係る制御装置による処理の流れの一例を示すフローチャートである。 図１４は、実施形態２に係るルームミラーユニットの表示装置に接続された制御装置と、撮像装置との関係を示す模式図である。 図１５は、実施形態２に係る撮像素子の撮像画像と画像表示パネルに表示される合成画像との対応関係の一例を示す模式図である。 図１６は、実施形態３に係る撮像素子の撮像画像と画像表示パネルに表示される合成画像との対応関係の一例を示す模式図である。 図１７は、実施形態３に係る垂直同期信号及び水平同期信号の出力タイミングと撮像装置からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。 図１８は、列方向の縮小を行う場合の一例を示す概略説明図である。 図１９は、列方向の拡大を行う場合の一例を示す概略説明図である。 図２０は、実施形態４に係る垂直同期信号及び水平同期信号の出力タイミングと撮像装置からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。 図２１は、実施形態４に係る変形例における垂直同期信号及び水平同期信号の出力タイミングと撮像装置からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。 図２２は、実施形態４に係る変形例における垂直同期信号及び水平同期信号の出力タイミングと撮像装置からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。

以下に、本発明の各実施形態について、図面を参照しつつ説明する。なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。

（実施形態１）
図１は、本発明の実施形態１による表示システム１の主要構成を示す図である。図１に示すように、表示システム１は、ルームミラーユニット２、２つのサイドミラーユニット３Ａ，３Ｂ及びＣＩＤ（Center Information Display）ユニット４を備える。表示システム１は、移動体である自動車に設けられたいわゆる車載の表示システムである。

ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂは、撮像装置５、表示装置２０、制御装置１０等を有する。ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂは、それぞれが１つの処理単位（表示システム）として機能しうる。すなわち、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂは、それぞれが有する表示装置２０，２０Ａ，２０Ｂに表示される画像の画像処理を、それぞれが有する制御装置１０，１０Ａ，１０Ｂにより行う。

図２は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂが有する撮像装置５Ａ，５Ｂ，５Ｃの配置例を示す図である。図２では、撮像装置５Ａ，５Ｂ，５Ｃの画角を破線で示している。実施形態１に係るルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂは、撮像装置５を共有する。具体的には、例えば図２に示すように、実施形態１に係る表示システム１は、３つの撮像装置５Ａ，５Ｂ，５Ｃを有する。３つの撮像装置５Ａ，５Ｂ，５Ｃは、自動車の車体ＢＯの後方及び側方に配置される。３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２Ａ，７２Ｂ，７２Ｃはレンズ７１（図９参照）を介して外部に露出しており、画角が車外に向けられている。すなわち、３つの撮像装置５Ａ，５Ｂ，５Ｃは、車外の状況を確認可能な画像を撮像する。より具体的には、側方に設けられる撮像装置５Ａ，５Ｂと後方に設けられる撮像装置５Ｃの画角とは、少なくとも連続するように設けられ、より好適には、画角が一部重複するように設けられている。これにより、側方の撮像装置５Ａ，５Ｂの画角のうち、自動車の前方側の画角ＡＶ１，ＡＶ２よりも後方の状況を３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像範囲内に収めることができる。実施形態１では、例えばルームミラーユニット２の表示装置２０が３つの撮像装置５Ａ，５Ｂ，５Ｃにより撮像された画像を表示し、サイドミラーユニット３Ａ，３Ｂの表示装置２０Ａ，２０Ｂが後方の撮像装置５Ｃと側方の撮像装置５Ａ，５Ｂのうち１つにより撮像された画像を合成した画像を表示するが、これは一例であってこれに限られるものでなく、適宜変更可能である。撮像装置５Ａ，５Ｂ，５Ｃを特に区別する必要がない場合、撮像装置５と記載することがある。

図３は、サイドミラーユニット３Ａが有する表示装置２０Ａの配置例を示す図である。サイドミラーユニット３Ａが有する表示装置２０Ａは、四輪自動車の車内であって運転席の側方に配置される。具体的には、サイドミラーユニット３Ａが有する表示装置２０Ａは、例えば図３に示すように、フロントガラスＦＧとサイドガラスＳＧとの間に存するＡピラーＡＰの付け根付近に設けられる。サイドミラーユニット３Ｂが有する表示装置２０Ｂは、ハンドルＨＮ等が運転席に対してサイドミラーユニット３Ａが有する表示装置２０Ａと左右逆の位置に設けられる。サイドミラーユニット３Ａ，３Ｂが有する表示装置２０Ａ，２０Ｂは、車外の状況のうち主に車体ＢＯの側方の状況を示す画像を表示する。すなわち、サイドミラーユニット３Ａ，３Ｂは、従来ドアミラー又はフェンダーミラーにより確認されていた車外側方の状況確認に利用することができる。ルームミラーユニット２が有する表示装置２０は、例えばフロントガラスＦＧの中央上部付近に位置するよう設けられ、いわゆるバックミラーを代替する。すなわち、ルームミラーユニット２は、従来バックミラーにより確認されていた車外後方の状況確認に利用することができる。

ＣＩＤユニット４は、例えば中央処理部１４、表示装置２０Ｃ等を備える。ＣＩＤユニット４の表示装置２０Ｃは、例えばダッシュボードに設けられて、カーナビゲーションシステムにおける道案内情報等を表示するための表示装置として機能する。ＣＩＤユニット４の表示装置２０Ｃは、スピードメータ、タコメータ、燃料計、水温計、距離計等の計器類と同様の情報を出力する表示装置として設けられてもよい。

実施形態１に係るＣＩＤユニット４は、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとデータ伝送可能に接続される。具体的には、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとは例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等のインタフェースを介して接続されるが、係る接続形態は、ＣＩＤユニット４とルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂとの接続の具体的形態の一例であってこれに限られるものでなく、適宜変更可能である。ＣＩＤユニット４の表示装置２０Ｃは、ルームミラーユニット２及びサイドミラーユニット３Ａ，３Ｂの各々が有する表示装置２０，２０Ａ，２０Ｂのうちいずれかが故障した場合、故障した表示装置の表示出力を代替する。中央処理部１４は、ＣＩＤユニット４の表示装置２０Ｃによる表示出力に係る各種の処理を行う。

図４は、表示装置２０の構成の一例を示すブロック図である。図５は、実施形態１に係る画像表示パネルの画素配列を示す図である。図６は、実施形態１に係る表示装置２０の画像表示パネル及び画像表示パネル駆動回路の概念図である。図７は、実施形態１に係る画像表示パネルの画素配列の他の例を示す図である。サイドミラーユニット３Ａ，３Ｂの表示装置２０Ａ，２０Ｂの構成及び実施形態１に係るＣＩＤユニット４の表示装置２０Ｃの構成も、図４乃至図７に示す表示装置２０の構成と同様である。

図４に示すように、表示装置２０は、制御装置１０から出力された出力信号に基づいて画像を表示させる画像表示パネル３０と、画像表示パネル３０の駆動を制御する画像表示パネル駆動回路４０と、画像表示パネル３０を、例えばその背面から照明する光源装置５０と、光源装置５０の駆動を制御する光源装置制御回路６０と、を備える。

図５、図６に示すように、画像表示パネル３０は、画素４８が、Ｐ×Ｑ個（行方向にＰ個、列方向にＱ個）、２次元のマトリクス状に配列されている。図５、図６に示す例は、ＸＹの２次元座標系に複数の画素４８がマトリクス状に配列されている例を示している。この例において、行方向がＸ方向、列方向がＹ方向である。また、水平同期信号は、行方向の走査に係る信号である。また、垂直同期信号は、列方向の走査に係る信号である。

画素４８は、第１副画素４９Ｒと、第２副画素４９Ｇと、第３副画素４９Ｂと、第４副画素４９Ｗとを有する。第１副画素４９Ｒは、第１色成分（例えば、第１原色として赤色）を表示する。第２副画素４９Ｇは、第２色成分（例えば、第２原色として緑色）を表示する。第３副画素４９Ｂは、第３色成分（例えば、第３原色として青色）を表示する。第４副画素４９Ｗは、第４色成分（具体的には白色）を表示する。以下において、第１副画素４９Ｒと、第２副画素４９Ｇと、第３副画素４９Ｂと、第４副画素４９Ｗとをそれぞれ区別する必要がない場合、副画素４９という。

表示装置２０は、より具体的には、例えば透過型のカラー液晶表示装置である。画像表示パネル３０は、カラー液晶表示パネルであり、第１副画素４９Ｒと画像観察者との間に第１原色を通過させる第１カラーフィルタが配置され、第２副画素４９Ｇと画像観察者との間に第２原色を通過させる第２カラーフィルタが配置され、第３副画素４９Ｂと画像観察者との間に第３原色を通過させる第３カラーフィルタが配置されている。また、画像表示パネル３０は、第４副画素４９Ｗと画像観察者との間にカラーフィルタが配置されていない。第４副画素４９Ｗには、カラーフィルタの代わりに透明な樹脂層が備えられていてもよい。このように画像表示パネル３０は、透明な樹脂層を設けることで、第４副画素４９Ｗにカラーフィルタを設けないことによって第４副画素４９Ｗに大きな段差が生じることを抑制することができる。

そして、画像表示パネル３０は、図５に示す例では、第１副画素４９Ｒ、第２副画素４９Ｇ、第３副画素４９Ｂ及び第４副画素４９Ｗが所定の配列（例えばストライプ配列）で配置されている。なお、１つの画素４８に含まれる第１副画素４９Ｒ、第２副画素４９Ｇ、第３副画素４９Ｂ、第４副画素４９Ｗの構造及びその配置は特に限定されない。例えば、画像表示パネル３０は、第１副画素４９Ｒ、第２副画素４９Ｇ、第３副画素４９Ｂ及び第４副画素４９Ｗをダイアゴナル配列（モザイク配列）に類似した配列で配置してもよい。また、例えば、デルタ配列（トライアングル配列）に類似した配列、レクタングル配列に類似した配列等としてもよい。さらに、図７に示す画像表示パネル３０Ａのように、画素４８Ａが第１副画素４９Ｒ、第２副画素４９Ｇ及び第３副画素４９Ｂを有し、第４副画素４９Ｗを有しない構成であってもよい。

画像表示パネル駆動回路４０は、信号出力回路４１及び走査回路４２を備えている。信号出力回路４１は、所謂ソースドライバであり、制御装置１０（又は中央処理部１４）から出力された画像データ（後述するライン単位の合成画像のデータ）に応じて画素４８を駆動するための映像信号を生成する。画像表示パネル駆動回路４０は、水平同期信号に基づいて、信号出力回路４１によって映像信号を保持し、順次、画像表示パネル３０に出力する。信号出力回路４１は、配線ＤＴＬによって画像表示パネル３０と電気的に接続されている。画素４８は、副画素４９が映像信号に応じた光透過率となるように動作する。走査回路４２は、所謂ゲートドライバであり、垂直同期信号に基づいて、制御装置１０（又は中央処理部１４）から出力された画像データが示す画素行に応じた走査信号を出力する。画像表示パネル駆動回路４０は、走査回路４２が走査信号を出力することによって、画像表示パネル３０における副画素の動作（例えば表示輝度で、この場合は光透過率）を制御するためのスイッチング素子（例えば、薄膜トランジスタ(ＴＦＴ：Thin Film Transistor)）のＯＮ／ＯＦＦを制御する。走査回路４２は、走査線ＳＣＬによって画像表示パネル３０と電気的に接続されている。走査回路４２が走査線ＳＣＬを介してスイッチング素子をＯＮ／ＯＦＦするということは、走査線ＳＣＬに沿って設けられた画素行（ライン）単位でスイッチング素子をＯＮ／ＯＦＦすることができるということである。このように、表示装置２０は、ライン単位で表示出力のＯＮ／ＯＦＦを制御することができるよう設けられている。

光源装置５０は、画像表示パネル３０の背面に配置され、画像表示パネル３０に向けて光を照射することで、バックライトとして機能して画像表示パネル３０を照明する。光源装置５０は、画像表示パネル３０の前面に配置したフロントライト構成であってもよい。また画像表示パネル３０として自発光のディスプレイ、例えばＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、又は、外光を反射層(反射電極)で反射させることで表示を行う反射型液晶ディスプレイ等を用いる場合には、この光源装置５０は不要にできる。

光源装置５０は、画像表示パネル３０の全面にわたり光を照射し、画像表示パネル３０を照明する。光源装置制御回路６０は、光源装置５０から出力する光の照射光量等を制御する。具体的には、光源装置制御回路６０は、制御装置１０から出力される光源装置制御信号に基づいて光源装置５０に供給する電流、電圧又は信号のｄｕｔｙ比を調整することで、画像表示パネル３０を照射する光の照射光量（光の強度）を制御する。

次に、画像表示パネル３０の表示単位と、撮像装置５Ａ，５Ｂ，５Ｃが撮像する画像のデータ転送単位との関係について説明する。図８は、画像表示パネルの表示単位と３つの撮像装置５Ａ，５Ｂ，５Ｃが有する撮像素子７２Ａ，７２Ｂ，７２Ｃが出力する画像のデータ転送単位とのを示す模式図である。撮像装置５Ａ，５Ｂ，５Ｃは、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのような撮像素子７２Ａ，７２Ｂ，７２Ｃにより画像を撮像するいわゆるデジタルカメラである。撮像素子７２Ａ，７２Ｂ，７２Ｃは、ライン単位で画像信号を出力する。画像表示パネル３０は、ライン単位で画像を表示する。ラインとは、画像表示パネル３０における１行分（Ｐ×１個）の画素行をさす。すなわち、撮像素子７２Ａ，７２Ｂ，７２Ｃは、１フレームの画像データを構成する複数のライン単位の画像データを１行毎にライン単位の画像信号として逐次出力する。画像表示パネル３０は、３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２Ａ，７２Ｂ，７２Ｃからライン単位で逐次出力される画像信号に基づいて生成されたライン単位の合成画像をライン単位で表示する。ライン単位の合成画像とは、複数の撮像装置（例えば、３つの撮像装置５Ａ，５Ｂ，５Ｃ）の撮像素子（例えば、撮像素子７２Ａ，７２Ｂ，７２Ｃ）からライン単位で逐次出力される画像信号が示す画像を行方向に連結するように合成した画像である。実施形態１では、画像表示パネル３０が有する列方向の画素数がＱ個であるので、図８では、撮像素子７２Ａ，７２Ｂ，７２Ｃの各々から出力されるライン単位の画像に符号ＬＡ１〜ＬＡＱ，ＬＢ１〜ＬＢＱ，ＬＣ１〜ＬＣＱを付している。また、図８では、画像表示パネル３０によって表示されるライン単位の合成画像に符号Ｃ１〜ＣＱを付している。

なお、３つの撮像装置５Ａ，５Ｂ，５Ｃがそれぞれ有する撮像素子７２Ａ，７２Ｂ，７２Ｃが個別に出力する画像信号の行方向の画素数は、同一でもよいし、異なっていてもよい。

実施形態１では、図８に示すように、画像表示パネル３０が有する行方向の画素数（Ｐ）と３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２Ａ，７２Ｂ，７２Ｃが出力するライン単位の画像信号を行方向に連続させた場合の行方向の画素数とが同一である。すなわち、実施形態１では、３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２Ａ，７２Ｂ，７２Ｃが出力するライン単位の画像信号を単純に行方向に連結することで、画像表示パネル３０の行方向の画素数に対応した合成画像が得られる。また、実施形態１では、撮像素子７２Ａ，７２Ｂ，７２Ｃのライン数と画像表示パネル３０のライン数とが同一である。

１フレームの画像は、複数ラインの画像から構成される。撮像素子７２Ａ，７２Ｂ，７２Ｃは、垂直同期信号（ｖｓｙｎｃ）に応じて撮像を開始し、水平同期信号（ｈｓｙｎｃ）により刻まれるクロックの周期に応じてライン単位の画像信号を逐次出力する。１フレームの画像を構成する全てのライン単位の画像信号の出力が完了すると、再度出力される垂直同期信号により次のフレームの画像の撮像が開始される。表示装置は、垂直同期信号に応じて表示に係るスキャン処理を開始し、水平同期信号に応じてライン単位の合成画像を逐次表示する。１フレームの画像を構成する全てのライン単位の合成画像の表示が完了すると、再度出力される垂直同期信号により次のフレームの画像を構成するライン単位の合成画像の表示が開始される。

以下の記載において、１フレーム（１Ｆ）の画像を構成する全てのライン単位の合成画像の表示に係る時間を１フレーム時間（１Ｆ時間）と記載することがある。また、１つのライン単位の合成画像の表示に係る時間を１水平同期時間（１Ｈ時間）と記載することがある。

以下、ルームミラーユニット２を例として、実施形態１に係る表示システムについて説明する。

図９は、実施形態１に係るルームミラーユニット２の表示装置に接続された制御装置１０と、撮像装置５との関係を示す模式図である。図１０は、実施形態１に係る垂直同期信号及び水平同期信号の出力タイミングと撮像装置５からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。図９に示すように、撮像装置５と画像表示パネル駆動回路４０との間のデータ伝送経路には、制御装置１０が介在している。制御装置１０は、ルームミラーユニット２の動作に係る各種の処理を行う回路である。制御装置１０は、信号出力部８１と、合成部８２とを有する。実施形態１に係る信号出力部８１は、垂直同期信号及び水平同期信号を複数の撮像装置５に出力する。具体的には、信号出力部８１は、例えば図９及び図１０に示すように、垂直同期信号及び水平同期信号を３つの撮像装置５Ａ，５Ｂ，５Ｃに出力する。より具体的には、信号出力部８１は、まず垂直同期信号を出力し、その１Ｈ後に水平同期信号を１Ｈ間隔で逐次出力する。このように、水平同期信号は、垂直同期信号の出力タイミングに基づいて所定の周期（１Ｈ間隔）で刻まれる。信号出力部８１が出力する垂直同期信号及び水平同期信号は、画像表示パネル駆動回路４０にも出力され、画像表示パネル３０の表示に係る垂直同期信号及び水平同期信号、いわゆるスキャン信号として機能する。なお、制御装置１０は、画像表示パネル３０がスキャン処理で１フレーム分の画像の出力を開始する周期を示す表示制御用垂直同期信号を別途出力するようにしてもよい。表示制御用垂直同期信号は、撮像装置５への垂直同期信号の出力タイミングの１Ｈ時間後のタイミングで出力されることになる。図１０等では、表示制御用垂直同期信号に符号Ｖ２を付して破線で示している。また、図１０等では、撮像装置５に出力される垂直同期信号に符号Ｖ１を付して実線で示している。

３つの撮像装置５Ａ，５Ｂ，５Ｃはそれぞれ、制御装置１０からの垂直同期信号が入力されたタイミングを開始タイミングとして、ライン単位の画像信号の出力を逐次行う。具体的には、３つの撮像装置５Ａ，５Ｂ，５Ｃは、垂直同期信号の入力タイミングをトリガーとして撮像素子７２Ａ，７２Ｂ，７２Ｃの最初のラインに対応するライン単位の画像信号を制御装置１０に出力する。また、その１Ｈ後から逐次入力される水平同期信号の入力タイミングに応じて撮像素子７２Ａ，７２Ｂ，７２Ｃの２番目以降のライン単位の画像信号を制御装置１０に逐次出力する。すなわち、３つの撮像装置５Ａ，５Ｂ，５Ｃによるライン単位の画像信号の出力タイミングは、制御装置１０からの垂直同期信号及び水平同期信号の入力タイミングに同期する。例えば、撮像装置５のマトリクス状に配置された撮像素子に対して、露光後に制御装置１０からの垂直同期信号と同期をとった信号（例えば、タイミングジェネレータ７３の出力信号）に基づき、撮像素子からの電気信号の読出しが行われ、撮像信号として出力される。図１０では、制御装置１０から３つの撮像装置５Ａ，５Ｂ，５Ｃに出力される１つの垂直同期信号及び水平同期信号についてのみ破線の矢印で出力タイミングと入力タイミングとの関係を図示しているが、他のタイミングの垂直同期信号及び水平同期信号についても同様である。

より具体的には、例えば図９に示すように、撮像装置５は、制御装置１０からの垂直同期信号及び水平同期信号の入力タイミングに合わせて撮像部を動作させるためのタイミングジェネレータ７３を有する。タイミングジェネレータ７３は、例えば、制御装置１０からの垂直同期信号及び水平同期信号の入力タイミングに応じて撮像素子７２Ａ，７２Ｂ，７２Ｃを動作させて、ライン単位の画像信号の出力周期を制御装置１０からの垂直同期信号及び水平同期信号の入力周期に合わせるためのクロック信号生成回路である。

合成部８２は、垂直同期信号及び水平同期信号に応じたタイミングで複数の撮像装置５の各々から出力されたライン単位の画像信号をライン単位で合成する。具体的には、合成部８２は、例えば図９に示すように、合成用ラインバッファ８３及び出力用ラインバッファ８４を有する。合成用ラインバッファ８３は、３つの撮像装置５Ａ，５Ｂ，５Ｃの各々から出力されたライン単位の画像信号を行方向に連続するように合成したライン単位の合成画像を一時的に格納する。合成部８２は、３つの撮像装置５Ａ，５Ｂ，５Ｃの各々から出力された信号を合成してライン単位の合成画像を生成し、合成用ラインバッファ８３に格納する。また、合成部８２は、合成用ラインバッファ８３から出力用ラインバッファ８４にライン単位の合成画像を転送する。出力用ラインバッファ８４は、合成用のラインバッファから転送されたライン単位の合成信号を画像表示パネル駆動回路４０に一括出力する。出力用ラインバッファ８４から出力されたライン単位の合成画像は、画像表示パネル３０の各ラインを用いて表示される。

合成部８２による処理タイミングは、水平同期信号の出力タイミングに同期する。すなわち、合成部８２は、水平同期信号に同期して１Ｈ周期で入力されるライン単位の画像信号を１Ｈ周期で合成してライン単位の合成画像を生成し、１Ｈ周期で合成用ラインバッファ８３から出力用ラインバッファ８４にライン単位の合成画像を転送し、１Ｈ周期で出力用ラインバッファ８４からライン単位の合成信号を画像表示パネル駆動回路４０に一括出力する。図１０では、撮像装置５Ａ，５Ｂ，５Ｃから出力されるライン単位の画像信号と合成部８２で合成されるライン単位の画像信号との対応関係を、アルファベットの小文字で示している。図１０に示すように、実施形態１に係る合成部８２は、出力タイミングからみて１Ｈ時間後のタイミングでライン単位の画像信号を取得し、合成している。図１０では、小文字のビー（ｂ）が付された画像信号についてのみ出力と合成とのタイミングの関係を破線の矢印で示しているが、他のタイミングの画像信号についても同様である。

画像表示パネル３０は、出力用ラインバッファ８４から出力されたライン単位の画像信号をライン単位で逐次表示する。画像表示パネル３０がライン単位の画像信号を逐次出力する周期は、水平同期信号に同期する。

このように、ルームミラーユニット２は、垂直同期信号及び水平同期信号を複数の撮像装置５に出力する信号出力部８１と、垂直同期信号及び水平同期信号に応じたタイミングで複数の撮像装置５の各々から出力されたライン単位の画像信号をライン単位で合成する合成部８２とを有する制御装置１０と、合成部８２により合成されたライン単位の画像信号をライン単位で逐次表示する画像表示パネル３０と、を有する表示システムとして機能する。また、複数の撮像装置５（例えば、３つの撮像装置５Ａ，５Ｂ，５Ｃ）は、撮像した画像をライン単位で出力する。

また、実施形態１では、制御装置１０の信号出力部８１が出力する垂直同期信号が撮像装置５によるライン単位の画像信号の出力の開始タイミングを決定している。このように、実施形態１に係る垂直同期信号は、ライン単位の画像信号の出力の開始を指示する開始信号として機能する。

以上、ルームミラーユニット２を例として実施形態１について説明したが、サイドミラーユニット３Ａ，３Ｂもルームミラーユニット２と同様に動作する。すなわち、制御装置１０Ａ，１０Ｂは、制御装置１０と同様である。すなわち、本発明のように複数の撮像装置に基づく画像を表示する場所は、ルームミラーユニット２の表示装置２０に限らず、サイドミラーユニット３Ａ，３Ｂの表示装置２０Ａ，２０Ｂであってもよいし、ＣＩＤユニット４の表示装置２０Ｃであってもよい。なお、実施形態１では、ルームミラーユニット２は３つの撮像装置５Ａ，５Ｂ，５Ｃにより撮像された画像を表示するが、サイドミラーユニット３Ａ，３Ｂは２つの撮像装置５により撮像された画像をそれぞれ表示する。例えば、サイドミラーユニット３Ａは、撮像装置５Ａ，５Ｃにより撮像された画像を表示する。また、サイドミラーユニット３Ｂは、撮像装置５Ｂ，５Ｃにより撮像された画像を表示する。

なお、信号出力部８１については、ルームミラーユニット２、サイドミラーユニット３Ａ又はサイドミラーユニット３Ｂのうちいずれか１つの制御装置１０が有する信号出力部８１が機能していれば足りる。実施形態１では、例えばルームミラーユニット２の制御装置１０が有する信号出力部８１が機能しており、サイドミラーユニット３Ａ及びサイドミラーユニット３Ｂの合成部８２及び画像表示パネル３０は、当該信号出力部８１が出力する垂直同期信号及び水平同期信号に同期して動作する。このように、ルームミラーユニット２、サイドミラーユニット３Ａ又はサイドミラーユニット３Ｂのうちいずれか１つの制御装置１０が有する信号出力部８１の制御下で同期を取る場合、当該１つの制御装置１０が有する信号出力部８１からの垂直同期信号及び水平同期信号を他の制御装置１０にも出力するようにしてもよい。

合成用ラインバッファ８３及び出力用ラインバッファ８４の記憶容量は、ライン単位の合成画像を記憶するのに必要な記憶容量以上の記憶容量であればよい。また、合成用ラインバッファ８３及び出力用ラインバッファ８４の記憶容量は、全ライン単位の合成画像を記憶するための記憶容量より少なくてもよい。よって、これらのラインバッファの記憶容量は、表示画面すべて（フレーム画像）を記憶するのに必要な記憶容量より少なくて済む。

なお、３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２Ａ，７２Ｂ，７２Ｃは、制御装置１０から出力される垂直同期信号及び水平同期信号とは独立した垂直同期信号及び水平同期信号で動作している。すなわち、制御装置１０から出力される垂直同期信号はあくまで３つの撮像装置５Ａ，５Ｂ，５Ｃからのライン単位の画像信号の出力タイミングを制御するために用いられるに過ぎず、撮像素子７２Ａ，７２Ｂ，７２Ｃの動作制御に直接用いられるものでない。ここで、撮像装置５の垂直同期信号及び水平同期信号の位相と制御装置１０の垂直同期信号及び水平同期信号の位相とは、同期していなくてもよい。具体的には、制御装置１０が出力する水平同期信号の出力周期に撮像装置５からのライン単位の画像信号の出力が追いつき、かつ、追い越さなければよい。

実施形態１によれば、撮像装置５による撮像画像をライン単位で画像表示パネル３０に表示させることができる。このため、撮像装置５による画像の撮像タイミングと画像表示パネルによる当該画像の表示タイミングとの間の時間差を、１Ｆ時間よりも短いライン単位の時間（例えば、１Ｈ時間）にすることができる。よって、複数の撮像装置５により画像が撮像されてから当該複数の撮像装置５により撮像された画像の合成画像が表示されるまでの遅延時間をより低減することができる。また、複数の撮像装置５により撮像された画像を合成して表示する場合におけるリアルタイム性をより向上させることができる。

（変形例）
次に、本発明の変形例について説明する。変形例の説明に係り、実施形態１と同様の構成については同じ符号を付して説明を省略することがある。

図１１は、変形例に係るルームミラーユニット２の表示装置に接続された制御装置１０と、撮像装置５との関係を示す模式図である。図１２は、変形例に係る垂直同期信号及び水平同期信号の出力タイミングと撮像装置５からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。変形例に係る制御装置１０の信号出力部８１は、複数の撮像装置５のいずれかが出力した開始信号に応じて垂直同期信号及び水平同期信号を出力する。具体的には、例えば図１２に示すように、撮像装置５Ｃは、撮像装置５Ｃが有する撮像素子７２Ｃの垂直同期信号の出力タイミングに同期して、開始信号を制御装置１０に出力する。

変形例に係る制御装置１０は、開始信号に基づいて撮像装置５Ｃの動作に同期する。具体的には、図１２に示すように、制御装置１０の信号出力部８１は、開始信号の入力タイミングに同期して垂直同期信号を出力する。また、信号出力部８１は、実施形態１と同様のタイミングで水平同期信号を出力する。

変形例では、撮像装置５Ｃが画像表示パネル３０の動作に同期することができる構成である。具体的には、変形例では、例えば図１１に示すように、撮像装置５Ｃは、開始信号を出力するための信号出力回路７４を有する。また、変形例では、撮像装置５Ｃが有する撮像素子７２Ｃの垂直同期信号及び水平同期信号の周期と、制御装置１０の信号出力部８１が出力する垂直同期信号及び水平同期信号の周期とが同一の周期となるよう設けられている。

なお、図１１及び図１２では、撮像装置５Ｃが開始信号を出力しているが、開始信号を出力する撮像装置５は、他の撮像装置５Ａ，５Ｂであってもよい。

変形例において、制御装置１０は、開始信号を出力した撮像装置（例えば、撮像装置５Ｃ）以外の撮像装置（例えば、撮像装置５Ａ，５Ｂ）に垂直同期信号及び水平同期信号を出力する。開始信号を出力した撮像装置（例えば、撮像装置５Ｃ）は、当該撮像装置が有する撮像素子（例えば、撮像素子７２Ｃ）の動作に用いられる垂直同期信号及び水平同期信号に基づいて動作し、これらの同期信号の出力タイミングに応じてライン単位の画像信号を制御装置１０に出力する。開始信号を出力した撮像装置（例えば、撮像装置５Ｃ）以外の撮像装置（例えば、撮像装置５Ａ，５Ｂ）の動作及び制御装置１０の合成部８２の動作は、実施形態１と同様である。

変形例によれば、複数の撮像装置５のいずれかの動作タイミングに基づいて表示システムの各部を動作させることができる。

なお、制御装置１０は、開始信号を出力する構成として機能する構成を制御装置１０又は複数の撮像装置５のいずれにするのか設定で変更可能に設けられていてもよい。すなわち、制御装置１０は、信号出力部８１が出力する垂直同期信号が開始信号として扱われる前提で動作するか、開始信号が撮像装置５から入力される前提で動作するのかを設定によって変更することができるように設けられていてもよい。同様に、撮像装置５は、信号出力回路７４とタイミングジェネレータ７３の両方を有し、信号出力回路７４の動作のＯＮ／ＯＦＦを切り替え可能に設けられていてもよい。すなわち、実施形態１の場合、全ての撮像装置５の信号出力回路７４がＯＦＦとなる。変形例の場合、複数の撮像装置５のうちいずれか１つの撮像装置５の信号出力回路７４がＯＮとなる。

図１３は、実施形態１及び変形例に係る制御装置１０による処理の流れの一例を示すフローチャートである。複数の撮像装置５のうちいずれか１つの撮像装置５からの開始信号の出力がある場合（ステップＳ１：Ｙｅｓ）、制御装置１０の信号出力部８１は、開始信号の入力タイミングに応じて受動的に、他の撮像装置５に垂直同期信号を出力する（ステップＳ２）。複数の撮像装置５からの開始信号の出力がない場合（ステップＳ１：Ｎｏ）、制御装置１０の信号出力部８１は、任意のタイミングで全ての撮像装置５に対して能動的に垂直同期信号を出力する（ステップＳ３）。また、制御装置１０は、開始信号の出力を行っていない撮像装置５に対して水平同期信号を出力する（ステップＳ４）。

制御装置１０が出力する水平同期信号の出力タイミングに応じて、ライン単位の画像信号が複数の撮像装置５の各々から制御装置１０に出力されて、制御装置１０に入力される（ステップＳ５）。制御装置１０の合成部８２は、複数の撮像装置５の各々から入力されたライン単位の画像信号を合成し（ステップＳ６）、画像表示パネル駆動回路４０に出力することで（ステップＳ７）、画像表示パネル３０にライン単位で合成画像を表示させる。

（実施形態２）
次に、本発明の実施形態２について説明する。実施形態２の説明に係り、実施形態１と同様の構成については同じ符号を付して説明を省略することがある。

図１４は、実施形態２に係るルームミラーユニット２の表示装置に接続された制御装置１０と、撮像装置５との関係を示す模式図である。図１５は、実施形態２に係る撮像素子７２Ａ，７２Ｂ，７２Ｃの撮像画像と画像表示パネル３０に表示される合成画像との対応関係の一例を示す模式図である。実施形態２に係る制御装置１０は、行方向の画像の縮小又は拡大の少なくともいずれ一方かを伴う伸縮処理を行う画像処理部８５Ａ，８５Ｂ，８５Ｃを有する。具体的には、制御装置１０は、例えば図１４に示すように、複数の撮像装置５の数（例えば、３つ）に応じた数の画像処理部（例えば、３つの画像処理部８５Ａ，８５Ｂ，８５Ｃ）を有する。係る複数の画像処理部８５Ａ，８５Ｂ，８５Ｃは、それぞれ異なる撮像装置５から出力されたライン単位の画像信号から得られるライン単位の画像に対して予め定められた行方向の画像の加工処理、例えば、縮小又は拡大を行う。このように、実施形態２では、画像処理部８５Ａ，８５Ｂ，８５Ｃは、複数の撮像装置５の各々から出力されたライン単位の画像信号のそれぞれに対して個別の伸縮率で伸縮処理を行うことができる。また、実施形態２では、一部又は全部のラインに対する伸縮処理を省略して撮像素子７２Ａ，７２Ｂ，７２Ｃの撮像範囲から切り出されたライン単位の画像を単純に出力するようにしてもよい。図１５の例では、いずれの画像処理部８５Ａ，８５Ｂ，８５Ｃも行方向の画像の拡大を行っているが、いずれか１つ以上が縮小を行っていてもよい。

また、図１５に示す例では、撮像装置５Ｃの撮像素子７２Ｃが出力するライン単位の画像信号が当該撮像素子７２Ｃのライン数よりも少なくなっている。このように、撮像装置５は、行方向について撮像画像の一部分を抽出するようにライン単位の画像信号を出力するようにしてもよい。

撮像画像のどの範囲を抽出するかは、撮像装置５毎に予め設定することができる。具体例を挙げると例えば、図２に示すような撮像装置５Ａ，５Ｂ，５Ｃの配置では、撮像装置５Ｃの撮像範囲と撮像装置５Ａ，５Ｂの撮像範囲とが重複する。このため、図１５に示すように、撮像装置５Ｃの撮像素子７２Ｃによる撮像画像のうち、撮像範囲の重複により撮像装置５Ａ，５Ｂの撮像素子７２Ａ，７２Ｂによる撮像画像と同一の被写体を撮像している範囲を除外するように画像を抽出することで、合成画像において同一の被写体が多重に映り込む状態が発生することを抑制することができる。

図１５では、撮像画像の一部分を抽出する場合に全ラインで共通の範囲を抽出しているが、行方向について、一部又は全部のラインで個別の範囲を抽出するようにしてもよい。例えば、レンズを介した撮像により生じる画像の歪み等によってライン単位で歪み率が異なる場合等を考慮し、ライン単位で異なる行方向の範囲を抽出し、抽出後にフレーム画像の行方向の幅を統一するように拡大又は縮小することで当該歪みを解消するように抽出範囲及び拡大又は縮小の度合い（率）を定めるようにしてもよい。

実施形態２では、図１４に示すように、画像処理部８５Ａ，８５Ｂ，８５Ｃが合成用ラインバッファ８３の前段に設けられる。３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２Ａ，７２Ｂ，７２Ｃから出力されて制御装置１０に入力されたライン単位の画像信号は、画像処理部８５Ａ，８５Ｂ，８５Ｃを経て拡大又は縮小を施され、合成用ラインバッファ８３を用いて合成される。

実施形態２では、画像表示パネル３０が有する行方向の画素数（Ｐ）と３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２Ａ，７２Ｂ，７２Ｃが出力するライン単位の画像信号を行方向に連続させた場合の行方向の画素数とが同一でなくてもよい。行方向について拡大又は縮小を行うことで、ライン単位の合成画像が有する行方向の画素数を画像表示パネル３０の行方向の画素数（Ｐ）に合わせることができる。なお、拡大又は縮小に伴う再標本化（リサンプリング）方法は任意であり、現在又は将来において複数の画素により構成される画像の再標本化に採用可能なあらゆる方法のいずれか又は複数であってよい。

実施形態２によれば、行方向の画像の縮小又は拡大の少なくともいずれ一方かを伴う伸縮処理を行ったうえでライン単位で画像を表示することができる。ここで、画像処理部８５Ａ，８５Ｂ，８５Ｃは行方向についてのみ拡大又は縮小を行い、列方向の画像処理を伴わない。このため、列方向の拡大又は縮小を行うために必要となるフレーム画像の保持を行う必要がない。よって、制御装置１０は、加工前にフレーム画像を完成させるための待ち時間を生じさせることなくライン単位で画像処理を行うことができる。

（実施形態３）
次に、本発明の実施形態３について説明する。実施形態３の説明に係り、実施形態１と同様の構成については同じ符号を付して説明を省略することがある。

図１６は、実施形態３に係る撮像素子７２Ａ，７２Ｂ，７２Ｃの撮像画像と画像表示パネル３０に表示される合成画像との対応関係の一例を示す模式図である。図１７は、実施形態３に係る垂直同期信号及び水平同期信号の出力タイミングと撮像装置５からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。実施形態３に係る制御装置１０の信号出力部８１は、撮像装置５に対する垂直同期信号の出力タイミングと画像表示パネル３０の表示制御に用いられる表示制御用垂直同期信号とを異なるタイミングで出力する。また、実施形態３に係る制御装置１０の合成部８２は、垂直同期信号のタイミングに応じて撮像装置５が有する撮像素子７２Ａ，７２Ｂ，７２Ｃから出力が開始されたライン単位の画像信号のうち、表示制御用垂直同期信号の出力タイミングに応じたライン単位の画像信号を画像表示パネル３０の最初の表示ラインで出力されるライン単位の画像信号として合成する。

実施形態３では、例えば図１６に示すように、撮像装置５の撮像素子７２Ａ，７２Ｂ，７２Ｃにより撮像される全てのライン単位の画像を用いず、一部分のライン単位の画像を画像表示パネル３０に表示させることができる。係る表示を行うため、実施形態３に係る制御装置１０は、撮像装置５に対する垂直同期信号の出力タイミングと画像表示パネル３０の表示制御に用いられる表示制御用垂直同期信号とを異なるタイミングで出力する。具体的には、例えば撮像装置５Ｃの撮像素子７２Ｃの５ライン目からの画像と、撮像装置５Ａ，５Ｂの撮像素子７２Ａ，７２Ｂの３ライン目からの画像を画像表示パネル３０における最初のライン（１ライン目）の画像とするよう合成する場合、図１７に示すように、まず撮像装置５Ｃに対する垂直同期信号Ｖ３を出力し、２つ分の水平同期信号の時間（２Ｈ時間）が経過したタイミングで撮像装置５Ａ，５Ｂに対する垂直同期信号Ｖ４を出力する。そして、さらに表示開始タイミングに応じて表示制御用垂直同期信号Ｖ２を出力する。これによって、制御装置１０は、当該タイミングから１つ前の水平同期信号のタイミングにおいて撮像装置５Ｃの撮像素子７２Ｃから出力されて当該タイミングに取得された５ライン目の画像信号と、撮像装置５Ａ，５Ｂの撮像素子７２Ａ，７２Ｂから出力された３ライン目の画像信号とを、画像表示パネル３０の最初のラインの駆動時における合成画像のもとになる画像信号として取得することができる。図１６を参照して説明した画像の範囲及び図１７を参照して説明したタイミングの具体的な数値はあくまで一例であってこれに限られるものでなく、表示させたい画像の範囲に応じて任意に変更可能である。

実施形態３では、撮像素子７２Ａ，７２Ｂ，７２Ｃのライン数が画像表示パネル３０のライン数よりも多いことが望ましい。また、実施形態３では、撮像素子７２Ａ，７２Ｂ，７２Ｃにより撮像される全てのライン単位の画像のうち画像表示パネル３０に表示されることになる一部分のライン単位の画像を構成するライン数が、画像表示パネル３０のライン数と同一であることが望ましい。係る条件が成立する場合、画像表示パネル３０のスキャン処理に係る水平同期信号のタイミングで得られる撮像素子７２Ａ，７２Ｂ，７２Ｃのライン単位の画像を合成するだけで、一部分のライン単位の画像を画像表示パネル３０に表示させることができる。また、次フレームの画像の開始に係る垂直同期信号の出力前に画像表示パネル３０のスキャン処理に係る水平同期信号が出力されない期間を設けることで、図１６に示す余剰範囲Ｔのような末尾側のライン画像の切り捨てを容易に実現することができる。

なお、図１６に示す例では、一部分のライン単位の画像の抽出に加えて、実施形態２で説明した行方向の拡大も同時に行われている。このように、実施形態２に係る画像処理と、実施形態３に係る合成画像の生成方法とは同時に実施することができる。無論、実施形態２に係る画像処理のみを実施することもできるし、実施形態３に係る合成画像の生成方法のみを実施することもできる。また、実施形態２、実施形態３又は実施形態２と実施形態３との組み合わせに係る実施形態に変形例を適用することもできる。なお、列方向の拡大又は縮小も可能である。図１８は、列方向の縮小を行う場合の一例を示す概略説明図である。図１９は、列方向の拡大を行う場合の一例を示す概略説明図である。より具体的には、制御装置１０の構成（例えば、画像処理部８５Ａ，８５Ｂ，８５Ｃ）は、縮小の場合、例えば図１８に示すように、撮像装置より複数ラインを受け付けた後に、１ラインに合成して出力する処理を行うようにしてもよい。拡大の場合、当該構成は、例えば図１９に示すように、撮像装置５よりラインを受け入れた後に複数ラインへの出力する処理を行うようにしてもよい。これらの処理によって、列方向についてラインを定数倍に拡大・縮小することができる。図１８及び図１９では、１：２のラインの縮小・拡大を例示しているが、拡大・縮小における処理前と処理後のライン数の比率は任意である。

実施形態２及び実施形態３における撮像画像の抽出範囲、画像処理部８５Ａ，８５Ｂ，８５Ｃによる拡大又は縮小の度合い等は、状況に応じて切り替えられるよう設けられていてもよい。例えば、移動体の移動方向・移動速度に応じて、拡大又は縮小の度合い（拡大または縮小の対象とするライン数や割合）等を変更するようにしても良い。より具体的には、自動車の前進時と後退時とで撮像画像の抽出範囲、画像処理部８５Ａ，８５Ｂ，８５Ｃによる拡大又は縮小の度合いが切り替わるようになっていてもよい。また、自動車の移動速度に応じて拡大又は縮小の度合いが切り替わるようになっていてもよい。画像処理部８５Ａ，８５Ｂ，８５Ｃによる拡大又は縮小の度合いの設定については、例えば制御装置１０が回路内に当該設定のための記録保持部８６（図１４参照）を有することで対応することができる。撮像画像の抽出範囲については、例えば撮像装置５毎に抽出範囲を制御するための制御回路７５（図１４参照）を設けることで対応することができる。また、搭乗者又は整備者等のユーザによる画角変更指示等に応じて拡大又は縮小の度合い等を調整することができるよう設けられていてもよい。

なお、制御回路７５のように撮像装置５毎に個別に設けられる回路を用い、撮像素子７２Ａ，７２Ｂ，７２Ｃ毎に個別に設定された一部分のライン単位の画像信号のみ限定して出力するようにしてもよい。すなわち、撮像装置５から画像信号が出力される段階で出力対象となるラインが限定されるようにしてもよい。この場合、図１７に示すようなタイミング制御を省略して図１６に示す例と同様の出力を行うことができる。

（実施形態４）
次に、本発明の実施形態４について説明する。実施形態４の説明に係り、実施形態１と同様の構成については同じ符号を付して説明を省略することがある。

図２０は、実施形態４に係る垂直同期信号及び水平同期信号の出力タイミングと撮像装置５からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。実施形態４では、制御装置１０は、垂直同期信号を出力する。複数の撮像装置５の各々から出力されるライン単位の画像信号の出力タイミングは、垂直同期信号の出力タイミングに対して画像表示パネルにおける行方向の表示位置に応じてそれぞれ異なる遅延時間を経たタイミングであり、合成部８２は、複数の撮像装置５の各々から出力されるライン単位の画像信号を時系列で行方向に連続させるように合成する。

具体的には、実施形態４では、図２０に示すように、開始信号の入力タイミングに対して、３つの撮像装置５Ａ，５Ｂ，５Ｃでそれぞれ異なる遅延時間ＤＡ，ＤＢ，ＤＣが設定されている。このうち、最も短い遅延時間ＤＡは、垂直同期信号と最初のラインに対応する水平同期信号との間の時間に対応する時間である。また、２番目に短い遅延時間ＤＣは、撮像装置５Ａの撮像素子７２Ａによる最初のライン単位の画像信号の出力に費やされる時間と遅延時間ＤＡとを足し合わせた時間である。また、最も長い遅延時間ＤＢは、撮像装置５Ｂ以外の撮像装置５（撮像装置５Ａ，５Ｃ）の撮像素子７２Ａ，７２Ｃによって順次行われることになる最初のライン単位の画像信号の出力に費やされる時間の合計時間と遅延時間ＤＡとを足し合わせた時間である。

実施形態４に係る複数の撮像装置５は、垂直同期信号の出力タイミングに対してそれぞれ異なる遅延時間ＤＡ，ＤＢ，ＤＣを経たタイミングでライン単位の画像信号の出力を開始する。すなわち、図２０に示す例では、３つの撮像装置５Ａ，５Ｂ，５Ｃの各々から出力されるライン単位の画像信号の出力タイミングは、垂直同期信号の出力タイミングに対して画像表示パネル３０における行方向の表示位置に応じてそれぞれ異なる遅延時間ＤＡ，ＤＢ，ＤＣを経たタイミングである。係るタイミングで各々が備える撮像素子７２Ａ，７２Ｂ，７２Ｃがライン単位の画像信号を出力することで、制御装置１０は、図２０に示すように、逐次入力されるライン単位の画像信号を画像表示パネル駆動回路４０に逐次出力するだけで、画像表示パネル３０におけるライン方向に沿った走査（水平走査）を行うことができる。すなわち、実施形態４では、３つの撮像装置５Ａ，５Ｂ，５Ｃが備える撮像素子７２Ａ，７２Ｂ，７２Ｃから制御装置１０に逐次入力されるライン単位の画像信号の並び順がそのまま画像表示パネル３０におけるライン方向に沿った表示出力内容（階調値）の並び順に対応する。

実施形態４では、画像表示パネル３０のスキャン処理に用いられる水平同期信号の出力開始タイミングは、垂直同期信号の出力タイミングから１Ｈ時間後に限られず、１Ｈ時間未満とすることができる。具体的には、垂直同期信号の出力タイミングとスキャン処理に用いられる水平同期信号の出力タイミングとの間の時間を、最短の遅延時間（例えば、遅延時間ＤＡ）まで短くすることができる。

なお、図２０に示す例では、３つの撮像装置５Ａ，５Ｂ，５Ｃの配置及び画像表示パネル３０における行方向の走査順序に基づいて、撮像装置５Ａからの画像信号、撮像装置５Ｃからの画像信号、撮像装置５Ｂからの画像信号の順にライン単位の画像信号が出力されるように遅延時間ＤＡ，ＤＢ，ＤＣを設定しているが、合成画像の生成に係るライン単位の画像信号の繋ぎ合わせ順序は任意である。

また、図２０では、最初の垂直同期信号Ｖ１からの遅延時間ＤＡ，ＤＢ，ＤＣに応じて撮像装置５Ａ，５Ｂ，５Ｃの各々が刻む水平同期信号に基づいたライン単位の画像信号の出力が行われているが、これは一例であってこれに限られるものでない。図２１及び図２２は、実施形態４に係る変形例における垂直同期信号及び水平同期信号の出力タイミングと撮像装置からのライン単位の画像信号の出力タイミングとの関係を示すタイミングチャートである。実施形態４に係る変形例として、例えば図２１に示すように、実施形態１等と同様に制御装置１０が水平同期信号を出力し、係る水平同期信号のタイミングに対してそれぞれ異なる遅延時間を適用して撮像装置５Ａ，５Ｂ，５Ｃの各々がライン単位の画像信号を出力するようにしてもよい。また、実施形態４に係る別の変形例として、例えば図２２に示すように、制御装置１０が撮像装置５Ａ，５Ｂ，５Ｃに対してそれぞれ個別の遅延時間が適用された水平同期信号を出力し、係る水平同期信号に応じて撮像装置５Ａ，５Ｂ，５Ｃの各々がライン単位の画像信号を出力するようにしてもよい。実施形態４に係るこれらの変形例の場合、図２１及び図２２に示すように、表示出力順が一番速い撮像装置（例えば、撮像装置５Ａ）については水平同期信号の遅延時間がなし（０）となり、他の撮像装置に対する水平同期信号に遅延時間ＤＤ，ＤＥが適用される。

実施形態４によれば、３つの撮像装置５Ａ，５Ｂ，５Ｃから制御装置１０に逐次入力されるライン単位の画像信号を逐次画像表示パネル駆動回路４０に転送するだけで画像表示パネル３０における正しい画素の並び順の合成画像が得られるので、合成画像の生成に係るラインバッファが不要になる。このため、実施形態１におけるラインバッファ（合成用ラインバッファ８３、出力用ラインバッファ８４）を介したデータ転送に係る時間を生じさせずに撮像から表示までを完結させることができる。よって、ラインバッファが不要となることに加え、複数の撮像装置５により画像が撮像されてから当該複数の撮像装置５により撮像された画像の合成画像が表示されるまでの遅延時間をさらに低減することができる。また、複数の撮像装置５により撮像された画像を合成して表示する場合におけるリアルタイム性をさらに向上させることができる。

なお、実施形態４では、実施形態１と同様に、画像表示パネル３０が有する行方向の画素数（Ｐ）と３つの３つの撮像装置５Ａ，５Ｂ，５Ｃの撮像素子７２Ａ，７２Ｂ，７２Ｃが出力するライン単位の画像信号を行方向に連続させた場合の行方向の画素数とが同一である。また、実施形態１では、撮像素子７２Ａ，７２Ｂ，７２Ｃのライン数と画像表示パネル３０のライン数とが同一である（図８参照）。

遅延時間は、例えばタイミングジェネレータ７３に予め個別に設定される。すなわち、図２０に示す例の場合、垂直同期信号のタイミングに応じて、３つの撮像装置５Ａ，５Ｂ，５Ｃが個別の遅延時間ＤＡ，ＤＢ，ＤＣに応じたタイミングで最初のライン単位の画像信号の出力を自動的に開始する。なお、実施形態４では、各々の撮像装置５の水平同期信号の位相と画像表示パネル３０の表示駆動に係る水平同期信号の位相とが同期する。係る同期を実現するため、実施形態４では、例えば位相同期回路（ＰＬＬ：Phase Locked Loop）等を用いた装置間の位相同期を行う。

なお、変形例を含む本発明の実施形態等においては、表示装置２０の開示例として液晶表示装置の場合を例示したが、その他の適用例として、有機エレクトロルミネセンス（Electroluminescence：ＥＬ）表示装置、その他の自発光型表示装置等、あらゆるフラットパネル型の表示装置が挙げられる。また、中小型から大型まで、特に限定することなく適用が可能であることは言うまでもない。

また、実施形態１の図１を参照した説明では、撮像装置が３つである場合を説明しているが、これはあくまで複数の撮像装置の具体例であってこれに限られるものでない。撮像装置の数は２以上であればよい。合成部は、撮像された２以上の出力内容を合成して表示部に出力すればよい。

また、自動車は、ルームミラーユニット２、サイドミラーユニット３Ａ，３Ｂ及びＣＩＤ４のうち一部のユニットのみを備えていてもよい。また、各ユニットをそれぞれ構成する装置の一部を、1つのユニットに集約してもよい。例えば、表示システムの構成としての表示装置は１つであってもよいし、複数であってもよい。また、本発明では合成表示を行うのはルームミラーユニット２の表示装置としていたが、合成表示を行う表示装置の位置はこれに限られず、サイドミラーユニット３Ａ、３Ｂ、又はＣＩＤ４で合成表示を実施してもよい。

また、変形例を含む本発明の実施形態等においては、ラインは、１行分の画素行を指すとしたが、これに限らず、ラインに複数行（全行より小さい数）である場合を含んでもよい。より具体的には、複数の撮像装置の撮像素子から複数行分の出力を受け取って、一行ごとに合成表示を行うようにしてもよい。

また、変形例を含む本発明の実施形態等においては、移動体の開示例として自動車の場合を例示したが、３輪以上の車輪と乗員が車室内に備えられた座席に座ることができるボディとを備えたいわゆる自動車に限らず、２輪であっても所謂ボディを備えるものであれば適用が可能であるし、モーターボート等、他の移動体にも適用が可能である。

また、変形例を含む本発明の実施形態等においては、制御装置１０と表示装置２０とが独立しているが、制御装置１０は、表示装置２０が有する構成であってもよい。すなわち、制御装置１０と同様の機能を備える回路が、表示装置２０を構成する回路の１つであってもよい。また、一部の構成、例えば、ラインバッファ（合成用ラインバッファ８３、出力用ラインバッファ８４）が表示装置２０の画像表示パネル３０の基板上に形成されてもよい。なお、本発明における制御装置１０は、例えば、表示用のドライバーＩＣ内に形成されても、ＭＣＵ（Memory Control Unit）等の外部制御回路によって実現されてもよい。また、ドライバーＩＣである場合、ＣＯＧ（Chip On Glass）等で表示パネルと同一基板上に配置されてもよいし、別の基板上に配置されてもよい。

また、撮像装置と制御装置と表示装置が有する各装置間の信号伝達は有線でも無線でもよい。言い換えると、例えば上記の撮像装置５、制御装置１０、表示装置２０に対応する構成がそれぞれ異なる装置（端末等）に配置されてもよい。具体例を挙げると、遠隔操作可能な移動体に取り付けられた撮像装置による１ライン毎の出力信号を、移動体とは異なる携帯端末に配置された制御装置に無線通信で送信し、当該端末、若しくは、異なる端末に配置された表示装置に表示することも可能である。

また、変形例を含む本発明の実施形態等において述べた態様によりもたらされる他の作用効果について本明細書記載から明らかなもの、又は当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。

１ 表示システム
２ ルームミラーユニット
３Ａ，３Ｂ サイドミラーユニット
４ ＣＩＤユニット
５，５Ａ，５Ｂ，５Ｃ 撮像装置
１０，１０Ａ，１０Ｂ 制御装置
１４ 中央処理部
２０，２０Ａ，２０Ｂ，２０Ｃ 表示装置
７１ レンズ
７２Ａ，７２Ｂ，７２Ｃ 撮像素子
７３ タイミングジェネレータ
７４ 信号出力回路
７５ 制御回路
８１ 信号出力部
８２ 合成部
８３ 合成用ラインバッファ
８４ 出力用ラインバッファ
８５Ａ，８５Ｂ，８５Ｃ 画像処理部
８６ 記録保持部

Claims (9)

1. 少なくとも垂直同期信号を複数の撮像装置に出力する信号出力部と、前記垂直同期信号の出力タイミングに基づいて所定の周期で刻まれる水平同期信号に応じたタイミングで前記複数の撮像装置の各々から出力されたライン単位の画像信号をライン単位で合成する合成部とを有する制御装置と、
   前記合成部により合成されたライン単位の画像信号をライン単位で逐次表示する画像表示パネルと、
   を有する表示システム。
2. 前記信号出力部は、前記垂直同期信号及び前記水平同期信号を出力し、
   前記垂直同期信号は、前記ライン単位の画像信号の出力の開始を指示する開始信号として機能する
   請求項１に記載の表示システム。
3. 前記信号出力部は、前記複数の撮像装置のいずれかが出力した開始信号に応じて前記垂直同期信号及び前記水平同期信号を出力する
   請求項１に記載の表示システム。
4. 前記制御装置は、行方向の画像の縮小又は拡大の少なくともいずれ一方かを伴う伸縮処理を行う画像処理部を有する
   請求項１から３のいずれか一項に記載の表示システム。
5. 前記画像処理部は、前記複数の撮像装置の各々から出力されたライン単位の画像信号のそれぞれに対して個別の伸縮率で前記伸縮処理を行う
   請求項４に記載の表示システム。
6. 前記信号出力部は、前記撮像装置に対する前記垂直同期信号の出力タイミングと前記画像表示パネルの表示制御に用いられる表示制御用垂直同期信号とを異なるタイミングで出力し、
   前記合成部は、前記垂直同期信号のタイミングに応じて前記撮像装置が有する撮像素子から出力が開始されたライン単位の画像信号のうち、前記表示制御用垂直同期信号の出力タイミングに応じたライン単位の画像信号を前記画像表示パネルの最初の表示ラインで出力されるライン単位の画像信号として合成する
   請求項１から５のいずれか一項に記載の表示システム。
7. 前記複数の撮像装置の各々から出力されるライン単位の画像信号の出力タイミングは、前記垂直同期信号の出力タイミングに対して前記画像表示パネルにおける行方向の表示位置に応じてそれぞれ異なる遅延時間を経たタイミングであり、
   前記合成部は、前記複数の撮像装置の各々から出力されるライン単位の画像信号を時系列で行方向に連続させるように合成する
   請求項１又は２に記載の表示システム。
8. 撮像した画像をライン単位で出力する複数の撮像装置と、
   少なくとも垂直同期信号を前記複数の撮像装置に出力する信号出力部と、前記垂直同期信号の出力タイミングに基づいて所定の周期で刻まれる水平同期信号に応じたタイミングで前記複数の撮像装置の各々から出力されたライン単位の画像信号をライン単位で合成する合成部とを有する制御装置と、
   前記合成部により合成されたライン単位の画像信号をライン単位で逐次表示する画像表示パネルと、
   を有する表示システム。
9. ライン単位の画像信号をライン単位で逐次表示する画像表示パネルを有する表示装置による画像の表示方法であって、
   少なくとも垂直同期信号を複数の撮像装置に出力し、
   前記垂直同期信号の出力タイミングに基づいて所定の周期で刻まれる水平同期信号に応じたタイミングで前記複数の撮像装置の各々から出力されたライン単位の画像信号をライン単位で合成し、
   前記合成部により合成されたライン単位の画像信号をライン単位で逐次表示する
   表示方法。

Images