JP6656493B2 - 表示制御装置及び表示制御方法 - Google Patents

Description

本発明は、表示装置を制御する表示制御装置及び表示制御方法に関する。

近年、ドアミラーの代わりに車両の左右後側方の状況を運転者に提示する電子ミラーが提案されている。電子ミラーでは、車両の左右後側方をカメラで撮影し、当該撮影によって得られた画像を左右反転させて表示装置で表示する。例えば、特許文献１には、車両走行車線及び隣接車線の後方の状況を表示する電子ミラーが提案されている。

特開２０１５−１４４４０７号公報

しかしながら、電子ミラーの表示には、運転者にとって視認不要な部分が含まれており、当該部分の表示のために電力が消費されている。このため、消費電力に改善の余地があった。

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、消費電力を低減可能な技術を提供することを目的とする。

本発明に係る表示制御装置は、表示装置を制御する表示制御装置であって、車両周辺の撮影画像を取得する取得部と、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域を求め、表示装置の表示において、端部領域の表示態様を、端部領域以外の撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部とを備え、撮影画像は、左辺及び右辺の一方であり当該撮影画像上の車両の存在する側に対応する辺である内辺と、左辺及び右辺のうちの他方である外辺と、上辺と、下辺とを有し、予め定められた規則は、特徴点が上辺上に位置する場合には、外辺の上端に位置する第１点と、第１点以外の外辺上の点であって特徴点より下側に位置する第２点と、特徴点とで囲まれる領域を端部領域として求めること、特徴点が上辺近傍に位置する場合には、第１点と、第２点と、内辺の上端に位置する第３点と、内辺上の点であって第２点と特徴点とを結ぶ直線より下側に位置し、第３点と同じか第３点より下側に位置し、かつ特徴点より上側に位置する第４点と、特徴点とで囲まれる領域を端部領域として求めること、特徴点が下辺上に位置する場合には、外辺の下端に位置する第５点と、第５点以外の外辺上の点であって特徴点より上側に位置する第６点と、特徴点とで囲まれる領域を端部領域として求めること、及び、特徴点が下辺近傍に位置する場合には、第５点と、第６点と、内辺の下端に位置する第７点と、内辺上の点であって第６点と特徴点とを結ぶ直線より上側に位置し、第７点と同じか第７点より上側に位置し、かつ特徴点より下側に位置する第８点と、特徴点とで囲まれる領域を端部領域として求めること、の少なくともいずれか１つを含む。

本発明によれば、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域を求め、表示装置の表示において、端部領域の表示態様を、残部領域の表示態様と異ならせる制御を行う。このような構成によれば、表示制御装置の消費電力を低減することができる。

本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る表示制御装置の構成を示すブロック図である。 実施の形態１に係る第１規則を説明するための図である。 実施の形態１に係る第２規則を説明するための図である。 実施の形態１に係る第３規則を説明するための図である。 実施の形態１に係る第４規則を説明するための図である。 実施の形態２に係る表示制御装置の構成を示すブロック図である。 ミラーの調整例を説明するための図である。 ミラーの調整例を説明するための図である。 実施の形態２に係る表示制御装置による表示例を示す図である。 実施の形態２に係る表示制御装置による表示を模式的に示す図である。 実施の形態２に係る表示制御装置による表示例を示す図である。 実施の形態２に係る表示制御装置による表示を模式的に示す図である。 実施の形態２に係る表示制御装置の動作を示すフローチャートである。 実施の形態２の変形例１に係る表示制御装置による表示例を示す図である。 実施の形態２の変形例１に係る表示制御装置による表示を模式的に示す図である。 実施の形態２の変形例２に係る表示制御装置による表示例を示す図である。 実施の形態２の変形例２に係る表示制御装置による表示を模式的に示す図である。 実施の形態２の変形例３に係る表示制御装置による表示を模式的に示す図である。 実施の形態２の変形例５に係る表示制御装置による表示を模式的に示す図である。 実施の形態２の変形例５に係る表示制御装置による表示を模式的に示す図である。 実施の形態３に係る表示制御装置による表示例を示す図である。 実施の形態３に係る表示制御装置による表示例を示す図である。 実施の形態３に係る表示制御装置による表示例を示す図である。 実施の形態３に係る表示制御装置による表示を模式的に示す図である。 実施の形態３に係る表示制御装置の動作を示すフローチャートである。 実施の形態４に係る表示制御装置による表示を模式的に示す図である。 実施の形態４に係る表示制御装置による表示を模式的に示す図である。 実施の形態５に係る表示制御装置の構成を示すブロック図である。 標準的なカメラ及び広角カメラの撮影領域を示す図である。 実施の形態５に係る表示制御装置による表示例を示す図である。 実施の形態５の変形例１に係る表示制御装置による表示例を示す図である。 実施の形態５の変形例２に係る表示制御装置による表示例を示す図である。 実施の形態５の変形例２に係る表示制御装置による表示例を示す図である。 実施の形態６に係る表示制御装置の構成を示すブロック図である。 実施の形態６に係る表示制御装置による表示例を示す図である。 実施の形態６に係る表示制御装置による表示例を示す図である。 実施の形態６の変形例３に係る表示制御装置による表示例を示す図である。 実施の形態６の変形例３に係る表示制御装置による表示例を示す図である。 実施の形態７に係る表示制御装置の構成を示すブロック図である。 実施の形態７に係る表示制御装置による表示例を示す図である。 実施の形態８に係る表示制御装置の構成を示すブロック図である。 その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。

＜実施の形態１＞
以下、本発明の実施の形態１に係る表示制御装置が搭載され、着目の対象となる車両を「自車両」と記載して説明する。

図１は、本実施の形態１に係る表示制御装置１の構成を示すブロック図である。図１の表示制御装置１は、取得部１１と制御部１２とを備えており、表示装置２１を制御することが可能となっている。

表示装置２１は、例えば自車両のインストルメントパネル、または、ダッシュボードなどに配設される。表示装置２１には、液晶表示装置、有機ＥＬ（electroluminescence）表示装置、ＬＥＤ（Light Emitting Diode）表示装置などの様々な表示装置を用いることができる。

取得部１１は撮影画像を取得する。撮影画像は、表示装置２１の表示に用いられる画像であり、例えば自車両後方の画像、自車両側方の画像、または、自車両前方の画像などの、自車両周辺の画像である。ドアミラーの表示を行う場合の撮影画像は、自車両後方の画像を左右反転させたミラー表示用の画像である。撮影画像は、カメラなどで撮影された画像の全部であってもよいし、当該画像の一部であってもよい。取得部１１は、カメラであってもよいし、各種インターフェースであってもよい。

制御部１２は、予め定められた規則に従い、取得部１１で取得された撮影画像と、当該撮影画像上の特徴点とに基づいて、撮影画像の領域のうちの端部領域を求める。ここで、予め定められた規則は、第１規則、第２規則、第３規則または第４規則を含んでいる。以下、第１〜第４規則について説明する。

図２は、第１規則を説明するための図である。ここで第１規則を説明する前に、撮影画像２が有する複数の辺について説明する。図２に示すように、撮影画像２は、内辺Ｌｉｎと、外辺Ｌｏｕｔと、上辺Ｌｕｐと、下辺Ｌｕｄとを有する。内辺Ｌｉｎは、左辺及び右辺の一方であり、当該撮影画像２上の自車両３の存在する側に対応する辺である。外辺Ｌｏｕｔは、左辺及び右辺のうちの他方の辺である。

なお、図２には、自車両の左後側方を撮影するカメラで撮影された画像を反転させた画像が、撮影画像２として示されている。この場合、撮影画像２の右側が、自車両３の存在する側になるので、右辺が内辺Ｌｉｎとなり、左辺が外辺Ｌｏｕｔとなる。撮影画像が、自車両の右後側方を撮影するカメラで撮影された画像を反転させた画像である場合には、撮影画像２の左側が、自車両３の存在する側になるので、左辺が内辺Ｌｉｎとなり、右辺が外辺Ｌｏｕｔとなる。

さて図２に示すように、第１規則は、特徴点ＦＰが上辺Ｌｕｐ上に位置する場合の規則である。この第１規則では、制御部１２は、第１点Ｐ１と、第２点Ｐ２と、特徴点ＦＰとで囲まれる領域を、端部領域２ａとして求める。なお、第１点Ｐ１は、外辺Ｌｏｕｔの上端に位置する点である。第２点Ｐ２は、第１点Ｐ１以外の外辺Ｌｏｕｔ上の点であって特徴点ＦＰより下側に位置する点である。第２点Ｐ２の位置は、特徴点ＦＰより下側に位置するという条件を十分に満たすことが見込まれる位置、例えば第１点Ｐ１との間の距離が外辺Ｌｏｕｔの長さの１／４程度の位置に固定されてもよいし、後述するように適宜変更されてもよい。

図３は、第２規則を説明するための図である。図３に示すように、第２規則は、特徴点ＦＰが、撮影画像２の上半分に位置する場合など、上辺Ｌｕｐ近傍に位置する場合の規則である。

この第２規則では、制御部１２は、第１点Ｐ１と、第２点Ｐ２と、第３点Ｐ３と、第４点Ｐ４と、特徴点ＦＰとで囲まれる領域を、端部領域２ａとして求める。なお、第３点Ｐ３は、内辺Ｌｉｎの上端に位置する点である。第４点Ｐ４は、内辺Ｌｉｎ上の点であって、第２点Ｐ２と特徴点ＦＰとを結ぶ直線Ｌ１より下側に位置し、第３点Ｐ３と同じか第３点Ｐ３より下側に位置し、かつ特徴点ＦＰより上側に位置する点である。

図４は、第３規則を説明するための図である。図４に示すように、第３規則は、特徴点ＦＰが下辺Ｌｕｄ上に位置する場合の規則であり、実質的に第１規則と上下を逆にした規則である。

この第３規則では、制御部１２は、第５点Ｐ５と、第６点Ｐ６と、特徴点ＦＰとで囲まれる領域を、端部領域２ａとして求める。なお、第５点Ｐ５は、外辺Ｌｏｕｔの下端に位置する点である。第６点Ｐ６は、第５点Ｐ５以外の外辺Ｌｏｕｔ上の点であって特徴点ＦＰより上側に位置する点である。第６点Ｐ６の位置は、特徴点ＦＰより上側に位置するという条件を十分に満たすことが見込まれる位置、例えば第５点Ｐ５との間の距離が外辺Ｌｏｕｔの長さの１／４程度の位置に固定されてもよいし、後述するように適宜変更されてもよい。

図５は、第４規則を説明するための図である。図５に示すように、第４規則は、特徴点ＦＰが、撮影画像２の下半分に位置する場合など、下辺Ｌｕｄ近傍に位置する場合の規則であり、実質的に第２規則と上下を逆にした規則である。

この第４規則では、制御部１２は、第５点Ｐ５と、第６点Ｐ６と、第７点Ｐ７と、第８点Ｐ８と、特徴点ＦＰとで囲まれる領域を、端部領域２ａとして求める。なお、第７点Ｐ７は、内辺Ｌｉｎの下端に位置する点である。第８点Ｐ８は、内辺Ｌｉｎ上の点であって、第６点Ｐ６と特徴点ＦＰとを結ぶ直線Ｌ２より上側に位置し、第７点Ｐ７と同じか第７点Ｐ７より上側に位置し、かつ特徴点ＦＰより下側に位置する点である。

以上、撮影画像２が、自車両の左後側方を撮影するカメラで撮影された画像である場合の、第１〜第４規則について説明した。なお、撮影画像２が、自車両の左後側方を撮影するカメラで撮影された画像である場合には、図２〜図４の説明において左右を反転させた処理が、第１〜第４規則として行われる。

なお、以上の説明では、予め定められた規則は、第１規則、第２規則、第３規則または第４規則を含むものとして説明した。しかしながら、予め定められた規則は、第１規則、第２規則、第３規則及び第４規則の少なくともいずれか１つを含めばよい。例えば、制御部１２は、第１規則または第２規則と第３規則または第４規則とを組み合わせた規則に従って得られる領域を端部領域として求めてもよい。

制御部１２は、図２〜図４に示すように、表示装置２１の表示において、端部領域２ａの表示態様を、端部領域２ａ以外の撮影画像２の領域である残部領域２ｂの表示態様と異ならせる制御を行う。

第１規則（図２）の場合には、残部領域２ｂの上部の形状は、上下方向に傾斜する、第２点Ｐ２と特徴点ＦＰとを結ぶ線と、上辺Ｌｕｐとによって規定される。第２規則（図３）の場合には、残部領域２ｂの上部の形状は、上下方向に比較的大きく傾斜する、第２点Ｐ２と特徴点ＦＰとを結ぶ線と、上下方向に比較的小さく傾斜する、特徴点ＦＰと第４点Ｐ４とを結ぶ線とによって規定される。なお、残部領域２ｂの上部の形状を規定する各線は、直線であってもよいし、曲線であってもよい。

第３規則（図４）の場合には、残部領域２ｂの下部の形状は、上下方向に傾斜する、第６点Ｐ６と特徴点ＦＰとを結ぶ線と、下辺Ｌｕｄとによって規定される。第４規則（図５）の場合には、残部領域２ｂの下部の形状は、上下方向に比較的大きく傾斜する、第６点Ｐ６と特徴点ＦＰとを結ぶ線と、上下方向に比較的小さく傾斜する、特徴点ＦＰと第８点Ｐ８とを結ぶ線とによって規定される。なお、残部領域２ｂの下部の形状を規定する各線は、直線であってもよいし、曲線であってもよい。

＜実施の形態１のまとめ＞
以上のような本実施の形態１に係る表示制御装置１では、予め定められた規則に従い、撮影画像２と撮影画像２上の特徴点とに基づいて端部領域２ａを求め、表示装置２１の表示において、端部領域２ａの表示態様を、残部領域２ｂの表示態様と異ならせる制御を行う。このような構成において、例えば端部領域２ａの表示態様を黒表示の態様にすれば、外辺Ｌｏｕｔ側の上部または下部が切り取られた画像、つまり撮影画像２のうちの残部領域２ｂ内の画像が表示される。このため、運転者に、奥行き感が得られる自然な画像であり、かつ、比較的重要でない画像が切り取られた画像を取り出して表示することができる。また、撮影画像２の内容に合わせて残部領域２ｂの形状を適切に変更することができる。

なお、上記の構成において、表示装置２１が、黒表示を行う場合に消費電力が低減する特定の表示装置である場合には、消費電力を低減することもできる。特定の表示装置は、例えば、有機ＥＬ装置であってもよいし、ＬＥＤ表示装置であってもよいし、複数のバックライトを備え、黒表示を行う画素に対応させてバックライトを消灯可能な液晶表示装置であってもよい。

＜実施の形態２＞
図６は、本発明の実施の形態２に係る表示制御装置１の構成を示すブロック図である。以下、本実施の形態２に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

図６の表示制御装置１は、左表示装置２１ａと、右表示装置２１ｂと、カメラ制御装置２６ｃとに接続されている。

左表示装置２１ａ及び右表示装置２１ｂのそれぞれは、図１の表示装置２１に対応している。なお、左表示装置２１ａ及び右表示装置２１ｂの代わりに１つの表示装置が用いられてもよい。以下、左表示装置２１ａと右表示装置２１ｂとを区別しない場合にはこれらを「表示装置２１」と記して説明することもある。

カメラ制御装置２６ｃは、左後側方カメラ２６ａ、及び、右後側方カメラ２６ｂと接続されている。

左後側方カメラ２６ａは、自車両の左後側方を撮影するカメラであり、左ドアミラーの代わりに自車両に設けられている。右後側方カメラ２６ｂは、自車両の右後側方を撮影するカメラであり、右ドアミラーの代わりに自車両に設けられている。本実施の形態２では、左後側方カメラ２６ａ及び右後側方カメラ２６ｂのそれぞれは、パノラマカメラでも広角カメラでもなく、画角が１０度程度の画像を撮影する標準的なカメラであるものとして説明する。

なお、以下の説明では、左後側方カメラ２６ａで撮影された画像に基づくミラー表示用の画像を「左カメラ画像」と記すこともあり、右後側方カメラ２６ｂで撮影された画像に基づくミラー表示用の画像を「右カメラ画像」と記すこともあり、左カメラ画像と右カメラ画像とを区別しない場合にはこれらを「カメラ画像」と記すこともある。

カメラ制御装置２６ｃは、図示しない操作装置で受け付けた操作に基づいて、左後側方カメラ２６ａ及び右後側方カメラ２６ｂのそれぞれに対し、画角及び焦点を変更する制御を適宜行う。このような構成によれば、操作が適宜行われることによって、左後側方カメラ２６ａ及び右後側方カメラ２６ｂで撮影される範囲などを適宜調整することが可能である。

なお、左後側方カメラ２６ａ及び右後側方カメラ２６ｂの姿勢を変更できるように、これらを駆動する電動駆動機構を自車両に設けてもよい。また、カメラ制御装置２６ｃは、図示しない操作装置で受け付けた操作に基づいて当該電動駆動機構を制御することによって、左後側方カメラ２６ａ及び右後側方カメラ２６ｂが撮影する方向を制御してもよい。このような構成によれば、左後側方カメラ２６ａ及び右後側方カメラ２６ｂで撮影される範囲の調整における自由度を高めることができる。

図７及び図８は、標準的なドアミラーの鏡像の調整例を示す図である。なお、ここでは、ドアミラーの一般的な調整例について説明するが、左後側方カメラ２６ａ及び右後側方カメラ２６ｂで撮影される範囲の調整も、ドアミラーの調整と同様に行われる。

図７に示すように、自車両３の後部から後方３０ｍの位置にあり、自車両の側部から側方５ｍの幅の範囲が運転者に視認されるように、ドアミラーは調整される。図８に示すように、右ドアミラー４の鏡面４ａ左端から鏡面４ａの横の長さの１／４程度の範囲にて自車両３のボディが運転者に視認され、かつ、鏡面４ａ下端から鏡面４ａの縦の長さの１／３程度の範囲にて道路５が運転者に視認されるように、右ドアミラー４は調整される。左ドアミラーには、右ドアミラーの調整において左右を逆にした調整が行われる。左右のドアミラーにおいて推奨される調整は、左右のドアミラー及び国別の推奨値、並びに、左右のドアミラーの広さ及び種類などによって異なる。

図６に戻って、カメラ制御装置２６ｃは、左後側方カメラ２６ａ及び右後側方カメラ２６ｂを以上のように制御するだけでなく、左後側方カメラ２６ａ及び右後側方カメラ２６ｂで撮影された左カメラ画像及び右カメラ画像を表示制御装置１に出力する。

次に、図６の表示制御装置１の内部構成について説明する。この表示制御装置１は、画像取得部１１ａと、画像認識部１２ａと、映像処理部１２ｂと、画像出力部１２ｃとを備える。なお、画像取得部１１ａの概念は、図１の取得部１１に含まれる概念であり、画像認識部１２ａ、映像処理部１２ｂ及び画像出力部１２ｃの概念は、図１の制御部１２に含まれる概念である。

画像取得部１１ａは、カメラ制御装置２６ｃからのカメラ画像を、撮影画像として取得する。なお本実施の形態２では、左後側方カメラ２６ａ及び右後側方カメラ２６ｂのそれぞれが、標準的なカメラであることを考慮して、画像取得部１１ａは、カメラ画像を撮影画像として取得するように構成している。もし、左後側方カメラ２６ａ及び右後側方カメラ２６ｂのそれぞれが、例えばパノラマカメラ、広角カメラ、または、魚眼レンズ付きカメラなどである場合には、画像取得部１１ａは、電動駆動機構によってカメラの方向を物理的に移動させて得られる画像と等価な画像を、撮影画像として取得してもよい。電動駆動機構によってカメラの方向を物理的に移動させて得られる画像と等価な画像は、例えば、カメラ画像の一部を切り取った画像、または、カメラ画像に視点変換処理を施した画像などである。このように構成した場合には、カメラの方向を変更する電動駆動機構などのハードウェアが不要になるので、コスト低減化が期待できる。

画像認識部１２ａ及び映像処理部１２ｂについては、図９〜図１２を用いて説明する。

図９は、本実施の形態２に係る左表示装置２１ａ及び右表示装置２１ｂなどの表示例を示す図である。以下の説明では、左カメラ画像に対応する撮影画像を「左の撮影画像」と記すこともあり、右カメラ画像に対応する撮影画像を「右の撮影画像」と記すこともある。

図９の例では、メータが設けられたメータ領域７を挟んだ状態で左表示装置２１ａ及び右表示装置２１ｂが設けられ、左の撮影画像２の残部領域２ｂ及び右の撮影画像２の残部領域２ｂが、それぞれ左電子ミラー及び右電子ミラーとして表示されている。左の撮影画像２の残部領域２ｂには、自車両３のボディと、実線白線５ａなどが付された道路５と、他車両６とが表示され、右の撮影画像２の残部領域２ｂには、自車両３のボディと、実線白線５ａなどが付された道路５とが表示されている。

図１０は、図９の左の撮影画像２における端部領域２ａ及び残部領域２ｂを模式的に示す図である。図１１は、本実施の形態２に係る左表示装置２１ａの表示例を示す図である。図１２は、図１１の左の撮影画像２における端部領域２ａ及び残部領域２ｂを模式的に示す図である。なお、以下の説明では、主に左の撮影画像２の端部領域２ａ及び残部領域２ｂについて説明するが、右の撮影画像２の端部領域２ａ及び残部領域２ｂについても以下の説明と同様である。

さて、図６の画像認識部１２ａは、画像取得部１１ａで取得された撮影画像２から予め定められたオブジェクトを認識し、当該オブジェクトに基づいて特徴点を求める。本実施の形態２では、予め定められたオブジェクトは道路の区画線である。なお、道路の区画線は、車の追い越し時のはみ出し禁止に対応する実線黄色線、車の全てのはみ出し禁止に対応する実線白線、及び、車のはみ出し許可に対応する破線白線などを含む。なお、実線白線などの役割はこれに限ったものではない。

図１０及び図１２の例では、画像認識部１２ａは、撮影画像２における実線白線５ａの消失点５ｂの位置に基づいて、特徴点ＦＰを求めている。図１０の例では、画像認識部１２ａは、上辺Ｌｕｐ上の点のうち消失点５ｂの真上の点を、特徴点ＦＰとして求めている。なお、画像認識部１２ａは、上辺Ｌｕｐと消失点５ｂとの中点を、特徴点ＦＰとして求めてもよい。図１２の例では、画像認識部１２ａは、下辺Ｌｕｄ上の点のうち消失点５ｂの真下の点を、特徴点ＦＰとして求めている。なお、画像認識部１２ａは、下辺Ｌｕｄと消失点５ｂとの中点を、特徴点ＦＰとして求めてもよい。

図６の映像処理部１２ｂは、実施の形態１で説明した制御部１２と同様の動作を行う。つまり、映像処理部１２ｂは、予め定められた規則に従い、画像取得部１１ａで取得された撮影画像２と、画像認識部１２ａで求めた特徴点ＦＰとに基づいて端部領域２ａを求める。

図１０の例のように、特徴点ＦＰが上辺Ｌｕｐ上に位置する場合には、映像処理部１２ｂは、第１規則に従って端部領域２ａを求める。特徴点ＦＰが上辺Ｌｕｐと消失点５ｂとの中点である場合には、映像処理部１２ｂは第２規則に従って端部領域２ａを求める。図１２の例のように、特徴点ＦＰが下辺Ｌｕｄ上に位置する場合には、映像処理部１２ｂは、第３規則に従って端部領域２ａを求める。特徴点ＦＰが下辺Ｌｕｄと消失点５ｂとの中点である場合には、映像処理部１２ｂは第４規則に従って端部領域２ａを求める。

映像処理部１２ｂは、図９及び図１１のように、端部領域２ａの表示態様を変更する画像処理を行う。なお、図９のドットハッチングが付された部分は黒色を示している。このような黒表示の態様は、例えば、端部領域２ａを非表示にすることによって実現可能である。

図６の画像出力部１２ｃは、映像処理部１２ｂで画像処理が施された左の撮影画像２の映像信号を左表示装置２１ａに出力する。また、画像出力部１２ｃは、映像処理部１２ｂで画像処理が施された右の撮影画像２の映像信号を右表示装置２１ｂに出力する。

＜動作＞
図１３は、本実施の形態２に係る表示制御装置１の動作を示すフローチャートである。この動作は、例えば自車両のアクセサリー電源がオンになった場合、及び、自車両の駆動源がオンになった場合などに開始される。

まずステップＳ１にて、画像取得部１１ａは、左カメラ画像及び右カメラ画像を、撮影画像２として取得する。

ステップＳ２にて、画像認識部１２ａは、画像取得部１１ａで取得された撮影画像２から実線白線５ａを認識する。

ステップＳ３にて、画像認識部１２ａは、認識した実線白線５ａの消失点５ｂを認識する。

ステップＳ４にて、画像認識部１２ａは、認識した消失点５ｂの位置に基づいて特徴点ＦＰを求める。

ステップＳ５にて、映像処理部１２ｂは、特徴点ＦＰなどに基づいて端部領域２ａを求め、端部領域２ａの表示態様を変更する画像処理を行う。

ステップＳ６にて、画像出力部１２ｃは、映像処理部１２ｂで画像処理が施された左の撮影画像２の映像信号を左表示装置２１ａに出力し、映像処理部１２ｂで画像処理が施された右の撮影画像２の映像信号を右表示装置２１ｂに出力する。その後、ステップＳ１に処理が戻る。

＜実施の形態２のまとめ＞
以上のような本実施の形態２に係る表示制御装置１では、撮影画像２から、実線白線５ａなどの予め定められたオブジェクトを認識し、当該オブジェクトに基づいて特徴点を求める。このような構成によれば、撮影画像２の内容に合わせて残部領域２ｂの形状を適切に変更することができる。

＜実施の形態２の変形例１＞
図１４は、実施の形態２の変形例１に係る左表示装置２１ａの表示例を示す図である。図１５は、図１４の左の撮影画像２における端部領域２ａ及び残部領域２ｂを模式的に示す図である。

実施の形態２の図１０の例では、映像処理部１２ｂは、上辺Ｌｕｐ上の点のうち消失点５ｂの真上の点を、特徴点ＦＰとして求めた。しかしながら、図１５に示すように、映像処理部１２ｂは、上辺Ｌｕｐ上の点のうち、実線白線５ａの消失点５ｂを超えた延長上の点を、特徴点ＦＰとして求めてもよい。

また、実施の形態２では、特徴点ＦＰを求めるための予め定められたオブジェクトは、実線白線５ａなどの区画線であった。しかしながら、予め定められたオブジェクトは、道路５の特定の消失点、例えば、道路５の中央の消失点、道路５の中央よりやや右側の部分の消失点、または、道路５の中央よりやや左側の部分の消失点などであってもよい。または、予め定められたオブジェクトは、歩道、ガードレール及び街頭などの道路関連物であってもよいし、地物であってもよいし、道路標示などの表示であってもよい。

＜実施の形態２の変形例２＞
図１６は、実施の形態２の変形例２に係る左表示装置２１ａの表示例を示す図である。図１７は、図１６の左の撮影画像２における端部領域２ａ及び残部領域２ｂを模式的に示す図である。

実施の形態２では、画像認識部１２ａは、撮影画像２から１つの特徴点ＦＰを求めた。しかしながら、図１７に示すように、画像認識部１２ａは、撮影画像２から複数の特徴点ＦＰを求めてもよい。なお、図１６及び図１７の例では、画像認識部１２ａは、複数の特徴点ＦＰとして、第１特徴点ＦＰ１及び第２特徴点ＦＰ２を求めている。なお、第１特徴点ＦＰ１は、実線白線５ａの消失点５ｂと上辺Ｌｕｐとの間に位置する点であり、上辺Ｌｕｐ近傍に位置する点である。第２特徴点ＦＰ２は、第１特徴点ＦＰ１よりも内辺Ｌｉｎ側に位置する点であり、上辺Ｌｕｐ上の点のうち点線白線５ｃの消失点５ｄの真上の点である。

以上のような場合に、映像処理部１２ｂは、第１点Ｐ１と、第２点Ｐ２と、第１特徴点ＦＰ１と、第２特徴点ＦＰ２とで囲まれる領域を端部領域２ａとして求めてもよい。この場合、端部領域２ａの上部の形状は、上下方向に比較的大きく傾斜する、第２点Ｐ２と第１特徴点ＦＰ１とを結ぶ線と、上下方向に比較的小さく傾斜する、第１特徴点ＦＰ１と第２特徴点ＦＰ２とを結ぶ線と、上辺Ｌｕｐとによって規定される。

なお、図１７の例では１つの第１特徴点ＦＰ１が用いられたが、１つの第１特徴点ＦＰ１の代わりに、外辺Ｌｏｕｔから内辺Ｌｉｎに向かうにつれて上辺Ｌｕｐに近づいていく複数の第１特徴点ＦＰ１が用いられてもよい。また、第１特徴点ＦＰ１及び第２特徴点ＦＰ２などの特徴点の数は２つに限ったものではなく、実線白線５ａ及び点線白線５ｃなどの区画線の数は２つに限ったものではない。

また、以上と同様にして、映像処理部１２ｂは、図１６及び図１７の上下を逆にした端部領域２ａを求めてもよい。図示しないが、撮影画像２から、下辺Ｌｕｄ近傍に位置する特徴点である第３特徴点と、第３特徴点よりも内辺Ｌｉｎ側に位置し、かつ下辺Ｌｕｄ上に位置する特徴点である第４特徴点とが求められた場合に、映像処理部１２ｂは、第５点と、第６点と、第３特徴点と、第４特徴点とで囲まれる領域を端部領域２ａとして求めてもよい。

＜実施の形態２の変形例３＞
以上の構成において、映像処理部１２ｂは、左後側方カメラ２６ａ及び右後側方カメラ２６ｂが撮影する方向（以下「カメラ方向」と記すこともある）の変化に対応させて、残部領域２ｂの形状を変化させてもよい。通常、ドアミラーの水平角を変更させた場合、運転者から見えるドアミラー全体の左右方向の長さが短くなる。このことに鑑みて、カメラ方向を左または右に移動させた場合には、映像処理部１２ｂは、図１８に示すように、残部領域２ｂの上部の横方向の長さＷｕｐ、及び、残部領域２ｂの下部の横方向の長さＷｕｄを短くしてもよい。

また図示しないが、映像処理部１２ｂは、カメラ方向が自車両３のボディに近づけられた場合には、残部領域２ｂの外辺Ｌｏｕｔ側部分の縦方向の長さを、内辺Ｌｉｎ側部分の縦方向の長さよりも長くしてもよい。また、映像処理部１２ｂは、カメラ方向が自車両３のボディから遠ざけられた場合には、残部領域２ｂの外辺Ｌｏｕｔ側部分の縦方向の長さを、内辺Ｌｉｎ側部分の縦方向の長さよりも短くしてもよい。

また図示しないが、映像処理部１２ｂは、カメラ方向が下に向けられた場合には、残部領域２ｂの上部の横方向の長さＷｕｐを、残部領域２ｂの下部の横方向の長さＷｕｄよりも短くしてもよい。また、映像処理部１２ｂは、カメラ方向が上に向けられた場合には、残部領域２ｂの上部の横方向の長さＷｕｐを、残部領域２ｂの下部の横方向の長さＷｕｄよりも長くしてもよい。

以上のような構成によれば、実物のドアミラーに似た電子ミラーを表示することができる。なお、映像処理部１２ｂは、ユーザの設定によって上記変形と逆の変形を行ってもよいし、上記変形を組み合わせた変形を行ってもよい。

＜実施の形態２の変形例４＞
実施の形態２では、映像処理部１２ｂは、端部領域２ａにおける表示態様を、端部領域２ａが黒表示された態様に変更した。しかしながら、映像処理部１２ｂは、端部領域２ａにおける表示態様を、例えば警告マークなどを含む表示オブジェクトが端部領域２ａに重畳された態様に変更してもよいし、特定の画像処理が端部領域２ａに施された態様に変更してもよい。

なお、特定の画像処理は、例えば、画像取得部１１ａで取得された撮影画像２のうち端部領域２ａ内の画像を半透過にする半透過処理、当該画像をぼかすぼかし処理、または、当該画像の色彩を変更する色彩変更処理を含む。色彩変更処理は、例えば、端部領域２ａ内の画像の色を、表示装置２１に表示される端部領域２ａ周囲の背景色と同じ色に変更する処理を含む。

以上のような構成によれば、ユーザの好みに合った電子ミラーの表示を行うことができる。

＜実施の形態２の変形例５＞
実施の形態２では、映像処理部１２ｂは、端部領域２ａにおける表示態様を黒表示の態様に変更した。この場合、運転者は端部領域２ａの画像を確認できなくなる。そこで、図１９に示すように、映像処理部１２ｂは、残部領域２ｂを、端部領域２ａの上下に隣接する隣接部分２ｂ１と、それ以外の部分２ｂ２とに分けてもよい。そして、図２０に示すように、映像処理部１２ｂは、撮影画像２のうちの端部領域２ａ及び隣接部分２ｂ１の画像が隣接部分２ｂ１内に収まるように、端部領域２ａ及び隣接部分２ｂ１の画像を圧縮してもよい。

＜実施の形態３＞
本発明の実施の形態３に係る表示制御装置１の構成を示すブロック図は、実施の形態２に係る表示制御装置１のブロック図（図６）と同様である。以下、本実施の形態３に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

実施の形態２では、特徴点ＦＰを求めるための予め定められたオブジェクトは、実線白線５ａなどの区画線であった。本実施の形態３では、予め定められたオブジェクトは、移動体であり、画像認識部１２ａは、画像取得部１１ａで取得された撮影画像における移動体の位置に基づいて特徴点ＦＰを求める。以下、移動体は、自車両３が走行している車線と隣接する隣接車線を走行している他車両であるものとして説明する。

図２１、図２２及び図２３は、本実施の形態３に係る左表示装置２１ａの表示例を示す図である。図２４は、図２３の左の撮影画像２における端部領域２ａ及び残部領域２ｂを模式的に示す図である。

図２１では、撮影画像２の隣接車線に他車両が存在しない。この場合、画像認識部１２ａは、上辺Ｌｕｐ上の予め定められた点を、特徴点ＦＰとして求める。または、画像認識部１２ａは、上辺Ｌｕｐ上の点のうち、自車両３のボディの外側端部の真上の点を、特徴点ＦＰとして求める。

図２２では、撮影画像２の隣接車線に他車両６が自車両３から比較的遠くに存在し、図２３では、撮影画像２の隣接車線に他車両６が自車両３から比較的近くに存在する。これらの場合、画像認識部１２ａは、図２４に示すように、上辺Ｌｕｐ上の点のうち、他車両６の外側端部の真上の点を、特徴点ＦＰとして求める。他車両６の外側端部とは、他車両６のうち外辺Ｌｏｕｔに近い端部である。

図２５は、本実施の形態３に係る表示制御装置１の動作を示すフローチャートである。この動作は、例えば自車両のアクセサリー電源がオンになった場合、及び、自車両の駆動源がオンになった場合などに開始される。

まずステップＳ１１にて、画像取得部１１ａは、左カメラ画像及び右カメラ画像を、撮影画像２として取得する。

ステップＳ１２にて、画像認識部１２ａは、画像取得部１１ａで取得された撮影画像２から隣接車線を走行する他車両６を認識する。

ステップＳ１３にて、画像認識部１２ａは、認識した他車両６の外側端部を認識する。

ステップＳ１４にて、画像認識部１２ａは、認識した外側端部の位置に基づいて特徴点ＦＰを求める。

ステップＳ１５にて、映像処理部１２ｂは、特徴点ＦＰなどに基づいて端部領域２ａを求め、撮影画像２のうちの端部領域２ａにおける表示態様を変更する画像処理を行う。

ステップＳ１６にて、画像出力部１２ｃは、映像処理部１２ｂで画像処理が施された左の撮影画像２の映像信号を左表示装置２１ａに出力し、映像処理部１２ｂで画像処理が施された右の撮影画像２の映像信号を右表示装置２１ｂに出力する。その後、ステップＳ１１に処理が戻る。

＜実施の形態３のまとめ＞
以上のような本実施の形態３に係る表示制御装置１では、撮影画像における他車両６などの移動体の位置に基づいて特徴点ＦＰを求める。このような構成によれば、移動体の見かけ上の位置により特徴点ＦＰが求まるので、注意すべき対象に対する遠近感がとりやすい画像を運転者に提示することができる。

＜実施の形態３の変形例１＞
実施の形態３では、画像認識部１２ａは、上辺Ｌｕｐ上の点のうち、他車両６の外側端部の真上の点を、特徴点ＦＰとして求めた。しかしながら、画像認識部１２ａは、上辺Ｌｕｐ上の点のうち、他車両６の中心部、または、他車両６の中心部以外の部分の真上の点を、特徴点ＦＰとして求めてもよい。また、画像認識部１２ａは、他車両６の外側端部の真上の点を、実施の形態２の変形例２で説明した第１特徴点ＦＰ１として求め、他車両６の内側端部の真上の点を、実施の形態２の変形例２で説明した第２特徴点ＦＰ２として求めてもよい。なお、他車両６の内側端部とは、他車両６の内辺Ｌｉｎに近い端部である。

＜実施の形態３の変形例２＞
実施の形態２の変形例４を実施の形態３に適用してもよい。つまり、実施の形態３において、映像処理部１２ｂは、端部領域２ａにおける表示態様を、端部領域２ａが黒表示された態様、予め定められた表示オブジェクトが端部領域２ａに重畳された態様、または、特定の画像処理が端部領域２ａに施された態様に変更してもよい。

この場合、端部領域２ａの表示態様は、自車両３と、自車両３以外の他車両６との位置関係に基づいて変更されてもよい。例えば、映像処理部１２ｂは、自車両３と他車両６との位置関係に基づいて、自車両３の走行方向における、自車両３と他車両６との間の距離を求め、当該距離が短いほど、端部領域２ａに重畳される表示オブジェクトの透過率を低くしてもよい。または、映像処理部１２ｂは、自車両３と他車両６との位置関係に基づいて、自車両３の横方向における、自車両３と他車両６との間の距離を求め、当該距離が短いほど、端部領域２ａに重畳される表示オブジェクトの色を赤色などの危険を示す色に近づけてもよい。同様に、映像処理部１２ｂは、自車両３と他車両６との間の各種距離に基づいて、特定の画像処理のパラメータを変更してもよい。

＜実施の形態３の変形例３＞
実施の形態３及び実施の形態３の各変形例の構成と、実施の形態２及び実施の形態２の各変形例の構成とを適宜組み合わせてもよい。

例えば、画像認識部１２ａは、撮影画像２における移動体の位置に基づいて、上辺Ｌｕｐ上に位置する、または、上辺Ｌｕｐ近傍の特徴点ＦＰを求めてもよい。これに加えて、画像認識部１２ａは、撮影画像２における区画線の位置に基づいて、下辺Ｌｕｄ上に位置する、または、下辺Ｌｕｄ近傍の特徴点ＦＰを求めてもよい。この場合、残部領域２ｂの上部の形状は、例えば、図２２の残部領域２ｂの上部の形状と同じになり、残部領域２ｂの下部の形状は、例えば、図１１の残部領域２ｂの下部の形状と同じになる。

また例えば、画像認識部１２ａは、撮影画像２から移動体を認識できなかった場合には、実施の形態２のように撮影画像２における区画線の消失点の位置に基づいて特徴点ＦＰを求めてもよい。そして、画像認識部１２ａは、撮影画像２から移動体を認識できた場合には、撮影画像２における区画線の消失点の位置ではなく、実施の形態３のように撮影画像２における移動体の位置に基づいて特徴点ＦＰを求めてもよい。

＜実施の形態４＞
本発明の実施の形態４に係る表示制御装置１の構成を示すブロック図は、実施の形態２に係る表示制御装置１のブロック図（図６）と同様である。以下、本実施の形態４に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

以上の説明では、第２点Ｐ２の位置及び第６点Ｐ６の位置は、固定されているものとして説明した。これに対して本実施の形態４では、第２点Ｐ２の位置及び第６点Ｐ６の位置は適宜変化する。

図２６及び図２７は、本実施の形態４に係る左表示装置２１ａによって表示される左の撮影画像２における端部領域２ａ及び残部領域２ｂを模式的に示す図である。

本実施の形態４に係る画像認識部１２ａは、画像取得部１１ａで取得された撮影画像２から予め定められたオブジェクトを認識し、当該オブジェクトの形状に基づいて第２点Ｐ２及び特徴点ＦＰを求める。本実施の形態４では、このオブジェクトは道路の区画線であり、画像認識部１２ａは、第２点Ｐ２と特徴点ＦＰとを結ぶ線Ｌ３の形状が実線白線５ａの形状に対応するように、第２点Ｐ２及び特徴点ＦＰを求める。

より具体的には、まず画像認識部１２ａは、実施の形態２と同様にして、撮影画像２から特徴点ＦＰを求める。その後、線Ｌ３が、実線白線５ａの平行線または実線白線５ａに準じた線となるように、画像認識部１２ａは、第２点Ｐ２を求める。なお、図２６のように実線白線５ａが直線である場合には線Ｌ３も直線であり、図２７のように実線白線５ａが曲線である場合には線Ｌ３も曲線である。

＜実施の形態４のまとめ＞
以上のような本実施の形態４に係る表示制御装置１では、撮影画像２から認識されたオブジェクトの形状に基づいて第２点Ｐ２及び特徴点ＦＰを求める。このような構成によれば、端部領域２ａと残部領域２ｂとの境界線が、実線白線５ａを補助的に示すことになることから、運転者にとって実線白線５ａを認識しやすい表示を提供することができる。

＜実施の形態４の変形例＞
実施の形態４では、画像認識部１２ａは、特徴点ＦＰを求めてから、当該特徴点ＦＰと、実線白線５ａの形状とに基づいて第２点Ｐ２を求めた。しかしながら、画像認識部１２ａは、実施の形態１などと同様に固定された第２点Ｐ２と、実線白線５ａの形状とに基づいて特徴点ＦＰを求めてもよい。または、実線白線５ａとの間の距離が一定距離に設定された平行線が線Ｌ３であるとしてもよい。この場合、画像認識部１２ａは、第２点Ｐ２及び特徴点ＦＰを並列的に求めることが可能になる。

＜実施の形態５＞
図２８は、本発明の実施の形態５に係る表示制御装置１の構成を示すブロック図である。以下、本実施の形態５に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

本実施の形態５では、図６の左後側方カメラ２６ａ、及び、右後側方カメラ２６ｂの代わりに、左後側方広角カメラ２６ｅ、及び、右後側方広角カメラ２６ｆが自車両に設けられている。ここで、左後側方広角カメラ２６ｅ及び右後側方広角カメラ２６ｆのそれぞれは、標準的なカメラではなく広角カメラである。これに合わせて、本実施の形態５に係る左表示装置２１ａ及び右表示装置２１ｂのそれぞれは、広角カメラで表示された横長形状の画像を表示可能な表示装置である。

図２９は、画角が１０度である標準的なカメラが撮影可能な領域である撮影領域Ｒ１と、画角が３０度である広角カメラが撮影可能な領域である撮影領域Ｒ２とを示す図である。図３０は、本実施の形態５に係る左表示装置２１ａの表示例を示す図である。なお、図３０の表示例には、説明の便宜上、消失点５ｂと、特徴点ＦＰと、消失点５ｂ及び特徴点ＦＰの間の破線が示されているが、これらは表示されなくてもよい。このことは、以下の表示例の図においても同様である。

図３０に示すように、広角カメラの撮影領域Ｒ２は、標準的なカメラの撮影領域Ｒ１よりも広くなっており、左表示装置２１ａの表示範囲は、広角カメラの撮影領域Ｒ２に合わせて広くなっている。この結果、撮影画像２は、横長形状の画像となっている。

本実施の形態５では、このような横長形状の撮影画像２に対して、画像認識部１２ａは、これまでの説明と同様に特徴点ＦＰを求め、映像処理部１２ｂは、端部領域２ａ及び残部領域２ｂを求めて、端部領域２ａの表示態様を残部領域２ｂの表示態様と異ならせる制御を行う。

＜実施の形態５のまとめ＞
以上のような本実施の形態５に係る表示制御装置１では、撮影画像２は、横長形状の画像である。このような構成によれば、広角カメラで撮影された横長形状の画像に対しても、実施の形態１などで説明した効果を得ることができる。

＜実施の形態５の変形例１＞
実施の形態５の構成に対しても、実施の形態２〜４の構成及びそれらの各変形例が適用されてもよい。図３１は、実施の形態５に、実施の形態２の変形例２を適用した場合の左表示装置２１ａの表示例を示す図である。

図３１に示すように、画像認識部１２ａは、実線白線５ａの消失点５ｂと上辺Ｌｕｐとの間の点を、第１特徴点ＦＰ１として求め、上辺Ｌｕｐ上の点のうち点線白線５ｃの消失点５ｄの真上の点を、第２特徴点ＦＰ２として求めてもよい。そして、映像処理部１２ｂは、第１点Ｐ１と、第２点Ｐ２と、第１特徴点ＦＰ１と、第２特徴点ＦＰ２とで囲まれる領域を端部領域２ａとして求めてもよい。また、第１特徴点ＦＰ１及び第２特徴点ＦＰ２などの特徴点の数は２つに限ったものではなく、実線白線５ａ及び点線白線５ｃなどの区画線の数は２つに限ったものではない。

＜実施の形態５の変形例２＞
以上の構成において、自車両３が走行している道路の車線数に基づいて、表示装置２１に表示される残部領域２ｂの範囲は変更されてもよい。図３２及び図３３は、実施の形態５の変形例２に係る左表示装置２１ａの表示例を示す図である。なお、図３２及び図３３では、最外道路の外側に設けられた壁８も表示されている。

本変形例２では、画像認識部１２ａは、画像取得部１１ａで取得された撮影画像２から車線数を抽出する。画像認識部１２ａは、図３２の場合には２つの車線数（１つの隣接車線）を抽出し、図３３の場合には３つの車線数（２つの隣接車線）を抽出する。

本変形例２では、映像処理部１２ｂは、画像認識部１２ａで抽出された車線数が多いほど表示装置２１の表示における残部領域２ｂの左右方向の長さを大きくする。図３２及び図３３の例では、映像処理部１２ｂは、自車両３が走行している車線の最も外側の区画線である実線白線５ａの下側端部５ｅの位置に、残部領域２ｂの外側の辺を合わせることによって、残部領域２ｂの左右方向の長さを大きくしている。

以上のような構成によれば、自車両３周囲の比較的重要な画像を取り出して表示することができる。

＜実施の形態６＞
図３４は、本発明の実施の形態６に係る表示制御装置１の構成を示すブロック図である。以下、本実施の形態６に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

本実施の形態６の構成は、図２８の構成に、右左折情報取得部１１ｂが追加された構成と同様である。なお、右左折情報取得部１１ｂの概念は、図１の取得部１１に含まれる概念である。

右左折情報取得部１１ｂは、自車両３の方向指示器で受け付けた操作を、自車両３が右折及び左折のいずれを行うかを示す右左折情報として取得する。画像取得部１１ａは、上述と同様に、自車両３の左後方に対応する撮影画像である左の撮影画像と、自車両３の右後方に対応する撮影画像である右の撮影画像とを取得する。

図３５及び図３６は、本実施の形態６に係る左表示装置２１ａ及び右表示装置２１ｂの表示例を示す図である。

本実施の形態６に係る映像処理部１２ｂは、右左折情報取得部１１ｂで取得された右左折情報に基づいて、左表示装置２１ａの表示における左の撮影画像２の残部領域２ｂの左右方向の長さと、右表示装置２１ｂの表示における右の撮影画像２の残部領域２ｂの左右方向の長さとを制御する。

その一例として、映像処理部１２ｂは、右左折情報が左折を示す場合に、図３５の表示から図３６の表示に切り替える。つまり、映像処理部１２ｂは、右左折情報が左折を示す場合には、左表示装置２１ａに表示される左の撮影画像２の残部領域２ｂの左右方向の長さを、右表示装置２１ｂに表示される右の撮影画像２の残部領域２ｂの左右方向の長さよりも大きくする。また図示しないが、映像処理部１２ｂは、右左折情報が右折を示す場合には、右表示装置２１ｂに表示される右の撮影画像２の残部領域２ｂの左右方向の長さを、左表示装置２１ａに表示される左の撮影画像２の残部領域２ｂの左右方向の長さよりも大きくする。

なお、図３６の例の左表示装置２１ａでは、左の撮影画像２の上辺Ｌｕｐ上の点のうち消失点５ｂの真上の点が、特徴点ＦＰとして求められ、端部領域２ａ及び残部領域２ｂが、当該特徴点ＦＰなどに基づいて区分けされている。一方、図３６の例の右表示装置２１ｂでは、特徴点ＦＰは求められておらず、端部領域２ａ及び残部領域２ｂが区分けされていないことから、右の撮影画像２がそのまま、右の撮影画像２の残部領域２ｂとして表示されている。

＜実施の形態６のまとめ＞
以上のような本実施の形態６に係る表示制御装置１では、右左折情報に基づいて、左の撮影画像２の残部領域２ｂの左右方向の長さと、右の撮影画像２の残部領域２ｂの左右方向の長さとを制御する。このような構成によれば、進行方向の状況を確認しやすい表示を運転者に提示することができる。

＜実施の形態６の変形例１＞
実施の形態６では、映像処理部１２ｂは、右左折情報が方向を示す場合に、左の撮影画像２及び右の撮影画像２の一方について残部領域２ｂの左右方向の長さを大きくしたが、これに限ったものではない。例えば、映像処理部１２ｂは、右左折情報が方向を示す場合に、左の撮影画像２及び右の撮影画像２の両方について残部領域２ｂの左右方向の長さを大きくしてもよい。

＜実施の形態６の変形例２＞
右左折情報は、画像認識部１２ａに入力されてもよい。そして、画像認識部１２ａは、右左折情報が左折を示す場合に、左の撮影画像２から特徴点を抽出可能な最大数を、右の撮影画像２から特徴点を抽出可能な最大数をよりも大きくしてもよいし、右の撮影画像２からの特徴点の抽出を停止してもよい。同様に、画像認識部１２ａは、右左折情報が右折を示す場合に、右の撮影画像２から特徴点を抽出可能な最大数を、左の撮影画像２から特徴点を抽出可能な最大数をよりも大きくしてもよいし、左の撮影画像２からの特徴点の抽出を停止してもよい。

＜実施の形態６の変形例３＞
図３７及び図３８は、実施の形態６の変形例３に係る左表示装置２１ａ及び右表示装置２１ｂの表示例を示す図である。なお本変形例３でも、右左折情報は、画像認識部１２ａに入力されるものとする。

画像認識部１２ａは、実施の形態２と同様にして、画像取得部１１ａで取得された左の撮影画像及び右の撮影画像から道路の実線白線５ａなどの区画線を認識してもよい。そして、実施の形態３と同様にして、画像取得部１１ａで取得された左の撮影画像及び右の撮影画像から他車両６などの移動体を認識してもよい。

また、画像認識部１２ａは、右左折情報取得部１１ｂで取得された右左折情報が左折を示す場合に、左の撮影画像２における他車両６に基づいて左の撮影画像２の特徴点ＦＰＬを求め、かつ、右の撮影画像２における実線白線５ａに基づいて右の撮影画像２の特徴点ＦＰＲを求めてもよい。また、画像認識部１２ａは、右左折情報取得部１１ｂで取得された右左折情報が右折を示す場合に、右の撮影画像２における他車両６に基づいて右の撮影画像２の特徴点ＦＰＲを求め、かつ、左の撮影画像２における実線白線５ａに基づいて左の撮影画像２の特徴点ＦＰＬを求めてもよい。

また、実施の形態２〜５に対しても、実施の形態６の構成及び実施の形態６の各変形例が適用されてもよい。

＜実施の形態７＞
図３９は、本発明の実施の形態７に係る表示制御装置１の構成を示すブロック図である。以下、本実施の形態７に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

本実施の形態７の構成は、図６の構成に加えて、真後画像を撮影可能な真後カメラ２６ｈが自車両３に設けられている。

カメラ制御装置２６ｃは、左後側方カメラ２６ａ及び右後側方カメラ２６ｂで撮影された左カメラ画像及び右カメラ画像と、真後カメラ２６ｈで撮影された真後画像とを合成して、合成画像を生成する。そして、カメラ制御装置２６ｃは、生成された合成画像を表示制御装置１に出力する。画像取得部１１ａは、カメラ制御装置２６ｃからの合成画像を、撮影画像として取得する。このため、本実施の形態７では、撮影画像２は、自車両３の左後方の画像、右後方の画像、及び、左後方と右後方との間の真後画像からなる横長形状の画像となる。

図４０は、本実施の形態７に係る表示装置２１の表示例を示す図である。本実施の形態７に係る画像認識部１２ａは、実施の形態２と同様に、画像取得部１１ａで取得された撮影画像２から実線白線５ａを認識し、実線白線５ａの消失点５ｂの位置に基づいて特徴点ＦＰを求める。図４０の例では、画像認識部１２ａは、撮影画像２から最も左側の実線白線５ａ及び最も右側の実線白線５ａを認識する。

本実施の形態７に係る映像処理部１２ｂは、実施の形態２と同様に、予め定められた規則に従い、画像取得部１１ａで取得された撮影画像２と、画像認識部１２ａで求めた特徴点ＦＰとに基づいて端部領域２ａを求める。図４０の例では、映像処理部１２ｂは、左辺を外辺Ｌｏｕｔとし、右辺を内辺Ｌｉｎとし、予め定められた規則を第１規則として用いることによって、左側の端部領域２ａＬを求めている。また、映像処理部１２ｂは、右辺を外辺Ｌｏｕｔとし、左辺を内辺Ｌｉｎとし、予め定められた規則を第１規則として用いることによって、右側の端部領域２ａＲを求めている。

そして、映像処理部１２ｂは、表示装置２１の表示において、端部領域２ａＬ，２ａＲの表示態様を、端部領域２ａＬ，２ａＲ以外の撮影画像２の領域である残部領域２ｂの表示態様と異ならせる制御を行う。なお、自車両３を示す表示オブジェクトは撮影画像２上に適宜表示されてもよいし、その表示オブジェクトの位置は適宜変更されてもよい。

＜実施の形態７のまとめ＞
以上のような本実施の形態７に係る表示制御装置１では、撮影画像２が、自車両３の左後方の画像、右後方の画像、及び、左後方と右後方との間の真後画像からなる横長形状の画像であっても、実施の形態２と同様の効果を得ることができる。

＜実施の形態８＞
図４１は、本発明の実施の形態８に係る表示制御装置１の構成を示すブロック図である。以下、本実施の形態７に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

本実施の形態８の構成は、図６の構成において、画像認識部１２ａが削除され、周辺情報取得部１１ｃが追加され、周辺検出装置２７が接続された構成と同様である。なお、周辺情報取得部１１ｃの概念は、図１の取得部１１に含まれる概念である。

周辺検出装置２７は、表示制御装置１の外部に設けられている。この周辺検出装置２７は、自車両３周辺の予め定められたオブジェクトの、自車両３に対する相対位置に関するオブジェクト情報を検出する。本実施の形態８では、予め定められたオブジェクトは、自車両３周辺の実線白線などの区画線であり、オブジェクト情報は、例えば、当該区画線の相対位置そのもの、または、各カメラで撮影された画像に画像認識を行うことによって得られる自車両３と区画線との間の距離である。

周辺情報取得部１１ｃは、周辺検出装置２７で検出されたオブジェクト情報を取得する。映像処理部１２ｂは、周辺情報取得部１１ｃで取得されたオブジェクト情報に基づいて特徴点を求める。つまり、実施の形態２などでは、画像認識部１２ａが特徴点を求めたが、本実施の形態８では、周辺検出装置２７及び映像処理部１２ｂが協働して特徴点を求める。

映像処理部１２ｂは、予め定められた規則に従い、画像取得部１１ａで取得された撮影画像２と、求めた特徴点とに基づいて端部領域２ａを求める。そして、映像処理部１２ｂは、表示装置２１の表示において、端部領域２ａの表示態様を、端部領域２ａ以外の撮影画像２の領域である残部領域２ｂの表示態様と異ならせる制御を行う。

＜実施の形態８のまとめ＞
以上のような本実施の形態８に係る表示制御装置１では、周辺情報取得部１１ｃで取得されたオブジェクト情報に基づいて特徴点を求める。このような構成によれば、特徴点を求めるための処理の一部を表示制御装置１の外部で行うことができるので、表示制御装置１の処理負荷を低減することができる。

＜実施の形態８の変形例１＞
実施の形態８では、予め定められたオブジェクトは自車両３周辺の区画線であるとして説明したが、これに限ったものではない。例えば、予め定められたオブジェクトは自車両３周辺の他車両６などの移動体であってもよい。この場合、周辺検出装置２７は、例えば、各カメラで撮影された画像に画像認識処理を行うことによってオブジェクト情報を検出してもよいし、光センサ、ミリ波レーダ、高精度の画像認識装置、超音波センサなどによってオブジェクト情報を検出してもよい。

＜実施の形態８の変形例２＞
周辺検出装置２７は、オブジェクト情報を検出するのではなく、実施の形態２の画像認識部１２ａと同様にして特徴点を検出してもよい。この場合、周辺情報取得部１１ｃは、周辺検出装置２７から特徴点を取得する。そして、映像処理部１２ｂは、予め定められた規則に従い、画像取得部１１ａで取得された撮影画像２と、周辺情報取得部１１ｃで取得された特徴点とに基づいて端部領域２ａを求める。

または、周辺検出装置２７は、オブジェクト情報を検出するのではなく、実施の形態４の画像認識部１２ａと同様にして第２点及び特徴点を検出してもよいし、認識した区画線及び移動体の時系列情報に基づいて第２点及び特徴点を検出してもよい。この場合、周辺情報取得部１１ｃは、周辺検出装置２７から第２点及び特徴点を取得する。そして、映像処理部１２ｂは、予め定められた規則に従い、画像取得部１１ａで取得された撮影画像２と、周辺情報取得部１１ｃで取得された第２特徴点及び特徴点とに基づいて端部領域２ａを求める。

このような構成によれば、特徴点を求めるための処理、または、第２点及び特徴点を求めるための処理を表示制御装置１の外部で行うことができるので、表示制御装置１の処理負荷を低減することができる。

＜その他の変形例＞
上述した図１の取得部１１及び制御部１２を、以下「取得部１１等」と記す。取得部１１等は、図４２に示す処理回路８１により実現される。すなわち、処理回路８１は、車両周辺の撮影画像を取得する取得部１１と、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域２ａを求め、表示装置２１の表示において、端部領域２ａの表示態様を、端部領域２ａ以外の撮影画像の領域である残部領域２ｂの表示態様と異ならせる制御を行う制御部１２と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部１１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、取得部１１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリ８３に格納される。図４３に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置１は、処理回路８１により実行されるときに、車両周辺の画像を取得するステップと、予め定められた規則に従い、撮影画像と撮影画像上の特徴点とに基づいて撮影画像の領域のうちの端部領域２ａを求め、表示装置２１の表示において、端部領域２ａの表示態様を、端部領域２ａ以外の撮影画像の領域である残部領域２ｂの表示態様と異ならせる制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部１１については専用のハードウェアとしての処理回路８１及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、以上で説明した表示制御装置１は、ＰＮＤ（Portable Navigation Device）などのナビゲーション装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、ナビゲーション装置及び通信端末の少なくともいずれか１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される表示制御システムにも適用することができる。この場合、以上で説明した表示制御装置１の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。例えば、表示制御装置は、図１の表示装置２１内に組み込まれてもよい。

図４４は、本変形例に係るサーバ９１の構成を示すブロック図である。図４４のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、車両９２のナビゲーション装置９３と無線通信を行うことが可能となっている。

取得部である通信部９１ａは、ナビゲーション装置９３と無線通信を行うことにより、車両９２周辺の撮影画像を受信する。

制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図１の制御部１２と同様の機能を有している。つまり、制御部９１ｂは、通信部９１ａで受信された撮影画像から撮影画像の特徴点を適宜求め、予め定められた規則に従い、撮影画像及び特徴点に基づいて端部領域を求める。そして、制御部９１ｂは、ナビゲーション装置９３の表示において、端部領域の表示態様を、残部領域の表示態様と異ならせる制御を行うための制御信号を生成する。通信部９１ａは、当該制御信号をナビゲーション装置９３に送信する。このように構成されたサーバ９１によれば、実施の形態１で説明した表示制御装置１と同様の効果を得ることができる。

図４５は、本変形例に係る通信端末９６の構成を示すブロック図である。図４５の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、車両９７のナビゲーション装置９８と無線通信を行うことが可能となっている。なお、通信端末９６には、例えば車両９７の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末９６によれば、実施の形態１で説明した表示制御装置１と同様の効果を得ることができる。

なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１ 表示制御装置、２ 撮影画像、２ａ 端部領域、２ｂ 残部領域、３ 自車両、５ａ 実線白線、５ｂ 消失点、５ｃ 点線白線、５ｄ 消失点、６ 他車両、１１ 取得部、１２ 制御部、２１ 表示装置、ＦＰ 特徴点、ＦＰ１ 第１特徴点、ＦＰ２ 第２特徴点、Ｌｉｎ 内辺、Ｌｏｕｔ 外辺、Ｌｕｄ 下辺、Ｌｕｐ 上辺、Ｐ１ 第１点、Ｐ２ 第２点、Ｐ３ 第３点、Ｐ４ 第４点、Ｐ５ 第５点、Ｐ６ 第６点、Ｐ７ 第７点、Ｐ８ 第８点。

Claims (21)

1. 表示装置を制御する表示制御装置であって、
   車両周辺の撮影画像を取得する取得部と、
   予め定められた規則に従い、前記撮影画像と前記撮影画像上の特徴点とに基づいて前記撮影画像の領域のうちの端部領域を求め、前記表示装置の表示において、前記端部領域の表示態様を、前記端部領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部と
   を備え、
   前記撮影画像は、左辺及び右辺の一方であり当該撮影画像上の前記車両の存在する側に対応する辺である内辺と、前記左辺及び前記右辺のうちの他方である外辺と、上辺と、下辺とを有し、
   前記予め定められた規則は、
   前記特徴点が前記上辺上に位置する場合には、前記外辺の上端に位置する第１点と、前記第１点以外の前記外辺上の点であって前記特徴点より下側に位置する第２点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
   前記特徴点が前記上辺近傍に位置する場合には、前記第１点と、前記第２点と、前記内辺の上端に位置する第３点と、前記内辺上の点であって前記第２点と前記特徴点とを結ぶ直線より下側に位置し、前記第３点と同じか前記第３点より下側に位置し、かつ前記特徴点より上側に位置する第４点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
   前記特徴点が前記下辺上に位置する場合には、前記外辺の下端に位置する第５点と、前記第５点以外の前記外辺上の点であって前記特徴点より上側に位置する第６点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、及び、
   前記特徴点が前記下辺近傍に位置する場合には、前記第５点と、前記第６点と、前記内辺の下端に位置する第７点と、前記内辺上の点であって前記第６点と前記特徴点とを結ぶ直線より上側に位置し、前記第７点と同じか前記第７点より上側に位置し、かつ前記特徴点より下側に位置する第８点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
   の少なくともいずれか１つを含む、表示制御装置。
2. 請求項１に記載の表示制御装置であって、
   前記制御部は、
   前記取得部で取得された前記撮影画像から予め定められたオブジェクトを認識し、前記オブジェクトに基づいて前記特徴点を求める、表示制御装置。
3. 請求項２に記載の表示制御装置であって、
   前記オブジェクトは、道路の区画線を含む、表示制御装置。
4. 請求項３に記載の表示制御装置であって、
   前記制御部は、
   前記撮影画像における前記区画線の消失点の位置に基づいて前記特徴点を求める、表示制御装置。
5. 請求項２に記載の表示制御装置であって、
   前記オブジェクトは、移動体を含み、
   前記制御部は、
   前記撮影画像における前記移動体の位置に基づいて前記特徴点を求める、表示制御装置。
6. 請求項２に記載の表示制御装置であって、
   前記オブジェクトは、道路の区画線、及び、移動体を含み、
   前記制御部は、
   前記撮影画像から前記移動体を認識できなかった場合には、前記撮影画像における前記区画線の消失点の位置に基づいて前記特徴点を求め、前記撮影画像から前記移動体を認識できた場合には、前記撮影画像における前記移動体の位置に基づいて前記特徴点を求める、表示制御装置。
7. 請求項１に記載の表示制御装置であって、
   前記取得部は、
   前記車両周辺の予め定められたオブジェクトの前記車両に対する相対位置に関するオブジェクト情報をさらに取得し、
   前記制御部は、
   前記取得部で取得された前記オブジェクト情報に基づいて前記特徴点を求める、表示制御装置。
8. 請求項７に記載の表示制御装置であって、
   前記オブジェクトは、前記車両周辺の移動体を含む、表示制御装置。
9. 請求項１に記載の表示制御装置であって、
   前記制御部は、
   前記取得部で取得された前記撮影画像から予め定められたオブジェクトを認識し、前記オブジェクトの形状に基づいて前記第２点及び前記特徴点を求める、表示制御装置。
10. 請求項９に記載の表示制御装置であって、
    前記オブジェクトは、道路の区画線を含み、
    前記制御部は、
    前記第２点と前記特徴点とを結ぶ線の形状が前記区画線の形状に対応するように、前記第２点及び前記特徴点を求める、表示制御装置。
11. 請求項１に記載の表示制御装置であって、
    前記取得部は、前記特徴点をさらに取得する、または、前記第２点及び前記特徴点をさらに取得する、表示制御装置。
12. 請求項１に記載の表示制御装置であって、
    前記制御部は、
    前記撮影画像から、前記上辺近傍に位置する前記特徴点である第１特徴点と、前記第１特徴点よりも前記内辺側に位置し、かつ前記上辺上に位置する前記特徴点である第２特徴点とが求められた場合に、前記第１点と、前記第２点と、前記第１特徴点と、前記第２特徴点とで囲まれる領域を前記端部領域として求め、
    前記撮影画像から、前記下辺近傍に位置する前記特徴点である第３特徴点と、前記第３特徴点よりも前記内辺側に位置し、かつ前記下辺上に位置する前記特徴点である第４特徴点とが求められた場合に、前記第５点と、前記第６点と、前記第３特徴点と、前記第４特徴点とで囲まれる領域を前記端部領域として求める、表示制御装置。
13. 請求項１に記載の表示制御装置であって、
    前記撮影画像は、前記車両の左後方の画像、右後方の画像、及び、左後方と右後方との間の画像からなる横長形状の画像を含む、表示制御装置。
14. 請求項１に記載の表示制御装置であって、
    前記端部領域の表示態様は、
    前記端部領域が黒表示された態様、予め定められた表示オブジェクトが前記端部領域に重畳された態様、または、特定の画像処理が前記端部領域に施された態様を含む、表示制御装置。
15. 請求項１４に記載の表示制御装置であって、
    前記特定の画像処理は、半透過処理、ぼかし処理、または、色彩変更処理を含む、表示制御装置。
16. 請求項１４に記載の表示制御装置であって、
    前記端部領域の表示態様は、前記車両と、前記車両以外の車両との位置関係に基づいて変更される、表示制御装置。
17. 請求項１に記載の表示制御装置であって、
    前記取得部は、
    前記車両の左後方に対応する前記撮影画像である左の撮影画像と、前記車両の右後方に対応する前記撮影画像である右の撮影画像とを取得し、かつ、前記車両が右折及び左折のいずれを行うかを示す右左折情報をさらに取得し、
    前記制御部は、
    前記取得部で取得された前記右左折情報に基づいて、前記表示装置の表示における前記左の撮影画像の前記残部領域の左右方向の長さと、前記表示装置の表示における前記右の撮影画像の前記残部領域の左右方向の長さとを制御する、表示制御装置。
18. 請求項１７に記載の表示制御装置であって、
    前記制御部は、
    前記右左折情報が左折を示す場合に、前記左の撮影画像の前記残部領域の左右方向の長さを前記右の撮影画像の前記残部領域の左右方向の長さよりも大きくし、
    前記右左折情報が右折を示す場合に、前記右の撮影画像の前記残部領域の左右方向の長さを前記左の撮影画像の前記残部領域の左右方向の長さよりも大きくする、表示制御装置。
19. 請求項１７に記載の表示制御装置であって、
    前記制御部は、
    前記取得部で取得された前記左の撮影画像及び前記右の撮影画像から道路の区画線及び移動体を認識し、
    前記制御部は、
    前記右左折情報が左折を示す場合に、前記左の撮影画像における前記移動体に基づいて前記左の撮影画像の前記特徴点を求め、かつ、前記右の撮影画像における前記区画線に基づいて前記右の撮影画像の前記特徴点を求め、
    前記右左折情報が右折を示す場合に、前記右の撮影画像における前記移動体に基づいて前記右の撮影画像の前記特徴点を求め、かつ、前記左の撮影画像における前記区画線に基づいて前記左の撮影画像の前記特徴点を求める、表示制御装置。
20. 請求項１に記載の表示制御装置であって、
    前記制御部は、
    前記取得部で取得された前記撮影画像から車線数を抽出し、前記車線数が多いほど前記表示装置の表示における前記残部領域の左右方向の長さを大きくする、表示制御装置。
21. 表示装置を制御する表示制御方法であって、
    車両周辺の撮影画像を取得し、
    予め定められた規則に従い、前記撮影画像と前記撮影画像上の特徴点とに基づいて前記撮影画像の領域のうちの端部領域を求め、前記表示装置の表示において、前記端部領域の表示態様を、前記端部領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行い、
    前記撮影画像は、左辺及び右辺の一方であり当該撮影画像上の前記車両の存在する側に対応する辺である内辺と、前記左辺及び前記右辺のうちの他方である外辺と、上辺と、下辺とを有し、
    前記予め定められた規則は、
    前記特徴点が前記上辺上に位置する場合には、前記外辺の上端に位置する第１点と、前記第１点以外の前記外辺上の点であって前記特徴点より下側に位置する第２点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
    前記特徴点が前記上辺近傍に位置する場合には、前記第１点と、前記第２点と、前記内辺の上端に位置する第３点と、前記内辺上の点であって前記第２点と前記特徴点とを結ぶ直線より下側に位置し、前記第３点と同じか前記第３点より下側に位置し、かつ前記特徴点より上側に位置する第４点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
    前記特徴点が前記下辺上に位置する場合には、前記外辺の下端に位置する第５点と、前記第５点以外の前記外辺上の点であって前記特徴点より上側に位置する第６点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、及び、
    前記特徴点が前記下辺近傍に位置する場合には、前記第５点と、前記第６点と、前記内辺の下端に位置する第７点と、前記内辺上の点であって前記第６点と前記特徴点とを結ぶ直線より上側に位置し、前記第７点と同じか前記第７点より上側に位置し、かつ前記特徴点より下側に位置する第８点と、前記特徴点とで囲まれる領域を前記端部領域として求めること、
    の少なくともいずれか１つを含む、表示制御方法。

Images