JP6820561B2 - 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラムに関する。

車両のナビゲーションシステムにおいて、車両に搭載されるカメラの撮像画像に車両の誘導情報を表示する技術が検討されている。例えば、特許文献１に開示される技術は、移動体の現在位置及び進行方向における案内情報の画像を、移動体上で撮影した画像に重畳させた画像を表示する。

特開平１０−１３２５９８号公報

案内情報等によって誘導される誘導地点を、撮像画像上で視認することを容易にする画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラムを提供する。

本開示の一態様に係る画像処理装置は、車両前方の光景を撮像する撮像装置の撮像画像を取得する第一取得部と、次の誘導地点までの残距離を取得する第二取得部と、前記残距離の位置に対応する前記撮像画像の特定領域に対して画像処理をする画像処理部と、前記画像処理部によって処理された前記撮像画像を出力する出力部とを備え、前記画像処理部は、前記残距離に応じて、前記特定領域の被写体のエッジの強度を制御する。

本開示の一態様に係る表示装置は、本開示の一態様に係る画像処理装置を備え、前記撮像装置を搭載する車両のナビゲーションシステムが出力する情報と、前記画像処理部によって処理された前記撮像画像とを表示する。

本開示の一態様に係るナビゲーションシステムは、本開示の一態様に係る画像処理装置を備え、前記撮像装置を搭載する車両を案内する情報と、前記画像処理部によって処理された前記撮像画像とを表示装置に出力し表示させる。

本開示の一態様に係る画像処理方法は、車両前方の光景を撮像する撮像装置から撮像画像を取得し、次の誘導地点までの残距離を取得し、前記残距離の位置に対応する前記撮像画像の特定領域に対して画像処理をし、画像処理された前記撮像画像を出力し、前記画像処理では、前記残距離に応じて、前記特定領域の被写体のエッジの強度を制御し、上記処理の少なくとも１つは、制御回路によって実行される。

本開示の一態様に係るプログラムは、車両前方の光景の撮像画像を取得し、次の誘導地点までの残距離を取得し、前記残距離の位置に対応する前記撮像画像の特定領域に対して画像処理をし、画像処理された前記撮像画像を出力し、前記画像処理では、前記残距離に応じて、前記特定領域の被写体のエッジの強度を制御することをコンピュータに実行させる。

なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の不揮発性の記録媒体を含む。

本開示の画像処理装置等によれば、誘導地点を撮像画像上で視認することが容易になる。

図１は、実施の形態１に係る画像処理装置を備えるナビゲーションシステムの機能的な構成の一例を示すブロック図である。 図２は、車両から次の誘導地点である交差点までの残距離が８０ｍである時点で撮像された画像の一例を示す模式的な図である。 図３は、図２の撮像画像に対するエッジ強調の画像処理後の画像の例を示す模式的な図である。 図４は、図２の撮像画像に対する明度変更の画像処理後の画像の例を示す模式的な図である。 図５は、図２の撮像画像に対するぼかしの画像処理後の画像の例を示す模式的な図である。 図６は、車両から次の誘導地点である交差点までの残距離が４０ｍである時点で撮像された画像の一例を示す模式的な図である。 図７Ａは、車両位置の信頼度に応じた、画像処理の強度と被写体の距離との関係の一例を示す図である。 図７Ｂは、車両位置の信頼度に応じた、画像処理の強度と被写体の距離との関係の別の一例を示す図である。 図８は、実施の形態１に係る画像処理装置の動作の一例を示すフローチャートである。 図９は、実施の形態１に係る画像処理装置の動作の変形例を示すフローチャートである。 図１０は、実施の形態２に係る画像処理装置を備えるナビゲーションシステムの機能的な構成の一例を示すブロック図である。 図１１は、実施の形態２に係る画像処理装置の動作の一例を示すフローチャートである。 図１２は、実施の形態３に係る画像処理装置を備えるナビゲーションシステムの機能的な構成の一例を示すブロック図である。 図１３は、実施の形態４に係る画像処理装置を備えるナビゲーションシステムの機能的な構成の一例を示すブロック図である。

本発明者らは、車両のナビゲーションシステムの表示画像のような運転者に車両の周囲の状態を提供する画像に、車両に搭載されたカメラの撮像画像を用いる技術を検討した。このような技術の１つに、例えば、特許文献１に記載されるように、撮像画像上に、進行方向、左右折の方向等の車両を誘導するための指標が重畳表示される拡張現実（ＡＲ：Augmented Reality）の技術がある。しかしながら、例えば、撮像画像に複数の交差点が含まれている場合、運転者は、指標がいずれの交差点を指すのかを認識するのに、時間を要する。さらに、指標が指す交差点からカメラまでの距離が大きくなる程、運転者は、当該交差点を認識するのに時間を要する。一方、運転者は画像を凝視することができないため、指標が指す対象は、運転者によって容易に且つ確実に視認されることが要求される。そこで、本発明者らは、画像における対象の視認を容易に且つ確実にするために、以下に示すような技術を創案した。

例えば、本開示の一態様に係る画像処理装置は、車両前方の光景を撮像する撮像装置の撮像画像を取得する第一取得部と、次の誘導地点までの残距離を取得する第二取得部と、前記残距離の位置に対応する前記撮像画像の特定領域に対して画像処理をする画像処理部と、前記画像処理部によって処理された前記撮像画像を出力する出力部とを備え、前記画像処理部は、前記残距離に応じて、前記特定領域の被写体のエッジの強度を制御する。

上記態様によると、画像処理部は、次の誘導地点までの残距離に応じて、残距離の位置に対応する撮像画像の特定領域の被写体のエッジの強度を制御する。撮像画像上において、例えば、次の誘導地点が遠い、又は当該誘導地点までの経路に障害物が存在する等の理由で、当該誘導地点の位置の視認が容易でない場合でも、画像処理部は、特定領域の被写体のエッジの強度を制御することによって、ユーザによる当該誘導地点の位置の視認を容易にすることができる。よって、画像処理装置は、撮像画像上での誘導地点の視認を容易にする。

本開示の一態様に係る画像処理装置は、前記撮像画像内の各位置までの距離情報を取得する第三取得部をさらに備え、前記画像処理部は、前記撮像画像内の各位置までの距離情報に基づき、前記残距離に応じて前記特定領域を決定してもよい。

上記態様によると、特定領域は、撮像画像内の各位置までの距離情報に基づき決定されるため、残距離に応じて決定される特定領域の位置の精度が向上する。よって、残距離に応じた特定領域の被写体のエッジの強度の制御の精度が向上する。

本開示の一態様に係る画像処理装置は、前記撮像画像から前記撮像画像内の各位置までの距離情報を推定する推定部をさらに備え、前記画像処理部は、前記撮像画像内の各位置までの距離情報に基づき、前記残距離に応じて前記特定領域を決定してもよい。

上記態様によると、画像処理装置が、撮像画像から撮像画像内の各位置までの距離情報を推定する推定部を備えるため、撮像装置は、当該推定部を備える必要がない。よって、画像処理装置は、様々な撮像装置に適用可能であり、汎用性を向上することができる。

本開示の一態様に係る画像処理装置は、前記撮像画像から前記撮像画像内の消失点を推定する推定部をさらに備え、前記画像処理部は、前記撮像画像内の各位置と前記消失点との関係に基づき、前記残距離に応じて前記特定領域を決定してもよい。

上記態様によると、画像処理装置は、撮像画像から推定される消失点を用いて、特定領域を決定する。消失点と撮像画像内の各位置との関係から、各位置までの距離の算出が可能である。また、消失点は、１つの撮像画像から推定可能である。よって、画像処理装置は、単眼カメラに適用可能であり、汎用性を向上することができる。

本開示の一態様に係る画像処理装置において、前記画像処理部は、前記残距離と処理対象の画素の被写体までの距離との差異が小さい程、強度を大きくするように、前記特定領域の被写体のエッジの強度を制御してもよい。

上記態様によると、画像処理装置は、撮像画像の特定領域に対して、残距離の位置に近い領域ほど、大きい強度でエッジの強度を制御する。よって、ユーザは、残距離の位置に近い領域を視認することが容易になる。

本開示の一態様に係る画像処理装置において、前記画像処理部は、前記残距離と処理対象の画素の被写体までの距離との差異が大きい程、強度を大きくするように、前記特定領域の被写体のエッジの強度を制御してもよい。

上記態様によると、画像処理装置は、撮像画像の特定領域に対して、残距離の位置に近い領域ほど、小さい強度でエッジの強度を制御する。よって、ユーザは、残距離の位置の周辺の画像処理によって、残距離の位置に近い領域を特定することができ、且つ、残距離の位置の画像を、実像に近い状態で視認することができる。

本開示の一態様に係る画像処理装置において、前記画像処理部は、前記残距離と処理対象の画素の被写体までの距離との差異が第一閾値よりも小さい場合、強度を０にし、前記差異が前記第一閾値以上の場合、強度を０超にするように、前記特定領域の被写体のエッジの強度を制御してもよい。

上記態様によると、画像処理装置は、撮像画像の特定領域に対して、残距離の位置に近い領域を画像処理しない。よって、ユーザは、残距離の位置の周辺の画像処理によって、残距離の位置に近い領域を特定することができ、且つ、残距離の位置の画像を、ほぼ実像に近い状態で視認することができる。

本開示の一態様に係る画像処理装置において、前記画像処理部は、前記残距離と処理対象の画素の被写体までの距離との差異が第二閾値よりも小さい場合、強度を０にし、前記差異が第三閾値よりも大きい場合、強度を０にし、前記差異が前記第二閾値以上前記第三閾値以下の場合、強度を０超にするように、前記特定領域の被写体のエッジの強度を制御してもよい。

上記態様によると、画像処理装置は、撮像画像の特定領域に対して、残距離の位置に近い領域及び遠い領域を画像処理しない。よって、ユーザは、残距離の位置の周辺の限定された領域への画像処理によって、残距離の位置に近い領域を特定することができ、且つ、残距離の位置の画像を、実像に近い状態で視認することができる。

本開示の一態様に係る画像処理装置において、前記画像処理部は、明度変更、彩度変更、エッジ強調、ぼかし、点滅、明滅の少なくとも１つの処理の組み合わせた画像処理を行うことによって、前記特定領域の被写体のエッジの強度を制御してもよい。

上記態様によると、撮像画像における特定領域のユーザによる視認が容易である。

本開示の一態様に係る画像処理装置において、前記第二取得部は、前記誘導地点での誘導方向を取得し、前記画像処理部は、前記誘導方向に応じて強度を変えるように、前記特定領域の被写体のエッジの強度を制御してもよい。

上記態様によると、ユーザは、撮像画像において、画像処理された領域を視認することによって、誘導地点での誘導方向を認識することができる。

本開示の一態様に係る画像処理装置は、前記撮像画像において、道路の領域を推定する道路推定部をさらに備え、前記画像処理部は、前記道路推定部によって推定された道路の領域での左右方向の位置に応じて、前記特定領域の被写体のエッジの強度を制御してもよい。

上記態様によると、ユーザは、撮像画像において、画像処理された領域を視認することによって、道路における走行位置を認識しやすくなる。

本開示の一態様に係る画像処理装置は、前記撮像装置を搭載する車両のナビゲーションシステムが検出する前記車両の位置の信頼度の情報を取得する第四取得部をさらに備え、前記画像処理部は、前記第四取得部が取得する情報に応じて前記閾値を変化させてもよい。

上記態様によると、ナビゲーションシステムが検出する車両の位置の誤差が、撮像画像における画像処理の領域の位置に与える影響を抑えることが可能になる。よって、適切な位置への画像処理が可能になる。

本開示の一態様に係る画像処理装置は、前記誘導地点の地図情報を取得する第五取得部をさらに備え、前記画像処理部は、前記第五取得部が取得する地図情報に応じて前記閾値を変化させてもよい。

上記態様によると、画像処理装置は、誘導地点の地図上の状態に応じた画像処理を行うことができる。例えば、画像処理装置は、誘導地点における道路又は交差点などの大きさ、道路の車線数、道路規格等の道路の情報に応じた画像処理の領域及び強度の制御が可能である。よって、画像処理装置は、誘導地点の地図上の状態に応じて、ユーザによって視認されやすい画像処理を行うことができる。

本開示の一態様に係る画像処理装置は、前記誘導地点での案内情報を取得し、前記案内情報を示す画像である拡張現実指標を生成する指標生成部と、前記拡張現実指標を重畳表示するように、前記画像処理部によって処理された前記撮像画像に前記拡張現実指標を合成する画像合成部とをさらに備えてもよい。

上記態様によると、画像処理装置は、撮像画像に対する特定領域の被写体のエッジの強度の制御だけでなく、撮像画像への拡張現実指標の重畳表示によっても、ユーザによる誘導地点の視認を容易にする。

また、本開示の一態様に係る表示装置は、本開示の一態様に係る画像処理装置を備え、前記撮像装置を搭載する車両のナビゲーションシステムが出力する情報と、前記画像処理部によって処理された前記撮像画像とを表示する。上記態様によると、本開示の一態様に係る画像処理装置と同様の効果が得られる。

また、本開示の一態様に係るナビゲーションシステムは、本開示の一態様に係る画像処理装置を備え、前記撮像装置を搭載する車両を案内する情報と、前記画像処理部によって処理された前記撮像画像とを表示装置に出力し表示させる。上記態様によると、本開示の一態様に係る画像処理装置と同様の効果が得られる。

また、本開示の一態様に係る画像処理方法は、車両前方の光景を撮像する撮像装置から撮像画像を取得し、次の誘導地点までの残距離を取得し、前記残距離の位置に対応する前記撮像画像の特定領域に対して画像処理をし、画像処理された前記撮像画像を出力し、前記画像処理では、前記残距離に応じて、前記特定領域の被写体のエッジの強度を制御し、上記処理の少なくとも１つは、制御回路によって実行される。上記態様によると、本開示の一態様に係る画像処理装置と同様の効果が得られる。

また、本開示の一態様に係るプログラムは、車両前方の光景の撮像画像を取得し、次の誘導地点までの残距離を取得し、前記残距離の位置に対応する前記撮像画像の特定領域に対して画像処理をし、画像処理された前記撮像画像を出力し、前記画像処理では、前記残距離に応じて、前記特定領域の被写体のエッジの強度を制御することをコンピュータに実行させる。上記態様によると、本開示の一態様に係る画像処理装置と同様の効果が得られる。

なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。また、装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

以下、本開示に係る画像処理装置について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

［実施の形態１］
実施の形態１に係る画像処理装置１００を説明する。本実施の形態では、画像処理装置１００は、車両に搭載されたカメラで取得された撮像画像に対して、当該車両のナビゲーション装置から取得する情報を重畳した画像を生成するとして、説明する。本実施の形態では、画像処理装置１００は、カメラ及びナビゲーション装置と同じ車両に搭載され、これらと共にナビゲーションシステムを構成する。なお、画像処理装置１００が処理する対象は、車両のカメラの撮像画像及びナビゲーション装置の情報に限定されず、カメラの撮像画像、及び当該画像に重畳表示される情報であれば、いかなる対象でもよい。

実施の形態１に係る画像処理装置１００及びその周辺の構成を説明する。図１は、実施の形態１に係る画像処理装置１００を備えるナビゲーションシステム１の機能的な構成の一例のブロック図を示す。ナビゲーションシステム１は、撮像装置１０と、ナビゲーション装置２０と、第一記憶部３０と、第二記憶部４０と、画像処理装置１００とを備える。画像処理装置１００は、撮像画像処理部１０１と、ＡＲマーカ生成部１０２と、画像合成部１０３と、出力部１０４とを備える。

ナビゲーションシステム１は、ナビゲーションシステム１が搭載される車両の進行を誘導する情報等を含む画像及び音声を、表示装置５０に表示させる。表示装置５０は、ディスプレイ及びスピーカのうちの少なくともディスプレイを備える。ディスプレイの例は、液晶ディスプレイ（ＬＣＤ；Liquid Crystal Display）、及び、有機又は無機ＥＬ（Electroluminescence）ディスプレイである。

撮像装置１０は、ナビゲーション装置２０と同じ車両に搭載される。撮像装置１０は、カメラ１１及び距離算出部１２を備える。カメラ１１は、上記車両の前方の光景の画像を撮像し、第一記憶部３０に出力する。カメラ１１は、静止画及び動画の一方又は両方を撮像する。カメラ１１は、デジタル画像を撮像画像として生成する。カメラ１１の例は、１つのレンズを有する単眼カメラ、及び、２つ以上のレンズを有する複眼カメラである。複眼カメラは、ステレオ画像を生成する。

距離算出部１２は、カメラ１１の撮像画像上における各位置とカメラ１１との距離を算出し、第一記憶部３０に出力する。距離算出部１２は、例えば、撮像画像の各画素の被写体とカメラ１１との距離を算出し、各画素の画素値として上記距離を含む距離画像を生成してもよい。距離画像における画素の配列は、撮像画像を同じである。カメラ１１が単眼カメラである場合、距離算出部１２は、例えば、撮像画像内の無限遠点である消失点の位置を推定し、消失点と各画素との間の距離と、カメラの画角とに基づき、各画素の被写体とカメラ１１との距離を算出する。カメラ１１が複眼カメラである場合、距離算出部１２は、例えば、ステレオ画像である２つの撮像画像に対して、三角測量の技術を利用するステレオ法を用いることによって、各画素の被写体とカメラ１１との距離を算出する。

ナビゲーション装置２０は、画像処理装置１００と同じ車両に搭載される。ナビゲーション装置２０は、入力される目的地に基づき、目的地までの経路を案内する案内情報を出力する。ナビゲーション装置２０は、ＧＰＳ（Global Positioning System）受信機２１と、地図格納部２２と、慣性計測装置２３と、位置算出部２４と、信頼度生成部２５と、案内情報生成部２６とを備える。

ＧＰＳ受信機２１は、人工衛星から取得する信号に基づき、上記車両の位置を検出し、信頼度生成部２５及び案内情報生成部２６に出力する。ＧＰＳ受信機２１は、例えば、通信回路で構成され得る。地図格納部２２は、地図情報を格納する。慣性計測装置２３は、加速度センサ及び角速度センサ（「ジャイロセンサ」とも呼ばれる）を備え、車両の加速度及び角速度を検出し、位置算出部２４に出力する。位置算出部２４は、慣性計測装置２３から取得する加速度及び角速度に基づき、車両の移動方向及び移動速度を算出し、車両の移動方向及び移動速度に基づき、車両の位置を算出する。位置算出部２４は、算出した車両の位置を、信頼度生成部２５及び案内情報生成部２６に出力する。

信頼度生成部２５は、ＧＰＳ受信機２１から取得する車両の位置と、位置算出部２４から取得する車両の位置とを比較し、本実施の形態では、ＧＰＳ受信機２１による車両の位置の検出精度を、車両位置の信頼度として決定する。検出精度が高い場合、車両位置の信頼度が高く、検出精度が低い場合、車両位置の信頼度が低い。なお、信頼度生成部２５は、ＧＰＳ受信機２１及び位置算出部２４のいずれによる車両の位置の検出精度を決定してもよい。信頼度生成部２５は、当該検出精度を、車両の位置と対応付けて、案内情報生成部２６に出力する。

案内情報生成部２６は、図示しないインターフェースを介してユーザによって入力される目的地と、ＧＰＳ受信機２１及び／又は位置算出部２４から取得する車両の位置と、地図格納部２２の地図情報とに基づき、目的地までの経路を決定する。さらに、案内情報生成部２６は、決定した経路に基づき、車両の進行に合わせて、進行経路に関する案内情報を生成し、第二記憶部４０に出力する。案内情報は、直進方向及び左右折の方向などを含む進行方向、次の左右折の位置などの次の誘導地点の位置、車両の現在地から次の誘導地点までの距離等を含む。次の誘導地点は、画像処理装置１００を搭載する車両に対して、３次元的な距離を有する地点である。

案内情報生成部２６は、ＧＰＳ受信機２１及び／又は位置算出部２４から取得する車両の位置を任意に選択して用いてもよく、信頼度生成部２５から取得する車両位置の信頼度に基づき、ＧＰＳ受信機２１又は位置算出部２４から取得する車両の位置を選択して用いてもよい。例えば、案内情報生成部２６は、信頼度が高い場合、ＧＰＳ受信機２１から取得する車両の位置を用い、信頼度が低い場合、位置算出部２４から取得する車両の位置を用いて案内情報を生成してもよい。案内情報生成部２６は、案内情報の生成に使用した車両の位置の信頼度と、案内情報とを対応付けて、第二記憶部４０に出力してもよい。また、案内情報生成部２６は、決定した経路の周辺の地図情報を第二記憶部４０に出力する。

第一記憶部３０及び第二記憶部４０は、種々の情報の格納及び取り出しを可能にする。第一記憶部３０、第二記憶部４０及びナビゲーション装置２０の地図格納部２２は、例えば、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ、ハードディスクドライブ、又はＳＳＤ（Solid State Drive）等の記憶装置によって実現される。図１の例では、第一記憶部３０及び第二記憶部４０は、撮像装置１０、ナビゲーション装置２０及び画像処理装置１００と別個に配置されているが、いずれかに含まれてもよい。例えば、第一記憶部３０は、撮像装置１０又は画像処理装置１００に含まれてもよく、第二記憶部４０は、ナビゲーション装置２０又は画像処理装置１００に含まれてもよい。このような第一記憶部３０及び第二記憶部４０は、撮像装置１０、ナビゲーション装置２０及び画像処理装置１００の構成要素を動作させるためのプログラムを格納してもよい。これらのプログラムは、撮像装置１０、ナビゲーション装置２０及び画像処理装置１００が有する図示しないメモリに格納されてもよい。また、第一記憶部３０及び第二記憶部４０は、一体化されてもよい。

画像処理装置１００は、撮像画像上に案内情報が重畳表示される合成画像を生成し、表示装置５０に出力する。画像処理装置１００は、１つの装置又は機器に搭載されてもよく、複数の装置又は機器に分割して搭載されてもよい。例えば、画像処理装置１００の一部又は全部が、撮像装置１０及び／又はナビゲーション装置２０に組み込まれてもよい。

撮像画像処理部１０１は、案内情報に基づき、撮像画像の特定領域及び／又はその周辺領域に対して、特定領域の被写体のエッジの強度を制御するように、画像処理する、つまり、特定領域を直接的又は間接的に画像処理する。ＡＲマーカ生成部１０２は、案内情報に対応し且つ撮像画像に重畳表示される画像を生成する。画像合成部１０３は、撮像画像処理部１０１によって処理された撮像画像上に、ＡＲマーカ生成部１０２によって生成された画像を重畳表示するように、当該撮像画像及び当該画像を合成する。出力部１０４は、画像合成部１０３によって合成された画像を、表示装置５０に出力し表示させる。ここで、ＡＲマーカ生成部１０２は、指標生成部の一例である。

撮像画像処理部１０１は、第一情報取得部１１１と、第二情報取得部１１２と、画像処理部１１３とを備える。第一情報取得部１１１は、第一記憶部３０から、撮像画像に関連する情報を取得し、画像処理部１１３に出力する。具体的には、第一情報取得部１１１は、第一記憶部３０から、撮像画像を取得する。さらに、第一情報取得部１１１は、第一記憶部３０から、距離画像等の撮像画像内の各位置までの距離情報を、撮像画像と対応付けて取得する。第二情報取得部１１２は、第二記憶部４０から、ナビゲーション装置２０に関する情報を取得し、画像処理部１１３に出力する。具体的には、第二情報取得部１１２は、第二記憶部４０から、案内情報を取得する。さらに、第二情報取得部１１２は、車両位置の信頼度を取得する。さらにまた、第二情報取得部１１２は、経路周辺の地図を取得する。ここで、第一情報取得部１１１は、第一取得部及び第三取得部の一例であり、第二情報取得部１１２は、第二取得部、第四取得部及び第五取得部の一例である。

画像処理部１１３は、案内情報中から、経路上における車両から次の誘導地点までの残距離を抽出し、残距離の位置に対応する特定領域を距離画像中で特定する。このとき、画像処理部１１３は、特定領域として、残距離と同じ距離の画素を距離画像から特定してもよく、残距離の近傍の距離の画素を距離画像から特定してもよい。又は、画像処理部１１３は、特定領域として、残距離以遠の距離の画素を距離画像から特定してもよい。例えば、誘導地点が交差点である場合、上記近傍の距離の一例は、車両の進行方向に対して横断する道路の幅を残距離に付加した距離である。

さらに、画像処理部１１３は、撮像画像に対して、残距離に応じて、特定領域の被写体のエッジの強度を制御するように、画像処理をし、画像合成部１０３に出力する。画像処理部１１３は、特定領域の少なくとも一部及び／又はその周辺領域に対して画像処理をする。例えば、画像処理部１１３は、特定領域における被写体のエッジを抽出し、エッジに対して画像処理を行ってもよく、特定領域の全体に対して画像処理を行ってもよく、特定領域の周辺領域に対して画像処理を行ってもよい。特定領域の被写体のエッジの強度を制御する画像処理の例は、明度変更、彩度変更、エッジ強調、ぼかし、点滅、明滅の少なくとも１つの処理の組み合わせである。特定領域の被写体のエッジの強度を制御することによって、ユーザによる特定領域の視認のしやすさが制御される。

例えば、図３、図４及び図５は、図２の撮像画像に対する画像処理部１１３による画像処理後の画像の例を示す。図２は、車両から次の誘導地点である交差点までの残距離が８０ｍである時点で撮像された画像の一例を示す。図２の撮像画像には、進行方向を示す指標である矢印の画像が重畳表示されている。図２〜図５はいずれも、道路に対して車両が右側通行である環境で撮像された画像の例である。

図３は、図２の撮像画像に対するエッジ強調の画像処理後の画像の例を示す。この画像処理では、車両から、つまりカメラ１１から７５ｍ〜８０ｍの距離範囲に位置する像を写し出す画素の領域が特定領域に決定され、この特定領域内の被写体のエッジが、太くされることによって強調される。これにより、特定領域内の被写体のエッジが強調される。被写体のエッジは、図３の例では黒色であるが、エッジの各画素の画素値である輝度値を変更することによって、赤色等の目立つ色に彩度変更されてもよい。被写体のエッジは、明度変更、点滅及び明滅の少なくとも１つの処理が加えられてもよい。なお、被写体のエッジには、太くされずに、明度変更、彩度変更、点滅及び明滅の少なくとも１つの処理がされてもよい。

図４は、図２の撮像画像に対する明度変更の画像処理後の画像の例を示す。この画像処理では、車両から７５ｍ〜８５ｍの距離範囲に位置する像を写し出す画素の領域が特定領域に決定され、特定領域以遠、つまり８５ｍ以遠に位置する像を写し出す画素の領域全体が、各画素の輝度値を低くすることによって、暗い単調な色に変更される。これにより、特定領域の被写体のエッジ、具体的には、特定領域の周囲のエッジが強調される。画像処理される画素の領域は、図４の例では黒色であるが、白っぽくなるくらいに明るくされてもよく、赤色等の目立つ色に彩度変更されてもよい。画像処理される画素の領域は、点滅又は明滅等の処理が加えられてもよい。

図５は、図２の撮像画像に対するぼかしの画像処理後の画像の例を示す。この画像処理では、図４と同じように特定領域が決定され、特定領域以遠、つまり８５ｍ以遠に位置する像を写し出す画素の領域全体が、ぼかし処理される。これにより、特定領域の被写体のエッジ、具体的には、特定領域の周囲のエッジが強調される。画像処理される画素の領域は、ぼかし処理に加えて、明度変更、彩度変更、点滅及び明滅の少なくとも１つの処理が加えられてもよい。

例えば、図６は、次の誘導地点である交差点までの残距離が４０ｍである時点で撮像された画像の一例を示す。図２及び図６に示されるように、単なる撮像画像について、残距離が４０ｍの撮像画像では、次の誘導地点の位置及びその走行経路は、ユーザによって容易に視認され得るが、残距離が８０ｍの撮像画像では、次の誘導地点の位置及びその走行経路の視認は、困難である。一方、図３、図４及び図５のいずれの画像においても、次の誘導地点の位置の視認は、容易であり、短時間で可能である。

なお、画像処理部１１３は、残距離に応じて、画像処理の強度、つまり画像処理の程度を変更してもよい。例えば、画像処理部１１３は、特定領域及び／又はその周辺領域の各画素について、車両から、すなわちカメラ１１から当該画素の被写体までの距離と残距離との差異が小さい、つまり、当該画素の被写体の位置が残距離の位置に近い程、画像処理の強度を大きくしてもよい。画像処理部１１３は、当該画素の被写体までの距離と残距離との差異が大きい、つまり、当該画素の被写体の位置が残距離の位置から遠い程、画像処理の強度を大きくしてもよい。例えば、画像処理の強度を大きくする場合、図３の例では、エッジの太さがより大きくされ、図４の例では、特定領域の周辺領域がより黒くされ、図５の例では、ぼかしの程度が大きくされる。これにより、ユーザは、処理後の画像において、次の誘導地点の位置を認識しやすくなる。なお、画素の被写体までの距離と残距離との差異は、画素の被写体までの距離と残距離との差の絶対値である。

また、画像処理部１１３は、特定領域及び／又はその周辺領域の各画素について、当該画素の被写体までの距離と残距離との差異に関する閾値に基づき、画像処理の強度を変更してもよい。例えば、画像処理部１１３は、特定領域及び／又はその周辺領域の各画素について、当該画素の被写体までの距離と残距離との差異が第一閾値よりも小さい場合、画像処理の強度を０、つまり、画像処理をせず、上記差異が第一閾値以上の場合、画像処理の強度を０超、つまり、画像処理を行ってもよい。この場合、ユーザは、処理後の画像において、次の誘導地点の位置の被写体を視認することができ、且つ、当該誘導地点周辺の画像処理により当該誘導地点の位置を容易に認識できる。

上記差異が第一閾値以上の場合、画像処理部１１３は、下記の式１に示すような自然対数を用いた強度関数に従って、画像処理の強度を制御してもよい。なお、式１において、Ｆは、画像処理の強度であり、Ｄ１は、車両から特定領域及び／又はその周辺領域の画素の被写体までの距離であり、Ｄ２は、残距離であり、Ｔ１は、第一閾値であり、ａは、係数である。式１は、差（Ｄ１−Ｄ２）が、第一閾値以上である場合に、用いられる。式１は、差（Ｄ１−Ｄ２）が大きくなる程、つまり、被写体の位置が残距離の位置から遠くなる程、画像処理の強度を大きくする制御に該当し得る。式１に基づく画像処理は、図４及び図５の例に適用してもよい。なお、差（Ｄ１−Ｄ２）が第一閾値Ｔ１以上の場合、画像処理部１１３は、後述する式２に示すような強度関数に従って、画像処理の強度を制御してもよい。
Ｆ＝ａ×ｌｏｇ（Ｄ１−Ｄ２−Ｔ１） （式１）

又は、画像処理部１１３は、特定領域及び／又はその周辺領域の各画素について、当該画素の被写体までの距離と残距離との差異が第二閾値よりも小さい場合、画像処理の強度を０にし、上記差異が第三閾値よりも大きい場合、画像処理の強度を０にし、上記差異が第二閾値以上第三閾値以下の場合、画像処理の強度を０超にしてもよい。なお、第二閾値は、第三閾値よりも小さい。この場合、次の誘導地点の周辺の限定された領域の被写体を写し出す画素が、画像処理される。ユーザは、処理後の画像において、次の誘導地点の位置の被写体を視認することができ、且つ、当該誘導地点の位置を容易に認識できる。第二閾値は、第一閾値と異なっていてもよく、同じであってもよい。

上記差異が第二閾値以上第三閾値以下の場合、画像処理部１１３は、下記の式２に示すような強度関数に従って、画像処理の強度を制御してもよい。なお、式２において、Ｆは、画像処理の強度であり、Ｄ１は、車両から特定領域及び／又はその周辺領域の画素の被写体までの距離であり、Ｄ２は、残距離であり、Ｔ２は、第二閾値であり、ｂは、係数である。式２は、差異｜Ｄ２−Ｄ１｜が大きくなる程、つまり、被写体の位置が残距離の位置から遠近方向に離れる程、画像処理の強度を小さくする制御に該当し得る。式２に基づく画像処理は、図３の例に適用してもよい。差異｜Ｄ２−Ｄ１｜が第二閾値以上第三閾値以下の場合、画像処理部１１３は、上記の式１に示すような強度関数に従って、画像処理の強度を制御してもよい。
Ｆ＝ｂ×（Ｔ２−｜Ｄ１−Ｄ２｜） （式２）

また、画像処理部１１３は、車両位置の信頼度に応じて、画像処理の強度を変更してもよい。例えば、画像処理部１１３は、車両位置の信頼度が低くなる程、画像処理の強度を大きくしてもよく、特定領域の大きさを大きくしてもよい。例えば、図７Ａ及び図７Ｂに示すように、画像処理部１１３は、車両位置の信頼度が低くなる程、画像処理の強度が大きい領域を広くしてもよい。なお、図７Ａ及び図７Ｂは、車両位置の信頼度に応じた、画像処理の強度と被写体の距離との関係の一例を示す。また、画像処理部１１３は、車両位置の信頼度に応じて、第一閾値、第二閾値及び第三閾値を変更してもよい。例えば、画像処理部１１３は、車両位置の信頼度が低くなる程、第一閾値を小さくしてもよく、第二閾値以上第三閾値以下の範囲を大きくしてもよい。後者の場合、画像処理部１１３は、第二閾値を小さくし且つ第三閾値を大きくしてもよく、第二閾値及び第三閾値の一方のみを変更してもよい。

また、画像処理部１１３は、次の誘導地点において経路の方向が右又は左に変わる場合、特定領域及び／又はその周辺領域において、変更後の経路の方向に位置する領域と変更後の経路の反対方向に位置する領域との間で、画像処理の強度に差異をつけてもよい。つまり、画像処理部１１３は、特定領域及び／又はその周辺領域の各画素について、次の誘導地点での誘導方向に位置するか否かに応じて、画像処理の強度に差異をつけてもよい。例えば、誘導方向が右方向である場合、画像処理部１１３は、撮像画像又は特定領域の中央よりも右側に位置する特定領域及び／又はその周辺領域の画素への画像処理の強度を、撮像画像又は特定領域の中央よりも左側に位置する特定領域及び／又はその周辺領域の画素への画像処理の強度よりも、大きくしてもよい。この場合、ユーザは、処理後の画像において、次の誘導地点での誘導方向を容易に認識できる。又は、画像処理部１１３は、地図情報及び画像のテクスチャ等から、撮像画像内の道路を検出し、道路の中央の右側と左側との間で、特定領域及び／又はその周辺領域の画素への画像処理の強度を差異つけてもよい。

ＡＲマーカ生成部１０２は、第二記憶部４０から、画像処理部１１３が処理する撮像画像に対応する案内情報を取得し、案内情報に対応する指標である拡張現実指標（「ＡＲマーカ」とも呼ぶ）の画像を生成し、画像合成部１０３に出力する。撮像画像の撮像時刻及び案内情報の生成時刻が撮像画像及び案内情報に付されており、ＡＲマーカ生成部１０２は、時刻に基づき、撮像画像及び案内情報を対応付けることができる。ＡＲマーカ生成部１０２は、それぞれに付されたＩＤ情報に基づき、撮像画像及び案内情報を対応付けてもよい。ＡＲマーカ生成部１０２は、案内情報に含まれる次の誘導地点までの残距離、誘導地点の位置、及び誘導地点での誘導方向等の情報に基づき、図２に示す２つの矢印及び残距離「８０ｍ」のような、車両を案内するための画像を、ＡＲマーカの画像として生成する。

画像合成部１０３は、撮像画像処理部１０１から取得する画像処理後の撮像画像と、ＡＲマーカ生成部１０２から取得するＡＲマーカの画像とを合成する。このとき、画像合成部１０３は、画像処理後の撮像画像上にＡＲマーカの画像を重畳するように、画像合成する。画像合成部１０３は、画像処理後の撮像画像における次の誘導地点の位置に対応付けるように、ＡＲマーカを位置決めしてもよい。画像合成部１０３は、図３〜図５のような合成後の画像を出力部１０４に出力する。出力部１０４は、合成後の画像を表示装置５０に対応する画像形式に変換して表示装置５０に出力し表示させる。

上述の撮像装置１０の距離算出部１２、ナビゲーション装置２０の位置算出部２４、信頼度生成部２５及び案内情報生成部２６、並びに、画像処理装置１００の撮像画像処理部１０１、ＡＲマーカ生成部１０２、画像合成部１０３、出力部１０４等の各構成要素は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ、並びに、ＲＡＭ及びＲＯＭ等のメモリなどからなるコンピュータシステム（図示せず）により構成されてもよい。各構成要素の一部又は全部の機能は、ＣＰＵ又はＤＳＰがＲＡＭを作業用のメモリとして用いてＲＯＭに記録されたプログラムを実行することによって達成されてもよい。また、各構成要素の一部又は全部の機能は、電子回路又は集積回路等の専用のハードウェア回路によって達成されてもよい。各構成要素の一部又は全部の機能は、上記のソフトウェア機能とハードウェア回路との組み合わせによって構成されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。

実施の形態１に係る画像処理装置１００の動作を説明する。図８は、実施の形態１に係る画像処理装置１００の動作の一例のフローチャートを示す。図８に示すように、ステップＳ１０１において、画像処理装置１００の撮像画像処理部１０１は、第二記憶部４０を介して、ナビゲーション装置２０によって生成された案内情報を取得する。

次いで、ステップＳ１０２において、撮像画像処理部１０１は、案内情報に含まれる車両から次の誘導地点までの残距離が第四閾値以上であるか否かを判定する。残距離が第四閾値以上である場合（ステップＳ１０２でＹｅｓ）、撮像画像処理部１０１は、ステップＳ１０３に進み、第一記憶部３０を介して撮像装置１０の撮像画像を取得し、撮像画像そのまま、出力部１０４に出力して表示装置５０に表示させる。残距離が第四閾値未満である場合（ステップＳ１０２でＮｏ）、撮像画像処理部１０１はステップＳ１０４に進む。

次いで、ステップＳ１０４において、撮像画像処理部１０１は、第一記憶部３０を介して、撮像装置１０によって生成され且つ案内情報に対応する撮像画像及びその距離画像を取得する。

次いで、ステップＳ１０５において、撮像画像処理部１０１は、距離画像において、残距離に対して所定の範囲内の距離に位置する被写体を写し出す画素からなる特定領域を抽出する。所定の範囲の例は、残距離から±Ｄｍ以内の範囲、残距離から＋Ｄｍ以内の範囲、及び、残距離から−Ｄｍ以内の範囲である。Ｄの大きさは、予め定められてもよく、撮像画像処理部１０１によって、地図情報に基づく誘導地点での道路の幅等から算出されてもよい。このようなＤの大きさの例は、５〜１０ｍの大きさである。さらに、撮像画像処理部１０１は、撮像画像において、特定領域及び／又はその周辺領域の画素に対して、特定領域の被写体のエッジの強度を制御する画像処理を行う。つまり、撮像画像処理部１０１は、撮像画像の特定領域を、ユーザである運転者に視認しやすい表示状態にするように画像処理する。撮像画像処理部１０１は、処理後の撮像画像を画像合成部１０３に出力する。

次いで、ステップＳ１０６において、画像処理装置１００のＡＲマーカ生成部１０２は、第二記憶部４０から、撮像画像処理部１０１と同じ案内情報を取得し、案内情報に基づき、ＡＲマーカの画像を生成し、画像合成部１０３に出力する。

次いで、ステップＳ１０７において、画像合成部１０３は、処理後の撮像画像上にＡＲマーカの画像を重畳するように、処理後の撮像画像及びＡＲマーカの画像を合成した画像を生成する。画像合成部１０３は、合成後の画像を出力部１０４に出力し、表示装置５０に表示させる。

上述したように、実施の形態１に係る画像処理装置１００は、次の誘導地点までの残距離に応じて、残距離の位置に対応する撮像画像の特定領域の被写体のエッジの強度を制御する。撮像画像上において、例えば、次の誘導地点が遠い、又は当該誘導地点までの経路に障害物が存在する等の理由で、当該誘導地点の位置の視認が容易でない場合、画像処理装置１００は、特定領域の被写体のエッジの強度を制御することによって、ユーザによる当該誘導地点の位置の視認を容易にすることができる。よって、画像処理装置１００は、撮像画像上での誘導地点の視認を容易にする。

［実施の形態１に係る画像処理装置１００の動作の変形例］
本変形例では、画像処理装置１００は、車両位置の信頼度等に応じた画像処理を行う。図９は、実施の形態１に係る画像処理装置１００の動作の変形例のフローチャートを示す。図９に示すように、画像処理装置１００は、ステップＳ１０４とステップＳ１０５との間において、ステップＳ１１１〜Ｓ１１３の処理を行う。ステップＳ１０１〜Ｓ１０４の処理は、上述した実施の形態１での処理と同様である。

ステップＳ１０４の次のステップＳ１１１において、撮像画像処理部１０１は、ナビゲーション装置２０から第二記憶部４０に出力された経路周辺の地図情報を取得する。撮像画像処理部１０１は、経路周辺の地図情報と、案内情報に含まれる次の誘導地点の位置とに基づき、当該誘導地点の地図上の状態、つまり誘導地点の大きさを取得する。誘導地点の大きさの例は、誘導地点での道路の幅、車線数、車線幅、及び、交差点の広さ等である。

次いで、ステップＳ１１２において、撮像画像処理部１０１は、ナビゲーション装置２０から第二記憶部４０に出力された車両位置の信頼度を取得する。

次いで、ステップＳ１１３において、撮像画像処理部１０１は、誘導地点の大きさと、車両位置の信頼度とに基づき、撮像画像に行う画像処理の強度を決定する。具体的には、撮像画像処理部１０１は、予め保持している処理強度関数等の規則に従って、画像処理の強度を決定する。下記の式３は、処理強度関数の一例である。なお、式３において、Ｆ（ｄ）は、画像処理の強度である。ｄは、車両から特定領域及び／又はその周辺領域の画素の被写体までの距離と残距離との差異であり、上記２つの距離の差の絶対値である。Ｔは、距離閾値であり、Ｘは、誘導地点の大きさであり、Ｙは、車両位置の信頼度である。ａは、誘導地点の大きさの反映係数であり、ｂは、車両位置の信頼度の反映係数である。式３は、差異ｄが大きくなる程、画像処理の強度を小さくし且つ誘導地点の大きさが大きくなる程、画像処理の強度を大きくし且つ車両位置の信頼度が高くなる程、画像処理の強度を大きくする制御に該当し得る。
Ｆ（ｄ）＝（ａＸ＋ｂＹ）×（Ｔ−ｄ） （式３）

次いで、ステップＳ１０５において、撮像画像処理部１０１は、撮像画像の特定領域及び／又はその周辺領域に対して、ステップＳ１１３で決定された画像処理の強度に従って、画像処理し、処理後の撮像画像を画像合成部１０３に出力する。ステップＳ１０６及びＳ１０７の処理は、実施の形態１と同様である。

上述したように、本変形例では、画像処理装置１００は、誘導地点の地図上の状態及びナビゲーション装置２０の車両位置の信頼度に応じて、画像処理の強度を制御することができる。よって、画像処理装置１００は、撮像画像上での誘導地点の視認の容易さを向上する。

［実施の形態２］
実施の形態２に係る画像処理装置２００を説明する。実施の形態２に係る画像処理装置２００は、ＡＲマーカ生成部１０２及び画像合成部１０３を備えない点で、実施の形態１と異なる。実施の形態２において、実施の形態１と同様の構成要素については、実施の形態１と同一の参照符号を付し、その説明を省略する。以下において、実施の形態１と異なる点を中心に説明し、実施の形態１と同様の点の説明を省略する。

図１０は、実施の形態２に係る画像処理装置２００を備えるナビゲーションシステム１の機能的な構成の一例のブロック図を示す。画像処理装置２００は、撮像画像処理部１０１と、出力部１０４とを備える。撮像画像処理部１０１は、撮像装置１０の撮像画像を、実施の形態１と同様に画像処理し、出力部１０４に出力する。よって、画像処理装置２００は、撮像画像処理部１０１によって画像処理された撮像画像を、ＡＲマーカを付することなく、表示装置５０に出力し表示させる。

実施の形態２に係る画像処理装置２００の動作を説明する。図１１は、実施の形態２に係る画像処理装置２００の動作の一例のフローチャートを示す。図１１に示すように、画像処理装置２００は、実施の形態１と同じステップＳ１０１〜Ｓ１０４の処理を行う。さらに、ステップＳ１０５において、撮像画像処理部１０１は、実施の形態１と同様に、撮像画像の特定領域及び／又はその周辺領域に対して画像処理をし、さらに、処理後の撮像画像を出力部１０４に出力して表示装置５０に表示させる。そして、上述のような実施の形態２に係る画像処理装置２００によれば、実施の形態１と同様の効果が得られる。

［実施の形態３］
実施の形態３に係る画像処理装置３００を説明する。実施の形態３に係る画像処理装置３００は、撮像画像の被写体の距離を算出する距離算出部を備える点で、実施の形態１と異なる。実施の形態３において、実施の形態１又は２と同様の構成要素については、実施の形態１及び２と同一の参照符号を付し、その説明を省略する。以下において、実施の形態１及び２と異なる点を中心に説明し、実施の形態１又は２と同様の点の説明を省略する。

図１２は、実施の形態３に係る画像処理装置３００を備えるナビゲーションシステム１の機能的な構成の一例のブロック図を示す。ナビゲーションシステム１は、撮像装置１０Ａと、ナビゲーション装置２０と、第一記憶部３０と、第二記憶部４０と、画像処理装置３００とを備える。撮像装置１０Ａは、カメラ１１を備え、距離算出部を備えない。画像処理装置３００は、撮像画像処理部３０１と、ＡＲマーカ生成部１０２と、画像合成部１０３と、出力部１０４とを備える。撮像画像処理部３０１は、第一情報取得部１１１と、第二情報取得部１１２と、画像処理部１１３と、距離算出部３１２とを含む。距離算出部３１２は、実施の形態１における撮像装置１０の距離算出部１２と同様に動作する。距離算出部３１２は、撮像画像の各画素が写し出す被写体とカメラ１１との距離、つまり、上記被写体と車両との距離を算出する。距離算出部３１２は、消失点の位置を推定することによって上記距離を算出する、又は、ステレオ法により上記距離を算出する。距離算出部３１２は、算出した距離を画像処理部１１３に出力する。なお、距離算出部３１２は、撮像画像内の消失点の位置のみを推定し、画像処理部１１３は、撮像画像内における消失点の位置に基づき、特定領域を抽出してもよい。ここで、距離算出部３１２は、推定部の一例である。

上述のような実施の形態３に係る画像処理装置３００によれば、実施の形態１と同様の効果が得られる。さらに、画像処理装置３００は、撮像画像内の被写体と車両との距離を算出するため、撮像装置１０Ａに汎用的な撮像装置を適用することを可能にする。これにより、画像処理装置３００は、様々なナビゲーションシステムへの適用が可能であり、汎用性を向上することができる。

［実施の形態４］
実施の形態４に係る画像処理装置４００を説明する。実施の形態４に係る画像処理装置４００は、道路推定部４１４を備える点で、実施の形態１と異なる。実施の形態４において、実施の形態１〜３と同様の構成要素については、実施の形態１〜３と同一の参照符号を付し、その説明を省略する。以下において、実施の形態１〜３と異なる点を中心に説明し、実施の形態１〜３と同様の点の説明を省略する。

図１３は、実施の形態４に係る画像処理装置４００を備えるナビゲーションシステム１の機能的な構成の一例のブロック図を示す。画像処理装置４００の撮像画像処理部４０１は、実施の形態１の撮像画像処理部１０１に対して、道路推定部４１４をさらに備える。道路推定部４１４は、第二記憶部４０を介して、ナビゲーション装置２０から出力された経路の地図情報を取得する。道路推定部４１４は、誘導地点の位置及び地図情報に基づき、撮像画像において、誘導地点の周辺の道路の領域を推定する。さらに、道路推定部４１４は、道路の領域の中で道路及び交差点等の大きさを推定してもよい。道路推定部４１４は、道路の領域の中で車線を推定してもよい。また、道路推定部４１４は、誘導地点が交差点である場合、交差点で交差する道路に対して、地図情報に含まれる道路規格等に基づき、ランク付けしてもよい。画像処理部１１３は、道路推定部４１４によって推定された道路の領域内における撮像画像の左右方向の位置に応じて、特定領域の被写体のエッジの強度を制御する、つまり、特定領域及び／又はその周辺領域への画像処理の強度を変える。画像処理部１１３は、道路又は交差点の大きさ、道路の領域における車線、道路のランクつまり順位に応じて、これらの位置に対応する領域での画像処理の強度を変えてもよい。このとき、画像処理部１１３は、上記の式１〜式３に示す閾値を変えることによって、画像処理の強度を変えてもよい。

上述のような実施の形態４に係る画像処理装置４００によれば、実施の形態１と同様の効果が得られる。さらに、画像処理装置４００は、誘導地点の地図上の状態に応じた画像処理を行うことができる。例えば、画像処理装置４００は、誘導地点における道路又は交差点などの大きさ、道路の車線数、道路規格等の道路の情報に応じた画像処理の領域及び強度の制御が可能である。よって、画像処理装置４００は、誘導地点の地図上の状態に応じて、ユーザによって視認されやすい画像処理を行うことができる。

［その他］
以上、１つ又は複数の態様に係る画像処理装置等について、実施の形態及び変形例に基づいて説明したが、本開示は、これらの実施の形態及び変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態及び変形例に施したものや、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、１つ又は複数の態様の範囲内に含まれてもよい。

また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ等の不揮発性の記録媒体を含む。

例えば、上記実施の形態及び変形例に含まれる各処理部は典型的には集積回路であるＬＳＩ（Large Scale Integration：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵなどのプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Integrated Circuit）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。

本開示の画像処理方法は、ＭＰＵ（Micro Processing Unit）及びＣＰＵなどのプロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

本開示の技術は、撮像画像内の対象点を、容易に視認可能であるように明示する技術に有用である。

１ ナビゲーションシステム、１０，１０Ａ 撮像装置、１１ カメラ、１２ 距離算出部、２０ ナビゲーション装置、２２ 地図格納部、２５ 信頼度生成部、２６ 案内情報生成部、１００，２００，３００，４００ 画像処理装置、１０１，３０１，４０１ 撮像画像処理部、１０２ ＡＲマーカ生成部（指標生成部）、１０３ 画像合成部、１１１ 第一情報取得部（第一取得部、第三取得部）、１１２ 第二情報取得部（第二取得部、第四取得部、第五取得部）、１１３ 画像処理部、３１２ 距離算出部（推定部）、４１４ 道路推定部

Claims (20)

1. 車両前方の光景を撮像する撮像装置の撮像画像を取得する第一取得部と、
   次の誘導地点までの残距離を取得する第二取得部と、
   前記撮像画像に含まれる複数の画素のうち、前記残距離と同じ距離における位置を少なくとも含む所定の距離範囲に対応する複数の特定画素を特定領域として決定し、決定した前記特定領域に対して画像処理をする画像処理部と、
   前記画像処理部によって処理された前記撮像画像を出力する出力部と
   を備え、
   前記画像処理部は、前記残距離に応じて、前記特定領域全体の被写体のエッジの強度を制御する
   画像処理装置。
2. 前記撮像画像内の各位置までの距離情報を取得する第三取得部をさらに備え、
   前記画像処理部は、前記撮像画像内の各位置までの距離情報に基づき、前記残距離に応じて前記特定領域を決定する
   請求項１に記載の画像処理装置。
3. 前記撮像画像から前記撮像画像内の各位置までの距離情報を推定する推定部をさらに備え、
   前記画像処理部は、前記撮像画像内の各位置までの距離情報に基づき、前記残距離に応じて前記特定領域を決定する
   請求項１に記載の画像処理装置。
4. 前記撮像画像から前記撮像画像内の消失点を推定する推定部をさらに備え、
   前記画像処理部は、前記撮像画像内の各位置と前記消失点との関係に基づき、前記残距離に応じて前記特定領域を決定する
   請求項１に記載の画像処理装置。
5. 前記画像処理部は、前記残距離と処理対象の画素の被写体までの距離との差異が小さい程、強度を大きくするように、前記特定領域の被写体のエッジの強度を制御する
   請求項２〜４のいずれか一項に記載の画像処理装置。
6. 前記画像処理部は、前記残距離と処理対象の画素の被写体までの距離との差異が大きい程、強度を大きくするように、前記特定領域の被写体のエッジの強度を制御する
   請求項２〜４のいずれか一項に記載の画像処理装置。
7. 前記画像処理部は、前記残距離と処理対象の画素の被写体までの距離との差異が第一閾値よりも小さい場合、強度を０にし、前記差異が前記第一閾値以上の場合、強度を０超にするように、前記特定領域の被写体のエッジの強度を制御する
   請求項２〜６のいずれか一項に記載の画像処理装置。
8. 前記画像処理部は、前記残距離と処理対象の画素の被写体までの距離との差異が第二閾値よりも小さい場合、強度を０にし、前記差異が第三閾値よりも大きい場合、強度を０にし、前記差異が前記第二閾値以上前記第三閾値以下の場合、強度を０超にするように、前記特定領域の被写体のエッジの強度を制御する
   請求項２〜６のいずれか一項に記載の画像処理装置。
9. 前記画像処理部は、明度変更、彩度変更、エッジ強調、ぼかし、点滅、明滅の少なくとも１つの処理の組み合わせた画像処理を行うことによって、前記特定領域の被写体のエッジの強度を制御する
   請求項１〜８のいずれか一項に記載の画像処理装置。
10. 前記第二取得部は、前記誘導地点での誘導方向を取得し、
    前記画像処理部は、前記誘導方向に応じて強度を変えるように、前記特定領域の被写体のエッジの強度を制御する
    請求項１〜９のいずれか一項に記載の画像処理装置。
11. 前記撮像画像において、道路の領域を推定する道路推定部をさらに備え、
    前記画像処理部は、前記道路推定部によって推定された道路の領域での左右方向の位置に応じて、前記特定領域の被写体のエッジの強度を制御する
    請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記撮像装置を搭載する車両のナビゲーションシステムが検出する前記車両の位置の信頼度の情報を取得する第四取得部をさらに備え、
    前記画像処理部は、前記第四取得部が取得する情報に応じて前記第一閾値を変化させる
    請求項７に記載の画像処理装置。
13. 前記誘導地点の地図情報を取得する第五取得部をさらに備え、
    前記画像処理部は、前記第五取得部が取得する地図情報に応じて前記第一閾値を変化させる
    請求項７又は１２に記載の画像処理装置。
14. 前記撮像装置を搭載する車両のナビゲーションシステムが検出する前記車両の位置の信頼度の情報を取得する第四取得部をさらに備え、
    前記画像処理部は、前記第四取得部が取得する情報に応じて前記第二閾値又は前記第三閾値を変化させる
    請求項８に記載の画像処理装置。
15. 前記誘導地点の地図情報を取得する第五取得部をさらに備え、
    前記画像処理部は、前記第五取得部が取得する地図情報に応じて前記第二閾値又は前記第三閾値を変化させる
    請求項８又は１４に記載の画像処理装置。
16. 前記誘導地点での案内情報を取得し、前記案内情報を示す画像である拡張現実指標を生成する指標生成部と、
    前記拡張現実指標を重畳表示するように、前記画像処理部によって処理された前記撮像画像に前記拡張現実指標を合成する画像合成部とをさらに備える
    請求項１〜１５のいずれか一項に記載の画像処理装置。
17. 請求項１〜１６のいずれか一項に記載の画像処理装置を備え、
    前記撮像装置を搭載する車両のナビゲーションシステムが出力する情報と、
    前記画像処理部によって処理された前記撮像画像とを表示する
    表示装置。
18. 請求項１〜１６のいずれか一項に記載の画像処理装置を備え、
    前記撮像装置を搭載する車両を案内する情報と、前記画像処理部によって処理された前記撮像画像とを表示装置に出力し表示させる
    ナビゲーションシステム。
19. 車両前方の光景を撮像する撮像装置から撮像画像を取得し、
    次の誘導地点までの残距離を取得し、
    前記撮像画像に含まれる複数の画素のうち、前記残距離と同じ距離における位置を少なくとも含む所定の距離範囲に対応する複数の特定画素を特定領域として決定し、決定した前記特定領域に対して画像処理をし、
    画像処理された前記撮像画像を出力し、
    前記画像処理では、前記残距離に応じて、前記特定領域全体の被写体のエッジの強度を制御し、
    上記処理の少なくとも１つは、制御回路によって実行される
    画像処理方法。
20. 車両前方の光景の撮像画像を取得し、
    次の誘導地点までの残距離を取得し、
    前記撮像画像に含まれる複数の画素のうち、前記残距離と同じ距離における位置を少なくとも含む所定の距離範囲に対応する複数の特定画素を特定領域として決定し、決定した前記特定領域に対して画像処理をし、
    画像処理された前記撮像画像を出力し、
    前記画像処理では、前記残距離に応じて、前記特定領域全体の被写体のエッジの強度を制御する
    ことをコンピュータに実行させるプログラム。

Images