JP6590538B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP6590538B2 JP6590538B2 JP2015116829A JP2015116829A JP6590538B2 JP 6590538 B2 JP6590538 B2 JP 6590538B2 JP 2015116829 A JP2015116829 A JP 2015116829A JP 2015116829 A JP2015116829 A JP 2015116829A JP 6590538 B2 JP6590538 B2 JP 6590538B2
- Authority
- JP
- Japan
- Prior art keywords
- notification
- image
- image processing
- divided
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
従来、車両の周囲に存在する所定の対象物を検出した場合に、警告マークを表示部に表示することで、検出した対象物を運転者に提示する装置が知られている。かかる装置では、表示した警告マークを対象物に徐々に近づくように移動させている（例えば、特許文献１参照）。 2. Description of the Related Art Conventionally, there has been known an apparatus that presents a detected object to a driver by displaying a warning mark on a display unit when a predetermined object existing around the vehicle is detected. In such an apparatus, the displayed warning mark is moved so as to gradually approach the object (see, for example, Patent Document 1).
しかしながら、従来の装置では、警告マークを表示部に表示してから対象物近辺に移動させていた。そのため、運転者が当該対象物を認識するまでに時間がかかる可能性があり、運転者が対象物を認識しやすいとは言えなかった。 However, in the conventional apparatus, the warning mark is displayed on the display unit and then moved to the vicinity of the object. Therefore, it may take time for the driver to recognize the object, and it cannot be said that the driver can easily recognize the object.
本発明は、上記に鑑みてなされたものであって、運転者に対して報知対象物をより容易に認識できるように報知することができる画像処理装置および画像処理方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus and an image processing method capable of notifying a driver so that a notification object can be recognized more easily. To do.
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、検出部と、決定部と、画像処理部とを備える。検出部は、移動体に搭載された撮像装置から入力される撮像画像から報知対象物を検出する。決定部は、前記撮像画像を複数に分割した分割領域のうち前記報知対象物が含まれる対象領域を決定する。画像処理部は、前記報知対象物を報知する報知画像を、前記撮像画像の前記対象領域に対応する位置に重畳して表示部に表示させる。 In order to solve the above problems and achieve the object, an image processing apparatus of the present invention includes a detection unit, a determination unit, and an image processing unit. The detection unit detects a notification object from a captured image input from an imaging device mounted on the moving body. The determination unit determines a target area including the notification target object among divided areas obtained by dividing the captured image into a plurality of areas. The image processing unit causes the display unit to display a notification image for notifying the notification target object on a position corresponding to the target region of the captured image.
本発明によれば、運転者に対して報知対象物をより容易に認識できるように報知することができる画像処理装置および画像処理方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image processing apparatus and the image processing method which can alert | report so that a notification target object can be recognized more easily with respect to a driver | operator can be provided.
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 Hereinafter, embodiments of an image processing apparatus and an image processing method disclosed in the present application will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by embodiment shown below.
＜１．画像処理方法＞
図１は、本発明の実施形態に係る画像処理方法を示す説明図である。かかる画像処理方法は、例えば移動体に搭載される画像処理装置１０（図示せず）によって実行される。
<1. Image processing method>
FIG. 1 is an explanatory diagram showing an image processing method according to an embodiment of the present invention. Such an image processing method is executed by, for example, an image processing apparatus 10 (not shown) mounted on a moving body.
なお、以下では移動体が車両Ｃ（図示せず）である場合を例にとって説明するが、移動体は自動車に限られない。移動体は、たとえば電車や船舶、航空機などの、利用者が乗車、搭乗または操縦等するものであってもよい。 In the following, a case where the moving body is a vehicle C (not shown) will be described as an example, but the moving body is not limited to an automobile. The moving body may be one on which the user gets on, boarding, or maneuvering, such as a train, a ship, or an aircraft.
本実施形態に係る画像処理方法では、まず、車両Ｃに搭載された撮像装置（図示せず）から入力される撮像画像Ｐ１から報知対象物を検出する。図１の例では、画像処理装置１０は、撮像画像Ｐ１から報知対象物として歩行者Ｈを検出する。
In the image processing method according to the present embodiment, first, a notification target is detected from a captured image P1 input from an imaging device (not shown) mounted on the vehicle C. In the example of FIG. 1, the
以下、報知対象物の例として歩行者Ｈを検出した場合について説明するが、報知対象物は歩行者Ｈに限られない。報知対象物として、例えば走行中の車両、自転車、バイクといった移動物体や、停止車両、電柱や木などの静止物体などがあげられる。 Hereinafter, although the case where the pedestrian H is detected as an example of the notification target will be described, the notification target is not limited to the pedestrian H. Examples of the notification target include moving objects such as traveling vehicles, bicycles, and motorcycles, stationary vehicles, and stationary objects such as utility poles and trees.
画像処理装置１０は、例えば所定間隔をあけて連続して撮像された複数の撮像画像Ｐ１の時間変化に基づいて報知対象物を検出する。
For example, the
画像処理装置１０は、撮像画像Ｐ１を複数に分割した分割領域のうち、歩行者Ｈが含まれる対象領域Ｒ４を決定する。具体的には、画像処理装置１０は、例えば撮像画像Ｐ１を複数の領域に分割した分割領域に関する情報を記憶しており、撮像画像Ｐ１における歩行者Ｈの位置が複数の分割領域に含まれるか否か判定することで、歩行者Ｈが含まれる対象領域を決定する。
The
なお、図１の画像Ｐ２は、撮像画像Ｐ１の分割例を示す画像である。図１の例では、撮像画像Ｐ１を９個の分割領域に分割している。すなわち、図１の画像Ｐ２では、長方形状の分割領域を３行３列のマトリクス状に配置している例を示している。 Note that the image P2 in FIG. 1 is an image showing an example of division of the captured image P1. In the example of FIG. 1, the captured image P1 is divided into nine divided areas. That is, the image P2 in FIG. 1 shows an example in which rectangular divided areas are arranged in a matrix of 3 rows and 3 columns.
画像処理装置１０は、歩行者Ｈを報知する報知画像を撮像画像Ｐ１の対象領域Ｒ４に対応する位置に重畳して合成画像Ｐ３を生成する。画像処理装置１０は、生成した合成画像Ｐ３を表示部（図示せず）に表示させる。図１の例では、画像処理装置１０は、歩行者Ｈを報知する報知画像として注意マークＭ１を表示する。
The
なお、撮像画像Ｐ１の対象領域Ｒ４に対応する位置は、撮像画像Ｐ１の対象領域Ｒ４内の予め決められた位置である。したがって、歩行者Ｈが移動したとしても、歩行者Ｈが対象領域Ｒ４に含まれている場合は、報知画像である注意マークＭ１は撮像画像Ｐ１の同じ位置に表示される。 Note that the position corresponding to the target area R4 of the captured image P1 is a predetermined position in the target area R4 of the captured image P1. Therefore, even if the pedestrian H moves, when the pedestrian H is included in the target region R4, the caution mark M1 that is a notification image is displayed at the same position in the captured image P1.
また、図１では、画像処理装置１０は、注意マークＭ１に加え、歩行者Ｈを囲う枠線Ｍ２を表示する。歩行者Ｈが移動した場合は、歩行者Ｈの移動に応じて枠線Ｍ２も移動する。このように、注意マークＭ１で歩行者Ｈが存在する大まかな領域を報知しつつ、枠線Ｍ２で歩行者Ｈそのものを報知することで、運転者に対して報知対象物をより容易に認識できるように報知することができる。
In FIG. 1, the
さらに、図１では、画像処理装置１０は、報知画像に加え、車両Ｃの予測された進行方向を示す予測線Ｌ１、車両Ｃの車幅Ｗ２の延長線を示す車幅線Ｌ２および車両Ｃからの距離Ｄ１、Ｄ２を示す固定線Ｌ２１、Ｌ２２を重畳して合成画像Ｐ３を生成する。このように、合成画像Ｐ３に、報知対象物以外の情報を報知する画像を重畳することができる。
Further, in FIG. 1, the
以上のように、画像処理装置１０は、撮像画像Ｐ１を複数に分割した分割領域のうち歩行者Ｈが含まれる対象領域を決定し、当該対象領域に対応する位置に報知画像を表示する。これにより、画像処理装置１０は、運転者に対して報知対象物をより容易に認識できるように報知することができる。より具体的には、報知画像を報知対象物に付随させて表示させるのではなく、報知対象物は含まれる領域に付随させて表示させることで、運転者が画面上のどの領域に報知対象物が存在するかを直感的に認識できるように報知することができる。以下、画像処理装置１０を含む周辺監視システム１についてさらに説明する。
As described above, the
＜２．周辺監視システム１＞
図２は、本発明の実施形態に係る周辺監視システム１の構成例を示す図である。図２に示すように、周辺監視システム１は、画像処理装置１０と、撮像装置２０と、ナビゲーション装置３０と、シフトセンサ４０と、ステアリングセンサ５０とを備える。
<2. Perimeter monitoring system 1>
FIG. 2 is a diagram illustrating a configuration example of the periphery monitoring system 1 according to the embodiment of the present invention. As shown in FIG. 2, the periphery monitoring system 1 includes an
＜２．１．撮像装置２０＞
図３は、撮像装置２０の配置例を示す図である。撮像装置２０は、図３に示すように、車両Ｃの後方に配置され、車両Ｃの後方を撮像方向として撮像を行う。図３に示す領域Ｒは、撮像装置２０の撮像範囲を示す領域である。
<2.1.
FIG. 3 is a diagram illustrating an arrangement example of the
撮像装置２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した車両Ｃ後方の画像（以下、撮像画像と記載する）を画像処理装置１０に出力する。
The
また、撮像装置２０のレンズとして魚眼レンズなどの広角レンズを採用することで、撮像装置２０の画角を１８０度以上としてもよい。これにより車両Ｃの後方を広く撮影することが可能となる。
Further, by adopting a wide-angle lens such as a fisheye lens as the lens of the
なお、ここでは、撮像装置２０を後方に配置する例について説明したが、これに限られない。例えば撮像装置２０が車両Ｃの前方に配置される前方撮像部と、車両Ｃの後方に配置される後方撮像部と、車両Ｃの右方に配置される右方撮像部と、車両Ｃの左方に配置される左方撮像部とを備え、車両Ｃの前方、後方、右方および左方をそれぞれ撮像方向として撮像を行うようにしてもよい。これにより、車両Ｃ全周囲を撮影することが可能となる。
In addition, although the example which arrange | positions the
＜２．２．ナビゲーション装置３０＞
図２のナビゲーション装置３０は、表示部３１と、音声出力部３２と、入力操作部３３と、制御部３４とを備える。ナビゲーション装置３０は、車両Ｃの運転者が運転する際のナビゲーション機能やオーディオ機能などを有する。
<2.2.
The
表示部３１は、ＬＣＤ（Liquid Crystal Display）を備え、制御部３４の指示に従って例えばナビ画像やテレビジョン放送信号に基づく画像を表示する。また、表示部３１は、画像処理装置１０から入力された撮像画像Ｐ１、合成画像Ｐ３を表示する。
The
音声出力部３２は、スピーカを備え、制御部３４の指示に従って例えばナビゲーション機能の音声案内や、テレビジョン放送信号に基づく音声を出力する。また、入力操作部３３は、操作者からのナビゲーション装置３０に対する入力操作を受け付ける。なお、表示部３１が例えばタッチパネル式ディスプレイである場合、表示部３１が入力操作部３３の機能を備えるようにしてもよい。
The
制御部３４は、ナビゲーション装置３０が備える各部を制御する。制御部３４は、例えば入力操作部３３が受け付けた入力操作に基づいて、表示部３１に所定の画像を表示させたり、音声出力部３２に音声データを出力させたりする。
The
＜２．３．シフトセンサ４０およびステアリングセンサ５０＞
周辺監視システム１は、シフトセンサ４０やステアリングセンサ５０など、車両Ｃの状態を検出する各種センサを備える。
<2.3.
The periphery monitoring system 1 includes various sensors that detect the state of the vehicle C, such as a
シフトセンサ４０は、シフトレバー（図示せず）のポジションを検出する。シフトレバーのポジションとしては、車両Ｃが完全に停車している「パーキング」や車両Ｃが後退している「リア」等が挙げられる。シフトセンサ４０は、検出したシフトレバーのポジションを画像処理装置１０に出力する。
The
ステアリングセンサ５０は、車両Ｃのハンドルの舵角を検出する。あるいは、車両Ｃの車輪の舵角を検出するようにしてもよい。ステアリングセンサ５０は、検出した舵角を画像処理装置１０に出力する。
The
＜２．４．画像処理装置１０＞
画像処理装置１０は、進行予測部１１、検出部１２、決定部１３、画像処理部１４および記憶部１５を備える。
<2.4.
The
＜２．４．１．進行予測部１１＞
進行予測部１１は、ステアリングセンサ５０から入力される車輪の舵角に基づき、車両Ｃの進行方向を予測する。例えば、進行予測部１１は、車輪の舵角を維持した状態で車両Ｃが移動した場合の軌跡線を、進行方向を示す予測線Ｌ１として算出する。進行方向予測部１１は、算出した予測線Ｌ１を決定部１３および画像処理部１４に出力する。
<2.4.1.
The
なお、進行予測部１１による進行方向の予測は、車輪の舵角に基づく方法に限られない。例えば、進行予測部１１が撮像装置２０による撮像画像Ｐ１に基づいて進行方向を予測するようにしてもよい。撮像画像Ｐ１に基づいた進行方向の予測方法としては、例えば時間的に連続する複数の撮像画像Ｐ１からオプティカルフローを用いて進行方向を予測する方法がある。
In addition, the prediction of the advancing direction by the advancing
＜２．４．２．検出部１２＞
検出部１２は、所定間隔をあけて連続して撮像された複数の撮像画像Ｐ１の時間変化に基づいて報知対象物を検出する。検出部１２は、検出した報知対象物を決定部１３および画像処理部１４に出力する。
<2.4.2.
The
検出部１２による報知対象物の検出方法としては、例えば上述したオプティカルフローを用いた方法がある。具体的には、まず、検出部１２は、時刻ｔ１に撮像された撮像画像から特徴点Ｆ１を検出する。画像から特徴点を検出する方法としては、例えばエッジとエッジの交点であるコーナーを検出する方法や、ＫＬＴ法などがある。
As a detection method of the notification target object by the
続いて、検出部１２は、時刻ｔ１の次の時刻ｔ２に撮像された撮像画像から特徴点Ｆ２を検出する。検出部１２は、時刻ｔ１における特徴点Ｆ１の位置および時刻ｔ２における特徴点Ｆ２を結んだ移動ベクトル（オプティカルフロー）を算出し、算出したオプティカルフローに基づいて報知対象物を検出する。
Subsequently, the
なお、検出部１２が検出する特徴点Ｆ１、Ｆ２の個数は１個に限られない。進行予測部１１が、複数の特徴点Ｆ１、Ｆ２を検出するようにしてもよい。また、検出部１２による報知対象物の検出方法は、オプティカルフローを用いる方法に限られない。例えば、撮像画像とパターン画像とを照合するパターンマッチング法を用いて報知対象物を検出するようにしてもよい。
The number of feature points F1 and F2 detected by the
＜２．４．３．決定部１３＞
決定部１３は、例えばシフトセンサ４０から入力される検出結果に基づいて車両Ｃが後退している場合に、撮像画像Ｐ１を複数に分割した分割領域Ｒ１〜Ｒ９のうち、報知対象物が含まれる対象領域を決定する。ここでは、検出部１２が報知対象物として歩行者Ｈを検出した場合について説明する。
<2.4.3.
For example, when the vehicle C is moving backward based on the detection result input from the
まず、図４を用いて複数の分割領域Ｒ１〜Ｒ９について説明する。図４は、複数の分割領域Ｒ１〜Ｒ９を説明する図である。 First, the plurality of divided regions R1 to R9 will be described with reference to FIG. FIG. 4 is a diagram illustrating a plurality of divided regions R1 to R9.
図４に示すように、画像Ｐ２は、縦方向に伸びる２本の直線ＬＨ１、ＬＨ２および横方向に伸びる２本の直線ＬＷ１、ＬＷ２によって区切られている。そのため、図４に示す画像Ｐ２には９個の分割領域Ｒ１〜Ｒ９が含まれている。 As shown in FIG. 4, the image P2 is divided by two straight lines LH1 and LH2 extending in the vertical direction and two straight lines LW1 and LW2 extending in the horizontal direction. Therefore, nine divided regions R1 to R9 are included in the image P2 shown in FIG.
ここで２本の直線ＬＨ１、ＬＨ２の間の距離Ｗ１は、例えば車幅Ｗ２、すなわち車幅線Ｌ２の２本の直線の間の距離のうち最も長い距離と同じ長さＷ２（図１参照）であるとする。また、横方向に伸びる直線ＬＷ１は、車両Ｃから第１の距離Ｄ１離れた位置を示す線であり、固定線Ｌ２１を左右に延長した線である（図１参照）。横方向に伸びる直線ＬＷ２は、車両Ｃから第２の距離Ｄ２離れた位置を示す線であり、固定線Ｌ２２を左右に延長した線である（図１参照）。 Here, the distance W1 between the two straight lines LH1 and LH2 is, for example, the vehicle width W2, that is, the same length W2 as the longest distance among the two straight lines of the vehicle width line L2 (see FIG. 1). Suppose that The straight line LW1 extending in the lateral direction is a line indicating a position away from the vehicle C by the first distance D1, and is a line obtained by extending the fixed line L21 to the left and right (see FIG. 1). A straight line LW2 extending in the lateral direction is a line indicating a position away from the vehicle C by the second distance D2, and is a line obtained by extending the fixed line L22 to the left and right (see FIG. 1).
決定部１３は、４つの直線で区切られた９個の分割領域Ｒ１〜Ｒ９のうち、歩行者Ｈが含まれる分割領域を対象領域に決定する。例えば歩行者Ｈが複数の分割領域にまたがって存在する場合、決定部１３は、各分割領域における歩行者Ｈの面積に応じて対象領域を決定する。例えば、決定部１３は、歩行者Ｈを示す画像に含まれる画素数を分割領域Ｒ１〜Ｒ９ごとにカウントしていき、画素数が最も多い分割領域を対象領域に決定する。
The
このように、決定部１３は、分割領域Ｒ１〜Ｒ９のうち歩行者Ｈが含まれる割合が最も多い分割領域を対象領域に決定する。ここで、分割領域Ｒ１〜Ｒ９のうち歩行者Ｈが含まれる割合が同じ分割領域が存在する場合、すなわち各分割領域における歩行者Ｈの面積が等しい場合、決定部１３は、車両Ｃの進行方向に応じて対象領域を決定する。かかる点について図５を用いて説明する。
Thus, the
図５は、決定部１３による対象領域の決定について説明する図である。図５に示すように、撮像画像Ｐ１の歩行者Ｈの位置によっては、歩行者Ｈが複数の分割領域（図５では分割領域Ｒ５、Ｒ６）にまたがって存在する場合がある。
FIG. 5 is a diagram illustrating determination of the target area by the
上述したように、歩行者Ｈが複数の分割領域の１つに偏って存在している場合は、決定部１３は、歩行者Ｈが偏って存在する分割領域を対象領域に決定する。一方、図５に示すように複数の分割領域に含まれる歩行者Ｈの割合が同じ場合、決定部１３は、進行予測部１１が予測した進行方向に応じて対象領域を決定する。
As described above, when the pedestrian H exists in one of the plurality of divided areas, the
決定部１３は、車両Ｃの進行方向が直進である場合、歩行者Ｈが存在する複数の分割領域Ｒ５、Ｒ６のうち、撮像画像Ｐ１すなわち画像Ｐ２の中央側に近い分割領域Ｒ５を対象領域に決定する。
When the traveling direction of the vehicle C is straight, the
ここで、画像Ｐ２の中央側に最も近い分割領域とは、例えば複数の分割領域のうち、分割領域の中心画素と画像Ｐ２の中心画素との距離が最も短い分割領域を指すものとする。したがって、例えば歩行者Ｈが複数の分割領域Ｒ５、Ｒ８に同じ割合でまたがっている場合、決定部１３は、分割領域Ｒ５を対象領域に決定する。
Here, the divided region closest to the center side of the image P2 indicates, for example, a divided region in which the distance between the central pixel of the divided region and the central pixel of the image P2 is the shortest among a plurality of divided regions. Therefore, for example, when the pedestrian H straddles a plurality of divided regions R5 and R8 at the same rate, the
撮像画像Ｐ１の周辺領域に比べ中央領域は運転者にとって注目しやすい領域である。したがって複数の分割領域Ｒ１〜Ｒ９のうち画像Ｐ２の中央側に近い分割領域を対象領域とすることで、運転者に対して報知画像をより容易に認識できるように報知することができる。 The central region is a region that is more easily noticed by the driver than the peripheral region of the captured image P1. Therefore, by making a divided region close to the center side of the image P2 among the plurality of divided regions R1 to R9 as a target region, it is possible to notify the driver so that the notification image can be recognized more easily.
次に、決定部１３は、車両Ｃの進行方向が旋回である場合、歩行者Ｈが存在する複数の分割領域Ｒ５、Ｒ６のうち、進行方向側の分割領域を対象領域に決定する。例えば車両Ｃの進行方向が右である場合、決定部１３は、複数の分割領域Ｒ５、Ｒ６のうち右側の分割領域Ｒ６を対象領域に決定する。
Next, when the traveling direction of the vehicle C is turning, the
なお、例えば歩行者Ｈが複数の分割領域Ｒ５、Ｒ８といった縦方向に並ぶ領域に同じ割合でまたがっている場合は、例えば上述したように画像Ｐ２の中央側に近い分割領域Ｒ５を対象領域に決定するようにしてもよい。 Note that, for example, when the pedestrian H is straddling at the same ratio in a plurality of vertically aligned regions such as the divided regions R5 and R8, for example, as described above, the divided region R5 close to the center side of the image P2 is determined as the target region. You may make it do.
ここで、決定部１３が車両Ｃの進行方向に応じて対象領域を決定する場合について説明したが、かかる場合について車両Ｃは必ずしも移動している必要はない。車両Ｃが停止している場合においても、例えば進行予測部１１が車輪の舵角に応じて車両Ｃの進行方向を予測するようにし、進行予測部１１が予測した進行方向に応じて、決定部１３が対象領域を決定するようにしてもよい。
Here, although the case where the
なお、車両Ｃの進行方向が直進である場合とは、進行予測部１１が予測した予測線Ｌ１が直線である場合に限られない。例えば、車両Ｃの予測線Ｌ１の曲率半径が所定の閾値以上である場合に、車両Ｃの進行方向が直進であるとし、所定の閾値未満である場合に旋回であるとしてもよい。
Note that the case where the traveling direction of the vehicle C is straight is not limited to the case where the prediction line L1 predicted by the traveling
また、図５では、分割領域Ｒ５、Ｒ６に含まれる歩行者Ｈの割合が同じ、すなわち分割領域Ｒ５、Ｒ６における歩行者Ｈの面積が等しい場合に、決定部１３が車両Ｃの進行方向に応じて対象領域を決定するとしたが、これに限られない。例えば分割領域Ｒ５、Ｒ６における歩行者Ｈの面積の差が所定の閾値Ｓｔｈ以下である場合に、決定部１３が車両Ｃの進行方向に応じて対象領域を決定してもよい。
In FIG. 5, when the ratio of the pedestrians H included in the divided areas R5 and R6 is the same, that is, when the areas of the pedestrians H in the divided areas R5 and R6 are equal, the
なお、複数の分割領域Ｒ１〜Ｒ９は、図４に示す例に限られない。例えば、図６に示すように、複数の分割領域Ｒ１〜Ｒ９のうち横方向における中央部に位置する分割領域Ｒ２、Ｒ５、Ｒ８をさらに複数のサブ領域Ｒ２＿Ｌ、Ｒ２＿Ｒ、Ｒ５＿Ｌ、Ｒ５＿Ｒ、Ｒ８＿Ｌ、Ｒ８＿Ｒに分割してもよい。なお、図６は、複数の分割領域の一例を示す図である。 Note that the plurality of divided regions R1 to R9 are not limited to the example illustrated in FIG. For example, as shown in FIG. 6, among the plurality of divided regions R1 to R9, the divided regions R2, R5, and R8 positioned at the center in the horizontal direction are further subdivided into a plurality of subregions R2_L, R2_R, R5_L, R5_R, R8_L, and R8_R. You may divide into. FIG. 6 is a diagram illustrating an example of a plurality of divided regions.
この場合、決定部１３は、撮像画像Ｐ１すなわち画像Ｐ２の左右に位置する分割領域Ｒ１、Ｒ３、Ｒ４、Ｒ６、Ｒ７、Ｒ９、および、撮像画像Ｐ１の略中央に位置する複数のサブ領域Ｒ２＿Ｌ、Ｒ２＿Ｒ、Ｒ５＿Ｌ、Ｒ５＿Ｒ、Ｒ８＿Ｌ、Ｒ８＿Ｒの中から歩行者Ｈが含まれる対象領域を決定する。
In this case, the
なお、図６では、分割領域Ｒ２、Ｒ５、Ｒ８をそれぞれ２つのサブ領域に分割する例について示したが、分割数は２つ以上であってもよい。また、他の分割領域Ｒ１、Ｒ３、Ｒ４、Ｒ６、Ｒ７、Ｒ９を複数のサブ領域に分割してもよい。複数の分割領域の個数は９個に限られず、９個より多くても少なくてもよい。 Although FIG. 6 shows an example in which each of the divided areas R2, R5, and R8 is divided into two sub-areas, the number of divisions may be two or more. Further, the other divided regions R1, R3, R4, R6, R7, and R9 may be divided into a plurality of subregions. The number of the plurality of divided regions is not limited to nine, and may be more or less than nine.
また、分割領域の他の例について図７を用いて説明する。図７は、複数の分割領域の一例を示す図である。図７では、撮像画像Ｐ１すなわち画像Ｐ２を車幅線Ｌ２および固定線Ｌ２１、Ｌ２２に沿って９個の分割領域Ｒ２１〜Ｒ２９に分割した例を示している。 Another example of the divided area will be described with reference to FIG. FIG. 7 is a diagram illustrating an example of a plurality of divided regions. FIG. 7 shows an example in which the captured image P1, that is, the image P2, is divided into nine divided regions R21 to R29 along the vehicle width line L2 and the fixed lines L21 and L22.
このように、画像Ｐ２を分割する縦方向の２本の直線ＬＨ１、ＬＨ２および横方向の２本の直線ＬＷ１、ＬＷ２は、それぞれ平行である必要はなく、例えば図示しないが、互いに交差していてもよい。 As described above, the two straight lines LH1 and LH2 in the vertical direction and the two straight lines LW1 and LW2 in the horizontal direction that divide the image P2 do not have to be parallel to each other. Also good.
図７では、撮像画像Ｐ１すなわち画像Ｐ２を車幅線Ｌ２および固定線Ｌ２１、Ｌ２２に沿って複数の分割領域Ｒ２１〜Ｒ２９に分割したが、これに限られない。例えば予測線Ｌ１および固定線Ｌ２１、Ｌ２２に沿って分割してもよい。このように、画像Ｐ２を曲線によって分割するようにしてもよい。 In FIG. 7, the captured image P1, that is, the image P2, is divided into the plurality of divided regions R21 to R29 along the vehicle width line L2 and the fixed lines L21 and L22. For example, you may divide | segment along the prediction line L1 and the fixed lines L21 and L22. In this way, the image P2 may be divided by a curve.
複数の分割領域の個数や形状は、例えば報知対象物の大きさや報知画像の大きさ等に応じて任意の個数や形状とすることができる。 The number and shape of the plurality of divided regions may be any number or shape depending on, for example, the size of the notification object or the size of the notification image.
＜２．４．４．画像処理部１４＞
図２の画像処理部１４は、歩行者Ｈを報知する報知画像を撮像画像Ｐ１の対象領域（例えば図１の例では分割領域Ｒ４）に対応する位置に重畳する。画像処理部１４は、例えば歩行者Ｈを報知する報知画像として注意マークＭ１を撮像画像Ｐ１に重畳する。さらに画像処理部１４は、歩行者Ｈを囲う枠線Ｍ２を撮像画像Ｐ１に重畳する。
<2.4.4.
The
さらに、画像処理部１４は、車両Ｃの予測された進行方向を示す予測線Ｌ１、車両Ｃの車幅Ｗ２の延長線を示す車幅線Ｌ２および車両Ｃからの距離Ｄ１、Ｄ２を示す固定線Ｌ２１、Ｌ２２を重畳して合成画像Ｐ３を生成する。画像処理部１４は、生成した合成画像Ｐ３を表示部３１に表示させる。例えば、画像処理部１４は、車両Ｃが後退している場合に、合成画像Ｐ３を生成し、表示部３１に出力する。
The
ここで、画像処理部１４は、歩行者Ｈを報知する報知画像を報知画像選択テーブルに従って選択し、選択した報知画像を撮像画像に重畳する。かかる報知画像選択テーブルについて図８を用いて説明する。
Here, the
＜２．４．４．１．報知画像選択テーブル＞
図８は、本実施形態に係る報知画像選択テーブルを説明する図である。図８に示す報知画像選択テーブルは、各分割領域Ｒ１〜Ｒ９と、表示する報知画像の種類（表示画像）、表示場所および表示方法とをそれぞれ対応付けて記憶している。なお、図８に示す報知画像選択テーブルの「領域Ｎｏ．」は、例えば図５に示す分割領域Ｒ１〜Ｒ９の符号と対応している。
<2.4.4.1. Notification image selection table>
FIG. 8 is a diagram illustrating a notification image selection table according to the present embodiment. The notification image selection table shown in FIG. 8 stores each of the divided areas R1 to R9 in association with the type (display image) of the notification image to be displayed, the display location, and the display method. Note that “area No.” in the notification image selection table shown in FIG. 8 corresponds to, for example, the symbols of the divided areas R1 to R9 shown in FIG.
図８に示すように、分割領域Ｒ１〜Ｒ３は、表示画像が「表示なし」となっている。この場合、画像処理部１４は、報知画像を撮像画像Ｐ１に重畳しない。なお、分割領域Ｒ１〜Ｒ３は、車両Ｃから第２の距離Ｄ２以上離れた領域である。
As shown in FIG. 8, the display images of the divided regions R1 to R3 are “no display”. In this case, the
このように、図８の例では、画像処理部１４は、車両Ｃから第２の距離Ｄ２以上離れた位置に存在する報知対象物に関しては、危険度が低く報知優先度が低いとして、報知画像を用いた報知を行わない。ただし、例えば報知対象物を枠線Ｍ２で囲うなどして、報知対象物自体の報知は行うようにしてもよい。
As described above, in the example of FIG. 8, the
また、図８の報知画像選択テーブルにおいて、分割領域Ｒ４〜Ｒ９は、表示画像が「注意マーク」、表示場所のうち領域（以下、表示領域とも称する）が対応する分割領域Ｒ４〜Ｒ９、表示場所のうち位置、すなわち表示領域内の表示位置（以下、表示位置とも称する）が「中央」となっている。分割領域Ｒ４〜Ｒ６の表示方法は「点滅」、分割領域Ｒ７〜Ｒ９の表示方法は「点灯」である。 In the notification image selection table of FIG. 8, the divided areas R4 to R9 include the divided areas R4 to R9 and the display places corresponding to the display image “Caution Mark” and the display area (hereinafter also referred to as the display area). Among them, the position, that is, the display position in the display area (hereinafter also referred to as the display position) is “center”. The display method of the divided areas R4 to R6 is “flashing”, and the display method of the divided areas R7 to R9 is “lighting”.
このように、車両Ｃと第２の距離Ｄ２との間に存在する報知対象物に関しては、画像処理部１４は、決定部１３が決定した対象領域内の表示位置に注意マークＭ１を表示する。ここで、注意マークＭ１は、例えば三角形の黄色の枠線内に感嘆符を表示したマークであるとする。このとき、画像処理部１４は、第１の距離Ｄ１と第２の距離Ｄ２の間に存在する報知対象物に関して、注意マークＭ１を点滅表示させ、車両Ｃと第１の距離Ｄ１との間に存在する報知対象物に関して、注意マークＭ１を点灯表示させる。
As described above, for the notification object existing between the vehicle C and the second distance D2, the
これにより、車両Ｃとの距離に応じて報知対象物を運転者に報知することができ、運転者が、報知対象物に加えて報知対象物と車両Ｃとの距離をより容易に認識できるようになる。 Accordingly, the notification object can be notified to the driver according to the distance from the vehicle C, and the driver can more easily recognize the distance between the notification object and the vehicle C in addition to the notification object. become.
報知画像選択テーブルは、図８に示す例に限られない。例えば画像処理部１４が、図９および図１０に示す報知画像選択テーブルにしたがって報知画像を撮像画像Ｐ１に重畳させるようにしてもよい。図９および図１０は、本実施形態に係る報知画像選択テーブルの一例を示す図である。
The notification image selection table is not limited to the example shown in FIG. For example, the
図９に示す報知画像選択テーブルは、図８の報知画像選択テーブルの各項目に加え、「点滅速度」、「表示サイズ」の項目を備えている。また、分割領域Ｒ１〜Ｒ６の表示画像を「注意マーク」とし、分割領域Ｒ７〜Ｒ９の表示画像を「警告マーク」としている。ここで警告マークは、例えば三角形の赤色の枠線内に感嘆符を表示したマークである。 The notification image selection table shown in FIG. 9 includes items of “flashing speed” and “display size” in addition to the items of the notification image selection table of FIG. In addition, the display images of the divided areas R1 to R6 are “caution marks”, and the display images of the divided areas R7 to R9 are “warning marks”. Here, the warning mark is, for example, a mark in which an exclamation mark is displayed within a triangular red frame.
また、図９に示す報知画像選択テーブルでは、表示画像の表示位置を各領域の「左側」、「中央」、「右側」と横方向における各分割領域Ｒ１〜Ｒ９の位置に応じて変更している。このように、撮像画像Ｐ１における各分割領域Ｒ１〜Ｒ９の位置に応じて、表示画像の表示位置を変更するようにしてもよい。 Further, in the notification image selection table shown in FIG. 9, the display position of the display image is changed according to the positions of the divided areas R1 to R9 in the horizontal direction, such as “left side”, “center”, and “right side” of each area. Yes. Thus, the display position of the display image may be changed according to the positions of the divided areas R1 to R9 in the captured image P1.
さらに、表示方法を各分割領域Ｒ１〜Ｒ９のいずれにおいても「点滅」とし、点滅速度を、車両Ｃからの距離に応じて変更している。具体的には、分割領域Ｒ１〜Ｒ６では点滅速度を「遅い」とし、分割領域Ｒ７〜Ｒ９では「速い」としている。表示サイズは、分割領域Ｒ１〜Ｒ３で「小」、分割領域Ｒ４〜Ｒ６で「中」、分割領域Ｒ７〜Ｒ９で「大」とする。 Further, the display method is “flashing” in any of the divided regions R1 to R9, and the flashing speed is changed according to the distance from the vehicle C. Specifically, the blinking speed is “slow” in the divided areas R1 to R6, and “fast” in the divided areas R7 to R9. The display size is “small” in the divided areas R1 to R3, “medium” in the divided areas R4 to R6, and “large” in the divided areas R7 to R9.
次に、図１０に示す報知画像選択テーブルでは、分割領域Ｒ４〜Ｒ９の表示位置を、対象領域に隣接する分割領域の所定位置としている。具体的には、表示部３１において各分割領域Ｒ４〜Ｒ９の上に位置する分割領域Ｒ１〜Ｒ６を、分割領域Ｒ４〜Ｒ９の表示領域としている。
Next, in the notification image selection table shown in FIG. 10, the display positions of the divided areas R4 to R9 are set as predetermined positions of the divided areas adjacent to the target area. Specifically, the divided areas R1 to R6 located above the divided areas R4 to R9 in the
このように、報知画像は必ずしも対象領域内に表示する必要はない。上述したように、例えば隣接する分割領域内に表示することで、歩行者Ｈの表示を妨げることなく報知画像を表示部３１に表示することができる。
Thus, the notification image does not necessarily have to be displayed in the target area. As described above, the notification image can be displayed on the
上述した例では、点滅速度や表示サイズを変更する場合について説明したが、これに限られない。例えば分割領域Ｒ１〜Ｒ３といった報知対象物までの距離が遠い領域に報知対象物が存在する場合は青色で、分割領域Ｒ４〜Ｒ６といった報知対象物までの距離が中程度の領域に報知対象物が存在する場合は黄色で、分割領域Ｒ７〜Ｒ９といった報知対象物までの距離が近い領域に報知対象物が存在する場合は赤色で、報知画像を表示するようにしてもよい。このように、報知対象物までの距離に応じて報知画像の表示色を変更するようにしてもよい。 In the above-described example, the case where the blinking speed and the display size are changed has been described. However, the present invention is not limited to this. For example, when there is a notification target in a region where the distance to the notification target such as the divided regions R1 to R3 is far, the notification target is blue in a region where the distance to the notification target such as the divided regions R4 to R6 is medium. The notification image may be displayed in yellow when it exists, and in red when the notification target exists in a region close to the notification target such as the divided regions R7 to R9. In this way, the display color of the notification image may be changed according to the distance to the notification object.
このように、分割領域Ｒ１〜Ｒ９ごとに報知画像の表示形式を項目にわけて決定しておけばよく、かかる項目の数や内容は図８〜図１０に示す報知画像選択テーブルに示す例に限られない。また、例えば運転者が各項目内容を変更できるようにしてもよい。 In this way, the display format of the notification image may be determined separately for each of the divided regions R1 to R9, and the number and contents of such items are shown in the examples shown in the notification image selection tables shown in FIGS. Not limited. Further, for example, the driver may be able to change the contents of each item.
なお、図９に示す例では、分割領域ごとに点滅速度を設定するようにしているが、これに限られない。例えば図１１に示すように、報知対象物と車両Ｃとの距離に応じて点滅速度を変更するようにしてもよい。 In the example shown in FIG. 9, the blinking speed is set for each divided area, but the present invention is not limited to this. For example, as shown in FIG. 11, the blinking speed may be changed according to the distance between the notification object and the vehicle C.
図１１は、報知対象物までの距離と点滅速度との関係を示す図である。図１１の縦軸は、車両Ｃから報知対象物までの距離を示しており、横軸は、報知画像の点滅速度を示している。 FIG. 11 is a diagram illustrating the relationship between the distance to the notification object and the blinking speed. The vertical axis in FIG. 11 indicates the distance from the vehicle C to the notification object, and the horizontal axis indicates the blinking speed of the notification image.
図１１に示すように、車両Ｃから報知対象物までの距離が長い場合は点滅速度を遅くし、近づくほど点滅速度が速くなるようにする。上述したように、本実施形態では各分割領域Ｒ１〜Ｒ９の所定位置に報知画像を表示するようにしている。したがって、報知対象物が移動して対象領域が変更した場合に、報知対象物を知らせる報知画像の位置を変更するようにしている。 As shown in FIG. 11, when the distance from the vehicle C to the notification object is long, the blinking speed is slowed down, and the blinking speed becomes faster as it gets closer. As described above, in this embodiment, a notification image is displayed at a predetermined position in each of the divided regions R1 to R9. Therefore, when the notification target moves and the target area changes, the position of the notification image that notifies the notification target is changed.
そこで、図１１に示す例では、報知対象物が移動しても対象領域が変更にならない場合であっても報知対象物と車両Ｃとの距離に応じて報知画像の点滅速度を変更するようにしている。これにより、報知対象物が車両Ｃに接近していることを運転者に通知することができる。 Therefore, in the example shown in FIG. 11, the flashing speed of the notification image is changed according to the distance between the notification target and the vehicle C even when the target area does not change even if the notification target moves. ing. Thereby, it is possible to notify the driver that the notification object is approaching the vehicle C.
なお、図１１に示す例では、報知画像の点滅速度が距離に応じて連続して変化する場合について例示しているが、これに限られない。例えば、図１２に示すように、階段状に点滅速度が速くなるようにしてもよい。なお、図１２は、報知対象物までの距離と点滅速度との関係を示す図である。 In the example illustrated in FIG. 11, the case where the blinking speed of the notification image continuously changes according to the distance is illustrated, but the present invention is not limited thereto. For example, as shown in FIG. 12, the blinking speed may be increased stepwise. FIG. 12 is a diagram illustrating the relationship between the distance to the notification object and the blinking speed.
画像処理部１４は、決定部１３から対象領域の通知を受けると、例えば図８に示す報知画像選択テーブルに基づき、当該報知画像の表示内容を決定する。例えば、対象領域が分割領域Ｒ４である場合、画像処理部１４は、「注意マーク」を分割領域Ｒ４の中央に点滅させて表示させる。
When receiving the notification of the target area from the
なお、ここでは、画像処理部１４が報知画像として注意マークまたは警告マークを分割領域内に表示させる場合について説明したが、表示させる報知画像はこれに限られない。例えば図１３および図１４に示すように、撮像画像Ｐ１の上部に報知画像を表示させるようにしてもよい。
In addition, although the case where the
図１３および図１４は、画像処理部１４が生成する合成画像Ｐ３１の一例を示す図である。図１３に示す合成画像Ｐ３１では、報知画像として注意マークＭ１を表示させるとともに、略長方形の画像Ｍ３を表示させる。
13 and 14 are diagrams illustrating an example of the composite image P31 generated by the
画像Ｍ３は、長さが合成画像Ｐ３１の横幅と同じであり、所定の幅を有する帯状の画像である。以下、画像Ｍ３を報知バーＭ３とも称する。 The image M3 is a band-like image having the same length as the horizontal width of the composite image P31 and having a predetermined width. Hereinafter, the image M3 is also referred to as a notification bar M3.
例えば日光など、強い光が表示部３１に照射されている場合に、光の反射によっては運転者が表示部３１に表示される合成画像Ｐ３１を視認しにくくなる場合がある。このように、運転者が合成画像Ｐ３１を視認しにくい場合であっても、画像処理部１４が注意マークＭ１より大きな報知バーＭ３を重畳して合成画像Ｐ３１を生成することで、運転者に報知対象物を報知することができる。
For example, when strong light such as sunlight is applied to the
また、表示部３１の上部は光の影響を受けにくいため、報知バーＭ３を表示部３１の上部に表示されるように重畳することで、運転者が報知バーＭ３をより容易に認識することができるようになる。
Further, since the upper part of the
なお、車両Ｃから報知対象物までの距離に応じて、例えば報知バーＭ３の表示色を変更することで、報知対象物までの距離を運転者に報知するようにしてもよい。また、報知バーＭ３に例えば文字情報（図示せず）を重畳することで、かかる文字情報によっても運転者に対して報知対象物を報知するようにしてもよい。 In addition, according to the distance from the vehicle C to the notification target, the driver may be notified of the distance to the notification target by changing the display color of the notification bar M3, for example. Moreover, you may make it alert | report a notification target object with respect to a driver | operator also by this character information by superimposing character information (not shown) on alerting | reporting bar M3, for example.
あるいは、図１４に示すように、下側ほど報知バーＭ３の透過率を高くすることで、グラデーション表示させるようにしてもよい。これにより、運転者が報知バーＭ３の背面に表示される画像をより視認しやすくすることができる。 Alternatively, as shown in FIG. 14, gradation display may be performed by increasing the transmittance of the notification bar M3 toward the lower side. This makes it easier for the driver to visually recognize the image displayed on the back surface of the notification bar M3.
なお、ここでは、撮像装置２０が車両Ｃの後方の画像を撮像する場合について述べたが、例えば車両Ｃの全周囲を撮像する場合、画像処理部１４が全周囲を撮像した撮像画像に基づき仮想視点画像を生成するようにしてもよい。
Here, the case where the
この場合、例えば撮像装置２０からは車両Ｃの前方、後方、右方および左方をそれぞれ撮像方向とする複数の撮像画像が入力される。画像処理部１４は、かかる複数の撮像画像に対して座標変換処理を行い、仮想視点から見た画像である仮想視点画像を生成する。画像処理部１４は、座標変換処理として、例えば撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された撮像画像Ｐ１のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
In this case, for example, from the
画像処理部１４は、例えば複数の撮像画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、複数の撮像画像に含まれるデータを所定の投影面の対応する位置に投影する。
The
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は車両Ｃの位置であり、車両Ｃの位置の外側（例えば、略半球状の外周領域）は、車両Ｃの周辺の領域に相当する。なお、所定の投影面は、例えば、曲面でなく平面であってもよい。 The predetermined projection surface has, for example, a substantially hemispherical shape (for example, bowl shape), and the central area (for example, the bottom portion of the bowl) is the position of the vehicle C, and is outside the position of the vehicle C (for example, The substantially hemispherical outer peripheral area) corresponds to an area around the vehicle C. The predetermined projection surface may be a flat surface instead of a curved surface, for example.
画像処理部１４は、生成した仮想視点画像に報知画像等を重畳して合成画像Ｐ３を生成してナビゲーション装置３０の表示部３１に表示させる。
The
また、ここでは、画像処理部１４が、車両Ｃが後退している場合に合成画像Ｐ３を表示部３１に表示させるとしたが、これに限られない。例えば車両Ｃが前進している場合にも合成画像Ｐ３を表示部３１に表示させるようにしてもよい。この場合、画像処理部１４は、撮像装置２０が撮像した車両Ｃの前方の撮像画像に報知画像等を重畳させて表示させる。
Here, although the
例えば幅が狭い道路を車両Ｃが通過する場合や、車両Ｃが他車両とすれ違う場合に、合成画像Ｐ３を表示部３１に表示させることで、運転者に対して安全に走行できる進行方向を提示することができる。
For example, when the vehicle C passes through a narrow road or when the vehicle C passes another vehicle, the composite image P3 is displayed on the
＜２．４．５．記憶部１５＞
記憶部１５は、例えば図８に示す報知画像選択テーブルを記憶する。また、記憶部１５は、複数の分割領域Ｒ１〜Ｒ９に関する情報を記憶する。このように、記憶部１５は、画像処理装置１０の各部による処理に用いられる種々の情報を記憶する。また、記憶部１５は、各部の処理結果を記憶する。かかる記憶部１５は、例えばＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置で構成される。
<2.4.5.
The
＜３．画像表示処理＞
続いて、画像処理装置１０が行う画像表示処理について説明する。図１５は、画像処理装置１０が行う画像表示処理を示すフローチャートである。画像処理装置１０は、例えば車両Ｃのシフトレバーのポジションが「リア」に変更になったことを契機として画像表示処理を開始する。
<3. Image display processing>
Subsequently, an image display process performed by the
画像処理装置１０は、撮像装置２０から撮像画像Ｐ１を取得する（ステップＳ１０１）。画像処理装置１０は、取得した撮像画像Ｐ１に報知対象物が存在するか否かを判定する（ステップＳ１０２）。報知対象物が存在しない場合（ステップＳ１０２；Ｎｏ）、画像処理装置１０は、画像表示処理を終了する。
The
一方、報知対象物が存在する場合（ステップＳ１０２；Ｙｅｓ）、画像処理装置１０は、報知対象物が存在する分割領域を対象領域として決定する（ステップＳ１０３）。画像処理装置１０は、撮像画像Ｐ１のステップＳ１０３で決定した対象領域に対応する位置に報知画像を重畳することで、報知画像を表示部３１に表示させる（ステップＳ１０４）。
On the other hand, when a notification target exists (step S102; Yes), the
なお、ここでは、例えば車両Ｃのシフトレバーのポジションが「リア」に変更になったことを契機として画像表示処理を開始するとしたが、これに限られない。例えばシフトレバーのポジションが「ドライブ」に変更になった場合、すなわち車両Ｃが直進している場合に、画像表示処理を開始するようにしてもよい。あるいは、運転者の操作によって画像表示処理を開始するようにしてもよい。 Here, for example, the image display process is started when the position of the shift lever of the vehicle C is changed to “rear”, but the present invention is not limited to this. For example, when the position of the shift lever is changed to “drive”, that is, when the vehicle C is traveling straight, the image display process may be started. Or you may make it start an image display process by a driver | operator's operation.
以上のように、撮像画像Ｐ１を複数に分割した分割領域のうち歩行者Ｈが含まれる対象領域を決定し、当該対象領域に対応する位置に報知画像を表示する。これにより、画像処理装置１０は、運転者に対して報知対象物をより容易に認識できるように報知することができる。
As described above, the target area including the pedestrian H is determined from the divided areas obtained by dividing the captured image P1 into a plurality of areas, and the notification image is displayed at a position corresponding to the target area. Thereby, the
また、分割領域ごとに報知画像を表示することで報知対象物の位置を運転者に対して報知することができる。また、画像処理装置１０が、例えば点滅速度や表示サイズなど車両Ｃから報知対象物までの距離に応じて報知画像の表示を変更することで、運転者に対して車両Ｃから報知対象物までの距離を報知することができる。
Moreover, the position of the notification target object can be notified to the driver by displaying a notification image for each divided region. Further, the
＜４．変形例＞
図１６は、本実施形態に係る画像処理装置１０の変形例を説明する図である。図１に示す画像処理装置１０は、報知画像を表示部３１に表示させることで、報知対象物を運転者に報知する。
<4. Modification>
FIG. 16 is a diagram illustrating a modification of the
本変形例では、報知画像に加え、音声を用いて報知対象物を報知する。それ以外の構成要素および動作は実施形態にかかる画像処理装置１０と同じであるため説明を省略する。
In this modification, in addition to the notification image, the notification target object is notified using sound. Since other components and operations are the same as those of the
具体的には、画像処理装置１０は音声処理部１６をさらに備える。音声処理部１６は、決定部１３が決定した対象領域に対応する音（以下、報知音と称する）を生成し、例えばナビゲーション装置３０の音声出力部３２に出力する。
Specifically, the
音声処理部１６は、音データに対して周波数変換や振幅増幅など種々の信号処理を施して報知音を生成する。かかる報知音は、例えばアラーム音や警告音といった機械音でもよく、あるいは合成音声など文字情報を読み上げる音声であってもよい。音データは、例えば記憶部１５に記憶される。
The
音声処理部１６は、例えば複数の分割領域Ｒ１〜Ｒ９ごとに種類の異なる音データから報知音を生成する。かかる場合、例えば分割領域Ｒ１〜Ｒ３では第１音データ、分割領域Ｒ４〜Ｒ６では第２音データおよび分割領域Ｒ７〜Ｒ９では第３音データというように、車両Ｃと各分割領域Ｒ１〜Ｒ９までの距離に応じて異なる音データとするようにしてもよい。
For example, the
あるいは、報知音の高さ、すなわち周波数または報知音の音量を分割領域Ｒ１〜Ｒ９に応じて異ならせてもよい。この場合、例えば図１１および図１２に示す点滅速度のように、分割領域Ｒ１〜Ｒ９によらず、車両Ｃから報知対象物までの距離に応じて連続して、あるいは階段状に変化するようにしてもよい。 Or you may vary the height of a notification sound, ie, a frequency, or the volume of a notification sound according to division area R1-R9. In this case, for example, like the blinking speed shown in FIG. 11 and FIG. 12, it changes continuously or stepwise depending on the distance from the vehicle C to the notification object regardless of the divided regions R1 to R9. May be.
このとき、車両Ｃから報知対象物までの距離が近いほど、報知音が高くなるよう報知音の周波数を高くする。あるいは、車両Ｃから報知対象物までの距離が近いほど、報知音の音量を大きくする。これにより、車両Ｃから報知対象物までの距離が近く、危険度が高いほど、危険度をより強調して報知対象物を運転者に報知することができる。 At this time, the frequency of the notification sound is increased so that the notification sound becomes higher as the distance from the vehicle C to the notification object is shorter. Alternatively, the volume of the notification sound is increased as the distance from the vehicle C to the notification target is shorter. As a result, the closer the distance from the vehicle C to the notification object and the higher the risk level, the higher the risk level, and the driver can be notified of the notification target.
以上のように、画像処理装置１０が報知画像および報知音を用いて報知対象物を運転者に報知することで、例えば運転者が表示部３１を視認していないときでも報知対象物を運転者に報知することができる。
As described above, the
このとき、例えば、報知音を対象領域に応じて変更することで、例えば運転者が表示部３１を視認していないときでも、報知対象物が含まれる分割領域Ｒ１〜Ｒ９、すなわち報知対象物の位置を運転者に報知することができる。
At this time, for example, by changing the notification sound according to the target region, for example, even when the driver is not viewing the
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and modifications can be easily derived by those skilled in the art. Thus, the broader aspects of the present invention are not limited to the specific details and representative embodiments shown and described above. Accordingly, various modifications can be made without departing from the spirit or scope of the general inventive concept as defined by the appended claims and their equivalents.
１ 周辺監視システム
１０ 画像処理装置
１１ 進行予測部
１２ 検出部
１３ 決定部
１４ 画像処理部
１５ 記憶部
１６ 音声処理部
２０ 撮像装置
３０ ナビゲーション装置
３１ 表示部
３２ 音声出力部
３３ 入力操作部
３４ 制御部
４０ シフトセンサ
５０ ステアリングセンサ
DESCRIPTION OF SYMBOLS 1
Claims (7)
前記撮像画像を複数に分割した分割領域のうち前記報知対象物が含まれる対象領域を決定する決定部と、
前記報知対象物を報知する報知画像を、前記撮像画像の前記対象領域に対応する位置に重畳して表示部に表示させる画像処理部と
を備え、
前記決定部は、
前記報知対象物が複数の前記分割領域にまたがって存在する場合において、複数の前記分割領域における前記報知対象物の面積の差が所定の閾値以下である場合、前記移動体の進行方向に応じて前記対象領域を決定すること
を特徴とする画像処理装置。 A detection unit that detects a notification object from a captured image input from an imaging device mounted on a moving body;
A determination unit that determines a target region including the notification target object among divided regions obtained by dividing the captured image;
An image processing unit for displaying a notification image for notifying the notification object on a display unit so as to be superimposed on a position corresponding to the target region of the captured image ;
The determination unit
In the case where the notification object exists over a plurality of the divided areas, and when the difference in area of the notification objects in the plurality of divided areas is equal to or less than a predetermined threshold, depending on the traveling direction of the moving object An image processing apparatus that determines the target area .
前記移動体が直進している場合、前記報知対象物が存在する複数の前記分割領域のうち、前記撮像画像の中央側に近い領域を前記対象領域に決定すること
を特徴とする請求項１に記載の画像処理装置。 The determination unit
If the moving body is straight, among the plurality of the divided regions the notification object is present, the area close to the center of the captured image to claim 1, wherein the determining the target region The image processing apparatus described.
前記移動体が旋回している場合、前記報知対象物が存在する複数の前記分割領域のうち、前記移動体の進行方向側の領域を前記対象領域に決定すること
を特徴とする請求項１または２に記載の画像処理装置。 The determination unit
If the moving body is turning, among the plurality of the divided regions the notification object is present, according to claim 1, characterized in that to determine the traveling direction of the area of the moving body to the target area or 2. The image processing apparatus according to 2.
前記撮像画像の左右に位置する前記分割領域、および、前記撮像画像の略中央に位置する前記分割領域をさらに複数に分割したサブ領域の中から前記報知対象物が含まれる前記対象領域を決定すること
を特徴とする請求項１、２または３に記載の画像処理装置。 The determination unit
The target area including the notification target is determined from the divided areas located on the left and right of the captured image and the sub areas obtained by further dividing the divided area located substantially in the center of the captured image. The image processing apparatus according to claim 1, 2, or 3 .
前記報知画像を前記対象領域に隣接する前記分割領域の所定位置に重畳して前記表示部に表示させること
を特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。 The image processing unit
The image processing apparatus according to any one of claims 1 to 4, characterized in that to be displayed on the display unit superimposes the notification image to the predetermined position of the divided area adjacent to the target area.
前記移動体から前記報知対象物までの距離に応じて前記報知画像の表示を変更すること
を特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。 The image processing unit
The image processing apparatus according to any one of claims 1 to 5, characterized in that to change the display of the notification image in accordance with the distance from the moving body to the notification object.
前記撮像画像を複数に分割した分割領域のうち前記報知対象物が含まれる対象領域を決定する工程と、
前記報知対象物を報知する報知画像を、前記撮像画像の前記対象領域に対応する位置に重畳して表示部に表示させる工程と
を含み、
前記決定する工程は、
前記報知対象物が複数の前記分割領域にまたがって存在する場合において、複数の前記分割領域における前記報知対象物の面積の差が所定の閾値以下である場合、前記移動体の進行方向に応じて前記対象領域を決定すること
を特徴とする画像処理方法。 Detecting a notification object from a captured image input from an imaging device mounted on a moving body;
Determining a target area including the notification target object among divided areas obtained by dividing the captured image;
The notification image for notifying the notification object, seen including a step of displaying on the display unit so as to overlap a position corresponding to the target region of the captured image,
The step of determining includes
In the case where the notification object exists over a plurality of the divided areas, and when the difference in area of the notification objects in the plurality of divided areas is equal to or less than a predetermined threshold, depending on the traveling direction of the moving body An image processing method, wherein the target region is determined .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015116829A JP6590538B2 (en) | 2015-06-09 | 2015-06-09 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015116829A JP6590538B2 (en) | 2015-06-09 | 2015-06-09 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017005468A JP2017005468A (en) | 2017-01-05 |
| JP6590538B2 true JP6590538B2 (en) | 2019-10-16 |
Family
ID=57752859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015116829A Active JP6590538B2 (en) | 2015-06-09 | 2015-06-09 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6590538B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190103346A (en) | 2017-01-16 | 2019-09-04 | 가부시키가이샤 도모에가와 세이시쇼 | Copper fiber nonwoven fabric for wiring, unit for wiring, cooling method of copper fiber nonwoven fabric for wiring, and temperature control method for copper fiber nonwoven fabric for wiring |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3559083B2 (en) * | 1994-12-26 | 2004-08-25 | 本田技研工業株式会社 | Driving support device |
| JP4961160B2 (en) * | 2006-04-18 | 2012-06-27 | パナソニック株式会社 | Vehicle surroundings confirmation device |
| JP2011076214A (en) * | 2009-09-29 | 2011-04-14 | Alps Electric Co Ltd | Obstacle detection device |
| JP5603835B2 (en) * | 2011-06-27 | 2014-10-08 | クラリオン株式会社 | Vehicle perimeter monitoring device |
-
2015
- 2015-06-09 JP JP2015116829A patent/JP6590538B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017005468A (en) | 2017-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6379779B2 (en) | Vehicle display device | |
| JP5896505B2 (en) | Vehicle driving support device | |
| JP6205640B2 (en) | Warning device for vehicle | |
| JP5113881B2 (en) | Vehicle periphery monitoring device | |
| JP6443716B2 (en) | Image display device, image display method, and image display control program | |
| JP2005222425A (en) | Vehicle periphery monitoring system, vehicle periphery monitoring method, control program, and readable recording medium | |
| JP2013060128A (en) | Rear side video display device for motorcycle | |
| JP2015139128A (en) | Vehicular periphery monitoring device | |
| JP4693561B2 (en) | Vehicle periphery monitoring device | |
| JP2012221116A (en) | Danger prediction system for vehicle | |
| JP6081247B2 (en) | Display switching device and display switching method for vehicle rear image | |
| JP3952305B2 (en) | Moving object periphery monitoring device, moving object periphery monitoring method, control program, and readable recording medium | |
| JP2019120994A (en) | Display control device and display control method | |
| JP7047586B2 (en) | Vehicle display control device | |
| JP2018081363A (en) | Driving support device | |
| JP2018074286A (en) | Driving support device | |
| JP2009265802A (en) | Vehicle visual field support device | |
| JP2015014948A (en) | Driving support device for vehicle | |
| JP6590538B2 (en) | Image processing apparatus and image processing method | |
| JP4930432B2 (en) | Vehicle periphery monitoring device | |
| JP5477394B2 (en) | Vehicle periphery monitoring device | |
| JP2007200191A (en) | Lane detection device and lane deviation warning device | |
| JP2008310690A (en) | Recognition support device for vehicle | |
| JP2010009491A (en) | Driving assist system, driving assist method, and driving assist program | |
| JP6523801B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190917 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6590538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |