JP2010226652A - Image processing apparatus, image processing method, and computer program - Google Patents
Image processing apparatus, image processing method, and computer program Download PDFInfo
- Publication number
- JP2010226652A JP2010226652A JP2009074260A JP2009074260A JP2010226652A JP 2010226652 A JP2010226652 A JP 2010226652A JP 2009074260 A JP2009074260 A JP 2009074260A JP 2009074260 A JP2009074260 A JP 2009074260A JP 2010226652 A JP2010226652 A JP 2010226652A
- Authority
- JP
- Japan
- Prior art keywords
- image
- backlight
- region
- captured image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Navigation (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、および、コンピュータプログラムに関するものである。 The present invention relates to an image processing apparatus, an image processing method, and a computer program.
コンピュータで利用可能に電子化された地図データを利用して、車や歩行者に経路案内を行う技術を始めとして、地表上の施設や道路などの情報を電子機器の表示部に表示することは広く行われている。地図データの質を向上させるために、地図データに交通規制などの道路属性情報を正確かつ十分に記述することが望まれている。道路属性情報を迅速かつ精度良く充実するために、道路において撮影した画像をコンピュータで画像処理を行う技術が知られている。このような画像処理において撮影画像が逆光条件で撮影された逆光画像か否かを判断する技術が知られている(例えば、特許文献1)。 It is possible to display information on facilities and roads on the ground surface on the display of electronic devices, including technology that provides route guidance to cars and pedestrians using computerized map data that can be used on computers. Widely done. In order to improve the quality of map data, it is desired to accurately and sufficiently describe road attribute information such as traffic regulations in the map data. In order to enhance road attribute information quickly and accurately, a technique for performing image processing on an image taken on a road with a computer is known. A technique for determining whether or not a captured image is a backlight image captured under backlight conditions in such image processing is known (for example, Patent Document 1).
しかしながら、撮影画像が逆光画像であるか否かを、画像処理により判定する判定精度の向上が求められている。 However, there is a demand for improvement in determination accuracy for determining whether or not a captured image is a backlight image by image processing.
本発明は、画像処理によって撮影画像が逆光画像であるか否かを精度良く判定する技術を提供することを目的とする。 An object of the present invention is to provide a technique for accurately determining whether or not a captured image is a backlight image by image processing.
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms or application examples.
[適用例1] 画像処理装置であって、
撮影画像を取得する撮影画像取得部と、
前記撮影画像の撮影方向と、前記撮影画像の撮影位置における太陽の方角との相対角度を推定し、該相対角度に基づいて、前記撮影画像が逆光画像であるか否かを推定する逆光推定部と、
前記逆光推定部の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する逆光判定部と、
を備える、画像処理装置。
Application Example 1 An image processing apparatus,
A captured image acquisition unit for acquiring captured images;
A backlight estimation unit that estimates a relative angle between the shooting direction of the captured image and the direction of the sun at the shooting position of the captured image, and estimates whether the captured image is a backlight image based on the relative angle. When,
Backlight determination that determines a region of the captured image to be used according to an estimation result of the backlight estimation unit, and determines whether the captured image is a backlight image based on a pixel value of a pixel in the determined region And
An image processing apparatus comprising:
こうすれば、撮影方向と太陽の方角とに基づいて、撮影画像が逆光画像か否かを推定し、さらに、撮影画像の画素を用いて逆光画像か否かを判定しているので、最終的に撮影画像が逆光画像か否かを精度良く判定することができる。さらに、逆光推定部の推定結果に応じて、逆光判定部において画素値を用いるべき領域を決定するので、撮影画像が逆光画像か否かを精度良く判定することができる。 In this way, based on the shooting direction and the direction of the sun, it is estimated whether or not the captured image is a backlight image, and further, it is determined whether or not it is a backlight image using the pixels of the captured image. In addition, it is possible to accurately determine whether the captured image is a backlight image. Furthermore, since the region where the pixel value is to be used is determined by the backlight determination unit according to the estimation result of the backlight estimation unit, it can be accurately determined whether or not the captured image is a backlight image.
[適用例2]適用例1に記載の画像処理装置であって、
前記撮影画像を複数の領域に分割する撮影画像分割部を備え、
前記逆光判定部は、少なくとも1つの前記領域の画素の画素値に基づいて判定する、画像処理装置。
こうすれば、道路を走行しながら撮影した撮影画像に特化して、撮影画像が逆光画像か否かを精度良く判定することができる。
[Application Example 2] The image processing apparatus according to Application Example 1,
A captured image dividing unit that divides the captured image into a plurality of regions;
The said backlight determination part is an image processing apparatus determined based on the pixel value of the pixel of at least 1 of the said area | region.
In this way, it is possible to accurately determine whether or not the captured image is a backlight image by specializing in the captured image captured while traveling on the road.
[適用例3]適用例2に記載の画像処理装置であって、
前記撮影画像分割部は、空が被写体である空領域とその他の領域とに前記撮影画像を分割し、
前記逆光判定部は、前記その他の領域の画素の画素値に基づいて判定する、画像処理装置。
こうすれば、逆光画像において暗く写りやすい、空以外の領域の画素に基づいて逆光画像であるか否かを判定するので、判定精度を高くすることができる。
[Application Example 3] The image processing apparatus according to Application Example 2,
The photographed image dividing unit divides the photographed image into a sky region where the sky is a subject and other regions,
The said backlight determination part is an image processing apparatus determined based on the pixel value of the pixel of the said other area | region.
In this way, since it is determined whether or not it is a backlight image based on pixels in a region other than the sky, which is likely to appear dark in the backlight image, the determination accuracy can be increased.
[適用例4]適用例2に記載の画像処理装置であって、
前記撮影画像は、道路を走行しながら前方を撮影した画像であり、
前記撮影画像分割部は、左領域、中領域および右領域に前記撮影画像を分割し、
前記逆光判定部は、前記左領域または右領域の画素の画素値に基づいて判定する、画像処理装置。
こうすれば、逆光画像において暗く写りやすい、空および道路以外の領域の画素に基づいて逆光画像か否かを判定するので、判定精度を高くすることができる。
[Application Example 4] The image processing apparatus according to Application Example 2,
The photographed image is an image of the front taken while traveling on the road,
The captured image dividing unit divides the captured image into a left region, a middle region, and a right region,
The said backlight determination part is an image processing apparatus determined based on the pixel value of the pixel of the said left area | region or a right area | region.
In this way, since it is determined whether or not it is a backlight image based on the pixels in the area other than the sky and the road, which is likely to appear dark in the backlight image, the determination accuracy can be increased.
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法、コンピュータに画像処理を行わせるためのコンピュータプログラム、当該コンピュータプログラムを記録した記録媒体等の形態で実現することができる。 The present invention can be realized in various forms, such as an image processing method, a computer program for causing a computer to perform image processing, and a recording medium on which the computer program is recorded. be able to.
以下、本発明の実施の形態について、図面を参照しながら、実施例に基づき説明する。 Hereinafter, embodiments of the present invention will be described based on examples with reference to the drawings.
A.実施例:
・画像処理システムの構成:
図1は、実施例としての画像処理システムの一部を構成する車両100の概略構成を示す説明図である。図示するように、車両100は、撮像装置110と、GPS受信機120と、計算機130を備えている。
A. Example:
・ Configuration of image processing system:
FIG. 1 is an explanatory diagram showing a schematic configuration of a
撮像装置110は、例えば、デジタルビデオカメラ、連続撮影可能なデジタルスチルカメラなど、所定の時間間隔でデジタルまたはアナログの画像データを生成できるカメラ装置である。撮像装置110は、計算機130の制御に従って動作可能であると共に、生成した画像データを計算機130に対して送信可能であるように、計算機130と通信可能に接続されている。撮像装置110は、例えば、車両100のフロントウインドウ越しに車両100の前方を撮影するように設置されている。撮像装置110は、自動露光調整機能を持つため、逆光画像では被写体の色が黒くなることがある。
The
GPS受信機120は、GPS(Global Positioning System/全地球測位システム)を構成する人工衛星から送信された電波を受信する装置である。GPS受信機120は、人工衛星から受信した電波をデジタルデータ(GPS情報)に変換して、計算機130に送信する。
The
計算機130は、ノートパソコンなどの周知のパーソナルコンピュータである。計算機130は、図示しない中央演算装置(CPU)と、RAMやROMなどの内部記憶装置と、ハードディスクなどの外部記憶装置とを備えている。計算機130は、GPS受信機120から取得したGPS情報に基づいて、車両100の現在位置を表す現在位置情報(緯度、経度)と現在時刻を表す現在時刻情報を、一定間隔で生成し、車両100の現在位置と現在時刻を常に認識している。車両100はさらに走行距離計やジャイロセンサを搭載し、計算機130による現在位置の認識精度を高めても良い。計算機130は、撮像装置110から受信した画像データを、当該画像データが表す撮影画像の撮影位置および撮影時刻と関連付けて、外部記憶装置に記憶する。撮影位置は、撮影時刻における車両100の現在位置とされる。
The
車両100に、交通標識を整備したい対象の経路を走行させながら、撮像装置110による撮影を行うことにより、経路の撮影画像と撮影位置と撮影時刻をデータとして蓄積することができる。
Shooting with the
図2は、実施例としての画像処理システムの一部を構成する画像処理装置の概略構成を示す説明図である。画像処理装置200は、周知のコンピュータであり、CPU201と、入出力部202と、ROMやRAMなどの内部記憶装置203と、ハードディスクなどの外部記憶装置204とを備えている。入出力部202は、外部機器とデータを遣り取りするためのインターフェースであり、例えば、上述した計算機130と接続される。この結果、画像処理装置200は、計算機130に記憶された撮影画像の画像データと、撮影画像の撮影位置を示す撮影位置情報および撮影時刻を示す撮影時刻情報を取得できる。
FIG. 2 is an explanatory diagram illustrating a schematic configuration of an image processing apparatus that constitutes a part of the image processing system according to the embodiment. The
内部記憶装置203には、画像処理プログラムが格納されており、CPU201が当該プログラムを実行することにより、図2の内部記憶装置203に図示した機能ブロックの機能を実現される。実現される機能ブロックは、撮影画像取得部M11と、走行軌跡取得部M12と、撮影方向推定部M13と、太陽方角取得部M14と、太陽方角推定部M15と、撮影画像分割部M16、逆光推定部M17、逆光判定部M18とを含む。
The image processing program is stored in the
撮影画像取得部M11は、入出力部202を介して、上述した撮像装置110によって撮影された画像データと画像データに関連付けられた撮影位置情報、および、撮影時刻情報を取得する。本実施例では、撮像装置110はビデオカメラであり、複数のフレーム画像からなる動画像と、各フレーム画像に関連付けられた撮影位置情報と、撮影時刻情報が取得されるものとする。走行軌跡取得部M12は、撮影位置情報と、地図データ(図示省略)に基づき、撮像装置110を搭載した車両100の走行軌跡を特定して、特定した走行軌跡を走行軌跡情報として取得する。撮影方向推定部M13は、取得された走行軌跡情報に基づいて、撮像装置110の撮影方向を推定する。本実施例では、上述したように、撮像装置110は、車両100の前方を撮影するよう車両100に設置されているので、走行軌跡情報から容易に取得できる走行方向が撮影方向として推定される。撮像装置110が車両100の前方ではなく、走行方向と所定の角度を有するように設置されている場合は、その搭載角度を加味して撮影方向が推定される。太陽方角取得部M14は、太陽の方角を特定するための太陽方角情報として太陽位置データを取得する。取得される太陽位置データは、例えば、地域別、日時別の日の出、日の入り時刻、方位を示した日の出入りデータである。このような、日の出入りデータは、例えば、国立天文台・天文情報センターから信頼性の高いデータが入手できる。太陽方角推定部M15は、撮影画像としての動画像の各フレーム画像が撮影された撮影時刻における撮影位置からみた太陽方向の方角を、太陽位置データに基づいて推定する。例えば、撮影位置が属する、または、近接する地域の日の出入りデータが太陽位置データとして取得されていれば、撮影時刻における太陽の方角は、周知の手法を用いて容易に推定できる。撮影画像分割部M16は、画像処理による逆光判定(後述)を行う際に、フレーム画像を分割する。本実施例では、第1段階として、フレーム画像を、空を被写体とする空領域と、空以外を被写体(道、建築物など)とする他領域とに分割する。次に、第2段階として、フレーム画像を右領域と中領域と左領域の3領域に、縦の直線を分割線として分割する。分割は、エッジ抽出や色相による抽出などの周知の画像処理技術により実行される。逆光推定部M17は、撮影方向と太陽の方角に基づいてフレーム画像が逆光画像か否かを推定する。逆光判定部M18は、逆光推定結果を利用しつつ、フレーム画像に対する画像処理によってフレーム画像が逆光画像か否かを判定する。
The captured image acquisition unit M11 acquires, via the input / output unit 202, image data captured by the
外部記憶装置204は、撮影動画のフレーム画像を記憶するための撮影動画記憶領域D11と、撮影動画のフレーム画像ごとに関連付けられた撮影位置情報および撮影時刻情報(撮影属性情報)を記憶するための撮影属性情報記憶領域D12と、上述した太陽位置データを記憶するための太陽位置データ記憶領域D13を有している。撮影位置情報は、例えば、地表上における座標を表す情報であり、例えば、(緯度、経度)で表される。
The
・画像処理装置200の動作:
図3は、逆光画像選別処理の処理ステップを示すフローチャートである。逆光画像選別処理は、画像処理装置200のCPU201が実行する処理である。逆光画像選別処理は、CPU201が、計算機130から撮影動画のデータと撮影位置情報および撮影時刻情報(撮影属性情報)とを、入出力部202を介して取得し、撮影動画記憶領域D11および撮影属性情報記憶部D12に記憶すると共に、太陽位置データとして日の出入りデータを太陽位置データ記憶領域D13に記憶した状態で実行される。
The operation of the image processing apparatus 200:
FIG. 3 is a flowchart showing processing steps of the backlight image sorting process. The backlight image sorting process is a process executed by the
逆光画像選別処理が開始されると、CPU201は、逆光判定の対象となる撮影動画の撮影属性情報と、太陽位置データを内部記憶装置203に読み込む(ステップS110)。次に、CPU201は、逆光推定処理を実行する(ステップS200)。
When the backlight image sorting process is started, the
図4は、逆光推定処理の処理ステップを示すフローチャートである。逆光推定処理は、撮影動画が撮影された走行経路を直線道路単位(走行方向が同一と見なせる単位)で区間(撮影区間)に区切り、撮影区間単位で撮影動画を構成するフレーム画像が逆光画像であるか否かを一次的に判定する処理である。 FIG. 4 is a flowchart showing the processing steps of the backlight estimation processing. In the backlight estimation process, the travel route in which the captured video is captured is divided into sections (capturing sections) in units of straight roads (units in which the traveling direction can be regarded as the same), and the frame images constituting the captured videos in units of the captured sections are backlight images. This is a process of primarily determining whether or not there is.
逆光推定処理が開始されると、CPU201は、処理対象の撮影区間について撮影位置情報と撮影時刻情報を取得する(ステップS210)。CPU201は、次に、撮影位置情報により特定される撮影区間の位置(緯度、経度)に近い、または、撮影区間の位置の属する日の出入りデータ(太陽位置データ)を読み込み、撮影時刻情報により特定される撮影時刻の属する日の日の出入り時刻、方位を取得する(ステップS220)。
When the backlight estimation process is started, the
日の出入り時刻、方位を取得すると、CPU201は、対象の撮影区間における撮影時刻の太陽の方角を算出する(ステップS230)。太陽の方角は、地表を平面とする座標系における方向ベクトルで、例えば、南北方向と東西方向を軸とする平面上のベクトルで算出される。次いで、CPU201は、対象の撮影区間における撮像装置110の撮影方向を算出する(ステップS240)。上述したように、本実施例では、撮像装置110は車両100の前方を撮影するように設置されているので、撮影方向は、撮影区間における車両100の走行方向とされる。撮影方向は、太陽の方角と同様に、地表を平面とする座標系における方向ベクトルで、例えば、南北方向と東西方向を軸とする平面上のベクトルで算出される。次に、CPU201は、太陽の方角と撮影方向との相対角度を算出する(ステップS250)。相対角度は、計算機上は、太陽方向を表すベクトルと、撮影方向を表すベクトルの内積として算出されるが、以下では理解の容易のため、一周を360等分した度数法で表記する。
When the sunrise time and azimuth are acquired, the
相対角度が算出されると、CPU201は、相対角度に応じて、対象の撮影区間に対して、逆光、順光に関するフラグを出力する。すなわち、対象の撮影区間に当該フラグが関連付けされる。図5は、相対角度と出力されるフラグとの関係を示す図である。図5において、撮像装置110の撮影方向は、垂直に上の方向である。図5において太陽のマークの中心に付された2桁の数値がフラグを示している。相対角度は、撮影方向と、撮影位置から見て太陽が位置する方角とが一致している場合を0度とし、撮影方向と、撮影位置から見て太陽が位置する方角とが正反対の場合を180度として説明する。相対角度が0度から右回りに30度までおよび左周りに30度までの60度の範囲にある場合に、出力されるフラグは「10」である。相対角度が右回りに30度から60度までの範囲にある場合に、出力されるフラグは「11」である。相対角度が右回りに60度から120度までの範囲にある場合に、出力されるフラグは「21」である。相対角度が右回りに120度から150度までの範囲にある場合に、出力されるフラグは「01」である。相対角度が右回りに150度から210度までの範囲にある場合に、出力されるフラグは「00」である。相対角度が左回りに30度から60度までの範囲にある場合に、出力されるフラグは「12」である。相対角度が左回りに60度から120度までの範囲にある場合に、出力されるフラグは「22」である。相対角度が左回りに120度から150度までの範囲にある場合に、出力されるフラグは「02」である。本実施例では、フラグ「10」、「11」、「12」、「22」、「21」は、逆光を示すフラグであり、逆光フラグとも呼ぶ。本実施例では、フラグ「02」、「00」、「01」は、順光を示すフラグであり、順光フラグとも呼ぶ。フラグが出力されると逆光推定処理は終了される。
When the relative angle is calculated, the
図3に戻って説明を続ける。逆光推定処理が終了されると、CPU201は、対象の撮影区間において撮影されたフレーム画像を読み込む(ステップS300)。フレーム画像を読み込むと、CPU201は、これらのフレーム画像について逆光判定処理をそれぞれ行う(ステップS400)。以下では、理解の容易のため、一つのフレーム画像についての逆光判定処理について説明する。
Returning to FIG. 3, the description will be continued. When the backlight estimation process is completed, the
図6は、逆光判定処理の処理ステップを示すフローチャートである。逆光判定処理が開始されると、CPU201は、対象の撮影区間が逆光区間か否かを撮影区間に関連付けられたフラグを参照して判断する(ステップS410)。ここで、逆光区間とは、先に説明した逆光推定処理において逆光フラグが関連付けられた撮影区間を言う。CPU201は、対象の撮影区間が逆光区間ではない、すなわち、順光フラグが関連付けられている撮影区間であると判断すると(ステップS410:NO)、逆光推定処理を終了する。すなわち、順光フラグが関連付けられている撮影区間に撮影されたフレーム画像は、順光画像であると判断されることになる。
FIG. 6 is a flowchart showing the processing steps of the backlight determination process. When the backlight determination process is started, the
CPU201は、対象の撮影区間が逆光区間ではあると判断すると(ステップS410:YES)、フレーム画像の画素値をHSV色空間に変換する(ステップS420)。本実施例では、撮影画像はRGB色空間で表現されているので、本ステップでは、RGB色空間からHSV色空間に変換する処理が行われる。始めから撮影画像がHSV色空間で表現されていれば本ステップは必要ない。HSV色空間は、色を色相(Hue)、彩度(Saturation)、明度(Value)の三つの成分からなる色空間である。HSB色空間(Hue、Saturation、Brightness)とも言われる。本実施例では、各成分が0〜255の値で表されるHSV色空間を用いている。
When the
次に、CPU201は、処理対象のフレーム画像において、空領域を抽出し、空領域とその他の領域(他領域)とに分割する(ステップS430)。空領域の抽出条件は、以下のとおりである。
1.所定の画素値の範囲にある画素(空色画素)であること
2.フレーム画像の上端と他の空色画素を介して、または、直接に連続していること
なお、空色画素とされる画素値の範囲は、例えば、以下の1、または、2の範囲である。
1.明度Vが220≦V≦255の範囲にある
2.明度Vが150≦V≦255かつ彩度Sが20≦S≦255かつ色相Hが100≦H≦255の範囲にある
Next, the
1. 1. A pixel (sky blue pixel) in a predetermined pixel value range. It is continuous via the upper end of the frame image and other sky blue pixels or directly. Note that the range of pixel values that are the sky blue pixels is, for example, the following 1 or 2.
1. 1. Brightness V is in the range of 220 ≦ V ≦ 255. Lightness V is in the range of 150 ≦ V ≦ 255, saturation S is in the range of 20 ≦ S ≦ 255, and hue H is in the range of 100 ≦ H ≦ 255.
図7は、逆光判定処理について説明する図である。図7には、処理対象のフレーム画像500が図示されている。フレーム画像500において、太線で囲まれた部分が空領域として抽出された領域を示しており、太線で囲まれた部分を除く部分が他領域を示している。
FIG. 7 is a diagram for explaining the backlight determination process. FIG. 7 shows a
CPU201は、次いで、他領域を3つの領域に分割する。本実施例では、フレーム画像500は、左領域510と中領域520と右領域530とに、縦方向の分割線(図7:破線の太線)で分割される。本実施例では、フレーム画像500は、縦480ピクセル、横780ピクセルの大きさである。左領域510は、本実施例では、左から250ピクセル(横幅に対して約32%)の範囲の領域であり、右領域530は右から250ピクセルの領域である。左領域510および右領域530の横幅に対する割合は、25%〜40%が好ましく、30%〜35%がより好ましい。以下における逆光判定では、左領域510と右領域530の画素の画素値が用いられる。理由は、本実施例における逆光判定は、交通標識を画像処理によって認識するための前処理であり、撮影動画は走行中の車から前方を撮影した動画を用いているからである。この場合、交通標識が存在する可能性が高いのは、左領域510または右領域530であり、中領域520には車両100のボンネット、空、道路が被写体のほとんどを示す可能性が高い。このため、被写体が暗くなってしまう逆光画像であるか否かは、交通標識が存在する可能性が高い左領域510および右領域530の画素を用いて判定することが好ましいからである。
Next, the
他領域を3つに分割すると、CPU201は、左領域510と右領域530の画素の明度の平均値をそれぞれ算出する(ステップS450)。すなわち、CPU201は、左領域510を構成する全ての画素の明度Vの平均値である左平均明度VLと、右領域530を構成する全ての画素の明度Vの右平均明度VRとを算出する。
When the other area is divided into three, the
左平均明度VLと右平均明度VRとが算出されると、CPU201は逆光判定を行う(ステップS460)。本ステップの逆光判定は、フレーム画像500の撮影区間に関連付けられた逆光フラグと、左平均明度VLと、右平均明度VRとに基づいて、フレーム画像500が逆光画像であるか、準逆光画像であるかを判定するものである。準逆光画像は、例えば、太陽の方角から言えば、逆光である可能性が高いが被写体はそれほど暗くはなっていないと推定される画像である。
When the left average lightness VL and the right average lightness VR are calculated, the
以下の条件を満たす場合、フレーム画像500は逆光画像であると判断され、満たさない場合、フレーム画像500は準逆光画像であると判断される。
1.逆光フラグ「10」、かつ、右平均明度VRと左平均明度VLの平均値<85
2.逆光フラグ「11」、かつ、右平均明度VR<98
3.逆光フラグ「12」、かつ、左平均明度VL<98
4.逆光フラグ「21」、かつ、右平均明度VR<98、かつ、左平均明度VL>98
5.逆光フラグ「22」、かつ、左平均明度VL<98、かつ、右平均明度VR>98
When the following conditions are satisfied, the
1. Backlight flag “10”, and average value of right average brightness VR and left average brightness VL <85
2. Backlight flag “11” and right average brightness VR <98
3. Backlight flag “12” and left average brightness VL <98
4). Backlight flag “21”, right average brightness VR <98, and left average brightness VL> 98
5). Backlight flag “22”, left average brightness VL <98, and right average brightness VR> 98
逆光判定の結果、逆光画像であると判定された場合には(ステップS460:YES)、そのまま処理を終了する。すなわち、フレーム画像500は、逆光フラグと関連付けられたままとなる。逆光判定の結果、準逆光画像であると判定された場合には(ステップS460:NO)、逆光フラグに代えて準逆光フラグを出力する、すなわち、フレーム画像500に逆光フラグに代えて準逆光フラグを関連付けて(ステップS470)、処理を終了する。
As a result of the backlight determination, when it is determined that the image is a backlight image (step S460: YES), the processing is ended as it is. That is, the
以上説明した本実施例によれば、太陽の方角と撮影方向との相対角度を用いて、フレーム画像500が逆光であるか否かを推定し、さらに、フレーム画像500の画素値を用いた逆光判定処理と組み合わせて、最終的にフレーム画像500が逆光画像であるか順光画像であるか準逆光画像であるか否かを判定する。この結果、フレーム画像500が逆光画像か否かを精度良く判定することができる。また、本実施例では、左領域510と右領域530の画素値を用いて逆光画像であるか準逆光画像であるかを判断するので、道路を走行しながら撮影したフレーム画像500に特化して、フレーム画像500が逆光画像か否かを精度良く判定することができる。また、空領域を除く他領域の画素値を用いて逆光画像であるか準逆光画像であるかを判断するので、逆光画像において暗く写りやすい、空以外の領域の画素に基づいてフレーム画像500が逆光画像か否かを精度良く判定することができる。また、太陽の方角と撮影方向に基づいた推定結果に応じて、逆光判定処理において逆光判定に適用する条件を変更するので、フレーム画像500が逆光画像か否かを精度良く判定することができる。
According to the present embodiment described above, it is estimated whether or not the
B.変形例
・第1変形例:
上記実施例では、フレーム画像500を左領域510と中領域520と右領域530とに3分割したが、フレーム画像500の分割の手法は他にも各種考えられる。図8および図9は、変形例におけるフレーム画像の分割について説明する図である。例えば、図8に示すような形状にフレーム画像500aを左領域510aと中領域520aと右領域530aとに3分割しても良い。フレーム画像500aの下部は、車両100のボンネットや車道が写る可能性が高いので、その部分は逆光判定に考慮しない中領域520aに含めることが好ましいからである。図9に示す例では、フレーム画像500bの下半分を下領域540bとし、フレーム画像500bの上半分を左領域510bと中領域520bと右領域530bとに3分割している。逆光判定において考慮するのは左領域510bと右領域530bである。フレーム画像500aの下部は、車両100のボンネットや車道が写る可能性が高いので、その部分は逆光判定に考慮しない中領域520aに含めることが好ましいからである。また、逆光判定の後に行う画像処理が交通標識の認識処理である場合には、交通標識は一般的に画面上部に写り込む可能性が高いことから当該領域が逆光になっているか否かを精度良く判定できることが好ましい。したがって、図9に示すように分割することがより好ましい場合がある。
B. Modifications-First modification:
In the above embodiment, the
・第2変形例:
上記実施例では、撮像装置110の設置方向(撮影方向)が車両100の走行方向と同じであるが、車両100の走行方向に対して撮像装置110の設置方向がある角度をなしていても良い。この場合、例えば、撮像装置110が設置方向の前方ではなく、少し右向きに設置されている場合には、フレーム画像500において、道路や空が写り込む領域と、道路に沿った地物が写り込む領域とが変わってくるので、分割の分割比率、分割形状などを適宜変更することが好ましい。その例を図10〜図12を参照して説明する。
・ Second modification:
In the above embodiment, the installation direction (imaging direction) of the
図10は、変形例における撮像装置を示す図である。図10には、撮像装置110A〜110Eの5つの撮像装置が示されている。撮像装置110Aは、実施例と同様に、走行方向と撮影方向が一致している。撮像装置110Bの撮像方向は、走行方向に対して、右回りに72度の角度をなしている。撮像装置110Cの撮像方向は、走行方向に対して、右回りに144度の角度をなしている。撮像装置110Dの撮像方向は、走行方向に対して、左回りに144度の角度をなしている。撮像装置110Eの撮像方向は、走行方向に対して、左回りに72度の角度をなしている。
FIG. 10 is a diagram illustrating an imaging apparatus according to a modification. FIG. 10 shows five
図11は、図10に示す各撮像装置によって撮影された画像と、各撮像装置によって撮影された画像における逆光判定処理において用いられる画像の分割の態様を示す図である。図11(A)〜(E)は、それぞれ、撮像装置110A〜110Eにおいて撮影された画像を示している。撮像装置110Aにおいて撮影された画像は、実施例と同様に、逆光判定処理において3分割される。これに対して、撮像装置110B、110Eにおいて撮影された画像は、画像全体に建物、交通標識などの高さのある地物が被写体となる可能性がある(図11(B)、(E))ので、逆光判定処理において分割されない。その結果、撮像装置110B、110Eにおいて撮影された画像の逆光判定処理では、画像全体の画素が考慮される。
FIG. 11 is a diagram illustrating an image captured by each imaging device illustrated in FIG. 10 and an image division mode used in the backlight determination process in the image captured by each imaging device. FIGS. 11A to 11E show images taken by the
一方、撮像装置110Cにおいて撮影された画像は、画像の右半分において、道路、空などが被写体になる可能性が高く、画像の左半分において、建物、交通標識などの高さのある地物が被写体となる可能性が高い。このため、撮像装置110Cにおいて撮影された画像の逆光判定処理では、撮影画像は左右に等分割される(図11(C))。そして、撮像装置110Cにおいて撮影された画像の逆光判定処理では、左側の領域の画素のみが考慮され、右側の領域の画素は考慮されない。また、撮像装置110Dにおいて撮影された画像は、画像の左半分において、道路、空などが被写体になる可能性が高く、画像の右半分において、建物、交通標識などの高さのある地物が被写体となる可能性が高い。このため、撮像装置110Dにおいて撮影された画像の逆光判定処理では、撮影画像は左右に等分割される(図11(D))。そして、撮像装置110Cにおいて撮影された画像の逆光判定処理では、右側の領域の画素のみが考慮され、左側の領域の画素は考慮されない。
On the other hand, in the image captured by the
図12は、撮像装置110Bの撮影方向とフラグとの関係を示す図である。図12に示すように、本変形例における逆光推定処理では、実施例と同様に、撮像装置110Bの撮影方向と太陽の方角との相対角度に対応して順光フラグまたは出力フラグが出力される。走行方向と太陽の方角との相対角度は無関係であり、撮影方向と太陽の方角との相対角度に対応してフラグが出力される。
FIG. 12 is a diagram illustrating the relationship between the shooting direction of the
・第3変形例:
上記実施例では、フレーム画像500を左領域510と中領域520と右領域530とに分割し、空の領域を除いた左領域510と右領域530の明度を逆光の判定に用いているが、左領域510と右領域530の領域において、エッジ抽出などにより道路の領域をさらに除いた領域の明度を逆光の判定に用いても良い。立体の地物の部分が逆光画像であるか否かを判断するために好ましい被写体であり、道路などの平面の被写体は逆光画像であるか否かを判断するために好ましい被写体ではないからである。
・ Third modification:
In the above embodiment, the
・第4変形例:
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしても良い。
-Fourth modification:
In the above embodiment, a part of the configuration realized by hardware may be replaced with software, and conversely, a part of the configuration realized by software may be replaced by hardware.
以上、本発明の実施例および変形例について説明したが、本発明はこれらの実施例および変形例になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々の態様での実施が可能である。 As mentioned above, although the Example and modification of this invention were demonstrated, this invention is not limited to these Example and modification at all, and implementation in a various aspect is possible within the range which does not deviate from the summary. It is.
100…車両
110…撮像装置
120…GPS受信機
130…計算機
200…画像処理装置
201…CPU
202…入出力部
203…内部記憶装置
204…外部記憶装置
500…フレーム画像
DESCRIPTION OF
202 ... Input /
Claims (6)
撮影画像を取得する撮影画像取得部と、
前記撮影画像の撮影方向と、前記撮影画像の撮影位置における太陽の方角との相対角度を推定し、該相対角度に基づいて、前記撮影画像が逆光画像であるか否かを推定する逆光推定部と、
前記逆光推定部の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する逆光判定部と、
を備える、画像処理装置。 An image processing apparatus,
A captured image acquisition unit for acquiring captured images;
A backlight estimation unit that estimates a relative angle between the shooting direction of the captured image and the direction of the sun at the shooting position of the captured image, and estimates whether the captured image is a backlight image based on the relative angle. When,
Backlight determination that determines a region of the captured image to be used according to an estimation result of the backlight estimation unit, and determines whether the captured image is a backlight image based on a pixel value of a pixel in the determined region And
An image processing apparatus comprising:
前記撮影画像を複数の領域に分割する撮影画像分割部を備え、
前記逆光判定部は、少なくとも1つの前記領域の画素の画素値に基づいて判定する、画像処理装置。 The image processing apparatus according to claim 1,
A captured image dividing unit that divides the captured image into a plurality of regions;
The said backlight determination part is an image processing apparatus determined based on the pixel value of the pixel of at least 1 of the said area | region.
前記撮影画像分割部は、空が被写体である空領域とその他の領域とに前記撮影画像を分割し、
前記逆光判定部は、前記その他の領域の画素の画素値に基づいて判定する、画像処理装置。 The image processing apparatus according to claim 2,
The photographed image dividing unit divides the photographed image into a sky region where the sky is a subject and other regions,
The said backlight determination part is an image processing apparatus determined based on the pixel value of the pixel of the said other area | region.
前記撮影画像は、道路を走行しながら前方を撮影した画像であり、
前記撮影画像分割部は、左領域、中領域および右領域に前記撮影画像を分割し、
前記逆光判定部は、前記左領域または右領域の画素の画素値に基づいて判定する、画像処理装置。 The image processing apparatus according to claim 2,
The photographed image is an image of the front taken while traveling on the road,
The captured image dividing unit divides the captured image into a left region, a middle region, and a right region,
The said backlight determination part is an image processing apparatus determined based on the pixel value of the pixel of the said left area | region or a right area | region.
(a)コンピュータが、撮影画像を取得する撮影画像取得工程と、
(b)コンピュータが、前記撮影画像の撮影方向と、前記撮影画像の撮影位置における太陽の方角との相対角度を推定し、該相対角度に基づいて、前記撮影画像が逆光画像であるか否かを推定する逆光推定工程と、
(c)コンピュータが、前記逆光推定工程の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する逆光判定工程と、
を備える、画像処理方法。 An image processing method comprising:
(A) a captured image acquisition step in which the computer acquires a captured image;
(B) The computer estimates a relative angle between the photographing direction of the photographed image and the direction of the sun at the photographing position of the photographed image, and whether the photographed image is a backlight image based on the relative angle. A backlight estimation process for estimating
(C) A computer determines an area of the captured image to be used according to an estimation result of the backlight estimation step, and whether the captured image is a backlight image based on a pixel value of a pixel of the determined area A backlight determination step for determining whether or not
An image processing method comprising:
撮影画像を取得する撮影画像取得機能と、
前記撮影画像の撮影方向と、前記撮影画像の撮影位置における太陽の方角との相対角度を推定し、該相対角度に基づいて、前記撮影画像が逆光画像であるか否かを推定する逆光推定機能と、
前記逆光推定機能の推定結果に応じて用いるべき前記撮影画像の領域を決定し、前記決定された領域の画素の画素値に基づいて前記撮影画像が逆光画像であるか否かを判定する逆光判定機能と、
を前記コンピュータに実現させるコンピュータプログラム。 A computer program for causing a computer to execute image processing,
A captured image acquisition function for acquiring captured images;
A backlight estimation function that estimates a relative angle between the shooting direction of the captured image and the direction of the sun at the shooting position of the captured image and estimates whether the captured image is a backlight image based on the relative angle. When,
Backlight determination that determines a region of the captured image to be used according to an estimation result of the backlight estimation function and determines whether or not the captured image is a backlight image based on a pixel value of a pixel of the determined region Function and
A computer program for causing the computer to realize the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009074260A JP2010226652A (en) | 2009-03-25 | 2009-03-25 | Image processing apparatus, image processing method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009074260A JP2010226652A (en) | 2009-03-25 | 2009-03-25 | Image processing apparatus, image processing method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010226652A true JP2010226652A (en) | 2010-10-07 |
Family
ID=43043316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009074260A Pending JP2010226652A (en) | 2009-03-25 | 2009-03-25 | Image processing apparatus, image processing method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010226652A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015132925A1 (en) * | 2014-03-06 | 2015-09-11 | 三菱電機株式会社 | Map information processing device and method for processing map information |
JP2016151955A (en) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | Image processing apparatus, imaging device, distance measuring device, and image processing method |
JP2017028349A (en) * | 2015-07-15 | 2017-02-02 | 株式会社デンソー | Video processing device, operation support display system and video processing method |
WO2020105123A1 (en) * | 2018-11-20 | 2020-05-28 | 本田技研工業株式会社 | Autonomous work machine, autonomous work machine control method, and program |
WO2020105124A1 (en) * | 2018-11-20 | 2020-05-28 | 本田技研工業株式会社 | Autonomous work machine, autonomous work machine control method, and program |
WO2021140721A1 (en) * | 2020-01-06 | 2021-07-15 | 株式会社Jvcケンウッド | Image processing device, image processing method, and program |
-
2009
- 2009-03-25 JP JP2009074260A patent/JP2010226652A/en active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015132925A1 (en) * | 2014-03-06 | 2015-09-11 | 三菱電機株式会社 | Map information processing device and method for processing map information |
JP2016151955A (en) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | Image processing apparatus, imaging device, distance measuring device, and image processing method |
JP2017028349A (en) * | 2015-07-15 | 2017-02-02 | 株式会社デンソー | Video processing device, operation support display system and video processing method |
WO2020105123A1 (en) * | 2018-11-20 | 2020-05-28 | 本田技研工業株式会社 | Autonomous work machine, autonomous work machine control method, and program |
WO2020105124A1 (en) * | 2018-11-20 | 2020-05-28 | 本田技研工業株式会社 | Autonomous work machine, autonomous work machine control method, and program |
JPWO2020105123A1 (en) * | 2018-11-20 | 2021-10-28 | 本田技研工業株式会社 | Autonomous work machine, control method and program of autonomous work machine |
JPWO2020105124A1 (en) * | 2018-11-20 | 2021-10-28 | 本田技研工業株式会社 | Autonomous work machine, control method and program of autonomous work machine |
JP7152507B2 (en) | 2018-11-20 | 2022-10-12 | 本田技研工業株式会社 | AUTONOMOUS WORKING MACHINE, CONTROL METHOD AND PROGRAM FOR AUTONOMOUS WORKING MACHINE |
US11782447B2 (en) | 2018-11-20 | 2023-10-10 | Honda Motor Co., Ltd. | Autonomous work machine, method of controlling the same, and storage medium |
WO2021140721A1 (en) * | 2020-01-06 | 2021-07-15 | 株式会社Jvcケンウッド | Image processing device, image processing method, and program |
JP2021110552A (en) * | 2020-01-06 | 2021-08-02 | 株式会社Jvcケンウッド | Image processing device, image processing method, and program |
JP7375552B2 (en) | 2020-01-06 | 2023-11-08 | 株式会社Jvcケンウッド | Image processing device, image processing method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9846927B2 (en) | Systems and methods for haziness detection | |
JP4970516B2 (en) | Surrounding confirmation support device | |
US11205284B2 (en) | Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device | |
US8818026B2 (en) | Object recognition device and object recognition method | |
JP5663352B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US11004233B1 (en) | Intelligent vision-based detection and ranging system and method | |
US9230300B2 (en) | Method for creating a mosaic image using masks | |
JP2010226652A (en) | Image processing apparatus, image processing method, and computer program | |
JP2009157087A (en) | Exposure control apparatus and exposure control program | |
WO2019156072A1 (en) | Attitude estimating device | |
JP2015194397A (en) | Vehicle location detection device, vehicle location detection method, vehicle location detection computer program and vehicle location detection system | |
CN112352260A (en) | Lane estimation device, method, and program | |
US8428341B2 (en) | Apparatus for calculating 3D spatial coordinates of digital images and method thereof | |
JP6699567B2 (en) | Imaging device | |
JP2014106739A (en) | In-vehicle image processing device | |
JP2018073275A (en) | Image recognition device | |
JP2008269218A (en) | Image processor, image processing method, and image processing program | |
JP2022152922A (en) | Electronic apparatus, movable body, imaging apparatus, and control method for electronic apparatus, program, and storage medium | |
CN111260538B (en) | Positioning and vehicle-mounted terminal based on long-baseline binocular fisheye camera | |
JP2010237798A (en) | Image processor and image processing program | |
JP2016166794A (en) | Image creating apparatus, image creating method, program for image creating apparatus, and image creating system | |
JP6032141B2 (en) | Travel road marking detection device and travel road marking detection method | |
JP2008230561A (en) | Photographing control device and photometry area adjustment method | |
JP2018147241A (en) | Image processing device, image processing method, and image processing program | |
JP2010218361A (en) | Device and method for recognition of traffic sign, and computer program |