JP2014170378A - Information processing center, and in-vehicle device - Google Patents

Information processing center, and in-vehicle device Download PDF

Info

Publication number
JP2014170378A
JP2014170378A JP2013041785A JP2013041785A JP2014170378A JP 2014170378 A JP2014170378 A JP 2014170378A JP 2013041785 A JP2013041785 A JP 2013041785A JP 2013041785 A JP2013041785 A JP 2013041785A JP 2014170378 A JP2014170378 A JP 2014170378A
Authority
JP
Japan
Prior art keywords
vehicle
white line
information
processing center
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013041785A
Other languages
Japanese (ja)
Other versions
JP6083261B2 (en
Inventor
Yuki Koshino
優樹 越野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013041785A priority Critical patent/JP6083261B2/en
Publication of JP2014170378A publication Critical patent/JP2014170378A/en
Application granted granted Critical
Publication of JP6083261B2 publication Critical patent/JP6083261B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To facilitate detection of a white line even in rainy weather at night or in foggy weather.SOLUTION: An information processing center receives position information of a vehicle, a required information distance, and display information from the vehicle (step 210), reads out a white line detection object image based on a position at the required information distance forward from the position of the vehicle, from an aerial captured image on the basis of the received position information and required information distance (step 220), detects a position of a white line in the read white line detection object image (step 220), converts the detected position of the white line to an image at driver's viewpoint on the basis of the display information (step 250), and transmits the converted image to the vehicle.

Description

本発明は、情報処理センターおよび車載機に関するものである。   The present invention relates to an information processing center and an in-vehicle device.

従来より、車載カメラの撮影画像に基づいて道路の白線を認識する技術が知られている。   2. Description of the Related Art Conventionally, a technique for recognizing a white line on a road based on a captured image of an in-vehicle camera is known.

特開２００１−３４７７０号公報JP 2001-34770 A

しかし、上記のような技術では、雨天時の夜や霧が発生した時などは、雨滴や道路上の光の反射などが原因で、白線がうまく映らない撮影画像となり、白線の検出精度が低くなるこという問題がある。   However, with the above technologies, when the night is raining or when fog is generated, the white line is not reflected well due to raindrops or reflection of light on the road, and the detection accuracy of the white line is low. There is a problem of becoming.

本発明は、上記点に鑑み、雨天時の夜や霧が発生した時でも、白線の検知を容易にすることを目的とする。   In view of the above points, an object of the present invention is to facilitate detection of a white line even in the rainy night or when fog occurs.

上記目的を達成するための請求項１に記載の発明は、車両（１０）の位置座標および進行方向の情報を取得する取得手段（２１０）と、前記取得手段が取得した位置座標および進行方向の情報に基づいて、記憶部（２２）から、前記車両の前方の道路を上空から撮影した空中写真（２０）を読み出す読み出し手段（２２０）と、前記読み出し手段が読み出した空中写真中の白線の位置を検知する白線検知手段（２３０）と、前記白線検知手段が検知した前記白線の位置に基づいた情報を、前記車両に送信する送信手段（２４０、２５０）と、を備えた情報処理センターである。   In order to achieve the above object, the invention according to claim 1 is characterized in that the acquisition means (210) for acquiring the position coordinates and the traveling direction information of the vehicle (10), the position coordinates and the traveling direction acquired by the acquisition means. Based on the information, reading means (220) for reading an aerial photograph (20) taken from above the road ahead of the vehicle from the storage unit (22), and the position of the white line in the aerial photograph read by the reading means An information processing center comprising: a white line detection means (230) for detecting a signal; and transmission means (240, 250) for transmitting information based on the position of the white line detected by the white line detection means to the vehicle. .

このようにすることで、情報処理センター（２）が空中写真から検知した白線の情報を車両に通知するので、雨天時の夜や霧が発生した時でも、白線の検知が容易になる。   By doing so, the information processing center (2) notifies the vehicle of the information of the white line detected from the aerial photograph, so that it is easy to detect the white line even in the rainy night or when fog occurs.

また、請求項４に記載の発明は、車両（１０）に搭載される車載機であって、前記車両の位置座標および進行方向の情報を情報処理センター（２）に送信するリクエスト手段（１１０）と、前記送信手段が前記位置座標および前記進行方向の情報を送信した後、前記位置座標よりも前記進行方向側にある道路の白線の位置に基づいた情報を、前記情報処理センターから受信して前記車両の運転者に報知する報知手段（１４０、１５０）と、を備えた車載機である。   According to a fourth aspect of the present invention, there is provided an in-vehicle device mounted on the vehicle (10), the request means (110) for transmitting information on the position coordinates and the traveling direction of the vehicle to the information processing center (2). And after the transmission means transmits the position coordinates and the information of the traveling direction, the information based on the position of the white line of the road that is on the traveling direction side of the position coordinates is received from the information processing center. An in-vehicle device provided with notifying means (140, 150) for notifying a driver of the vehicle.

このようにすることで、情報処理センター（２）から、白線の情報を受信し、受信した情報を運転者に報知するので、雨天時の夜や霧が発生した時でも、白線の検知が容易になる。   By doing so, the information on the white line is received from the information processing center (2), and the received information is notified to the driver, so that it is easy to detect the white line even in the rainy night or when fog occurs. become.

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。   In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .

本発明の実施形態に係る車載システム１の構成図である。It is a lineblock diagram of in-vehicle system 1 concerning an embodiment of the present invention. 情報処理センター２の構成図である。2 is a configuration diagram of an information processing center 2. FIG. 本実施形態の作動を示すフローチャートである。It is a flowchart which shows the action | operation of this embodiment. 空中写真中の白線検知対象画像２０を示す図である。It is a figure which shows the white line detection target image 20 in an aerial photograph. 白線検知対象画像２０に対して白線検知を行った結果を示す図である。It is a figure which shows the result of having performed white line detection with respect to the white line detection target image. 白線上の１点Ｗと、運転者の視点位置５５と、虚像面５６との位置関係を例示する図である。It is a figure which illustrates the positional relationship of 1 point W on a white line, a driver | operator's viewpoint position 55, and the virtual image surface 56. FIG. 運転者視点画像２０ｂを示す図である。It is a figure which shows the driver | operator viewpoint image 20b. 運転者視点画像がヘッドアップディスプレイの表示面１４ａに表示された状態を示す図である。It is a figure which shows the state in which the driver | operator viewpoint image was displayed on the display surface 14a of a head-up display.

以下、本発明の一実施形態について説明する。本実施形態に係る通信システムは、車両に搭載される車載システム１（図１参照）と、当該車両の外部の施設に設置されて車載システム１と通信する情報処理センター２（図２参照）と、を備えている。   Hereinafter, an embodiment of the present invention will be described. The communication system according to the present embodiment includes an in-vehicle system 1 (see FIG. 1) mounted on a vehicle, an information processing center 2 (see FIG. 2) that is installed in a facility outside the vehicle and communicates with the in-vehicle system 1. It is equipped with.

図１に示すように、車載システム１は、情報処理センター２と通信するための通信部１１と、各種情報を記憶するための記憶部１２と、位置検出部１３と、ヘッドアップディスプレイ（ＨＵＤ）１４と、車両側制御部１５と、を備えている。   As shown in FIG. 1, the in-vehicle system 1 includes a communication unit 11 for communicating with the information processing center 2, a storage unit 12 for storing various information, a position detection unit 13, and a head-up display (HUD). 14 and a vehicle-side control unit 15.

位置検出部１３は、車両の位置情報（位置座標、進行方向、車速等）を特定するための各種センサ（ＧＰＳ受信器、車速センサ、ジャイロセンサ、加速度センサ等）を有している。   The position detection unit 13 includes various sensors (a GPS receiver, a vehicle speed sensor, a gyro sensor, an acceleration sensor, and the like) for specifying vehicle position information (position coordinates, traveling direction, vehicle speed, and the like).

なお、ここでいう位置座標とは、地球に固定された座標系の座標であり、例えば、緯度、経度、高度の組である。以下、このような地球に固定された座標系（対地座標系）の座標を、対地座標という。また、進行方向および車速は、対地座標系における進行方向および車速である。   The position coordinates here are coordinates in a coordinate system fixed to the earth, and are, for example, a set of latitude, longitude, and altitude. Hereinafter, such coordinates of the coordinate system (ground coordinate system) fixed to the earth are referred to as ground coordinates. The traveling direction and the vehicle speed are the traveling direction and the vehicle speed in the ground coordinate system.

ＨＵＤ１４は、液晶ディスプレイ等の画像表示装置と反射鏡等を備え、液晶ディスプレイが表示した映像が、反射鏡で反射されて車両のウインドシールド上の表示面（コンバイナ）に投影される。その結果、運転者は、上記映像に相当する虚像を、上記表示面越しに、運転者から見て表示面よりも前方側の所定位置に、視認することができる。   The HUD 14 includes an image display device such as a liquid crystal display and a reflecting mirror, and an image displayed on the liquid crystal display is reflected by the reflecting mirror and projected onto a display surface (combiner) on the windshield of the vehicle. As a result, the driver can visually recognize the virtual image corresponding to the video at a predetermined position ahead of the display surface as viewed from the driver through the display surface.

車両側制御部１５は、各種制御を行う車載機であり、マイクロコンピュータ等で実現することができる。   The vehicle-side control unit 15 is an in-vehicle device that performs various controls, and can be realized by a microcomputer or the like.

図２に示すように、情報処理センター２は、車載システム１と通信するための通信部２１と、空中写真記憶部２２と、センター側制御部２３とを備えている。   As shown in FIG. 2, the information processing center 2 includes a communication unit 21 for communicating with the in-vehicle system 1, an aerial photograph storage unit 22, and a center side control unit 23.

空中写真記憶部２２は、空中写真のデータを記憶する記憶媒体である。この空中写真のデータは、航空機、人工衛星等の飛翔体を用いて、各地の道路等を上空から撮影することで得た画像データである。なお、この空中写真のデータには、空中写真中の各位置の対地座標のデータも含まれている。   The aerial photo storage unit 22 is a storage medium that stores aerial photo data. This aerial photograph data is image data obtained by photographing roads and the like in various places from above using a flying object such as an aircraft or an artificial satellite. The aerial photo data includes data on ground coordinates at each position in the aerial photo.

センター側制御部２３は、各種制御を行う制御装置であり、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等を備えた装置（例えば、ワークステーション、ＰＣ等）である。   The center-side control unit 23 is a control device that performs various controls, and is a device (for example, a workstation, a PC, or the like) that includes a CPU, a RAM, a ROM, a flash memory, and the like.

以下、上記のように構成された通信システムの作動について説明する。図３は、この通信システムの作動における車両側（すなわち車両側制御部１５）およびセンター側（すなわちセンター側制御部１２）の処理内容を表している。   Hereinafter, the operation of the communication system configured as described above will be described. FIG. 3 shows the processing contents on the vehicle side (ie, the vehicle side control unit 15) and the center side (ie, the center side control unit 12) in the operation of this communication system.

まず、車両の運転者は、何メートル先の白線情報が欲しいかを示すため、車載システム１の図示しない入力装置を用いて、必要情報距離（例えば、５０メートル）を入力する。
を入力しておく。この作業は一度入力しておけば、次回から入力の必要は無い。 First, in order to indicate how many meters ahead the white line information is desired, the driver of the vehicle inputs a necessary information distance (for example, 50 meters) using an input device (not shown) of the in-vehicle system 1.
Enter. Once you have entered this work, you do not need to enter it again.

すると車両側制御部１５は、必要情報距離が入力されたことに基づいて、この入力を受付け、ステップ１２０〜１５０のループ処理を開始する。まずステップ１２０では、位置検出部１３の検出信号を用いて、車両の位置情報を取得する。取得する位置情報は、車両の現在位置の対地座標、進行方向、車速である。   Then, the vehicle-side control unit 15 accepts this input based on the input of the necessary information distance, and starts the loop processing of steps 120 to 150. First, in step 120, vehicle position information is acquired using the detection signal of the position detector 13. The position information to be acquired is the ground coordinate of the current position of the vehicle, the traveling direction, and the vehicle speed.

続いてステップ１３０では、直前のステップ１２０で取得した位置情報、ステップ１１０で受け付けた必要情報距離、およびディスプレイ情報を、白線情報リクエスト５１に含め、この白線情報リクエスト５１を、通信部１１を用いて情報処理センター２に送信する。続いてステップ１４０では、送信した情報の応答を受信するまで待機する。なお、ディスプレイ情報は。ディスプレイ情報は、視点オフセットおよび虚像面範囲オフセットの情報を含む。これら視点オフセットおよび虚像面範囲オフセットについては、後に詳述する。   Subsequently, in step 130, the position information acquired in the immediately preceding step 120, the necessary information distance received in step 110, and the display information are included in the white line information request 51, and the white line information request 51 is transmitted using the communication unit 11. Transmit to the information processing center 2. Then, in step 140, it waits until it receives the response of the transmitted information. Display information. The display information includes viewpoint offset and virtual image plane range offset information. These viewpoint offset and virtual image plane range offset will be described in detail later.

一方、情報処理センター２では、センター側制御部２３が、ステップ２１０で、白線情報リクエストを受信するまで待機しており、上述のように送信された白線情報リクエスト５１を、通信部２１を介して受信すると、ステップ２２０に進む。   On the other hand, in the information processing center 2, the center-side control unit 23 stands by until it receives a white line information request in step 210, and sends the white line information request 51 transmitted as described above via the communication unit 21. If received, the process proceeds to step 220.

ステップ２２０では、直前のステップ２１０で受信した白線情報リクエスト５１中の位置情報および必要情報距離に基づいて、空中写真記憶部２２に記録されている空中写真中の、白線検知対象画像を特定し、特定した白線検知対象画像を、空中写真記憶部２２から読み出す。   In step 220, the white line detection target image in the aerial photograph recorded in the aerial photograph storage unit 22 is specified based on the position information and the necessary information distance in the white line information request 51 received in the immediately preceding step 210, The identified white line detection target image is read from the aerial photograph storage unit 22.

図３に、空中写真中の白線検知対象画像２０の位置を模式的に示す。この図に示す様に、センター側制御部１２は、直前のステップ２１０で受信した位置情報および必要情報距離に基づいて、当該位置情報中の車両１０の対地座標から、当該位置情報中の車両１０の進行方向に、当該必要情報距離３０だけ進んだ位置を基準位置３５とする。そして、この基準位置３５を始点として、当該進行方向に所定長さ３６だけ伸び、かつ、当該進行方向に垂直な方向に所定幅３７だけ広がった領域中の空中写真を、白線検知対象画像２０として、読み出す。   FIG. 3 schematically shows the position of the white line detection target image 20 in the aerial photograph. As shown in the figure, the center side control unit 12 determines the vehicle 10 in the position information from the ground coordinates of the vehicle 10 in the position information based on the position information and the necessary information distance received in the immediately preceding step 210. A position advanced by the necessary information distance 30 in the traveling direction is defined as a reference position 35. Then, an aerial photograph in a region extending from the reference position 35 by a predetermined length 36 in the traveling direction and by a predetermined width 37 in the direction perpendicular to the traveling direction is used as the white line detection target image 20. ,read out.

なお、上述の所定長さ３６は、あらかじめ定められた固定値（例えば３０メートル）であってもよいし、直前のステップ２１０で受信した位置情報中の車速が大きくなるほど長くなるようになっていてもよい。   The predetermined length 36 described above may be a predetermined fixed value (for example, 30 meters), or becomes longer as the vehicle speed in the position information received in the immediately preceding step 210 increases. Also good.

また、基準位置３５に関しては、当該進行方向に必要情報距離３０だけ「真っ直ぐ」、進んだ位置としてもよいし、当該進行方向に必要情報距離３０だけ「道路に沿って」、進んだ位置としてもよい。後者の場合、センター側制御部２３は、車両１０が走行している道路の位置および形状の情報を取得する必要があるが、その情報は、例えば、空中写真記憶部２２中にあらかじめ道路情報を記録して利用することで、取得可能である。この道路情報には、空中写真中の道路と道路以外を区別する情報、および、各道路の位置および形状の情報を含むようになっている。   Further, the reference position 35 may be a straight position that is “straight” by the necessary information distance 30 in the traveling direction, or may be a position that is “along the road” by the necessary information distance 30 in the traveling direction. Good. In the latter case, the center-side control unit 23 needs to acquire information on the position and shape of the road on which the vehicle 10 is traveling. For example, the information on the road is stored in advance in the aerial photograph storage unit 22. It can be obtained by recording and using it. The road information includes information for distinguishing roads from roads other than roads and information on the position and shape of each road.

同様に、所定長さ３６についても、当該進行方向に「真っ直ぐ」伸びるようになっていてもよいし、当該進行方向に「道路に沿って」伸びるようになっていてもよい。   Similarly, the predetermined length 36 may also extend “straight” in the traveling direction, or may extend “along the road” in the traveling direction.

続いてステップ２３０では、直前のステップ２２０で読み出した白線検知対象画像２０に対して、白線検知の処理を行う。白線検知の方法としては、ハフ変換や色情報を用いた周知の方法を用いればよい。   Subsequently, in step 230, white line detection processing is performed on the white line detection target image 20 read in step 220. As a method for detecting a white line, a known method using Hough transform or color information may be used.

図５に、白線検知対象画像２０に白線検知が行われた結果の画像２０ａを示す。図５の例では、この画像２０ａ中で、４本の白線３１〜３４が検出されている。   FIG. 5 shows an image 20 a obtained as a result of white line detection performed on the white line detection target image 20. In the example of FIG. 5, four white lines 31 to 34 are detected in the image 20a.

続いてステップ２４０では、直前のステップ２３０の白線検知によって得られた画像２０ａ中の白線を、運転者視点の画像（以下、運転者視点画像という）に変換する。   Subsequently, in step 240, the white line in the image 20a obtained by the white line detection in the immediately preceding step 230 is converted into a driver viewpoint image (hereinafter referred to as a driver viewpoint image).

以下、この変換の詳細について説明する。まず、直前のステップ２１０で受信した位置情報およびディスプレイ情報に基づいて、運転者の視点位置の対地座標（例えば緯度、経度、高度）および、虚像面が占める対地座標範囲（例えば、緯度、経度、高度の範囲）を特定する。ここで、虚像面とは、図６に示すように、運転者の視点位置５５からＨＵＤ１４の表示面１４ａ越しに虚像が結像する面５６である。   Details of this conversion will be described below. First, based on the position information and display information received in the immediately preceding step 210, the ground coordinates (for example, latitude, longitude, altitude) of the driver's viewpoint position and the ground coordinate range occupied by the virtual image plane (for example, latitude, longitude, Identify altitude range). Here, the virtual image plane is a plane 56 on which a virtual image is formed from the viewpoint position 55 of the driver through the display surface 14a of the HUD 14, as shown in FIG.

より具体的には、運転者の視点位置の対地座標は、当該位置情報中の車両１０の対地座標（例えば緯度、経度、高度）と、当該位置情報中の車両１０の進行方向（例えば方位、仰角）と、当該ディスプレイ情報中の視点オフセットとに基づいて、算出する。   More specifically, the ground coordinates of the driver's viewpoint position are the ground coordinates (for example, latitude, longitude, altitude) of the vehicle 10 in the position information and the traveling direction (for example, azimuth, (Elevation angle) and the viewpoint offset in the display information.

ここで、視点オフセットは、車両の中心位置を原点とし、車両の前進方向をＸ軸方向とし、車両の天地方向をＺ軸方向とした車両固定座標系上の、運転者の視点位置５５の座標（ｘ、ｙ、ｚ）を示す情報である。視点オフセットは、あらかじめ車載システム１の記憶部１２に固定値として記録されており、上述の通り、ディスプレイ情報に含まれて車載システム１から情報処理センター２に送信される。   Here, the viewpoint offset is the coordinates of the driver's viewpoint position 55 on the vehicle fixed coordinate system in which the center position of the vehicle is the origin, the forward direction of the vehicle is the X-axis direction, and the vertical direction of the vehicle is the Z-axis direction. This is information indicating (x, y, z). The viewpoint offset is recorded as a fixed value in the storage unit 12 of the in-vehicle system 1 in advance, and is included in the display information and transmitted from the in-vehicle system 1 to the information processing center 2 as described above.

また、虚像面が占める対地座標範囲は、当該位置情報中の車両１０の対地座標と、当該位置情報中の車両１０の進行方向と、当該ディスプレイ情報中の虚像面範囲オフセットとに基づいて、算出する。   Further, the ground coordinate range occupied by the virtual image plane is calculated based on the ground coordinate of the vehicle 10 in the position information, the traveling direction of the vehicle 10 in the position information, and the virtual image plane range offset in the display information. To do.

ここで、虚像面範囲オフセットは、上記車両固定座標系上の、虚像面が占める座標（ｘ、ｙ、ｚ）の範囲を示す情報である。虚像面範囲オフセットは、あらかじめ車載システム１の記憶部１２に固定値として記録されており、上述の通り、ディスプレイ情報に含まれて車載システム１から情報処理センター２に送信される。   Here, the virtual image plane range offset is information indicating a range of coordinates (x, y, z) occupied by the virtual image plane on the vehicle fixed coordinate system. The virtual image plane range offset is recorded in advance as a fixed value in the storage unit 12 of the in-vehicle system 1 and is included in the display information and transmitted from the in-vehicle system 1 to the information processing center 2 as described above.

以上の処理により、視点位置５５の対地座標、および、虚像面５６の対地座標範囲が得られた。センター側制御部１２は、これらの量と、ステップ２３０で検知された白線３１〜３４が占める対地座標の各々に基づいて、白線３１〜３４を虚像面５６上のどの位置に結像させるべきかを計算する。   With the above processing, the ground coordinate of the viewpoint position 55 and the ground coordinate range of the virtual image plane 56 were obtained. The center side control unit 12 should image the white lines 31 to 34 on the virtual image plane 56 based on these amounts and the ground coordinates occupied by the white lines 31 to 34 detected in step 230. Calculate

例えば、図６に示すように、対地座標系において、白線上の１点Ｗの位置から、視点位置５５まで直線を引き、その直線と虚像面５６との交点を算出する。この交点は、虚像面５６上で当該点Ｗを結像させるべき位置となる。   For example, as shown in FIG. 6, in the ground coordinate system, a straight line is drawn from the position of one point W on the white line to the viewpoint position 55, and the intersection of the straight line and the virtual image plane 56 is calculated. This intersection is a position on the virtual image plane 56 where the point W should be imaged.

このようにして、白線３１〜３４を虚像面５６上のどの位置に結像させるべきかを特定した後は、この特定結果に従って、虚像面５６上の白線の画像２０ｂを作成する（図２０）。そして、この画像２０ｂを、運転者視点の画像とする。   After specifying in which position on the virtual image plane 56 the white lines 31 to 34 are to be formed in this way, the white line image 20b on the virtual image plane 56 is created in accordance with this specification result (FIG. 20). . And let this image 20b be a driver viewpoint image.

続いてステップ２５０では、直前のステップ２４０で得られた運転者視点画像２０ｂを上述の白線情報リクエスト５１に対する応答５２に含め、この応答５２を、通信部２１を用いて、車両（車載システム１）に送信する。ステップ２５０に続いては、ステップ２１０に戻り、再び白線情報リクエストを受信するまで待機する。   Subsequently, in step 250, the driver viewpoint image 20b obtained in the immediately preceding step 240 is included in the response 52 to the white line information request 51 described above. Send to. Following step 250, the process returns to step 210 and waits until a white line information request is received again.

一方、車載システム１では、車両側制御部１５が、上述のように送信された応答５２を、通信部１１を介して受信すると、ステップ１４０からステップ１５０に進み、受信した応答５２に含まれる運転者視点画像２０ａを、ＨＵＤ１４に表示させる。   On the other hand, in the in-vehicle system 1, when the vehicle-side control unit 15 receives the response 52 transmitted as described above via the communication unit 11, the process proceeds from step 140 to step 150, and the driving included in the received response 52. The person viewpoint image 20 a is displayed on the HUD 14.

するとＨＵＤ１４は、図８に示すように、運転者視点画像２０ａを、ウインドシールド４０の中央部やや運転席寄りに設けられた表示面１４ａに、投影する。その結果、運転者は、運転者視点画像２０ａに相当する虚像を、ウインドシールド４０上の上記表示面１４ａ越しに、運転者から見て表示面１４ａよりも前方側の所定位置に、視認することができる。そしてその虚像中の白線３１〜３４は、運転者から見て、道路上の実際の白線の位置に重畳される。ステップ１５０に続いては、ステップ１２０に戻る。   Then, as shown in FIG. 8, the HUD 14 projects the driver viewpoint image 20 a onto the display surface 14 a provided near the center of the windshield 40 and slightly closer to the driver's seat. As a result, the driver visually recognizes a virtual image corresponding to the driver viewpoint image 20a through the display surface 14a on the windshield 40 at a predetermined position ahead of the display surface 14a when viewed from the driver. Can do. The white lines 31 to 34 in the virtual image are superimposed on the position of the actual white line on the road as viewed from the driver. Following step 150, the process returns to step 120.

なお、車両側制御部１５がステップ１３０で白線情報リクエスト５１を送信してからステップ１４０で応答５２を受信するまでの時間は、例えば、１００ミリ秒程度である。この間にセンター側制御部１２は、白線検知対象画像２０を読み出して白線検知を行い、白線検知結果の画像２０ａから運転者視点画像２０ｂへの変換を行う必要がある。したがって、センター側制御部１２は、そのような処理を１０ミリ秒〜５０ミリ秒程度で実現可能な処理能力を有する装置としておく。   The time from when the vehicle-side control unit 15 transmits the white line information request 51 at step 130 to when the response 52 is received at step 140 is, for example, about 100 milliseconds. During this time, the center side control unit 12 needs to read the white line detection target image 20 to detect the white line, and convert the white line detection result image 20a to the driver viewpoint image 20b. Therefore, the center side control part 12 is set as the apparatus which has the processing capability which can implement | achieve such a process in about 10 milliseconds-50 milliseconds.

その後、車両１０の進行と共に、車両側制御部１５のステップ１２０〜１５０の処理と、センター側制御部１２のステップ２１０〜２５０の処理が繰り返される。これにより、運転者は、継続的に、自車両の前方のこれから走る道路上の白線を、表示部１４ａ越しに視認することができる。   Thereafter, as the vehicle 10 advances, the processing of steps 120 to 150 of the vehicle side control unit 15 and the processing of steps 210 to 250 of the center side control unit 12 are repeated. As a result, the driver can continuously visually recognize the white line on the road ahead of the host vehicle through the display unit 14a.

以上説明した通り、本実施形態の情報処理センター２は、車両１０の位置情報、必要情報距離、およびディスプレイ情報を車両１０から受信する（ステップ２１０）。そして、受信した位置情報および必要情報距離に基づいて、空中写真のうち、車両１０の位置から前方に必要情報距離だけ離れた位置３５を基準とする白線検知対象画像２０を読み出す（ステップ２２０）。そして、読み出した白線検知対象画像２０中の白線の位置を検知し（ステップ２２０）、検知した白線の位置を、ディスプレイ情報に基づいて、運転者視点の画像に変換し（ステップ２５０）、車両１０に送信する。そして車両側制御部１５は、受信した運転者視点の画像を、ＨＵＤ１４に表示させる。   As described above, the information processing center 2 of the present embodiment receives the position information of the vehicle 10, the necessary information distance, and the display information from the vehicle 10 (step 210). Then, based on the received position information and necessary information distance, the white line detection target image 20 is read out based on the position 35 of the aerial photograph that is separated from the position of the vehicle 10 by the necessary information distance ahead (step 220). Then, the position of the white line in the read white line detection target image 20 is detected (step 220), and the detected position of the white line is converted into an image of the driver viewpoint based on the display information (step 250). Send to. Then, the vehicle-side control unit 15 displays the received driver viewpoint image on the HUD 14.

このようにすることで、情報処理センター２が空中写真から検知した白線の情報を車両に通知し、車両がその情報を運転者に報知するので、雨天時の夜や霧が発生した時でも、白線の検知が容易になる。また、情報処理センター２が運転者視点の画像２０ｂを作成するので、車両側制御部１５の処理負荷が低減される。   By doing so, the information processing center 2 notifies the vehicle of the information of the white line detected from the aerial photograph, and the vehicle notifies the driver of the information, so even when it is raining at night or when fog occurs, White line detection is easy. Moreover, since the information processing center 2 creates the driver viewpoint image 20b, the processing load of the vehicle-side control unit 15 is reduced.

また、従来のように車載カメラを使った白線検知システムは、カメラと、高速な画像処理ができるＣＰＵが必要となるため、コストもかかっていたが、本実施形態の車載システム１は、カメラが必須ではなく、高速な画像処理も必須ではないので、車載システム１のコストを低減することができる。   In addition, a white line detection system using an in-vehicle camera as in the prior art requires a camera and a CPU capable of high-speed image processing, which is costly. However, the in-vehicle system 1 of the present embodiment has a camera. Since it is not essential and high-speed image processing is not essential, the cost of the vehicle-mounted system 1 can be reduced.

なお、上記実施形態では、車両側制御部１５が、図３のステップ１１０を実行することでリクエスト手段の一例として機能し、ステップ１４０、１５０を実行することで報知手段の一例として機能する。また、センター側制御部１２が、図３のステップ２１０を実行することで取得手段の一例として機能し、ステップ２２０を実行することで読み出し手段の一例として機能し、ステップ２３０を実行することで白線検知手段の一例として機能し、ステップ２４０、２５０を実行することで送信手段の一例として機能する。   In the above embodiment, the vehicle-side control unit 15 functions as an example of a request unit by executing Step 110 in FIG. 3, and functions as an example of a notification unit by executing Steps 140 and 150. Further, the center side control unit 12 functions as an example of an acquisition unit by executing Step 210 of FIG. 3, functions as an example of a reading unit by executing Step 220, and performs white lines by executing Step 230. It functions as an example of a detection unit, and functions as an example of a transmission unit by executing Steps 240 and 250.

（他の実施形態）
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。 (Other embodiments)
In addition, this invention is not limited to above-described embodiment, In the range described in the claim, it can change suitably. Further, the above embodiments are not irrelevant to each other, and can be combined as appropriate unless the combination is clearly impossible. In each of the above-described embodiments, it is needless to say that elements constituting the embodiment are not necessarily essential unless explicitly stated as essential and clearly considered essential in principle. Yes. Further, in each of the above embodiments, when numerical values such as the number, numerical value, quantity, range, etc. of the constituent elements of the embodiment are mentioned, it is clearly limited to a specific number when clearly indicated as essential and in principle. The number is not limited to the specific number except for the case. Further, in each of the above embodiments, when referring to the shape, positional relationship, etc. of the component, etc., the shape, unless otherwise specified and in principle limited to a specific shape, positional relationship, etc. It is not limited to the positional relationship or the like.

（変形例１）
例えば、上記実施形態では、センター側制御部１２は、白線検知結果の画像２０ａをステップ２３０で運転者視点画像２０ｂに変換し、ステップ２４０で運転者視点画像２０ｂを車載システム１に送信している。しかし、必ずしもこのようにする必要はない。 (Modification 1)
For example, in the above embodiment, the center-side control unit 12 converts the white line detection result image 20a into the driver viewpoint image 20b in step 230, and transmits the driver viewpoint image 20b to the in-vehicle system 1 in step 240. . However, this is not always necessary.

例えば、センター側制御部１２は白線検知結果の画像２０ａを車載システム１に送信し、車載システム１の車両側制御部１５は、受信した画像２０ａをそのままダッシュボードに埋め込まれたディスプレイ（図示せず）に表示させてもよい。   For example, the center side control unit 12 transmits the image 20a of the white line detection result to the in-vehicle system 1, and the vehicle side control unit 15 of the in-vehicle system 1 displays the received image 20a as it is embedded in a dashboard (not shown). ) May be displayed.

あるいは、車両側制御部１５は、画像２０ａと共に画像２０ａ中の白線の対地座標の情報をセンター側制御部１２から受信してもよい。この場合、車両側制御部１５は、受信した白線の対地座標の情報と、記憶部１２中のディスプレイ情報とに基づいて、画像２０ａから運転者視点画像２０ｂを作成し、作成した運転者視点画像２０ｂをＨＵＤ１４に表示させるようになっていてもよい。   Alternatively, the vehicle-side control unit 15 may receive information on the ground coordinates of the white line in the image 20a from the center-side control unit 12 together with the image 20a. In this case, the vehicle-side control unit 15 creates the driver viewpoint image 20b from the image 20a based on the received information on the ground coordinate of the white line and the display information in the storage unit 12, and the created driver viewpoint image 20b may be displayed on the HUD 14.

（変形例２）
また、上記実施形態では、ディスプレイ情報は、車載システム１から情報処理センター２に送信されるようになっている。しかし、車両１０のディスプレイ情報は、あらかじめ
情報処理センター２の記憶媒体に登録されているものを用いてもよい。その場合は、ディスプレイ情報は、車載システム１から情報処理センター２に送信される必要がなくなる。 (Modification 2)
In the above embodiment, the display information is transmitted from the in-vehicle system 1 to the information processing center 2. However, the display information of the vehicle 10 may be information registered in advance in the storage medium of the information processing center 2. In that case, the display information need not be transmitted from the in-vehicle system 1 to the information processing center 2.

（変形例３）
また、上記実施形態では、必要情報距離は、車載システム１から情報処理センター２に送信されるようになっている。しかし、車両１０の必要情報距離は、あらかじめ情報処理センター２の記憶媒体に登録されている固定値を用いてもよい。その場合は、必要情報距離は、車載システム１から情報処理センター２に送信される必要がなくなる。 (Modification 3)
In the above embodiment, the required information distance is transmitted from the in-vehicle system 1 to the information processing center 2. However, a fixed value registered in advance in the storage medium of the information processing center 2 may be used as the necessary information distance of the vehicle 10. In that case, the necessary information distance need not be transmitted from the in-vehicle system 1 to the information processing center 2.

１ 車載システム
２ 情報処理センター
１０ 車両
１４ ヘッドアップディスプレイ
１５ 車両側制御部（車載機） DESCRIPTION OF SYMBOLS 1 In-vehicle system 2 Information processing center 10 Vehicle 14 Head-up display 15 Vehicle-side control unit (in-vehicle device)

Claims (4)

車両（１０）の位置座標および進行方向の情報を取得する取得手段（２１０）と、
前記取得手段が取得した位置座標および進行方向の情報に基づいて、記憶部（２２）から、前記車両の前方の道路を上空から撮影した空中写真（２０）を読み出す読み出し手段（２２０）と、
前記読み出し手段が読み出した空中写真中の白線の位置を検知する白線検知手段（２３０）と、
前記白線検知手段が検知した前記白線の位置に基づいた情報を、前記車両に送信する送信手段（２４０、２５０）と、を備えた情報処理センター。 An acquisition means (210) for acquiring information on a position coordinate and a traveling direction of the vehicle (10);
Reading means (220) for reading out an aerial photograph (20) taken from the sky of the road ahead of the vehicle from the storage unit (22) based on the information of the position coordinates and the traveling direction acquired by the acquisition means;
White line detecting means (230) for detecting the position of the white line in the aerial photograph read by the reading means;
An information processing center comprising: transmission means (240, 250) for transmitting information based on the position of the white line detected by the white line detection means to the vehicle. 前記送信手段（２４０、２５０）は、前記白線検知手段が検知した前記白線の位置に基づいて、前記車両のヘッドアップディスプレイ（１４）に表示させる前記白線の画像を、前記車両の運転者が前記ヘッドアップディスプレイの表示面（１４ａ）を見たときに実際の前記白線の位置に重畳されるよう、作成し、作成した前記画像を、前記車両に送信することを特徴とする請求項１に記載の情報処理センター。   Based on the position of the white line detected by the white line detection means, the transmission means (240, 250) displays the white line image displayed on the head-up display (14) of the vehicle by the driver of the vehicle. The created image is transmitted so as to be superimposed on the actual position of the white line when the display surface (14a) of the head-up display is viewed, and the created image is transmitted to the vehicle. Information processing center. 前記取得手段は、前記車両から、前記車両の位置座標および進行方向の情報を受信することを特徴とする請求項１または２に記載の情報処理センター。   The information processing center according to claim 1, wherein the acquisition unit receives information on a position coordinate and a traveling direction of the vehicle from the vehicle. 車両（１０）に搭載される車載機であって、
前記車両の位置座標および進行方向の情報を情報処理センター（２）に送信するリクエスト手段（１１０）と、
前記送信手段が前記位置座標および前記進行方向の情報を送信した後、前記位置座標よりも前記進行方向側にある道路の白線の位置に基づいた情報を、前記情報処理センターから受信して前記車両の運転者に報知する報知手段（１４０、１５０）と、を備えた車載機。 An in-vehicle device mounted on a vehicle (10),
Request means (110) for transmitting information on the position coordinates and the traveling direction of the vehicle to the information processing center (2);
After the transmission means transmits the position coordinates and the information on the traveling direction, the vehicle receives information based on the position of the white line on the road located on the traveling direction side of the position coordinates from the information processing center. An in-vehicle device provided with informing means (140, 150) for informing the driver.
JP2013041785A 2013-03-04 2013-03-04 Information processing center and in-vehicle equipment Expired - Fee Related JP6083261B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013041785A JP6083261B2 (en) 2013-03-04 2013-03-04 Information processing center and in-vehicle equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013041785A JP6083261B2 (en) 2013-03-04 2013-03-04 Information processing center and in-vehicle equipment

Publications (2)

Publication Number Publication Date
JP2014170378A true JP2014170378A (en) 2014-09-18
JP6083261B2 JP6083261B2 (en) 2017-02-22

Family

ID=51692731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013041785A Expired - Fee Related JP6083261B2 (en) 2013-03-04 2013-03-04 Information processing center and in-vehicle equipment

Country Status (1)

Country Link
JP (1) JP6083261B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019112061A (en) * 2014-09-30 2019-07-11 株式会社Ｓｕｂａｒｕ Visual guidance device for vehicle
US11039087B2 (en) 2018-07-10 2021-06-15 Honda Motor Co., Ltd. Image processing apparatus and computer-readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252533A (en) * 2005-02-08 2006-09-21 Matsushita Electric Ind Co Ltd Navigation system and its terminal device, center device, queue detecting method, program for carrying out the same, and recording medium recording the program
US20080015775A1 (en) * 2006-07-12 2008-01-17 Hitachi, Ltd. Road exit modeling using aerial image
JP2010079449A (en) * 2008-09-24 2010-04-08 Fujitsu Ten Ltd Driving support device and driving support method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006252533A (en) * 2005-02-08 2006-09-21 Matsushita Electric Ind Co Ltd Navigation system and its terminal device, center device, queue detecting method, program for carrying out the same, and recording medium recording the program
US20080015775A1 (en) * 2006-07-12 2008-01-17 Hitachi, Ltd. Road exit modeling using aerial image
JP2010079449A (en) * 2008-09-24 2010-04-08 Fujitsu Ten Ltd Driving support device and driving support method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019112061A (en) * 2014-09-30 2019-07-11 株式会社Ｓｕｂａｒｕ Visual guidance device for vehicle
US11039087B2 (en) 2018-07-10 2021-06-15 Honda Motor Co., Ltd. Image processing apparatus and computer-readable storage medium

Also Published As

Publication number Publication date
JP6083261B2 (en) 2017-02-22

Similar Documents

Publication Publication Date Title
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
CN111284487B (en) Lane line display method and electronic device for executing same
US10885791B2 (en) Vehicle dispatch system, autonomous driving vehicle, and vehicle dispatch method
US9747800B2 (en) Vehicle recognition notification apparatus and vehicle recognition notification system
JP4556742B2 (en) Vehicle direct image display control apparatus and vehicle direct image display control program
CN106463051B (en) Traffic signal recognition device and traffic signal recognition method
KR20210087271A (en) Apparatus and method for displaying navigation information of three dimention augmented reality
JP5841235B2 (en) Navigation system
US11719932B2 (en) Head-up display
JP5898539B2 (en) Vehicle driving support system
US10922976B2 (en) Display control device configured to control projection device, display control method for controlling projection device, and vehicle
WO2016051447A1 (en) Information display control system and information display control method
JP2020016541A (en) Display controller for vehicles, display control method for vehicles, and control program
JP2009199532A (en) Intersection operation support system, on-vehicle equipment, and roadside device
CN110962744A (en) Vehicle blind area detection method and vehicle blind area detection system
JP2018200626A (en) Vehicle display control device and display control program
US11938945B2 (en) Information processing system, program, and information processing method
US10914594B2 (en) Method and apparatus for localizing and automatically operating a vehicle
JP6083261B2 (en) Information processing center and in-vehicle equipment
JP2017126213A (en) Intersection state check system, imaging device, on-vehicle device, intersection state check program and intersection state check method
US20220315028A1 (en) Vehicle control device, storage medium for storing computer program for vehicle control, and method for controlling vehicle
CN109774705B (en) Object detector configuration for human override based on automated vehicle control
US20230080630A1 (en) Traveling lane planning device, storage medium storing computer program for traveling lane planning, and traveling lane planning method
DK179976B1 (en) OBJECTIVE DETECTOR CONFIGURATION BASED ON HUMAN OVERVIEW OF AUTOMATED VEHICLE CONTROL
US20240059288A1 (en) Vehicle control device, storage medium storing computer program for vehicle control, and method for controlling vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170109

R151 Written notification of patent or utility model registration

Ref document number: 6083261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees