JP2014153867A - Travel support system, travel support method and computer program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a travel support system capable of accurately determining whether inattentive driving is performed by identifying an area viewed by a vehicle driver, a travel support method and a computer program.SOLUTION: The travel support system determines a presence/absence of a feature object on the basis of each image picked up by a first front camera 19 installed inside a vehicle and a second front camera 20 installed outside the vehicle and a sight line position of the vehicle driver. When determining the presence of a feature object, the system identifies where the feature object is located, inside the vehicle or at the front glass or outside the vehicle. Further, the system identifies where an area viewed by the driver is positioned, inside the vehicle or at the front glass or outside the vehicle on the basis of the sight line position of the driver and the detection result of the feature object, and gives guidance about the area viewed by the driver or his/her sight line position on the basis of the detection result of the feature object and the viewed area.

Description

本発明は、車両の乗員の視線に基づく案内を行うことによって走行の支援を行う走行支援システム、走行支援方法及びコンピュータプログラムに関する。   The present invention relates to a driving support system, a driving support method, and a computer program that support driving by performing guidance based on the line of sight of a vehicle occupant.

従来、車両において乗員に提供する情報は、車速やエンジン回転数等のごく限られた情報であった。しかしながら、近年、車載器の機能の向上に伴い車両において乗員に提供する情報が増加してり、例えば、目的地までの案内経路、渋滞情報、店舗等の施設情報等の提供が行われる。その結果、乗員が脇見運転を行う虞が向上することとなっていた。そこで、例えば特開２０１０−３９９３３号公報には、車内に設置されたカメラによって乗員の視線方向を検出するとともに風景のオプティカルフローを算出し、検出した乗員の視線方向の移動ベクトルとオプティカルフローが所定時間一致した場合に乗員が脇見運転していると判定し、警告を行う技術について提案されている。   Conventionally, information provided to passengers in a vehicle has been limited information such as vehicle speed and engine speed. However, in recent years, information provided to passengers in a vehicle has increased as the functions of the vehicle-mounted device have been improved, and for example, guidance routes to destinations, traffic jam information, facility information such as stores, and the like are provided. As a result, the possibility that the occupant would perform a side-view operation was improved. Therefore, for example, in Japanese Patent Application Laid-Open No. 2010-39933, an occupant's line-of-sight direction is detected by a camera installed in a vehicle and an optical flow of a landscape is calculated, and the detected movement vector and optical flow of the occupant's line-of-sight are predetermined. A technique has been proposed in which it is determined that an occupant is driving aside when the times coincide, and a warning is issued.

特開２０１０−３９９３３号公報（第４−６頁、図３、４）JP 2010-39933 A (page 4-6, FIGS. 3 and 4)

しかしながら、乗員の視線方向からでは乗員が見ている方向を特定することは可能であるが、実際に乗員が視線方向の先にある何を見ているのかまでは特定することができない。即ち、乗員の視線方向が仮に同じ進行方向前方にあったとしても、図１２に示すように乗員が車内に位置する物を見ている場合もあるし、フロントガラス上に位置する物を見ている場合もあるし、車外に位置する物を見ている場合もある。   However, although it is possible to identify the direction in which the occupant is looking from the sight line direction of the occupant, it is not possible to identify what the occupant is actually looking ahead of the sight line direction. That is, even if the sight line direction of the occupant is forward in the same traveling direction, the occupant may be looking at an object located in the vehicle as shown in FIG. There are cases where you are looking at things that are located outside the car.

ここで、上記特許文献１に記載の技術では、車両の乗員の視線方向については特定しているが、車両の乗員が視認する領域については特定していない。従って、車外を視認する必要がある状況にも関わらず、同一方向の車内やフロントガラスを視認している場合について、脇見運転と判定することができなかった。   Here, in the technique described in Patent Document 1, the line-of-sight direction of the vehicle occupant is specified, but the region that the vehicle occupant visually recognizes is not specified. Therefore, in spite of the situation where it is necessary to visually recognize the outside of the vehicle, it is not possible to determine that the driver is looking aside when the inside of the vehicle or the windshield in the same direction is visually recognized.

本発明は前記従来における問題点を解消するためになされたものであり、車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確に判定することを可能にした走行支援システム、走行支援方法及びコンピュータプログラムを提供することを目的とする。   The present invention has been made to solve the above-described conventional problems, and it is possible to accurately determine whether or not the driver is looking aside by specifying an area visually recognized by a vehicle occupant. An object of the present invention is to provide a travel support system, a travel support method, and a computer program.

前記目的を達成するため本願の請求項１に係る走行支援システム（１）は、車両（５５）の車内に設置された第１撮像装置（１９）により、前記車両の車内からフロントガラス（５２）方向を撮像する第１撮像手段（１３）と、前記車両のフロントガラス前方の車外に設置された第２撮像装置（２０）により、前記第１撮像装置と同一方向を撮像する第２撮像手段（１３）と、前記車両の乗員（５６）の視線が位置する視線位置を検出する視線位置検出手段（１３）と、前記第１撮像手段により撮像された第１撮像画像と前記第２撮像手段により撮像された第２撮像画像と前記車両の乗員の視線位置とに基づいて、前記乗員によって視認する対象となる特徴物の有無を判定するとともに、前記特徴物が有ると判定された場合に、該特徴物の位置を前記車両の車内、フロントガラス又は車外のいずれかに特定する特徴物検出手段（１３）と、前記車両の乗員の視線位置と前記特徴物検出手段の検出結果に基づいて、前記車両の乗員が視認する視認領域を前記車両の車内、フロントガラス又は車外のいずれかに特定する視認領域特定手段（１３）と、前記特徴物検出手段の検出結果と前記視認領域特定手段により特定された前記車両の乗員の視認領域とに基づいて、前記乗員の視認領域又は視線位置の案内を行う案内手段（１３）と、を有することを特徴とする。
尚、「特徴物」とは、乗員によって視認する対象となるものであり、例えば人、他車両、フロントガラスへの投影画像、メータ類、車載器等が該当する。 In order to achieve the above object, a driving support system (1) according to claim 1 of the present application uses a first imaging device (19) installed in a vehicle (55) to drive a windshield (52) from the inside of the vehicle. First imaging means (13) for imaging the direction and second imaging means (20) installed outside the vehicle in front of the windshield of the vehicle for imaging in the same direction as the first imaging apparatus ( 13), line-of-sight position detection means (13) for detecting the line-of-sight position where the line-of-sight of the vehicle occupant (56) is located, the first image picked up by the first image pickup means, and the second image pickup means Based on the captured second captured image and the line-of-sight position of the occupant of the vehicle, the presence / absence of a feature to be visually recognized by the occupant is determined, and when it is determined that the feature is present, The position of the feature On the basis of the detection position of the vehicle occupant's line of sight and the detection result of the feature detection means. The visual recognition area specifying means (13) for specifying the visual recognition area to be visually recognized as one of the inside, the windshield, or the outside of the vehicle, the detection result of the feature object detection means, and the vehicle specified by the visual recognition area specifying means. Guide means (13) for guiding the occupant's visual recognition area or line-of-sight position based on the occupant's visual recognition area.
The “characteristic object” is an object to be visually recognized by a passenger, and corresponds to, for example, a person, another vehicle, a projection image on a windshield, meters, an on-vehicle device, and the like.

また、請求項２に係る走行支援システム（１）は、請求項１に記載の走行支援システムにおいて、前記第１撮像装置（１９）の撮像範囲は前記第２撮像装置（２０）の撮像範囲を含み、前記第１撮像装置と前記第２撮像装置の撮像範囲の非共通領域（７４）に前記特徴物の候補となる特徴物候補の画像を含む場合において、前記特徴物候補の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合には、前記特徴物検出手段（１３）は前記特徴物候補が前記特徴物として前記車両の車内に有ることを検出するともに、前記視認領域特定手段（１３）は前記視認領域が前記車両の車内に有ると特定し、前記特徴物候補の位置と前記乗員の視線位置が一致しない、又は両者の変位が異なる場合には、前記特徴物検出手段は前記特徴物が無いと判定することを特徴とする。   The driving support system (1) according to claim 2 is the driving support system according to claim 1, wherein the imaging range of the first imaging device (19) is the imaging range of the second imaging device (20). And when the image of the feature candidate that is a candidate for the feature is included in the non-common area (74) of the imaging range of the first imaging device and the second imaging device, the position of the feature candidate and the occupant When the line-of-sight positions coincide with each other and the displacements are the same, the feature detection means (13) detects that the feature candidate is in the vehicle as the feature, and The visual recognition area specifying means (13) specifies that the visual recognition area is in the vehicle, and if the position of the feature candidate and the sight line position of the occupant do not coincide with each other, or the displacements of the two differ, The object detecting means is the above feature. And judging that there is no.

また、請求項３に係る走行支援システム（１）は、請求項１に記載の走行支援システムにおいて、前記第１撮像装置（１９）の撮像範囲は前記第２撮像装置（２０）の撮像範囲を含み、前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域（７３）であって、前記第１撮像画像のみに前記特徴物の候補となる特徴物候補の画像を含む場合において、前記特徴物候補の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合には、前記特徴物検出手段（１３）は前記特徴物候補が前記特徴物として前記車両のフロントガラスに有ることを検出するともに、前記視認領域特定手段は（１３）前記視認領域が前記車両のフロントガラスに有ると特定し、前記特徴物候補の位置と前記乗員の視線位置が一致しない、又は両者の変位が異なる場合には、前記特徴物検出手段は前記特徴物が無いと判定することを特徴とする。   The driving support system (1) according to claim 3 is the driving support system according to claim 1, wherein an imaging range of the first imaging device (19) is an imaging range of the second imaging device (20). Including a common region (73) of the imaging range of the first imaging device and the second imaging device, and only the first captured image includes an image of a feature candidate that is a candidate for the feature, When the position of the feature candidate matches the sight line position of the occupant and the displacement of both is the same, the feature detection means (13) uses the feature candidate as the feature and the front of the vehicle. The visual recognition area specifying means (13) specifies that the visual recognition area is on a windshield of the vehicle, and the position of the feature object candidate does not coincide with the line of sight of the occupant. The change between the two If different, the characteristic object detecting means and judging that there is no said characteristic object.

また、請求項４に係る走行支援システム（１）は、請求項１に記載の走行支援システムにおいて、前記第１撮像装置（１９）の撮像範囲は前記第２撮像装置（２０）の撮像範囲を含み、前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域（７３）であって、前記第１撮像画像及び前記第２撮像画像の両方に前記特徴物の候補となる特徴物候補の画像を含む場合において、前記特徴物候補の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合には、前記特徴物検出手段は前記特徴物候補が前記特徴物として前記車両の車外に有ることを検出するともに、前記視認領域特定手段は前記視認領域が前記車両の車外に有ると特定し、前記特徴物候補の位置と前記乗員の視線位置が一致しない、又は両者の変位が異なる場合には、前記特徴物検出手段は前記特徴物が無いと判定することを特徴とする。   The driving support system (1) according to claim 4 is the driving support system according to claim 1, wherein an imaging range of the first imaging device (19) is an imaging range of the second imaging device (20). A feature region candidate that is a common region (73) of the imaging range of the first imaging device and the second imaging device and that is a candidate for the feature in both the first captured image and the second captured image When the feature candidate position coincides with the occupant's line-of-sight position and the displacements are the same, the feature detection means detects the feature candidate as the feature object. While detecting that the vehicle is outside the vehicle, the visual recognition area specifying means specifies that the visual recognition area is outside the vehicle, and the position of the feature candidate and the line of sight of the occupant do not match, or both When the displacement is different , The characteristic object detecting means and judging that there is no said characteristic object.

また、請求項５に係る走行支援システム（１）は、請求項１乃至請求項４のいずれかに記載の走行支援システムにおいて、前記案内手段（１３）は、前記特徴物検出手段（１３）により前記特徴物が前記車両の車内又はフロントガラスに有ると検出された場合であって、前記特徴物が検出された後に前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である状態が継続する場合に、前記乗員に車外を視認するように案内することを特徴とする。   The driving support system (1) according to claim 5 is the driving support system according to any one of claims 1 to 4, wherein the guide means (13) is provided by the feature object detecting means (13). It is a case where it is detected that the feature is in a vehicle or a windshield of the vehicle, and after the feature is detected, the position of the feature coincides with the position of the sight line of the occupant, and the displacement of both is When the same state continues, the occupant is guided to visually recognize the outside of the vehicle.

また、請求項６に係る走行支援システム（１）は、請求項１乃至請求項４のいずれかに記載の走行支援システムにおいて、前記車両（５５）の位置の変位を検出する車両位置検出手段（１３）を有し、前記案内手段（１３）は、前記特徴物検出手段（１３）により前記特徴物が前記車両の車外に有ると検出された場合であって、前記特徴物が検出された後に前記乗員の視線位置が前記車両の位置の変位に伴って変位していない場合に、前記乗員に前記特徴物を視認するように案内することを特徴とする。   A driving support system (1) according to a sixth aspect of the present invention is the driving support system according to any one of the first to fourth aspects, wherein the vehicle position detecting means detects a displacement of the position of the vehicle (55). 13), and the guide means (13) is a case where the feature detection means (13) detects that the feature is outside the vehicle, and after the feature is detected. When the sight line position of the occupant is not displaced with the displacement of the position of the vehicle, the occupant is guided to visually recognize the feature.

また、請求項７に係る走行支援方法は、車両（５５）の車内に設置された第１撮像装置（１９）により、前記車両の車内からフロントガラス（５２）方向を撮像する第１撮像ステップと、前記車両のフロントガラス前方の車外に設置された第２撮像装置（２０）により、前記第１撮像装置と同一方向を撮像する第２撮像ステップと、前記車両の乗員（５６）の視線が位置する視線位置を検出する視線位置検出ステップと、前記第１撮像ステップにより撮像された第１撮像画像と前記第２撮像ステップにより撮像された第２撮像画像と前記車両の乗員の視線位置とに基づいて、前記乗員によって視認する対象となる特徴物の有無を判定するとともに、前記特徴物が有ると判定された場合に、該特徴物の位置を前記車両の車内、フロントガラス又は車外のいずれかに特定する特徴物検出ステップと、前記車両の乗員の視線位置と前記特徴物検出ステップの検出結果に基づいて、前記車両の乗員が視認する視認領域を前記車両の車内、フロントガラス又は車外のいずれかに特定する視認領域特定ステップと、前記車両の乗員の視線位置と前記特徴物検出ステップの検出結果と前記視認領域特定ステップにより特定された前記車両の乗員の視認領域とに基づいて、前記乗員の視認領域又は視線位置の案内を行う案内ステップと、を有することを特徴とする。   According to a seventh aspect of the present invention, there is provided a driving support method according to a first imaging step of imaging the windshield (52) direction from the inside of the vehicle by the first imaging device (19) installed in the vehicle (55). The second imaging device (20) installed outside the vehicle in front of the windshield of the vehicle, the second imaging step of imaging the same direction as the first imaging device, and the line of sight of the vehicle occupant (56) A line-of-sight position detecting step for detecting a line-of-sight position, a first captured image captured by the first imaging step, a second captured image captured by the second imaging step, and a line-of-sight position of an occupant of the vehicle. Determining whether or not there is a feature to be visually recognized by the occupant, and if it is determined that the feature is present, the position of the feature is determined in the interior of the vehicle, on the windshield or Based on the feature detection step that identifies the outside of the vehicle, the line-of-sight position of the occupant of the vehicle, and the detection result of the feature detection step, the visual recognition area that is visible to the occupant of the vehicle Or a visual recognition area specifying step that specifies either outside the vehicle, a line-of-sight position of the occupant of the vehicle, a detection result of the feature detection step, and a visual recognition area of the occupant of the vehicle specified by the visual recognition area specifying step. And a guidance step for guiding the occupant's visual recognition area or line-of-sight position.

更に、請求項８に係るコンピュータプログラムは、コンピュータに、車両（５５）の車内に設置された第１撮像装置（１９）により、前記車両の車内からフロントガラス（５２）方向を撮像する第１撮像機能と、前記車両のフロントガラス前方の車外に設置された第２撮像装置（２０）により、前記第１撮像装置と同一方向を撮像する第２撮像機能と、前記車両の乗員（５６）の視線が位置する視線位置を検出する視線位置検出機能と、前記第１撮像機能により撮像された第１撮像画像と前記第２撮像機能により撮像された第２撮像画像と前記車両の乗員の視線位置とに基づいて、前記乗員によって視認する対象となる特徴物の有無を判定するとともに、前記特徴物が有ると判定された場合に、該特徴物の位置を前記車両の車内、フロントガラス又は車外のいずれかに特定する特徴物検出機能と、前記車両の乗員の視線位置と前記特徴物検出機能の検出結果に基づいて、前記車両の乗員が視認する視認領域を前記車両の車内、フロントガラス又は車外のいずれかに特定する視認領域特定機能と、前記車両の乗員の視線位置と前記特徴物検出機能の検出結果と前記視認領域特定機能により特定された前記車両の乗員の視認領域とに基づいて、前記乗員の視認領域又は視線位置の案内を行う案内機能と、を実行させることを特徴とする。   Further, the computer program according to claim 8 is a first image pickup for picking up an image of the windshield (52) direction from the inside of the vehicle by the first image pickup device (19) installed in the vehicle (55). Functions, a second imaging function for imaging the same direction as the first imaging device by the second imaging device (20) installed outside the vehicle in front of the windshield of the vehicle, and the line of sight of the occupant (56) of the vehicle A line-of-sight position detection function for detecting a line-of-sight position, a first captured image captured by the first imaging function, a second captured image captured by the second imaging function, and the line-of-sight position of the vehicle occupant And determining whether there is a feature to be visually recognized by the occupant, and if it is determined that the feature is present, the position of the feature is determined in the vehicle interior, the front Based on the feature detection function that identifies either the vehicle or the outside of the vehicle, the line-of-sight position of the vehicle occupant and the detection result of the feature detection function, the visual recognition area that the vehicle occupant visually recognizes inside the vehicle, A visual recognition area specifying function for specifying either the windshield or the outside of the vehicle, a line of sight of the vehicle occupant, a detection result of the feature detection function, and a visual recognition area for the vehicle occupant specified by the visual recognition area specifying function; And a guidance function for guiding the occupant's visual recognition area or line-of-sight position.

前記構成を有する請求項１に記載の走行支援システムによれば、車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確に判定することが可能となる。特に、第１撮像装置と第２撮像装置とをそれぞれ車内と車外に設置することによって、フロントガラスに特徴物が位置することや、乗員の視認領域がフロントガラスにあることについても検出することが可能となる。その結果、例えば車外を視認する必要がある状況にも関わらず、乗員が車内やフロントガラスを視認している場合について脇見運転と判定し、是正することが可能となる。   According to the driving support system according to claim 1 having the above-described configuration, it is possible to accurately determine whether or not the driver is looking aside by specifying a region visually recognized by a vehicle occupant. In particular, by installing the first imaging device and the second imaging device respectively inside and outside the vehicle, it is possible to detect that a feature is located on the windshield and that the sighting area of the occupant is on the windshield. It becomes possible. As a result, for example, in the case where it is necessary to visually recognize the outside of the vehicle, it is possible to determine that the driver is looking aside and correct the case where the passenger is viewing the inside of the vehicle or the windshield.

また、請求項２に記載の走行支援システムによれば、第１撮像装置と第２撮像装置の撮像範囲の非共通領域に特徴物候補があって、特徴物候補の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合には、特徴物候補が特徴物として車両の車内に有ることを検出するともに、乗員の視認領域が車両の車内に有ると特定し、特徴物候補の位置と乗員の視線位置が一致しない、又は両者の変位が異なる場合には、特徴物が無いと判定するので、特徴物候補の位置と乗員の視線位置とを比較することによって、特徴物の有無や乗員の視認領域を適切に特定することが可能となる。   According to the driving support system of claim 2, there is a feature candidate in a non-common area of the imaging range of the first imaging device and the second imaging device, and the position of the feature candidate and the sight line position of the occupant are If they coincide with each other and the displacements are the same, it is detected that the feature candidate is in the vehicle as a feature, and the sighting area of the occupant is specified to be in the vehicle. If the position of the vehicle and the sight line position of the occupant do not match, or the displacements of the two are different, it is determined that there is no feature, so by comparing the position of the feature object candidate with the sight line position of the occupant, The presence / absence and the occupant's visual recognition area can be appropriately specified.

また、請求項３に記載の走行支援システムによれば、第１撮像装置と第２撮像装置の撮像範囲の共通領域に特徴物候補があって、第１撮像装置のみによって特徴物候補が撮像され、特徴物候補の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合には、特徴物候補が特徴物として車両のフロントガラスに有ることを検出するともに、乗員の視認領域が車両のフロントガラスに有ると特定し、特徴物候補の位置と乗員の視線位置が一致しない、又は両者の変位が異なる場合には、特徴物が無いと判定するので、特徴物候補の位置と乗員の視線位置とを比較することによって、特徴物の有無や乗員の視認領域を適切に特定することが可能となる。   According to the driving support system of claim 3, there is a feature candidate in the common area of the imaging range of the first imaging device and the second imaging device, and the feature candidate is imaged only by the first imaging device. When the position of the feature candidate matches the sight line position of the occupant and the displacement of both is the same, it is detected that the feature candidate is on the windshield of the vehicle as the feature and If the position of the candidate for feature does not match the position of the sight line of the occupant, or the displacement of the two is different, it is determined that there is no feature. By comparing with the sight line position of the occupant, it is possible to appropriately specify the presence / absence of a characteristic object and the sighted area of the occupant.

また、請求項４に記載の走行支援システムによれば、第１撮像装置と第２撮像装置の撮像範囲の共通領域に特徴物候補があって、第１撮像装置と第２撮像装置によって特徴物候補が撮像され、特徴物候補の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合には、特徴物候補が特徴物として車両の車外に有ることを検出するともに、乗員の視認領域が車両の車外に有ると特定し、特徴物候補の位置と乗員の視線位置が一致しない、又は両者の変位が異なる場合には、特徴物が無いと判定するので、特徴物候補の位置と乗員の視線位置とを比較することによって、特徴物の有無や乗員の視認領域を適切に特定することが可能となる。   According to the driving support system of the fourth aspect, there is a candidate for a feature in the common area of the imaging range of the first imaging device and the second imaging device, and the feature is detected by the first imaging device and the second imaging device. If the candidate is imaged, and the position of the feature candidate matches the occupant's line-of-sight position and the displacement of both is the same, it is detected that the feature candidate is outside the vehicle as a feature and the occupant If the position of the feature candidate does not match the position of the occupant's line of sight, or the displacement of the two is different, it is determined that there is no feature. By comparing the position and the sight line position of the occupant, it is possible to appropriately specify the presence / absence of a characteristic object and the occupant's visual recognition area.

また、請求項５に記載の走行支援システムによれば、特徴物が車両の車内又はフロントガラスに有ると検出された場合であって、特徴物が検出された後に特徴物の位置と乗員の視線位置が一致し、且つ両者の変位が同一である状態が継続する場合に、乗員に車外を視認するように案内するので、乗員が進行方向前方の車外を視認せずに車載器や表示画面等を視認している場合に、車外を視認させることが可能となる。その結果、脇見運転を防止し、適切に走行させることが可能となる。   According to the driving support system of the fifth aspect, when the feature is detected in the vehicle or on the windshield of the vehicle, the position of the feature and the line of sight of the occupant after the feature is detected. When the position is consistent and the displacement of both is the same, the occupant is guided to see the outside of the vehicle, so that the occupant does not see the outside of the vehicle ahead in the direction of travel. It is possible to visually recognize the outside of the vehicle. As a result, it is possible to prevent the driver from looking aside and travel appropriately.

また、請求項６に記載の走行支援システムによれば、特徴物が車両の車外に有ると検出された場合であって、特徴物が検出された後に乗員の視線位置が車両の位置の変位に伴って変位していない場合に、乗員に前記特徴物を視認するように案内するので、乗員が視認する必要がある車外の特徴物を視認していない場合に、特徴物を視認させることが可能となる。その結果、車両の走行に影響を及ぼす虞のある物の存在を乗員に事前に把握させ、適切に走行させることが可能となる。   According to the driving support system of the sixth aspect, when it is detected that the characteristic object is outside the vehicle, the sight line position of the occupant changes to the displacement of the vehicle position after the characteristic object is detected. When the feature is not displaced, the occupant is guided to visually recognize the feature, so that the feature can be visually recognized when the occupant does not visually recognize the feature outside the vehicle. It becomes. As a result, it is possible to allow the occupant to know in advance the presence of an object that may affect the traveling of the vehicle and to travel appropriately.

また、請求項７に記載の走行支援方法によれば、車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確に判定することが可能となる。特に、第１撮像装置と第２撮像装置とをそれぞれ車内と車外に設置することによって、フロントガラスに特徴物が位置することや、乗員の視認領域がフロントガラスにあることについても検出することが可能となる。その結果、例えば車外を視認する必要がある状況にも関わらず、乗員が車内やフロントガラスを視認している場合について脇見運転と判定し、是正することが可能となる。   In addition, according to the driving support method of the seventh aspect, it is possible to accurately determine whether or not the driver is looking aside by specifying the region visually recognized by the vehicle occupant. In particular, by installing the first imaging device and the second imaging device respectively inside and outside the vehicle, it is possible to detect that a feature is located on the windshield and that the sighting area of the occupant is on the windshield. It becomes possible. As a result, for example, in the case where it is necessary to visually recognize the outside of the vehicle, it is possible to determine that the driver is looking aside and correct the case where the passenger is viewing the inside of the vehicle or the windshield.

更に、請求項８に記載のコンピュータプログラムによれば、車両の乗員が視認する領域を特定させることによって、脇見運転が行われているか否かを正確に判定させることが可能となる。特に、第１撮像装置と第２撮像装置とをそれぞれ車内と車外に設置することによって、フロントガラスに特徴物が位置することや、乗員の視認領域がフロントガラスにあることについても検出することが可能となる。その結果、例えば車外を視認する必要がある状況にも関わらず、乗員が車内やフロントガラスを視認している場合について脇見運転と判定し、是正することが可能となる。   Furthermore, according to the computer program according to the eighth aspect, it is possible to accurately determine whether or not the driver is looking aside by specifying the region visually recognized by the vehicle occupant. In particular, by installing the first imaging device and the second imaging device respectively inside and outside the vehicle, it is possible to detect that a feature is located on the windshield and that the sighting area of the occupant is on the windshield. It becomes possible. As a result, for example, in the case where it is necessary to visually recognize the outside of the vehicle, it is possible to determine that the driver is looking aside and correct the case where the passenger is viewing the inside of the vehicle or the windshield.

本実施形態に係るナビゲーション装置を示したブロック図である。It is the block diagram which showed the navigation apparatus which concerns on this embodiment. 車両のフロントガラス周辺を示した図である。It is the figure which showed the windshield periphery of a vehicle. 車両に設置された第１フロントカメラ、第２フロントカメラ及びドライバカメラを示した図である。It is the figure which showed the 1st front camera, the 2nd front camera, and driver camera which were installed in the vehicle. 第１フロントカメラによる撮像範囲と第２フロントカメラによる撮像範囲とを比較した図である。It is the figure which compared the imaging range by a 1st front camera, and the imaging range by a 2nd front camera. 本実施形態に係る走行支援処理プログラムのフローチャートである。It is a flowchart of the driving assistance processing program concerning this embodiment. 初期画像処理のサブ処理プログラムのフローチャートである。It is a flowchart of a sub-processing program for initial image processing. 共通領域と非共通領域を説明した図である。It is a figure explaining the common area | region and the non-common area | region. 視線位置の検出方法について説明した図である。It is a figure explaining the detection method of a gaze position. 視認領域及び特徴物位置特定処理のサブ処理プログラムのフローチャートである。It is a flowchart of the sub process program of a visual recognition area | region and a characteristic object position specific process. 視認領域及び特徴物位置特定処理のサブ処理プログラムのフローチャートである。It is a flowchart of the sub process program of a visual recognition area | region and a characteristic object position specific process. 警告処理のサブ処理プログラムのフローチャートである。It is a flowchart of a sub-processing program of warning processing. 従来技術の問題点について説明した図である。It is a figure explaining the problem of the prior art.

以下、本発明に係る走行支援システムについてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。   Hereinafter, a driving support system according to the present invention will be described in detail with reference to the drawings based on an embodiment embodied in a navigation device. First, a schematic configuration of the navigation device 1 according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a navigation device 1 according to this embodiment.

図１に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ダッシュボード上に設置され車両のフロントガラスに車両周辺の地図等の各種映像を投影するヘッドアップディスプレイ（ＨＵＤ）１５と、経路案内に関する音声ガイダンスや脇見運転に関する案内等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、から構成される。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置された第１フロントカメラ１９、第２フロントカメラ２０及びドライバカメラ２１が接続されている。   As shown in FIG. 1, the navigation device 1 according to the present embodiment includes a current position detection unit 11 that detects a current position of a vehicle on which the navigation device 1 is mounted, a data recording unit 12 that records various data, Based on the input information, the navigation ECU 13 that performs various arithmetic processes, the operation unit 14 that receives operations from the user, and various images such as maps around the vehicle installed on the dashboard of the vehicle are projected. A head-up display (HUD) 15, a speaker 16 that outputs voice guidance related to route guidance and guidance related to side-view driving, a DVD drive 17 that reads a DVD as a storage medium, a probe center and VICS (registered trademark: Vehicle Information) and Communication System) A communication module that communicates with an information center such as a center. With Lumpur 18, it consists of. The navigation device 1 is connected to a first front camera 19, a second front camera 20, and a driver camera 21 that are installed on a vehicle on which the navigation device 1 is mounted via an in-vehicle network such as CAN. .

以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２２、車速センサ２３、ステアリングセンサ２４、ジャイロセンサ２５等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２３は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。 Below, each component which comprises the navigation apparatus 1 is demonstrated in order.
The current position detection unit 11 includes a GPS 22, a vehicle speed sensor 23, a steering sensor 24, a gyro sensor 25, and the like, and can detect the current vehicle position, direction, vehicle traveling speed, current time, and the like. . Here, in particular, the vehicle speed sensor 23 is a sensor for detecting a moving distance and a vehicle speed of the vehicle, generates a pulse according to the rotation of the driving wheel of the vehicle, and outputs a pulse signal to the navigation ECU 13. And navigation ECU13 calculates the rotational speed and moving distance of a driving wheel by counting the generated pulse. Note that the navigation device 1 does not have to include all the four types of sensors, and the navigation device 1 may include only one or more types of sensors.

また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２をハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクにより構成しても良い。   The data recording unit 12 reads an external storage device and a hard disk (not shown) as a recording medium, a map information DB 31 and a captured image DB 32 recorded on the hard disk, a predetermined program, and the like, and stores predetermined data on the hard disk. And a recording head (not shown) as a driver for writing. The data recording unit 12 may be configured by a memory card, an optical disk such as a CD or a DVD, instead of the hard disk.

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等が記憶された記憶手段である。   Here, the map information DB 31 includes, for example, link data relating to roads (links), node data relating to node points, facility data relating to facilities, search data used for route search processing, map display data for displaying a map, and each intersection. This is a storage means for storing intersection data regarding, search data for searching points, and the like.

また、撮像画像ＤＢ３２は、第１フロントカメラ１９、第２フロントカメラ２０及びドライバカメラ２１によって撮像された撮像画像が格納される記憶手段である。
そして、ナビゲーションＥＣＵ１３は、撮像画像ＤＢ３２に格納された撮像画像に基づいて、車内、フロントガラス又は車外にあって運転者の視認対象となる特徴物や運転者の視線位置等を検出する。更に、検出された前方特徴物や運転者の視線位置に基づいて運転者が視認する領域（以下、視認領域という）についても特定する。 The captured image DB 32 is a storage unit that stores captured images captured by the first front camera 19, the second front camera 20, and the driver camera 21.
Then, the navigation ECU 13 detects, based on the captured image stored in the captured image DB 32, a feature that is in the vehicle, the windshield, or outside the vehicle and is a visual recognition target of the driver, a driver's line-of-sight position, and the like. Furthermore, an area (hereinafter referred to as a visual recognition area) that the driver visually recognizes based on the detected forward feature and the driver's line-of-sight position is also specified.

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図５参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を構成する。例えば、第１撮像手段は、車両の車内に設置された第１フロントカメラ１９により、車両の車内からフロントガラス方向を撮像する。第２撮像手段は、車両のフロントガラス前方の車外に設置された第２フロントカメラ２０により、第１フロントカメラ１９と同一方向を撮像する。視線位置検出手段は、車両の乗員の視線が位置する視線位置を検出する。特徴物検出手段は、第１フロントカメラ１９により撮像された撮像画像と第２フロントカメラ２０により撮像された撮像画像と車両の乗員の視線位置とに基づいて、乗員によって視認する対象となる特徴物の有無を判定するとともに、特徴物が有ると判定された場合に、該特徴物の位置を車両の車内、フロントガラス又は車外のいずれかに特定する。視認領域特定手段は、車両の乗員の視線位置と特徴物検出手段の検出結果に基づいて、車両の乗員が視認する視認領域を車両の車内、フロントガラス又は車外のいずれかに特定する。案内手段は、特徴物検出手段の検出結果と視認領域特定手段により特定された車両の乗員の視認領域とに基づいて、乗員の視認領域又は視線位置の案内を行う。車両位置検出手段は、車両の位置の変位を検出する。   On the other hand, the navigation ECU (Electronic Control Unit) 13 is an electronic control unit that controls the entire navigation device 1. The CPU 41 as an arithmetic device and a control device, and a working memory when the CPU 41 performs various arithmetic processes. Read out from the ROM 43 and the ROM 43, in which a RAM 42 that stores route data when the route is searched, a control program, a driving support processing program (see FIG. 5) described later, and the like are recorded. And an internal storage device such as a flash memory 44 for storing the program. The navigation ECU 13 constitutes various means as processing algorithms. For example, the first imaging means images the windshield direction from the inside of the vehicle with the first front camera 19 installed in the inside of the vehicle. The second imaging means images the same direction as the first front camera 19 by the second front camera 20 installed outside the vehicle in front of the vehicle windshield. The line-of-sight position detection means detects the line-of-sight position where the line of sight of the vehicle occupant is located. The feature detection means is a feature to be visually recognized by the occupant based on the captured image captured by the first front camera 19, the captured image captured by the second front camera 20, and the line-of-sight position of the vehicle occupant. In addition, when it is determined that there is a feature, the position of the feature is specified as one of the inside of the vehicle, the windshield, or the outside of the vehicle. The visual recognition area specifying means specifies the visual recognition area visually recognized by the vehicle occupant as one of the interior of the vehicle, the windshield, or the exterior of the vehicle based on the line-of-sight position of the vehicle occupant and the detection result of the feature object detection means. The guiding means guides the occupant's visual recognition area or line-of-sight position based on the detection result of the feature object detection means and the visual recognition area of the occupant of the vehicle specified by the visual recognition area specifying means. The vehicle position detecting means detects a displacement of the position of the vehicle.

操作部１４は、走行開始地点としての出発地、走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４はハンドルに設けたタッチパッドによって構成することもできる。また、マイクと音声認識装置によって構成することもできる。   The operation unit 14 is operated when inputting a starting point as a travel start point and a destination as a travel end point, and includes a plurality of operation switches (not shown) such as various keys and buttons. Then, the navigation ECU 13 performs control to execute various corresponding operations based on switch signals output by pressing the switches. The operation unit 14 can also be configured by a touch pad provided on the handle. Moreover, it can also be comprised with a microphone and a speech recognition apparatus.

また、ＨＵＤ１５は、図２に示すようにダッシュボード５１上に設置されており、映像の投射方向が運転席の前方のフロントガラス５２の下縁付近となるように設定されている。そして、フロントガラス５２の所定領域に対して各種投影画像５３を表示する。尚、投影画像５３としては、メニュー画面、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等がある。   Further, the HUD 15 is installed on the dashboard 51 as shown in FIG. 2, and is set so that the image projection direction is in the vicinity of the lower edge of the windshield 52 in front of the driver's seat. Various projection images 53 are displayed on a predetermined area of the windshield 52. The projected image 53 includes a menu screen, a map image including a road, traffic information, operation guidance, an operation menu, key guidance, a guidance route from the departure point to the destination, guidance information along the guidance route, news, There are weather forecast, time, mail, TV program and so on.

また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、本実施形態では特に脇見運転に関する案内についても出力する。   The speaker 16 outputs voice guidance for guiding traveling along the guidance route based on an instruction from the navigation ECU 13 and traffic information guidance. Further, in the present embodiment, guidance relating to aside driving is also output.

また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。   The DVD drive 17 is a drive that can read data recorded on a recording medium such as a DVD or a CD. Based on the read data, music and video are reproduced, the map information DB 31 is updated, and the like.

また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。   The communication module 18 is a communication device for receiving traffic information composed of information such as traffic jam information, regulation information, and traffic accident information transmitted from a traffic information center, for example, a VICS center or a probe center. For example, a mobile phone or DCM is applicable.

また、第１フロントカメラ１９は、図３に示すようにナビゲーション装置１が搭載された車両５５の天井に、車両５５の車内からフロントガラス５２方向を撮像するように設置される。一方、第２フロントカメラ２０は、図３に示すようにナビゲーション装置１が搭載された車両５５の車外のフロントノズル周辺に、第１フロントカメラ１９と同一方向を撮像するように設置される。   Moreover, the 1st front camera 19 is installed in the ceiling of the vehicle 55 in which the navigation apparatus 1 is mounted so that the direction of the windshield 52 may be imaged from the inside of the vehicle 55 as shown in FIG. On the other hand, as shown in FIG. 3, the second front camera 20 is installed around the front nozzle outside the vehicle 55 on which the navigation device 1 is mounted so as to capture the same direction as the first front camera 19.

そして、第１フロントカメラ１９は車両５５の進行方向前方の周辺環境を、車両５５のフロントガラス５２を介して撮影する。また、フロントガラス５２周辺の車内についても撮像範囲に含まれる。一方、第２フロントカメラ２０は車両５５の進行方向方の周辺環境を、車両５５のフロントガラス５２を介さずに撮影する。また、第１フロントカメラ１９の設置位置は運転者５６の目の位置（視線開始点）と略同一となるように調整される。更に、第１フロントカメラ１９の画角は運転者５６の視野角よりも広くなるように設定する。その結果、正面を向く運転者５６が視認できる範囲（視野領域）を少なくとも含む範囲が撮像可能に構成されている。一方、第２フロントカメラ２０は、正面を向く運転者５６がフロントガラスを介して視認できる車両５５の進行方向前方の周辺環境の範囲（視野領域）を少なくとも含む範囲が撮像可能に構成されている。   The first front camera 19 captures the surrounding environment ahead of the traveling direction of the vehicle 55 through the windshield 52 of the vehicle 55. The interior of the vehicle around the windshield 52 is also included in the imaging range. On the other hand, the second front camera 20 captures the surrounding environment in the traveling direction of the vehicle 55 without passing through the windshield 52 of the vehicle 55. Further, the installation position of the first front camera 19 is adjusted to be substantially the same as the eye position (gaze start point) of the driver 56. Further, the angle of view of the first front camera 19 is set to be wider than the viewing angle of the driver 56. As a result, a range including at least a range (viewing region) that can be visually recognized by the driver 56 facing the front is configured to be imaged. On the other hand, the second front camera 20 is configured to be able to image a range including at least a range (visual field region) of the surrounding environment in front of the traveling direction of the vehicle 55 that the driver 56 facing the front can visually recognize through the windshield. .

ここで、図４は第１フロントカメラ１９による撮像範囲と第２フロントカメラ２０による撮像範囲とを比較した図である。図４に示すように第１フロントカメラ１９による撮像範囲６１は、フロントガラス５２を介して運転者から視認できる周辺環境６２、フロントガラス５２に投影された投影画像５３及び車両内に配置されたメータ類６３、車載器６４等を含む範囲となる。一方、第２フロントカメラ２０による撮像範囲６５は、投影画像５３等を含まず、フロントガラス５２を介して運転者から視認できる周辺環境６２のみとなる。また、図４では、第２フロントカメラ２０の撮像範囲６５の全体が第１フロントカメラ１９の撮像範囲６１に含まれることとなっているが、一部のみを含む構成としても良い。但し、第２フロントカメラ２０の撮像範囲６５には、第１フロントカメラ１９の撮像範囲６１中のフロントガラス５２を介して視認できる周辺環境６２については少なくとも含むようにする。
そして、ナビゲーションＥＣＵ１３は、後述のように第１フロントカメラ１９や第２フロントカメラ２０により撮像した撮像画像に基づいて、運転者に視認対象となる特徴物（人、他車両、投影画像５３、メータ類６３、車載器６４等）を検出する。 Here, FIG. 4 is a diagram comparing the imaging range by the first front camera 19 and the imaging range by the second front camera 20. As shown in FIG. 4, the imaging range 61 by the first front camera 19 includes a surrounding environment 62 that can be visually recognized by the driver through the windshield 52, a projected image 53 projected on the windshield 52, and a meter disposed in the vehicle. The range including the class 63, the vehicle-mounted device 64, and the like. On the other hand, the imaging range 65 by the second front camera 20 does not include the projection image 53 and the like, and is only the surrounding environment 62 that can be visually recognized by the driver through the windshield 52. In FIG. 4, the entire imaging range 65 of the second front camera 20 is included in the imaging range 61 of the first front camera 19, but a configuration including only a part thereof may be used. However, the imaging range 65 of the second front camera 20 includes at least the surrounding environment 62 that can be viewed through the windshield 52 in the imaging range 61 of the first front camera 19.
Then, the navigation ECU 13, as will be described later, on the basis of captured images captured by the first front camera 19 and the second front camera 20, features (persons, other vehicles, projected images 53, meters, etc.) that are to be visually recognized by the driver. Class 63, vehicle-mounted device 64, etc.).

また、ドライバカメラ２１は、例えばＣＣＤ等の固体撮像素子を用いたものであり、図３に示すように車両５５のダッシュボード５１の上面に取り付けられ、撮像方向を運転席に向けて設置される。そして、運転席に座った運転者５６の顔を撮像する。また、ナビゲーションＥＣＵ１３は、後述のようにドライバカメラ２１により撮像した撮像画像から運転者５６の目の位置（視線開始点）や視線方向を検出する。   The driver camera 21 uses, for example, a solid-state imaging device such as a CCD, and is attached to the upper surface of the dashboard 51 of the vehicle 55 as shown in FIG. . Then, the face of the driver 56 sitting in the driver's seat is imaged. Further, the navigation ECU 13 detects the eye position (gaze start point) and the gaze direction of the driver 56 from the captured image captured by the driver camera 21 as described later.

続いて、上記構成を有する本実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する走行支援処理プログラムについて図５に基づき説明する。図５は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは、車両のＡＣＣがＯＮされた後に実行され、第１フロントカメラ１９や第２フロントカメラ２０によって撮像された画像から運転者によって視認対象となる特徴物を検出するとともに、検出された特徴物や運転者の視線位置から運転者の視認領域を特定し、脇見運転に関する警告を行うプログラムである。尚、以下の図５、図６、図９、図１０及び図１１にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。   Next, a driving support processing program executed by the CPU 41 in the navigation device 1 according to this embodiment having the above-described configuration will be described with reference to FIG. FIG. 5 is a flowchart of the driving support processing program according to this embodiment. Here, the driving support processing program is executed after the ACC of the vehicle is turned on, and detects a characteristic object to be visually recognized by the driver from images captured by the first front camera 19 and the second front camera 20. The program identifies the driver's visual recognition area from the detected feature and the driver's line-of-sight position, and issues a warning regarding the side-by-side driving. The programs shown in the flowcharts of FIGS. 5, 6, 9, 10, and 11 below are stored in the RAM 42, ROM 43, and the like provided in the navigation ECU 13 and executed by the CPU 41.

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は、後述の初期画像処理（図６）を行う。尚、初期画像処理は、Ｓ２以降の処理を行う為の準備段階として、第１フロントカメラ１９、第２フロントカメラ２０及びドライバカメラ２１によって撮像された各撮像画像に対して実行される各種処理である。   First, in the driving support processing program, in step (hereinafter abbreviated as S) 1, the CPU 41 performs initial image processing (FIG. 6) described later. The initial image processing is a variety of processing executed on each captured image captured by the first front camera 19, the second front camera 20, and the driver camera 21 as a preparation stage for performing the processing after S 2. is there.

次に、Ｓ２においてＣＰＵ４１は、後述の視認領域及び特徴物位置特定処理（図９、図１０）を行う。尚、視認領域及び特徴物位置特定処理は、前記Ｓ１で処理された各撮像画像を用いて、運転者の視認対象となる特徴物の位置や運転者の視認領域を特定する処理である。   Next, in S <b> 2, the CPU 41 performs a later-described visual recognition area and characteristic object position specifying process (FIGS. 9 and 10). The visual recognition area and characteristic object position specifying process is a process for specifying the position of the characteristic object to be visually recognized by the driver and the visual recognition area of the driver using each captured image processed in S1.

続いて、Ｓ３においてＣＰＵ４１は、後述の警告処理（図１１）を行う。尚、警告処理は、前記Ｓ２で特定された特徴物の位置や運転者の視認領域に基づいて運転者が脇見運転を行っているか否かを判定し、脇見運転に関する案内を行う処理である。   Subsequently, in S3, the CPU 41 performs a warning process (FIG. 11) described later. Note that the warning process is a process for determining whether or not the driver is performing a look-aside operation based on the position of the characteristic object identified in S2 and the driver's visual recognition area, and performing guidance regarding the look-aside operation.

次に、前記Ｓ１において実行される初期画像処理のサブ処理について図６に基づき説明する。図６は初期画像処理のサブ処理プログラムのフローチャートである。   Next, sub-processing of initial image processing executed in S1 will be described with reference to FIG. FIG. 6 is a flowchart of a sub-processing program for initial image processing.

先ず、Ｓ１１においてＣＰＵ４１は、直近に第１フロントカメラ１９、第２フロントカメラ２０及びドライバカメラ２１で撮像された撮像画像を撮像画像ＤＢ３２からそれぞれ取得する。   First, in S <b> 11, the CPU 41 obtains captured images captured by the first front camera 19, the second front camera 20, and the driver camera 21 most recently from the captured image DB 32.

次に、Ｓ１２においてＣＰＵ４１は、第１フロントカメラ１９の撮像画像の内、第２フロントカメラ２０と撮像範囲が共通する領域（以下、共通領域という）を特定する。例えば、図７に示す第１フロントカメラ１９により撮像された撮像画像７１と第２フロントカメラ２０により撮像された撮像画像７２とが前記Ｓ１１で取得された場合には、撮像画像７１の内、撮像画像７２と撮像内容が重複する範囲（具体的にはフロントガラスを介して前方環境が撮像されている領域）に共通領域７３が設定される。   Next, in S <b> 12, the CPU 41 specifies an area (hereinafter referred to as a common area) where the imaging range of the second front camera 20 is common among the captured images of the first front camera 19. For example, when a captured image 71 captured by the first front camera 19 and a captured image 72 captured by the second front camera 20 shown in FIG. The common area 73 is set in a range where the image 72 and the captured content overlap (specifically, an area where the front environment is imaged through the windshield).

次に、Ｓ１３においてＣＰＵ４１は、第１フロントカメラ１９の撮像画像の内、第２フロントカメラ２０と撮像範囲が共通しない領域（以下、非共通領域という）を特定する。例えば、図７に示す第１フロントカメラ１９により撮像された撮像画像７１と第２フロントカメラ２０により撮像された撮像画像７２とが前記Ｓ１１で取得された場合には、撮像画像７１の内、撮像画像７２と撮像内容が重複しない範囲（具体的にはフロントガラス以外の領域）に非共通領域７４が設定される。   Next, in S <b> 13, the CPU 41 identifies an area (hereinafter referred to as a non-common area) in which the imaging range of the first front camera 19 is not common with the second front camera 20. For example, when a captured image 71 captured by the first front camera 19 and a captured image 72 captured by the second front camera 20 shown in FIG. A non-common region 74 is set in a range where the image 72 and the captured content do not overlap (specifically, a region other than the windshield).

次に、Ｓ１４においてＣＰＵ４１は、ドライバカメラ２１の撮像画像に基づいて、運転者の視線が位置する視線位置を特定する。以下に、Ｓ１４の処理の詳細について説明する。   Next, in S <b> 14, the CPU 41 specifies the line-of-sight position where the driver's line of sight is located based on the captured image of the driver camera 21. Details of the process of S14 will be described below.

先ずＣＰＵ４１は、前記Ｓ１１で取得したドライバカメラ２１の撮像画像に基づいて、運転者の視線開始点（目の位置）及び視線方向を検出する。ドライバカメラ２１は前記したように車両のインストルメントパネルに設置され、撮像方向を運転席に向けて設置されており（図３）、撮像画像には運転者の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。次に、ＣＰＵ４１は、図８に示すように、視線開始点Ｐから視線方向αへと延長した直線と検出面７５との交点を視線位置Ｑとする。そして、視線位置Ｑは検出面７５上を座標系としたＸ座標及びＹ座標によって特定される。尚、特に本実施形態では、検出面７５は第１フロントカメラ１９の撮像面とする。即ち、前記Ｓ１４で特定された視線位置は、第１フロントカメラ１９で撮像された撮像画像中において特定された視線位置に相当する。尚、前記Ｓ１４で特定された運転者の視線位置はフラッシュメモリ４４等の記憶媒体に累積的に記憶される。   First, the CPU 41 detects the driver's gaze start point (eye position) and gaze direction based on the captured image of the driver camera 21 acquired in S11. The driver camera 21 is installed on the instrument panel of the vehicle as described above, and is installed with the imaging direction facing the driver's seat (FIG. 3), and the driver's face is included in the captured image. As a method for detecting the line-of-sight start point and the line-of-sight direction, there is a method of detecting using the center position of the pupil or the Purkinje image measured by the corneal reflection method, for example. Since these methods are already known techniques, details are omitted. Next, as shown in FIG. 8, the CPU 41 sets the intersection point between the detection surface 75 and the line extending from the line-of-sight start point P in the line-of-sight direction α as the line-of-sight position Q. The line-of-sight position Q is specified by the X and Y coordinates with the detection surface 75 as a coordinate system. In particular, in the present embodiment, the detection surface 75 is the imaging surface of the first front camera 19. That is, the line-of-sight position specified in S14 corresponds to the line-of-sight position specified in the captured image captured by the first front camera 19. The driver's line-of-sight position specified in S14 is cumulatively stored in a storage medium such as the flash memory 44.

次に、前記Ｓ２において実行される視認領域及び特徴物位置特定処理のサブ処理について図９及び図１０に基づき説明する。図９及び図１０は視認領域及び特徴物位置特定処理のサブ処理プログラムのフローチャートである。   Next, the sub-process of the visual recognition area and characteristic object position specifying process executed in S2 will be described with reference to FIGS. FIG. 9 and FIG. 10 are flowcharts of a sub-processing program for the visual recognition area and characteristic object position specifying process.

先ず、Ｓ２１においてＣＰＵ４１は、所定の時刻Ｔ_ｎ及びＴ_ｎよりも所定時間前のＴ_ｎ−１の２つのタイミングにおいて第１フロントカメラ１９及び第２フロントカメラ２０で撮像された撮像画像を、撮像画像ＤＢ３２からそれぞれ取得する。尚、第１フロントカメラ１９及び第２フロントカメラ２０はそれぞれ所定の撮像間隔（フレームレート）で連続して撮像を行っており、例えばＴ_ｎは直近の撮像タイミングとし、Ｔ_ｎ−１は直近の撮像タイミングよりも１撮像間隔前の撮像タイミングとする。 First, in S21, the CPU 41 captures captured images captured by the first front camera 19 and the second front camera 20 at two timings T _n−1 that are a predetermined time before the predetermined times T _n and T _n. Obtained from the image DB 32 respectively. Each of the first front camera 19 and the second front camera 20 continuously performs imaging at a predetermined imaging interval (frame rate). For example, T _n is the latest imaging timing, and T _n−1 is the latest imaging timing. The imaging timing is one imaging interval before the imaging timing.

次に、Ｓ２２においてＣＰＵ４１は、前記時刻Ｔ_ｎ及びＴ_ｎ−１における運転者の視線位置を取得する。尚、運転者の視線位置は前記Ｓ１４で検出され、前記したように第１フロントカメラ１９で撮像された撮像画像内の座標系によって特定される。 Then, CPU 41 in S22, acquires the driver's line of sight position in the time _{T n} and _{T n-1.} Note that the driver's line-of-sight position is detected in S14 and is specified by the coordinate system in the captured image captured by the first front camera 19 as described above.

続いて、Ｓ２３においてＣＰＵ４１は、前記Ｓ２１で取得された第１フロントカメラ１９及び第２フロントカメラ２０の各撮像画像に対して画像処理を行うことによって、特徴物の候補となる特徴物候補について検出する。尚、“特徴物”は道路を走行する車両の運転者が認視する対象となる物であり、例えば車外にある他車両、人、信号機、道路標識、案内板、ランドマークの他、フロントガラス５２にある投影画像５３（図２）、車内にあるメータ類、車載器等がある。また、特徴物候補の検出には、例えば公知のテンプレートマッチング処理や特徴点検出処理等が用いられる。   Subsequently, in S23, the CPU 41 detects a feature candidate that is a candidate for a feature by performing image processing on each captured image of the first front camera 19 and the second front camera 20 acquired in S21. To do. The “characteristic object” is an object that is recognized by the driver of the vehicle traveling on the road. For example, other vehicles outside the vehicle, people, traffic lights, road signs, information boards, landmarks, windshields, etc. 52, a projected image 53 (FIG. 2), a meter in the vehicle, a vehicle-mounted device, and the like. In addition, for example, a known template matching process or a feature point detection process is used to detect a feature object candidate.

その後、Ｓ２４においてＣＰＵ４１は、前記Ｓ２３の特徴物検出結果に基づいて、第１フロントカメラ１９で撮像された撮像画像において、前記Ｓ１２で設定された共通領域に特徴物候補が検出されたか否か判定する。   Thereafter, in S24, the CPU 41 determines whether a feature candidate is detected in the common area set in S12 in the captured image captured by the first front camera 19 based on the feature detection result in S23. To do.

そして、共通領域に特徴物候補が検出されたと判定された場合（Ｓ２４：ＹＥＳ）には、Ｓ２５へと移行する。それに対して、共通領域に特徴物候補が検出されなかったと判定された場合（Ｓ２４：ＮＯ）には、Ｓ３６へと移行する。   And when it determines with the feature object candidate having been detected in the common area (S24: YES), it transfers to S25. On the other hand, when it is determined that no feature candidate is detected in the common area (S24: NO), the process proceeds to S36.

Ｓ２５においてＣＰＵ４１は、共通領域に検出された特徴物候補が、第１フロントカメラ１９により撮像された撮像画像のみに検出され、第２フロントカメラ２０により撮像された撮像画像では検出されなかったか否か判定される。   In S <b> 25, the CPU 41 determines whether the feature candidate detected in the common area is detected only in the captured image captured by the first front camera 19 and not detected in the captured image captured by the second front camera 20. Determined.

そして、共通領域に検出された特徴物候補が、第１フロントカメラ１９により撮像された撮像画像のみに検出されたと判定された場合（Ｓ２５：ＹＥＳ）には、Ｓ２６へと移行する。それに対して、第２フロントカメラ２０により撮像された撮像画像でも検出されたと判定された場合（Ｓ２５：ＮＯ）には、Ｓ３１へと移行する。   If it is determined that the feature candidate detected in the common area is detected only in the captured image captured by the first front camera 19 (S25: YES), the process proceeds to S26. On the other hand, when it is determined that the captured image captured by the second front camera 20 is detected (S25: NO), the process proceeds to S31.

Ｓ２６においてＣＰＵ４１は、前記Ｓ２２で取得した運転者の視線位置と前記Ｓ２３の特徴物検出結果に基づいて、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致しているか否か判定する。尚、一致とは完全に一致することに加えて、所定範囲の誤差がある場合も含む。 CPU41 In S26, the S22 on the basis of a characteristic object detection result of the line of sight position of the acquired driver S23, the position and the driver's line-of-sight position of the characteristic object candidate match at the timing of time T _n, and the time It is determined whether or not the position displacements between T _n−1 and T _n coincide with each other. Note that the term “match” includes a case where there is an error within a predetermined range in addition to a perfect match.

そして、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致していると判定された場合（Ｓ２６：ＹＥＳ）には、特徴物候補を運転者の視線が追従していることから、共通領域において検出された特徴物候補は運転者が視認対象とする特徴物であると推定する。更に、該特徴物は車外に設置された第２フロントカメラ２０では撮像できていないこととから、該特徴物はフロントガラスにあると特定する。このような特徴物としては、例えばフロントガラス５２にある投影画像５３（図２）等が該当する。更に、ＣＰＵ４１は、前記したように特徴物を運転者の視線が追従していることから、運転者の視認領域はフロントガラスであると特定する（Ｓ２７、Ｓ２８）。 When the line-of-sight positions of the driver of the characteristic object candidate at the timing of time T _n match, both the position displacement between and the time T _n-1 of T _n is determined that they match ( In S26: YES), since the driver's line of sight follows the feature candidate, it is estimated that the feature candidate detected in the common area is a feature to be visually recognized by the driver. Further, since the feature is not captured by the second front camera 20 installed outside the vehicle, the feature is identified as being on the windshield. As such a characteristic object, for example, a projection image 53 (FIG. 2) on the windshield 52 corresponds. Further, since the driver's line of sight follows the feature as described above, the CPU 41 specifies that the driver's visual recognition area is the windshield (S27, S28).

一方、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致しない、又は時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致しないと判定された場合（Ｓ２６：ＮＯ）には、特徴物候補を運転者の視線が追従していないことから、共通領域において検出された特徴物候補は運転者が視認対象とする特徴物ではないと推定する。即ち、共通領域において検出された特徴物候補は、運転者が視認するようなものでは無く（例えば、フロントガラスに付着した付着物等）、特徴物は存在しないと特定する。更に、ＣＰＵ４１は、前記したようにフロントガラスに特徴物は存在しないが、特徴物候補のあったフロントガラスを運転者が視認している可能性が高いことから、運転者の視認領域はフロントガラスであると特定する（Ｓ２９、Ｓ３０）。 On the other hand, do not position the driver's line of sight position of the characteristic object candidate match at the timing of time T _n, or time T when both the position displaced from the _n-1 between the T _n is determined to not match (S26: NO), since the driver's line of sight does not follow the feature candidate, it is estimated that the feature candidate detected in the common area is not a feature that the driver is to visually recognize. That is, the feature candidate detected in the common area is not something that the driver can visually recognize (for example, an attached matter attached to the windshield, etc.), and it is specified that no feature exists. Further, as described above, the CPU 41 has no feature on the windshield, but since the driver is highly likely to visually recognize the windshield where the feature candidate is, the driver's viewing area is the windshield. (S29, S30).

また、Ｓ３１においてＣＰＵ４１は、前記Ｓ２２で取得した運転者の視線位置と前記Ｓ２３の特徴物検出結果に基づいて、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致しているか否か判定する。尚、一致とは完全に一致することに加えて、所定範囲の誤差がある場合も含む。 Further, CPU 41 step S31, the S22 on the basis of a characteristic object detection result of the line of sight position of the acquired driver S23, the position and the driver's line-of-sight position of the characteristic object candidate match at the timing of time T _n, and it determines whether or not both the positional displacement is matched between the time T _n-1 of T _n. Note that the term “match” includes a case where there is an error within a predetermined range in addition to a perfect match.

そして、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致していると判定された場合（Ｓ３１：ＹＥＳ）には、特徴物候補を運転者の視線が追従していることから、共通領域において検出された特徴物候補は、運転者が視認対象とする特徴物であると推定する。更に、該特徴物は車外に設置された第２フロントカメラ２０でも撮像できていることとから、該特徴物は車外にあると特定する。このような特徴物としては、例えば他車両、人、信号機、道路標識、案内板、ランドマーク等が該当する。更に、ＣＰＵ４１は、前記したように特徴物を運転者の視線が追従していることから、運転者の視認領域は車外であると特定する（Ｓ３２、Ｓ３３）。 When the line-of-sight positions of the driver of the characteristic object candidate at the timing of time T _n match, both the position displacement between and the time T _n-1 of T _n is determined that they match ( In S31: YES), since the driver's line of sight follows the feature candidate, it is estimated that the feature candidate detected in the common area is a feature to be visually recognized by the driver. Furthermore, since the feature is captured by the second front camera 20 installed outside the vehicle, the feature is identified as being outside the vehicle. Examples of such features include other vehicles, people, traffic lights, road signs, information boards, landmarks, and the like. Further, since the driver's line of sight follows the feature as described above, the CPU 41 specifies that the driver's visual recognition area is outside the vehicle (S32, S33).

一方、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致しない、又は時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致しないと判定された場合（Ｓ３１：ＮＯ）には、特徴物候補を運転者の視線が追従していないことから、共通領域において検出された特徴物候補は運転者が視認対象とする特徴物ではないと推定する。即ち、共通領域において検出された特徴物候補は、運転者が視認するようなものでは無く（例えば、対向車線を走行する他車両や駐車車両等）、特徴物は存在しないと特定する。更に、ＣＰＵ４１は、前記したように車外に特徴物は存在しないが、特徴物候補のあった車外を運転者が視認している可能性が高いことから、運転者の視認領域はフロントガラスであると特定する（Ｓ３４、Ｓ３５）。 On the other hand, do not position the driver's line of sight position of the characteristic object candidate match at the timing of time T _n, or time T when both the position displaced from the _n-1 between the T _n is determined to not match (S31: NO), since the driver's line of sight does not follow the feature candidate, it is estimated that the feature candidate detected in the common area is not a feature that the driver is to visually recognize. That is, the feature candidate detected in the common area is not something that the driver can visually recognize (for example, another vehicle or a parked vehicle traveling in the oncoming lane), and the feature is identified as not existing. Further, as described above, the CPU 41 has no feature outside the vehicle, but since the driver is highly likely to visually recognize the outside of the vehicle where the feature candidate exists, the driver's viewing area is the windshield. (S34, S35).

また、前記Ｓ２４において共通領域に特徴物候補が無いと判定された場合に実行されるＳ３６でＣＰＵ４１は、前記Ｓ２３の特徴物検出結果に基づいて、第１フロントカメラ１９で撮像された撮像画像内、前記１３で設定された非共通領域に特徴物候補が検出されたか否か判定する。   Further, in S36, which is executed when it is determined in S24 that there is no feature candidate in the common area, the CPU 41 determines whether the captured image captured by the first front camera 19 is based on the feature detection result in S23. Then, it is determined whether or not a feature object candidate is detected in the non-common area set in 13 above.

そして、非共通領域に特徴物候補が検出されたと判定された場合（Ｓ３６：ＹＥＳ）には、Ｓ３９へと移行する。それに対して、非共通領域にも特徴物候補が検出されなかったと判定された場合（Ｓ３６：ＮＯ）には、特徴物は存在せず、また、運転者の視認領域が明確に特定できないので、運転者の視認領域が車外、フロントガラス、車内のいずれかにあると判定する（Ｓ３７、Ｓ３８）。   If it is determined that a feature candidate is detected in the non-common area (S36: YES), the process proceeds to S39. On the other hand, when it is determined that no feature candidate is detected in the non-common area (S36: NO), the feature does not exist and the driver's visual recognition area cannot be clearly identified. It is determined that the driver's visual recognition area is located outside the vehicle, the windshield, or inside the vehicle (S37, S38).

Ｓ３９においてＣＰＵ４１は、前記Ｓ２２で取得した運転者の視線位置と前記Ｓ２３の特徴物検出結果に基づいて、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致しているか否か判定する。尚、一致とは完全に一致することに加えて、所定範囲の誤差がある場合も含む。 CPU41 In S39, the S22 on the basis of a characteristic object detection result of the line of sight position of the acquired driver S23, the position and the driver's line-of-sight position of the characteristic object candidate match at the timing of time T _n, and the time It is determined whether or not the position displacements between T _n−1 and T _n coincide with each other. Note that the term “match” includes a case where there is an error within a predetermined range in addition to a perfect match.

そして、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致していると判定された場合（Ｓ３９：ＹＥＳ）には、特徴物候補を運転者の視線が追従していることから、非共通領域において検出された特徴物候補は運転者が視認対象とする特徴物であると推定する。更に、該特徴物は非共通領域で検出されたことから、該特徴物は車内にあると特定する。このような特徴物としては、例えばメータ類や車載器等が該当する。更に、ＣＰＵ４１は、前記したように特徴物を運転者の視線が追従していることから、運転者の視認領域は車内であると特定する（Ｓ４０、Ｓ４１）。 When the line-of-sight positions of the driver of the characteristic object candidate at the timing of time T _n match, both the position displacement between and the time T _n-1 of T _n is determined that they match ( In S39: YES), since the driver's line of sight follows the feature candidate, it is estimated that the feature candidate detected in the non-common area is a feature to be visually recognized by the driver. Further, since the feature is detected in the non-common area, the feature is identified as being in the vehicle. Examples of such features include meters and vehicle-mounted devices. Further, since the driver's line of sight follows the feature as described above, the CPU 41 specifies that the driver's visual recognition area is in the vehicle (S40, S41).

一方、時刻Ｔ_ｎのタイミングにおいて特徴物候補の位置と運転者の視線位置が一致しない、又は時刻Ｔ_ｎ−１からＴ_ｎの間における両者の位置変位が一致しないと判定された場合（Ｓ３９：ＮＯ）には、特徴物候補を運転者の視線が追従していないことから、非共通領域において検出された特徴物候補は運転者が視認対象とする特徴物ではないと推定する。即ち、共通領域において検出された特徴物候補は、運転者が視認するようなものでは無く（例えば、車内のディスプレイに表示されたマークや記号等の運転者にとって必要としない情報）、特徴物は存在しないと特定する。更に、ＣＰＵ４１は、運転者の視認領域が明確に特定できないので、運転者の視認領域が車外、フロントガラス、車内のいずれかにあると判定する（Ｓ３７、Ｓ３８）。 On the other hand, do not position the driver's line of sight position of the characteristic object candidate match at the timing of time T _n, or time T when both the position displaced from the _n-1 between the T _n is determined to not match (S39: NO), since the driver's line of sight does not follow the feature candidate, it is estimated that the feature candidate detected in the non-common area is not the feature that the driver is to visually recognize. That is, the feature candidate detected in the common area is not something that the driver can visually recognize (for example, information that is not necessary for the driver, such as a mark or a symbol displayed on the display in the vehicle), and the feature is Identifies that it does not exist. Furthermore, since the driver's visual recognition area cannot be clearly specified, the CPU 41 determines that the driver's visual recognition area is located outside the vehicle, the windshield, or the vehicle (S37, S38).

次に、前記Ｓ３において実行される警告処理のサブ処理について図１１に基づき説明する。図１１は警告処理のサブ処理プログラムのフローチャートである。   Next, the warning process sub-process executed in S3 will be described with reference to FIG. FIG. 11 is a flowchart of the warning processing sub-processing program.

先ず、Ｓ４１においてＣＰＵ４１は、前記時刻Ｔ_ｎよりも所定時間後のＴ_ｎ＋１のタイミングにおいて第１フロントカメラ１９及び第２フロントカメラ２０で撮像された撮像画像を、撮像画像ＤＢ３２からそれぞれ取得する。尚、第１フロントカメラ１９及び第２フロントカメラ２０はそれぞれ所定の撮像間隔（フレームレート）で連続して撮像を行っており、例えばＴ_ｎ＋１は前記Ｓ２１で撮像画像を取得したタイミングであるＴ_ｎから１撮像間隔後の撮像タイミングとする。 First, in S41, the CPU 41 obtains captured images captured by the first front camera 19 and the second front camera 20 from the captured image DB 32 at a timing of T _{n + 1} after a predetermined time from the time T _n . Incidentally, each of the first front camera 19 and the second front camera 20 is performed are continuously captured at a predetermined imaging interval (frame rate), for example, T _{n + 1} is a timing acquired the captured image in the S21 T _n The imaging timing is one imaging interval after.

次に、Ｓ４２においてＣＰＵ４１は、前記時刻Ｔ_ｎ＋１における運転者の視線位置を取得する。尚、運転者の視線位置は前記Ｓ１４で検出され、前記したように第１フロントカメラ１９で撮像された撮像画像内の座標系によって特定される。 Next, in S42, the CPU 41 obtains the driver's line-of-sight position at the time _{Tn + 1} . Note that the driver's line-of-sight position is detected in S14 and is specified by the coordinate system in the captured image captured by the first front camera 19 as described above.

続いて、Ｓ４３においてＣＰＵ４１は、前記時刻Ｔ_ｎ及びＴ_ｎ＋１における車両の位置を現在位置検出部１１の検出結果に基づいて取得する。 Then, CPU 41 at S43 is obtained based the position of the vehicle at the time _{T n} and _{T n + 1} on the detection result of the current position detection unit 11.

続いて、Ｓ４４においてＣＰＵ４１は、前記Ｓ２の視認領域及び特徴物位置特定処理（図９及び図１０）で特定された運転者の視認領域が、車内又はフロントガラスであるか否か判定する。   Subsequently, in S44, the CPU 41 determines whether or not the visual recognition area of the driver and the visual recognition area of the driver specified in the characteristic object position specifying process (FIGS. 9 and 10) are in the vehicle or the windshield.

そして、運転者の視認領域が車内又はフロントガラスであると判定された場合（Ｓ４４：ＹＥＳ）には、Ｓ４５へと移行する。それに対して、運転者の視認領域が車外又は特定できなかったと判定された場合（Ｓ４４：ＮＯ）には、Ｓ４９へと移行する。   And when it determines with a driver | operator's visual recognition area | region being a vehicle interior or a windshield (S44: YES), it transfers to S45. On the other hand, if it is determined that the driver's visual recognition area is outside the vehicle or cannot be specified (S44: NO), the process proceeds to S49.

次に、Ｓ４５においてＣＰＵ４１は、前記Ｓ２の視認領域及び特徴物位置特定処理（図９及び図１０）で、特徴物が車内又はフロントガラスにあると特定されたか否か判定する。   Next, in S45, the CPU 41 determines whether or not the feature is specified in the vehicle or on the windshield in the visual recognition region and feature position specifying process (FIGS. 9 and 10) in S2.

そして、特徴物が車内又はフロントガラスにあると特定されたと判定された場合（Ｓ４５：ＹＥＳ）には、Ｓ４６へと移行する。それに対して、特徴物が車外にあると特定された、又は特徴物が無いと判定された場合（Ｓ４５：ＮＯ）には、運転者が脇見運転を行っていないと推定し、当該プログラムを終了する。   And when it determines with having specified that the characteristic object exists in the vehicle or a windshield (S45: YES), it transfers to S46. On the other hand, if it is determined that the feature is outside the vehicle, or if it is determined that there is no feature (S45: NO), it is estimated that the driver is not driving aside and the program ends. To do.

Ｓ４６においてＣＰＵ４１は、前記Ｓ４１で取得された第１フロントカメラ１９及び第２フロントカメラ２０の各撮像画像に対して画像処理を行うことによって、車内又はフロントガラスにある特徴物の位置について検出する。尚、詳細は前記Ｓ２３と同様であるので省略する。   In S46, the CPU 41 detects the position of the feature in the vehicle or on the windshield by performing image processing on each captured image of the first front camera 19 and the second front camera 20 acquired in S41. Details are the same as S23 described above, and will be omitted.

その後、Ｓ４７においてＣＰＵ４１は、前記Ｓ２２及びＳ４２で取得した運転者の視線位置と前記Ｓ２３及びＳ４６の特徴物検出結果に基づいて、時刻Ｔ_ｎ＋１のタイミングにおいて特徴物の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎからＴ_ｎ＋１の間における両者の位置変位が一致しているか否か判定する。尚、一致とは完全に一致することに加えて、所定範囲の誤差がある場合も含む。 Thereafter, in S47, the CPU 41 determines the feature position and the driver's line-of-sight position at the timing _{Tn + 1} based on the driver's line-of-sight position acquired in S22 and S42 and the characteristic object detection result in S23 and S46. It is determined whether or not the two position displacements coincide with each other between times T _n and T _{n + 1} . Note that the term “match” includes a case where there is an error within a predetermined range in addition to a perfect match.

そして、時刻Ｔ_ｎ＋１のタイミングにおいて特徴物の位置と運転者の視線位置が一致し、且つ時刻Ｔ_ｎからＴ_ｎ＋１の間における両者の位置変位が一致していると判定された場合（Ｓ４７：ＹＥＳ）には、車内又はフロントガラスにある特徴物を運転者の視線が継続して追従していることから、運転者が進行方向前方の車外を視認していない、即ち脇見運転を行っていると判定する（Ｓ４８）。 Then, when the position and the driver's line of sight position of the characteristic object coincide at the timing of time T _{n + 1,} is determined both positional displacement is consistent between and from the time T _n of T _{n + 1} (S47: YES ), Because the driver's line of sight continues to follow the features in the vehicle or on the windshield, the driver is not looking outside the vehicle ahead in the direction of travel, that is, when driving aside Determination is made (S48).

その後、Ｓ４９においてＣＰＵ４１は、視認領域を車外とする（即ち、車外を見る）ことを促す案内を行う。例えば、「前方に注意して下さい。」等の音声をスピーカ１６から出力する。   Thereafter, in S49, the CPU 41 provides guidance for prompting the viewing area to be outside the vehicle (that is, to look outside the vehicle). For example, a sound such as “Please pay attention to the front” is output from the speaker 16.

それに対して、時刻Ｔ_ｎ＋１のタイミングにおいて特徴物の位置と運転者の視線位置が一致しない、又は時刻Ｔ_ｎからＴ_ｎ＋１の間における両者の位置変位が一致していないと判定された場合（Ｓ４７：ＮＯ）には、車内又はフロントガラスにある特徴物を運転者は一旦視認したが、継続して追従しておらず、運転者が脇見運転を行っていないと推定し、当該プログラムを終了する。 On the other hand, when it is determined that the position of the feature does not match the driver's line-of-sight position at the timing of time T _{n + 1} , or the position displacement of both does not match between time T _n and T _{n + 1} (S47). : NO), the driver once visually recognized the feature in the vehicle or on the windshield, but the driver did not continue to follow and presumed that the driver was not driving aside, and the program ends. .

一方、Ｓ５０においてＣＰＵ４１は、前記Ｓ２の視認領域及び特徴物位置特定処理（図９及び図１０）で、特徴物が車外にあると特定されたか否か判定する。   On the other hand, in S50, the CPU 41 determines whether or not the feature is specified outside the vehicle in the visual recognition area and feature position specifying process (FIGS. 9 and 10) in S2.

そして、特徴物が車外にあると特定されたと判定された場合（Ｓ５０：ＹＥＳ）には、Ｓ５１へと移行する。それに対して、特徴物が車外に無いと判定された場合（Ｓ５０：ＮＯ）には、運転者が脇見運転を行っていないと推定し、当該プログラムを終了する。   If it is determined that the characteristic object is outside the vehicle (S50: YES), the process proceeds to S51. On the other hand, if it is determined that there is no feature outside the vehicle (S50: NO), it is estimated that the driver is not driving aside and the program ends.

Ｓ５１においてＣＰＵ４１は、前記Ｓ４１で取得された第１フロントカメラ１９及び第２フロントカメラ２０の各撮像画像に対して画像処理を行うことによって、車外にある特徴物の位置について検出する。尚、詳細は前記Ｓ２３と同様であるので省略する。   In S51, the CPU 41 detects the position of the feature outside the vehicle by performing image processing on each captured image of the first front camera 19 and the second front camera 20 acquired in S41. Details are the same as S23 described above, and will be omitted.

その後、Ｓ５２においてＣＰＵ４１は、前記Ｓ２２及びＳ４２で取得した運転者の視線位置に基づいて、時刻Ｔ_ｎからＴ_ｎ＋１の間における運転者の視線位置の変位を算出する。 Then, CPU 41 in S52, based on the viewpoint position of the driver acquired by the S22 and S42, and calculates the displacement of the driver's line of sight position between the _{T n + 1} from the time _{T n.}

続いて、Ｓ５３においてＣＰＵ４１は、運転者の視線位置が車両の位置の変位に伴って変位しているか否か判定する。具体的には、運転者の視線位置の移動ベクトルと風景のオプティカルフローが一致した場合に、運転者の視線位置が車両の位置の変位に伴って変位していると判定する。尚、一致とは完全に一致することに加えて、所定範囲の誤差がある場合も含む。   Subsequently, in S53, the CPU 41 determines whether or not the driver's line-of-sight position is displaced with the displacement of the vehicle position. Specifically, when the movement vector of the driver's line-of-sight position matches the optical flow of the landscape, it is determined that the driver's line-of-sight position is displaced with the displacement of the vehicle position. Note that the term “match” includes a case where there is an error within a predetermined range in addition to a perfect match.

そして、運転者の視線位置が車両の位置の変位に伴って変位していると判定された場合（Ｓ５３：ＹＥＳ）には、車外にある特徴物を運転者の視線が継続して追従していることから、運転者が進行方向前方の車外を適切に視認している、即ち脇見運転を行っていないと判定し、当該プログラムを終了する。   When it is determined that the driver's line-of-sight position is displaced with the displacement of the vehicle position (S53: YES), the driver's line-of-sight continues to follow the feature outside the vehicle. Therefore, it is determined that the driver is appropriately viewing the outside of the vehicle ahead in the traveling direction, that is, the driver is not performing the side-view driving, and the program ends.

一方、運転者の視線位置が車両の位置の変位に伴って変位していないと判定された場合（Ｓ５３：ＮＯ）には、車外に運転者が視認すべき特徴物があるにもかかわらず運転者の視線が追従をしなくなったことから、運転者が進行方向前方の車外を適切に視認していない、即ち脇見運転を行っていると判定する（Ｓ５４）。   On the other hand, when it is determined that the driver's line-of-sight position is not displaced with the displacement of the vehicle position (S53: NO), driving is performed even though there is a feature that the driver should visually recognize outside the vehicle. Since the driver's line of sight no longer follows, it is determined that the driver has not properly visually recognized the outside of the vehicle ahead in the traveling direction, that is, the driver is looking aside (S54).

その後、Ｓ５５においてＣＰＵ４１は、視線位置を特徴物とする（即ち、特徴物を見る）ことを促す案内を行う。例えば、「前方に注意すべきものがあります。」等の音声をスピーカ１６から出力する。   Thereafter, in S55, the CPU 41 provides guidance for prompting the user to use the line-of-sight position as a feature (that is, see the feature). For example, a sound such as “There is something to watch ahead” is output from the speaker 16.

以上詳細に説明した通り、本実施形態に係るナビゲーション装置１、ナビゲーション装置１による走行支援方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両の車内に設置された第１フロントカメラ１９と車外に設置された第２フロントカメラ２０により夫々同一方向を撮像するとともに、車両の乗員の視線位置を検出し（Ｓ２２、Ｓ４２）、各撮像画像と車両の乗員の視線位置とに基づいて特徴物の有無を判定するとともに、特徴物が有ると判定された場合に該特徴物の位置を車両の車内、フロントガラス又は車外のいずれかに特定し（Ｓ２８、Ｓ３０、Ｓ３３、Ｓ３５、Ｓ３８、Ｓ４１）、更に、車両の乗員の視線位置と特徴物の検出結果に基づいて、車両の乗員が視認する視認領域を車両の車内、フロントガラス又は車外のいずれかに特定し（Ｓ２７、Ｓ２９、Ｓ３２、Ｓ３４、Ｓ３７、Ｓ４０）、特徴物の検出結果と車両の乗員の視認領域とに基づいて、乗員の視認領域又は視線位置の案内を行う（Ｓ４９、Ｓ５５）ので、車両の乗員が視認する領域を特定することによって、脇見運転が行われているか否かを正確に判定することが可能となる。特に、第１フロントカメラ１９と第２フロントカメラ２０とをそれぞれ車内と車外に設置することによって、フロントガラスに特徴物が位置することや、乗員の視認領域がフロントガラスにあることについても検出することが可能となる。その結果、例えば車外を視認する必要がある状況にも関わらず、乗員が車内やフロントガラスを視認している場合について脇見運転と判定し、是正することが可能となる。
また、第１フロントカメラ１９と第２フロントカメラ２０の撮像範囲の非共通領域に特徴物候補があって、特徴物候補の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合には、特徴物候補が特徴物として車両の車内に有ることを検出するともに、乗員の視認領域が車両の車内に有ると特定し（Ｓ４０、Ｓ４１）、特徴物候補の位置と乗員の視線位置が一致しない、又は両者の変位が異なる場合には、特徴物が無いと判定する（Ｓ３８）ので、特徴物候補の位置と乗員の視線位置とを比較することによって、特徴物の有無や乗員の視認領域を適切に特定することが可能となる。
また、第１フロントカメラ１９と第２フロントカメラ２０の撮像範囲の共通領域に特徴物候補があって、第１フロントカメラ１９のみによって特徴物候補が撮像され、特徴物候補の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合には、特徴物候補が特徴物として車両のフロントガラスに有ることを検出するともに、乗員の視認領域が車両のフロントガラスに有ると特定し（Ｓ２７、Ｓ２８）、特徴物候補の位置と乗員の視線位置が一致しない、又は両者の変位が異なる場合には、特徴物が無いと判定する（Ｓ３０）ので、特徴物候補の位置と乗員の視線位置とを比較することによって、特徴物の有無や乗員の視認領域を適切に特定することが可能となる。
また、第１フロントカメラ１９と第２フロントカメラ２０の撮像範囲の共通領域に特徴物候補があって、第１フロントカメラ１９と第２フロントカメラ２０によって特徴物候補が撮像され、特徴物候補の位置と乗員の視線位置が一致し、且つ両者の変位が同一である場合には、特徴物候補が特徴物として車両の車外に有ることを検出するともに、乗員の視認領域が車両の車外に有ると特定し（Ｓ３２、Ｓ３３）、特徴物候補の位置と乗員の視線位置が一致しない、又は両者の変位が異なる場合には、特徴物が無いと判定する（Ｓ３５）ので、特徴物候補の位置と乗員の視線位置とを比較することによって、特徴物の有無や乗員の視認領域を適切に特定することが可能となる。
また、特徴物が車両の車内又はフロントガラスに有ると検出された場合であって、特徴物が検出された後に特徴物の位置と乗員の視線位置が一致し、且つ両者の変位が同一である状態が継続する場合に、乗員に車外を視認するように案内する（Ｓ４８）ので、乗員が進行方向前方の車外を視認せずに車載器や表示画面等を視認している場合に、車外を視認させることが可能となる。その結果、脇見運転を防止し、適切に走行させることが可能となる。
また、特徴物が車両の車外に有ると検出された場合であって、特徴物が検出された後に乗員の視線位置が車両の位置の変位に伴って変位していない場合に、乗員に前記特徴物を視認するように案内する（Ｓ５５）ので、乗員が視認する必要がある車外の特徴物を視認していない場合に、特徴物を視認させることが可能となる。その結果、車両の走行に影響を及ぼす虞のある物の存在を乗員に事前に把握させ、適切に走行させることが可能となる。 As described above in detail, in the navigation device 1 according to the present embodiment, the driving support method using the navigation device 1 and the computer program executed by the navigation device 1, the first front camera 19 installed inside the vehicle and the outside of the vehicle are installed. The installed second front camera 20 images each in the same direction, detects the sight line position of the vehicle occupant (S22, S42), and whether there is a feature based on each captured image and the sight line position of the vehicle occupant When it is determined that there is a feature, the position of the feature is specified as either inside the vehicle, on the windshield, or outside the vehicle (S28, S30, S33, S35, S38, S41), and Based on the line-of-sight position of the vehicle occupant and the detection result of the characteristic object, the visual recognition area that the vehicle occupant visually recognizes It is specified as either the lath or the outside of the vehicle (S27, S29, S32, S34, S37, S40), and the occupant's visual recognition area or line-of-sight position is guided based on the detection result of the feature and the occupant's visual recognition area. Since this is performed (S49, S55), it is possible to accurately determine whether or not the driver is looking aside by specifying the region visually recognized by the vehicle occupant. In particular, the first front camera 19 and the second front camera 20 are installed inside and outside the vehicle, respectively, to detect that a feature is located on the windshield and that a passenger's visual recognition area is on the windshield. It becomes possible. As a result, for example, in the case where it is necessary to visually recognize the outside of the vehicle, it is possible to determine that the driver is looking aside and correct the case where the passenger is viewing the inside of the vehicle or the windshield.
In addition, there is a feature candidate in a non-common area of the imaging range of the first front camera 19 and the second front camera 20, the position of the feature candidate matches the sight line position of the occupant, and the displacement of both is the same. In this case, it is detected that the feature candidate is present in the vehicle as the feature, and it is specified that the occupant's visual recognition area is in the vehicle (S40, S41), and the position of the feature candidate and the sight line of the occupant If the positions do not match or the displacements of the two are different, it is determined that there is no feature (S38), so by comparing the feature candidate position with the sight line position of the occupant, the presence or absence of the feature or the occupant It is possible to appropriately specify the visual recognition area.
Further, there is a feature candidate in the common area of the imaging range of the first front camera 19 and the second front camera 20, and the feature candidate is imaged only by the first front camera 19, and the position of the feature candidate and the sight line of the occupant If the positions match and the displacements of the two are the same, it is detected that the feature candidate is on the windshield of the vehicle as a feature, and the occupant's viewing area is identified on the vehicle windshield. (S27, S28), if the position of the feature object candidate and the sight line position of the occupant do not match or the displacements of the two are different, it is determined that there is no feature object (S30). By comparing with the line-of-sight position, it is possible to appropriately specify the presence / absence of the characteristic object and the visual recognition area of the occupant.
Further, there is a feature candidate in the common area of the imaging range of the first front camera 19 and the second front camera 20, and the feature candidate is imaged by the first front camera 19 and the second front camera 20, and the feature candidate When the position and the sight line position of the occupant coincide with each other and the displacements are the same, it is detected that the feature candidate is outside the vehicle as the feature object, and the occupant's visual recognition area is outside the vehicle. (S32, S33), and if the position of the feature candidate and the sight line position of the occupant do not match or the displacements of the two are different, it is determined that there is no feature (S35). And the sight line position of the occupant can appropriately specify the presence / absence of a characteristic object and the sight area of the occupant.
Further, when it is detected that the feature is in the vehicle or on the windshield of the vehicle, after the feature is detected, the position of the feature coincides with the position of the passenger's line of sight, and the displacement of both is the same. When the state continues, the occupant is guided to visually recognize the outside of the vehicle (S48). Therefore, when the occupant is viewing the vehicle-mounted device, the display screen, etc. Visual recognition is possible. As a result, it is possible to prevent the driver from looking aside and travel appropriately.
Further, when it is detected that the characteristic object is outside the vehicle, and the sight line position of the occupant is not displaced in accordance with the displacement of the vehicle position after the characteristic object is detected, the characteristic is given to the occupant. Since the object is guided so as to be visually recognized (S55), it is possible to visually recognize the feature object when the occupant does not visually recognize the feature object outside the vehicle. As a result, it is possible to allow the occupant to know in advance the presence of an object that may affect the traveling of the vehicle and to travel appropriately.

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、Ｓ２９において視認領域がフロントガラスにあると判定しているが、運転者の視認領域が車外、フロントガラス、車内のいずれかにある（即ち視認領域は特定できない）と判定しても良い。同様に、Ｓ３４において視認領域が車外にあると判定しているが、運転者の視認領域が車外、フロントガラス、車内のいずれかにあると判定しても良い。 Note that the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the scope of the present invention.
For example, in this embodiment, it is determined in S29 that the viewing area is on the windshield, but it is determined that the driver's viewing area is located outside the vehicle, on the windshield, or inside the vehicle (that is, the viewing area cannot be specified). You may do it. Similarly, although it is determined in S34 that the visual recognition area is outside the vehicle, it may be determined that the visual recognition area of the driver is located outside the vehicle, the windshield, or the interior of the vehicle.

また、本発明はナビゲーション装置以外に、他の車載器や端末装置に対して適用することが可能である。例えば、端末装置としては携帯電話機やスマートフォン等の携帯端末、パーソナルコンピュータ、タブレット型端末等がある。但し、端末装置に適用する場合には第１フロントカメラ１９や第２フロントカメラ２０の撮像画像が取得できるように車載器に接続する構成とする。また、サーバと端末装置等から構成されるシステムに対しても適用することが可能となる。その場合には、上述した走行支援処理プログラム（図５）の各ステップは、サーバと端末装置のいずれが実施する構成としても良い。   In addition to the navigation device, the present invention can be applied to other vehicle-mounted devices and terminal devices. For example, terminal devices include mobile terminals such as mobile phones and smartphones, personal computers, and tablet terminals. However, when applying to a terminal device, it is set as the structure connected to onboard equipment so that the captured image of the 1st front camera 19 or the 2nd front camera 20 can be acquired. Further, the present invention can be applied to a system including a server and a terminal device. In that case, each step of the above-described driving support processing program (FIG. 5) may be configured to be performed by either the server or the terminal device.

１ ナビゲーション装置
１３ ナビゲーションＥＣＵ
１９ 第１フロントカメラ
２０ 第２フロントカメラ
２１ ドライバカメラ
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５２ フロントガラス
５３ 投影画像
５５ 車両
５６ 運転者 1 Navigation device 13 Navigation ECU
19 First front camera 20 Second front camera 21 Driver camera 41 CPU
42 RAM
43 ROM
52 Windshield 53 Projected Image 55 Vehicle 56 Driver

Claims (8)

車両の車内に設置された第１撮像装置により、前記車両の車内からフロントガラス方向を撮像する第１撮像手段と、
前記車両のフロントガラス前方の車外に設置された第２撮像装置により、前記第１撮像装置と同一方向を撮像する第２撮像手段と、
前記車両の乗員の視線が位置する視線位置を検出する視線位置検出手段と、
前記第１撮像手段により撮像された第１撮像画像と前記第２撮像手段により撮像された第２撮像画像と前記車両の乗員の視線位置とに基づいて、前記乗員によって視認する対象となる特徴物の有無を判定するとともに、前記特徴物が有ると判定された場合に、該特徴物の位置を前記車両の車内、フロントガラス又は車外のいずれかに特定する特徴物検出手段と、
前記車両の乗員の視線位置と前記特徴物検出手段の検出結果に基づいて、前記車両の乗員が視認する視認領域を前記車両の車内、フロントガラス又は車外のいずれかに特定する視認領域特定手段と、
前記特徴物検出手段の検出結果と前記視認領域特定手段により特定された前記車両の乗員の視認領域とに基づいて、前記乗員の視認領域又は視線位置の案内を行う案内手段と、を有することを特徴とする走行支援システム。 First imaging means for imaging a windshield direction from the interior of the vehicle by means of a first imaging device installed in the interior of the vehicle;
Second imaging means for imaging in the same direction as the first imaging device by a second imaging device installed outside the vehicle in front of the windshield of the vehicle;
A line-of-sight position detecting means for detecting a line-of-sight position where a line of sight of an occupant of the vehicle is located;
Features to be visually recognized by the occupant based on the first captured image captured by the first imaging unit, the second captured image captured by the second imaging unit, and the line-of-sight position of the occupant of the vehicle And, when it is determined that the feature is present, a feature detection unit that identifies the position of the feature as one of the inside of the vehicle, the windshield, or the outside of the vehicle;
Based on the line-of-sight position of the vehicle occupant and the detection result of the feature object detection means, a visual recognition area specifying means for specifying a visual recognition area visually recognized by the vehicle occupant as one of the inside of the vehicle, the windshield, or the outside of the vehicle; ,
Guidance means for guiding the occupant's visual recognition area or line-of-sight position based on the detection result of the feature object detection means and the visual recognition area of the occupant of the vehicle specified by the visual recognition area specifying means. A featured driving support system. 前記第１撮像装置の撮像範囲は前記第２撮像装置の撮像範囲を含み、
前記第１撮像装置と前記第２撮像装置の撮像範囲の非共通領域に前記特徴物の候補となる特徴物候補の画像を含む場合において、
前記特徴物候補の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合には、前記特徴物検出手段は前記特徴物候補が前記特徴物として前記車両の車内に有ることを検出するともに、前記視認領域特定手段は前記視認領域が前記車両の車内に有ると特定し、
前記特徴物候補の位置と前記乗員の視線位置が一致しない、又は両者の変位が異なる場合には、前記特徴物検出手段は前記特徴物が無いと判定することを特徴とする請求項１に記載の走行支援システム。 The imaging range of the first imaging device includes the imaging range of the second imaging device,
In the case where an image of a feature candidate that is a candidate for the feature is included in a non-common area of the imaging range of the first imaging device and the second imaging device,
When the position of the feature candidate matches the line of sight of the occupant and the displacements are the same, the feature detection means has the feature candidate as the feature in the vehicle. And the visual recognition area specifying means specifies that the visual recognition area is in the vehicle,
2. The feature detection unit according to claim 1, wherein the feature detection unit determines that the feature is not present when the position of the feature candidate and the sight line position of the occupant do not coincide with each other or when the displacements of the two differ. Driving support system. 前記第１撮像装置の撮像範囲は前記第２撮像装置の撮像範囲を含み、
前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域であって、前記第１撮像画像のみに前記特徴物の候補となる特徴物候補の画像を含む場合において、
前記特徴物候補の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合には、前記特徴物検出手段は前記特徴物候補が前記特徴物として前記車両のフロントガラスに有ることを検出するともに、前記視認領域特定手段は前記視認領域が前記車両のフロントガラスに有ると特定し、
前記特徴物候補の位置と前記乗員の視線位置が一致しない、又は両者の変位が異なる場合には、前記特徴物検出手段は前記特徴物が無いと判定することを特徴とする請求項１に記載の走行支援システム。 The imaging range of the first imaging device includes the imaging range of the second imaging device,
In a common area of the imaging range of the first imaging device and the second imaging device, and only when the first captured image includes an image of a feature candidate that is a candidate for the feature,
When the position of the feature candidate matches the line of sight of the occupant and the displacements are the same, the feature detection means has the feature candidate as the feature on the windshield of the vehicle. The visual recognition area specifying means specifies that the visual recognition area is on the windshield of the vehicle,
2. The feature detection unit according to claim 1, wherein the feature detection unit determines that the feature is not present when the position of the feature candidate and the sight line position of the occupant do not coincide with each other or when the displacements of the two differ. Driving support system. 前記第１撮像装置の撮像範囲は前記第２撮像装置の撮像範囲を含み、
前記第１撮像装置と前記第２撮像装置の撮像範囲の共通領域であって、前記第１撮像画像及び前記第２撮像画像の両方に前記特徴物の候補となる特徴物候補の画像を含む場合において、
前記特徴物候補の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である場合には、前記特徴物検出手段は前記特徴物候補が前記特徴物として前記車両の車外に有ることを検出するともに、前記視認領域特定手段は前記視認領域が前記車両の車外に有ると特定し、
前記特徴物候補の位置と前記乗員の視線位置が一致しない、又は両者の変位が異なる場合には、前記特徴物検出手段は前記特徴物が無いと判定することを特徴とする請求項１に記載の走行支援システム。 The imaging range of the first imaging device includes the imaging range of the second imaging device,
A common area of the imaging range of the first imaging device and the second imaging device, wherein both the first captured image and the second captured image include an image of a feature candidate that is a candidate for the feature In
When the position of the feature candidate matches the sight line position of the occupant and the displacement of both is the same, the feature detection means has the feature candidate as the feature outside the vehicle. And the visual recognition area specifying means specifies that the visual recognition area is outside the vehicle,
2. The feature detection unit according to claim 1, wherein the feature detection unit determines that the feature is not present when the position of the feature candidate and the sight line position of the occupant do not coincide with each other or when the displacements of the two differ. Driving support system. 前記案内手段は、
前記特徴物検出手段により前記特徴物が前記車両の車内又はフロントガラスに有ると検出された場合であって、
前記特徴物が検出された後に前記特徴物の位置と前記乗員の視線位置が一致し、且つ両者の変位が同一である状態が継続する場合に、
前記乗員に車外を視認するように案内することを特徴とする請求項１乃至請求項４のいずれかに記載の走行支援システム。 The guiding means includes
When the feature detection unit detects that the feature is in the vehicle or on the windshield of the vehicle,
After the feature is detected, when the position of the feature matches the sight line position of the occupant and the displacement of both continues,
The travel support system according to any one of claims 1 to 4, wherein the occupant is guided to visually recognize the outside of the vehicle. 前記車両の位置の変位を検出する車両位置検出手段を有し、
前記案内手段は、
前記特徴物検出手段により前記特徴物が前記車両の車外に有ると検出された場合であって、
前記特徴物が検出された後に前記乗員の視線位置が前記車両の位置の変位に伴って変位していない場合に、前記乗員に前記特徴物を視認するように案内することを特徴とする請求項１乃至請求項４のいずれかに記載の走行支援システム。 Vehicle position detecting means for detecting displacement of the position of the vehicle;
The guiding means includes
When the feature detection unit detects that the feature is outside the vehicle,
The guidance is provided so that the occupant visually recognizes the feature when the sight line position of the occupant is not displaced with the displacement of the position of the vehicle after the feature is detected. The driving support system according to any one of claims 1 to 4. 車両の車内に設置された第１撮像装置により、前記車両の車内からフロントガラス方向を撮像する第１撮像ステップと、
前記車両のフロントガラス前方の車外に設置された第２撮像装置により、前記第１撮像装置と同一方向を撮像する第２撮像ステップと、
前記車両の乗員の視線が位置する視線位置を検出する視線位置検出ステップと、
前記第１撮像ステップにより撮像された第１撮像画像と前記第２撮像ステップにより撮像された第２撮像画像と前記車両の乗員の視線位置とに基づいて、前記乗員によって視認する対象となる特徴物の有無を判定するとともに、前記特徴物が有ると判定された場合に、該特徴物の位置を前記車両の車内、フロントガラス又は車外のいずれかに特定する特徴物検出ステップと、
前記車両の乗員の視線位置と前記特徴物検出ステップの検出結果に基づいて、前記車両の乗員が視認する視認領域を前記車両の車内、フロントガラス又は車外のいずれかに特定する視認領域特定ステップと、
前記車両の乗員の視線位置と前記特徴物検出ステップの検出結果と前記視認領域特定ステップにより特定された前記車両の乗員の視認領域とに基づいて、前記乗員の視認領域又は視線位置の案内を行う案内ステップと、を有することを特徴とする走行支援方法。 A first imaging step of imaging a windshield direction from the interior of the vehicle by a first imaging device installed in the interior of the vehicle;
A second imaging step of imaging in the same direction as the first imaging device by a second imaging device installed outside the vehicle in front of the windshield of the vehicle;
A line-of-sight position detecting step for detecting a line-of-sight position where the line of sight of the vehicle occupant is located;
Features to be visually recognized by the occupant based on the first captured image captured by the first imaging step, the second captured image captured by the second imaging step, and the line-of-sight position of the occupant of the vehicle And a feature detection step of specifying the position of the feature in the vehicle, the windshield, or the outside of the vehicle when it is determined that the feature exists.
A visual recognition area identifying step for identifying a visual recognition area visually recognized by an occupant of the vehicle based on the line-of-sight position of the occupant of the vehicle and the detection result of the feature detection step; ,
Guidance of the occupant's visual recognition area or visual line position is performed based on the sight line position of the occupant of the vehicle, the detection result of the feature detection step, and the visual recognition area of the occupant of the vehicle specified by the visual recognition area specifying step. And a guidance step. コンピュータに、
車両の車内に設置された第１撮像装置により、前記車両の車内からフロントガラス方向を撮像する第１撮像機能と、
前記車両のフロントガラス前方の車外に設置された第２撮像装置により、前記第１撮像装置と同一方向を撮像する第２撮像機能と、
前記車両の乗員の視線が位置する視線位置を検出する視線位置検出機能と、
前記第１撮像機能により撮像された第１撮像画像と前記第２撮像機能により撮像された第２撮像画像と前記車両の乗員の視線位置とに基づいて、前記乗員によって視認する対象となる特徴物の有無を判定するとともに、前記特徴物が有ると判定された場合に、該特徴物の位置を前記車両の車内、フロントガラス又は車外のいずれかに特定する特徴物検出機能と、
前記車両の乗員の視線位置と前記特徴物検出機能の検出結果に基づいて、前記車両の乗員が視認する視認領域を前記車両の車内、フロントガラス又は車外のいずれかに特定する視認領域特定機能と、
前記車両の乗員の視線位置と前記特徴物検出機能の検出結果と前記視認領域特定機能により特定された前記車両の乗員の視認領域とに基づいて、前記乗員の視認領域又は視線位置の案内を行う案内機能と、
を実行させることを特徴とするコンピュータプログラム。 On the computer,
A first imaging function for imaging a windshield direction from the interior of the vehicle by a first imaging device installed in the interior of the vehicle;
A second imaging function for imaging in the same direction as the first imaging device by a second imaging device installed outside the vehicle in front of the vehicle windshield;
A line-of-sight position detection function for detecting a line-of-sight position where the line of sight of the passenger of the vehicle is located;
Features to be visually recognized by the occupant based on the first captured image captured by the first imaging function, the second captured image captured by the second imaging function, and the line-of-sight position of the occupant of the vehicle And a feature detection function for specifying the position of the feature as either inside the vehicle, windshield or outside the vehicle when it is determined that the feature exists.
A visual recognition area specifying function for specifying a visual recognition area to be visually recognized by an occupant of the vehicle based on a line-of-sight position of the occupant of the vehicle and a detection result of the feature detection function; ,
Guidance of the occupant's visual recognition area or visual line position is performed based on the sight line position of the occupant of the vehicle, the detection result of the feature detection function, and the visual recognition area of the occupant of the vehicle specified by the visual recognition area specifying function. Guide function,
A computer program for executing

Images