WO2007032427A1

WO2007032427A1 - 運転支援装置、撮影制御方法、撮影制御プログラムおよび記録媒体

Info

Publication number: WO2007032427A1
Application number: PCT/JP2006/318246
Authority: WO
Inventors: Katsuaki Kawamura
Original assignee: Pioneer Corporation
Priority date: 2005-09-16
Filing date: 2006-09-14
Publication date: 2007-03-22

Abstract

　運転支援装置は、撮影部（１０１）、取得部（１０２）、判断部（１０３）、制御部（１０４）、抽出部（１０５）、判別部（１０６）および出力部（１０７）を備える。撮影部（１０１）は、移動体の前方を撮影する。取得部（１０２）は、移動体の挙動情報を取得する。判断部（１０３）は、移動体の進行方向に変化が生じたか否かを判断する。制御部（１０４）は、移動体の進行方向に変化が生じたと判断された場合に、撮影部（１０１）の撮影方向を移動体の進行方向の変化に追従するように変更する。抽出部（１０５）は、撮影された移動体前方の画像から信号機に関する信号画像を抽出する。判別部（１０６）は、抽出された信号画像に基づいて信号機の表示色を判別する。出力部（１０７）は、判別結果に基づいて、移動体の運転者に対して警報情報を出力する。

Description

明細書

運転支援装置、撮影制御方法、撮影制御プログラムおよび記録媒体技術分野

[0001] この発明は、例えば車両などの移動体に搭載される運転支援装置、撮影制御方法

、撮影制御プログラムおよび記録媒体に関する。ただし、この発明の利用は、上述した運転支援装置、撮影制御方法、撮影制御プログラムおよび記録媒体には限られない。

背景技術

[0002] 近年、例えば自動車などの車両に搭載された撮影装置で撮影した車両前方の画像から、信号機や道路標識などを認識して音声や画像による警報を出力し、運転者に対して注意を喚起して信号無視などによる事故の発生を未然に防止することができるとされる、レ、わゆる運転支援装置が提供されてレ、る。

[0003] このような運転支援装置は、例えば次のように構成されている。すなわち、車両上にステレオカメラを設置し、このステレオカメラで撮影した車両前方の画像から信号機とその状態 (表示色）および信号機と車両との距離を認識し、信号機が赤色で信号機と車両との距離が一定値以内で、かつ一定速度以上の場合に車両の運転者に対し音声や画像により警報を出力して、注意を喚起することができる構成とされている（例えば、特許文献 1参照。）。

[0004] 特許文献 1 :特開 2004— 199148号公報

発明の開示

発明が解決しょうとする課題

[0005] しかしながら、上記従来技術の運転支援装置では、撮影装置としてのステレオカメラが車両前方を撮影するように車両上に固定状態で設置されているため、例えば道路が曲がっている場合などにステレオカメラの撮影範囲から道路上の信号機などが大きく外れてしまい、この信号機などを認識することができなくなってしまうという問題がー例として挙げられる。この場合、運転者に対して注意を喚起することができなくなつてしまうと想定される。課題を解決するための手段

[0006] 請求項 1の発明にかかる運転支援装置は、移動体の前方を撮影する撮影手段と、前記移動体の挙動に関する挙動情報を取得する取得手段と、前記挙動情報に基づいて前記移動体の進行方向に変化が生じたか否力を判断する判断手段と、前記移動体の進行方向に変化が生じたと判断された場合に、前記撮影手段の撮影方向を前記進行方向の変化に追従するように変更する制御手段と、前記撮影手段によって撮影された画像に基づく情報を出力する出力手段と、を備えることを特徴とする。

[0007] また、請求項 6の発明にかかる撮影制御方法は、移動体の前方を撮影する撮影手段と、当該撮影手段によって撮影された画像に基づく情報を出力する出力手段と、を備える運転支援装置における撮影制御方法であって、前記移動体の挙動に関する挙動情報を取得する取得工程と、前記挙動情報に基づいて前記移動体の進行方向に変化が生じたか否かを判断する判断工程と、前記移動体の進行方向に変化が生じたと判断された場合に、前記撮影手段の撮影方向を前記進行方向の変化に追従するように変更する制御工程と、を含んだことを特徴とする。

[0008] また、請求項 7の発明にかかる撮影制御プログラムは、請求項 6に記載の撮影制御方法をコンピュータに実行させることを特徴とする。

[0009] また、請求項 8の発明にかかる記録媒体は、請求項 7に記載の撮影制御プログラムをコンピュータによって読み取り可能に記録したことを特徴とする。

図面の簡単な説明

[0010] [図 1]図 1は、実施の形態にかかる運転支援装置の機能的構成の一例を示すブロック図である。

[図 2]図 2は、実施の形態にかかる運転支援装置の撮影制御処理および運転支援処理手順の一例を示すフローチャートである。

[図 3]図 3は、実施例にかかる運転支援装置のハードウェア構成の一例を示すブロック図である。

[図 4]図 4は、実施例に力かる運転支援装置における撮影制御方法を用いた運転支接の概要を説明するための説明図である。

[図 5]図 5は、実施例にかかる運転支援装置の撮影制御処理および運転支援処理手 O

O 順1—の一例を示すフローチャートである

〇

符号1—の説明

撮影部

102 取得部

103 判断部

104, 301 制御部

105 抽出部

106 判別部

107 出力部

300 運転支援装置

302 ユーザ操作部

303 表示部

304 情報取得部

305 記録媒体

306 記録媒体デコード部

307 音声出力部

308 通信部

309 カメラ

310 カメラ駆動部

311 画像処理部

312 音声生成部

313 スピーカ

発明を実施するための最良の形態

[0012] 以下に添付図面を参照して、この発明にかかる運転支援装置、撮影制御方法、撮影制御プログラムおよび記録媒体の好適な実施の形態を詳細に説明する。

[0013] (実施の形態）

(運転支援装置の機能的構成）

まず、この発明の実施の形態に力かる運転支援装置の内容について説明する。図 1は、この発明の実施の形態にかかる運転支援装置の機能的構成の一例を示すブロック図である。図 1において、運転支援装置は、例えば車両（四輪車、二輪車を含む)などの移動体に搭載され、撮影部 101と、取得部 102と、判断部 103と、制御部 1 04と、抽出部 105と、判別部 106と、出力部 107とを備えて構成されている。

[0014] 撮影部 101は、移動体の前方を撮影する。この撮影部 101によって撮影される移動体の前方の画像は、例えば移動体が車両である場合は、車両の運転者が運転に際して見ている視野角と同等の画角を有する画像である。なお、この撮影部 101は、具体的には、例えば 1台または複数台の撮影装置によって構成され、移動体の前方のみならず移動体の周囲を撮影してもよい。

[0015] 取得部 102は、移動体の挙動に関する挙動情報を取得する。挙動情報は、例えば移動体の検出部（図示せず）によって検出され取得される。ここで、挙動情報とは、具体的には、移動体が車両である場合は、車両の走行状態などを示す情報であり、例えば車両の速度に関する情報（速度情報、加速度情報、角速度情報）および車両の操舵機 (ハンドル）に関する情報などが挙げられる。その他、挙動情報としては、車両の傾斜角情報、現在地点情報および操作入力に伴う情報などが挙げられる。

[0016] 判断部 103は、例えば取得部 102によって取得された挙動情報に基づいて、移動体の進行方向に変化が生じたか否かを判断する。判断部 103は、具体的には、例えば移動体の加速度に関する情報に基づいて移動体の進行方向が移動体の横方向に変化したか否力を判断する。また、判断部 103は、具体的には、例えば移動体の進行方向の速度に関する情報および加速度に関する情報に基づいて移動体の進行方向が移動体の横方向に変化したか否力を判断する。

[0017] 制御部 104は、判断部 103によって移動体の進行方向に変化が生じたと判断された場合に、撮影部 101の撮影方向を進行方向の変化に追従するように変更する。すなわち、制御部 104は、例えば判断部 103が移動体の加速度に関する情報に基づいて移動体の進行方向が移動体の横方向に変化したと判断した場合、撮影部 101 の撮影方向を横方向に変更する。

[0018] また、制御部 104は、例えば判断部 103が移動体の進行方向の速度に関する情報および加速度に関する情報に基づいて移動体の進行方向が移動体の横方向に変化したと判断した場合、速度に関する情報が示す移動体の進行方向の速度および加速度に関する情報が示す移動体の横方向の加速度を用いて撮影部 101の撮影方向を横方向に変更する。

[0019] さらに、制御部 104は、例えば判断部 103が移動体の操舵機に関する情報に基づいて移動体の進行方向が移動体の横方向に変化したと判断した場合、操舵機に関する情報が示す移動体の操舵方向に基づいて撮影部 101の撮影方向を横方向に変更したり、この操舵機に関する情報とともに上記加速度に関する情報や進行方向の速度に関する情報に基づいて撮影部 101の撮影方向を横方向に変更したりする。

[0020] したがって、制御部 104は、具体的には、取得部 102によって取得された挙動情報により、判断部 103によって移動体の進行方向が移動体の横方向に変化したと判断された場合に、つぎのように撮影方向を変更する。すなわち、例えば移動体の進行方向が左横方向に変化して移動体が左に曲がつたと判断された場合は、左真横方向を撮影するのではなく左前方を含む範囲を撮影するように撮影部 101の撮影方向を変更し、移動体の進行方向が右横方向に変化して移動体が右に曲がったと判断された場合は、右真横方向を撮影するのではなく右前方を含む範囲を撮影するように撮影部 101の撮影方向を変更する。

[0021] なお、ここでは上記「横方向」と「左右方向」とを同義としている。抽出部 105は、撮影部 101によって撮影された移動体前方の画像から、画像処理などをおこなって道路構造物である信号機に関する信号画像を抽出する。ここで、道路構造物とは、例えば道路を跨ぐ部材ゃ走行レーンを覆う部材、橋梁、路面 (道路舗装）、トンネルなどの構造物をレ、い、信号機や道路白線などが含まれるものである。

[0022] 判別部 106は、抽出部 105によって抽出された信号画像に基づいて、信号機の表示色を判別する。この判別部 106は、具体的には、例えば信号機の表示色が赤色である力、あるいは黄色であるかを判別する。なお、ここでは判別部 106は、信号機の表示色が青（緑)色であるかの判別はおこなわなレ、が、青（緑)色であるかの判別をおこなうようにしてもよい。

[0023] 出力部 107は、撮影部 101によって撮影された移動体前方の画像に基づく情報を出力する。また、出力部 107は、判別部 106によって判別された判別結果に基づいて、移動体の運転者に対して警報情報を出力する。これら画像に基づく情報や警報情報は、具体的には、例えば出力部 107によって表示出力されたり音声出力されたりする。

[0024] このように構成された運転支援装置では、取得部 102によって取得された移動体の挙動情報に基づいて、判断部 103によって移動体の進行方向に変化が生じたか否力が判断され、変化が生じたと判断された場合に、制御部 104によって撮影部 101 の撮影方向を移動体の進行方向の変化に追従するように変更する。このため、例えば道路が曲がっている場合などでも撮影部 101の撮影範囲から道路上の信号機などが外れることがなぐ正確に信号機などを撮影しこれに基づく情報を出力することができる。

[0025] また、このように構成された運転支援装置では、撮影部 101によって撮影された画像から抽出部 105によって信号画像を抽出し、この信号画像に基づいて判別部 106 によって信号機の表示色を判別して、判別結果に基づいて出力部 107によって移動体の運転者に対して警報情報を出力することができるため、運転者に対して確実に注意を喚起することができる。

[0026] このため、この運転支援装置によれば、移動体が走行する道路が曲がっていても確実に移動体の走行方向に撮影方向を追従させて移動体前方の画像を撮影し、撮影した画像に基づく情報を出力することができる。これにより、運転者に対して正確かつ確実に移動体前方の画像に基づく情報による注意を喚起して運転支援することができる。

[0027] (運転支援装置の撮影制御処理および運転支援処理手順）

次に、この発明の実施の形態に力かる運転支援装置の撮影制御処理手順および運転支援処理について説明する。図 2は、この発明の実施の形態にかかる運転支援装置の撮影制御処理および運転支援処理手順の一例を示すフローチャートである。

[0028] 図 2のフローチャートにおいて、まず、撮影部 101によって、移動体の前方を撮影し

(ステップ S201)、取得部 102によって、移動体の挙動情報を取得する（ステップ S2 02)。次に、判断部 103によって、取得部 102により取得した挙動情報に基づいて、移動体の進行方向に変化があるか否かを判断する（ステップ S203)。 [0029] 移動体の進行方向に変化がないと判断された場合 (ステップ S203 : No)は、上記ステップ S201に戻り移動体の前方の撮影をおこなう。移動体の進行方向に変化があると判断された場合 (ステップ S203 : Yes)は、制御部 104によって、移動体の進行方向の変化に追従するように撮影部 101による撮影方向を変更する (ステップ S204

) o

[0030] そして、制御部 104によって、撮影部 101により撮影された画像内に信号機に関する信号画像があるか否力を判断し (ステップ S205)、信号画像がないと判断された場合（ステップ S205 : No)は、上記ステップ S201に戻り移動体の前方の撮影をおこな

5。

[0031] 一方、信号画像があると判断された場合 (ステップ S205 : Yes)は、抽出部 105によつて、撮影部 101により撮影された画像から信号画像を抽出し (ステップ S206)、判別部 106によって、信号画像に基づく信号機の表示色を判別し (ステップ S207)、判別結果に基づいて、例えば制御部 104によって表示色が赤色または黄色であるか否かを判断する (ステップ S208)。

[0032] 表示色が赤色または黄色でないと判断された場合 (ステップ S208： No)は、上記ステツプ S201に戻り移動体の前方を撮影する。表示色が赤色または黄色であると判断された場合 (ステップ S208 : Yes)は、出力部 107によって、例えば表示出力あるいは音声出力により、判定された赤色または黄色に関する警報情報を出力し (ステップ S209)、上記ステップ S201の撮影処理へ戻りループする。

[0033] このように運転支援装置における撮影制御処理および運転支援処理をおこなうことによって、例えば移動体が走行する道路が曲がっていても確実に移動体の進行方向の変化に撮影方向を追従させつつ移動体前方の画像を撮影することができるとともに、撮影した画像に基づく信号画像の有無や表示色の判別をおこなって警告情報を出力することができる。このため、運転者に対して正確かつ確実に信号画像に基づく注意を喚起して運転支援することができる。

[0034] 以上説明したように、この発明の実施の形態に力かる運転支援装置によれば、移動体が走行する道路が曲がっていても確実に移動体の進行方向に撮影装置の撮影方向を追従させて移動体前方の画像を撮影し、撮影した画像に基づく情報を警告情報として出力したりすることができるため、移動体が走行している道路上の画像を確実に取得しつつ運転者に対して移動体前方の画像からの情報を正確に伝達して運転支援を図ることができる。

[0035] 次に、この発明の実施の形態に力かる実施例について説明する。ここでは、この実施の形態にかかる運転支援装置を、例えば移動体としての自動車などの車両に搭載して適用した場合を例示して説明する。なお、この車両は、運転支援装置の他にナビゲーシヨン装置も搭載していることとする。

実施例

[0036] (運転支援装置のハードウェア構成）

まず、この発明の実施例に力かる運転支援装置のハードウェア構成について説明する。図 3は、この発明の実施例にかかる運転支援装置のハードウェア構成の一例を示すブロック図である。なお、以降において、既に説明した部分と重複する箇所には同一の符号を附して説明を省略する。

[0037] 図 3に示すように、運転支援装置 300は、制御部 301と、ユーザ操作部 302と、表示部 303と、情報取得部 304と、記録媒体 305と、記録媒体デコード部 306と、音声出力部 307と、通信部 308と、カメラ 309と、カメラ駆動部 310と、画像処理部 311と、音声生成部 312と、スピーカ 313とを備えて構成されている。

[0038] 制御部 301は、例えば運転支援装置 300全体を制御する。制御部 301は、例えば所定の演算処理を実行する CPU (Central Processing Unit)や各種制御プログラムを格納する ROM (Read Only Memory)、および CPUのワークエリアとして機能する RAM (Random Access Memory)などによって構成されるマイクロコンビユータゃ ECU (Electronic Control Unit)などによって実現することができる。

[0039] ユーザ操作部 302は、文字、数値、各種指示など、利用者によって入力操作された情報を制御部 301に対して出力する。このユーザ操作部 302は、例えば押しボタン式スィッチ、タツチパネル、リモコンなどによって構成される。また、ユーザ操作部 302 は、外部からの音声を入力するマイクを用いて、音声によって入力操作をおこなう形態としてもよい。

[0040] 表示部 303は、例えば CRT (Cathode Ray Tube)、 TFT (Thin Film Transi stor)液晶ディスプレイ、有機 EL (Electroluminescence)ディスプレイ、プラズマデイスプレイなどを含む。表示部 303は、具体的には、例えば映像 IZFや映像 IZFに接続された映像表示用のディスプレイ装置によって構成することができる。

[0041] なお、映像 I/Fは、具体的には、例えばディスプレイ装置全体の制御をおこなうグラフィックコントローラと、即時表示可能な画像情報を一時的に記憶する VRAM (Vid eo RAM)などのバッファメモリと、グラフィックコントローラから出力される画像情報に基づいて、ディスプレイ装置を表示制御する制御 ICなどによって構成される。この表示部 303には、後述するカメラ 309で撮影された映像 (画像)情報、警報情報およびその他各種情報が表示される。

[0042] 情報取得部 304は、 GPSレシーバおよび各種センサから構成され、移動体の位置

(運転支援装置 300の位置）の情報や車両の挙動情報などを取得する。また、情報取得部 304は、例えば車両にナビゲーシヨン装置が搭載されている場合、このナビゲーシヨン装置からナビゲーシヨンに関する情報を取得する。そして、取得した各種情報を制御部 301に出力する。ここで、 GPSレシーバは、 GPS衛星からの電波を受信し、 GPS衛星との幾何学的位置を求める。

[0043] なお、 GPSとは、 Global Positioning Systemの略称であり、 4つ以上の衛星からの電波を受信することによって地上での位置を正確に求めるシステムである。 GPS レシーバは、 GPS衛星からの電波を受信するためのアンテナ、受信した電波を復調するチューナおよび復調した情報に基づいて現在位置を算出する演算回路などによつて構成される。

[0044] 各種センサは、例えば速度センサ、傾斜角センサ、加速度センサ、角速度センサ（ジャイロセンサ）および横 Gセンサなどを含む。速度センサは、例えば車両のトランスミッションの出力側シャフトから車速を検出し、速度情報を出力する。傾斜角センサは、例えば車両の路面上での傾斜角度を検出し、傾斜角情報を出力する。

[0045] また、角速度センサ（ジャイロセンサ）は、例えば車両の進行方向を検出するとともに車両のコーナリングの際の角速度を検出し、角速度情報と相対方位情報とを出力する。横 Gセンサは、例えば車両のコーナリングの際の遠心力によって発生する外向きの力（向心力）である横 Gを検出し、横 G情報を出力する。なお、情報取得部 304は、例えば車両の操舵機 (ハンドル）の舵角情報を取得してもよレ、。

[0046] また、情報取得部 304は、これらの各種センサから出力される情報から、例えば車両の移動変位、移動速度、移動方向、傾斜角などを求める。そして、上記 GPSレシーバの受信電波から得られた情報と合わせて、上記各種センサからの出力情報を用いることによって、より高い精度で移動体の位置の認識をおこなうことができる。

[0047] また、この情報取得部 304によって取得されるナビゲーシヨンに関する情報は、例えばナビゲーシヨン装置における経路探索や経路誘導に用いられる地図情報が挙げられる。この地図情報は、例えば建物、河川、地表面などの地物（フィーチャ）をあらわす背景情報と、道路の形状をあらわす道路形状情報とを有しており、表示部 303 の表示画面において 2次元または 3次元に描画される。

[0048] ナビゲーシヨン装置における経路誘導がおこなわれている場合は、この地図情報と、移動体の現在位置を示すマークとが、表示部 303の表示画面に重ねて表示されることとなる。また、運転支援装置 300における警告情報などが出力されている場合は、この警告情報などが表示部 303の表示画面に重ねて表示されることとなる。

[0049] ここで、背景情報は、背景の形状をあらわす背景形状情報と、背景の種類をあらわす背景種別情報とを有する。背景形状情報は、例えば地物の代表点'ポリライン'ポリゴン'地物の座標などを含んでいる。また、背景種別情報は、例えば地物の名称や住所'電話番号をあらわすテキスト情報、建物'河川'地表面などの地物の種別情報を含んでいる。

[0050] 道路形状情報は、複数のノードおよびリンクを有する道路ネットワークに関する情報である。ノードは、三叉路 '十字路'五叉路など複数の道路が交差する交差点を示している。リンクは、ノード間を連結する道路を示している。リンクには、形状補間点を有するものもあり、この形状補間点によって曲線道路の表現が可能となる。

[0051] なお、道路形状情報は、さらに交通条件情報を有する。交通条件情報は、例えば各ノードについて、信号や横断歩道などの有無、高速道路の出入口やジャンクションの有無、各リンクの長さ（距離）、車幅、進行方向、通行禁止、道路種別（高速道路、有料道路、一般道路など)などの情報が含まれている。この交通条件情報には、過去の渋滞情報を季節 '曜日 '大型連休'時刻などを基準に統計処理した過去渋滞情報が記憶されている。

[0052] また、情報取得部 304は、例えば VICS (Vehicle Information and Commun ication System) (登録商標）センターから配信されナビゲーシヨン装置によって受信された渋滞や交通規則などの道路交通情報を取得するようにしてもよい。

[0053] このように、情報取得部 304によってナビゲーシヨン装置から取得した地図情報を運転支援装置 300において利用すれば、車両の挙動情報のみならず、例えば道路上の信号機の位置や道路形状などを先読みして運転支援に用いることが可能となる

[0054] 記録媒体 305には、各種制御プログラムや各種情報がコンピュータに読み取り可能な状態で記録されている。この記録媒体 305は、例えば HD (Hard Disk)や DV D (Digital Versatile Disk)、 CD (Compact Disk)、メモリカードなどによって実現することができる。なお、記録媒体 305は、記録媒体デコード部 306による情報の書き込みを受け付けるとともに、書き込まれた情報を不揮発に記録するようにしてもよい。記録媒体デコード部 306は、記録媒体 305に対する情報の読み取り（リード）/ 書き込み（ライト）の制御をおこなう。

[0055] なお、本実施例では、上記地図情報を情報取得部 304によってナビゲーシヨン装置から取得するようにした力この地図情報は、例えば記録媒体 305に記録されていてもよレ、。また、地図情報は、外部サーバなどに記録されていてもよい。この場合、運転支援装置 300は、例えば後述する通信部 308を通じてネットワーク網を介して外部サーバから地図情報を取得するようにしてもよい。取得された地図情報は、 RAMなどに一時的あるいは恒久的に記憶される。

[0056] 音声出力部 307は、接続されたスピーカ 313への出力を制御することによって、警報音などの音声を再生する。ここで、スピーカ 313は、一つであってもよいし、複数であってもよい。具体的には、音声出力部 307は、例えば音声ディジタル情報の DZA 変換をおこなう DZAコンバータと、 DZAコンバータから出力される音声アナログ信号を増幅する増幅器と、音声アナログ信号の A/D変換をおこなう AZDコンバータとによって構成することができる。

[0057] 通信部 308は、例えば FM多重チューナ、無線通信機器およびその他の通信機器によって構成され、他の通信機器との通信をおこなう。また、通信部 308は、携帯電話機、 PHS、通信カードおよび無線 LANなどの通信媒体を介して通信をおこなう構成としてもよレ、。

[0058] カメラ 309は、例えば車両のルームミラー裏側などに取り付けられたディジタルスチルカメラ（DSC)やディジタルビデオカメラ（DVC)などの撮影装置によって構成され、 C— MOSや CCDなどの光電変換素子を有し、車両の前方を撮影する。このカメラ 3 09は、例えば車両の前方を、進行方向を中心として左右 ± 30° 〜45° の範囲の画角で撮影する。

[0059] カメラ駆動部 310は、情報取得部 304によって取得された車両の挙動情報に基づく制御部 301からの制御によって、例えばカメラ 309の固定軸を機械的に駆動することにより、車両の進行方向に変化が生じた場合にカメラ 309の撮影方向が進行方向に追従するように変更させる。このカメラ駆動部 310は、回転モータやソレノイドなどによって実現することができる。

[0060] 画像処理部 311は、運転支援装置 300における画像処理全般をおこなうとともに、カメラ 309によって撮影された画像の画像処理をおこなう。この画像処理部 311は、具体的には、例えば GPU (Graphics Processing Unit)や DSP (Digital Signa 1 Processor)などによって構成される。

[0061] この画像処理部 311による画像処理は、具体的には、例えばカメラ 309によって撮影された車両前方の画像を解析し、解析した画像から信号機に関する信号画像を抽出するとともに、この信号画像によってあらわされる信号機の表示色を、例えばあらかじめ設定されている色見本情報などと比較することによって判別することによりおこなわれる。

[0062] なお、画像処理部 311によって判別された信号機の表示色に関する情報は、制御部 301に出力され、制御部 301は、この表示色に関する情報に基づいて後述する警報情報の出力を制御する。また、画像処理部 311によって画像処理された車両前方の画像は、制御部 301を介して表示部 303の表示画面上に表示されてもよい。

[0063] 音声生成部 312は、警報情報に基づく警報音などの各種音声の情報を生成する。

すなわち、画像処理部 311によって判別された信号機の表示色に関する情報に基づく制御部 301からの警報情報に基づいて、例えば信号機の表示色が赤色や黄色の場合にこれらに対応した仮想音源の設定と音声ガイダンス情報の生成をおこない、これを制御部 301を介して音声出力部 307へ出力する。

[0064] スピーカ 313は、音声出力部 307から出力される警報音や制御部 301から音声出力部 307を介して出力される各種音声を再生（出力）する。ここで、例えばこのスピー力 313にヘッドフォンなどを設け、車両内部全体が出力される警報音や音声などの音場とならないように、案内音や音声の出力形態を適宜変更するようにしてもよい。

[0065] なお、実施の形態に力かる運転支援装置の機能的構成である図 1における撮影部

101は、具体的には、例えばカメラ 309およびカメラ駆動部 310などによってその機能を実現し、取得部 102は、例えば情報取得部 304や通信部 308などによってその機能を実現する。また、判断部 103は、具体的には、例えば制御部 301によってその機能を実現する。

[0066] また、図 1における制御部 104は、具体的には、例えば制御部 301やカメラ駆動部

310などによってその機能を実現し、抽出部 105および判別部 106は、例えば制御部 301や画像処理部 311などによってその機能を実現する。また、図 1における出力部 107は、具体的には、例えば表示部 303、音声出力部 307およびスピーカ 313などによってその機能を実現する。

[0067] (運転支援装置における撮影制御方法を用いた運転支援の概要）

次に、この発明の実施例に力かる運転支援装置における撮影制御方法を用いた運転支援の概要について説明する。図 4は、この発明の実施例にかかる運転支援装置における撮影制御方法を用いた運転支援の概要を説明するための説明図である。

[0068] 図 4に示すように、道路 410上を走行している車両 401は、前方を撮影するカメラ 3 09 (図 3参照）を搭載しており、このカメラ 309は、車両 401が直進している場合には、例えば破線 A〜破線 Bの撮影範囲 PD1で車両 401の前方を撮影する。ここで、道路 410力例えば図示のように右カーブとなっている場合は、車両 401の進行方向が直進から図中矢印 421で示すような方向（右前方方向）に変化する。

[0069] このとき、車両 401のカメラ 309の撮影範囲 PD1がそのままの状態であると、右カーブの出口付近の信号機 411をカメラ 309で撮影するのが遅れることとなる。このため、本実施例の運転支援装置 300 (図 3参照）では、挙動情報として、例えば車両 401の進行方向が図中矢印 421で示すような方向に変化した際に発生する図中矢印 422 で示す車両 401の横方向の横 G情報を情報取得部 304 (図 3参照）において取得する。

[0070] そして、取得した横 G情報に基づいて制御部 301 (図 3参照）によって車両 401の進行方向を演算し、カメラ駆動部 310 (図 3参照）によって演算した進行方向に追従するようにカメラ 309の撮影方向を、例えば直線 C〜直線 Dの撮影範囲 PD2で車両 4 01の前方を撮影するように変更させる。

[0071] これにより、右カーブの出口付近の信号機 411を確実に撮影することができるとともに、撮影した信号機 411の信号画像に基づいて、例えば信号機 411の表示色による警報情報を出力することが可能となる。したがって、カーブの途中で突然信号機 411 があらわれたことによるパニックブレーキなどに起因する事故の防止を図ったり、運転者に対して事前に注意を喚起したりすることが可能となる。なお、挙動情報として上記横 G情報に加えて、例えば車両 401の進行方向の速度情報や加速度情報、あるいは操舵機の舵角情報などを利用して、より緻密にカメラ 309の撮影方向を変更させるようにしてもよい。

[0072] ここで、一般的に、一定の速度で直進している車両 401が旋回運動を始めた場合には、車両 401の左右方向（すなわち、車両 401の横方向）に加わる加速度（横 G) がその旋回の回転半径に反比例するとされている。このため、挙動情報として用いられる横 G情報からは、例えば車両 401における左右方向の加速度 (横 G)が大きいほど回転半径が小さい（すなわち、急カーブである）ということが分かる。

[0073] したがって、情報取得部 304により取得した横 G情報があらわす車両 401の左右方向の加速度 (横 G)が大きい場合は、制御部 301によって制御されたカメラ駆動部 31 0によりカメラ 309の撮影範囲 PD1を車両 401の正面に対して左右方向に大きく変更させ、加速度 (横 G)が小さい場合は、左右方向に小さく変更させればよい。

[0074] また、このとき、加速度 (横 G)は速度の 2乗に比例する特性を備えているため、旋回運動をする車両 401の速度が速い場合は左右方向の加速度 (横 G)が大きぐ遅い場合は左右方向の加速度 (横 G)が小さくなることが分かる。このため、カメラ駆動部 3 10によるカメラ 309の撮影範囲の変更に際しては、車両 401の横 G情報の他に進行方向の速度情報を用いて制御をおこなえば、より精細かつ緻密な変更をおこなうことができる。この他、車両 401の操舵機の舵角情報を用いても同様の変更をおこなうことがでさる。

[0075] (運転支援装置の撮影制御処理および運転支援処理手順）

次に、この発明の実施例にかかる運転支援装置の撮影制御処理および運転支援処理手順について説明する。図 5は、この発明の実施例にかかる運転支援装置の撮影制御処理および運転支援処理手順の一例を示すフローチャートである。

[0076] 具体的に、図 5に示す処理は、例えば図 3に示した制御部 301の RAM、 ROMあるいは記録媒体 305などに記憶 (記録)されたプログラムを、制御部 301の CPUが実行し、運転支援装置 300の各部を制御することによって実現する。なお、以降において、主に図 3および図 4を参照しながら説明をおこなうが、既に説明した部分と重複する箇所は、特に明示しない限り同一の符号を附して説明を省略する。

[0077] 図 5のフローチャートにおいて、まず、制御部 301の制御によって、カメラ 309により車両 401の前方を撮影し (ステップ S501)、情報取得部 304により横 G情報、速度情報および舵角情報などの車両 401の挙動情報を取得する（ステップ S502)。次に、制御部 301によって、情報取得部 304により取得した挙動情報に基づいて、車両 40 1の進行方向に横方向の変化があるか否かを判断する（ステップ S503)。

[0078] 車両 401の進行方向に横方向の変化がないと判断された場合 (ステップ S503 : No )は、上記ステップ S501に戻り車両 401の前方の撮影をおこなう。車両 401の進行方向に横方向の変化があると判断された場合 (ステップ S503 : Yes)は、制御部 301 の制御によって、カメラ駆動部 310により車両 401の進行方向の変化に追従するようにカメラ 309の撮影方向を変更する（ステップ S504)。

[0079] そして、制御部 301によって、カメラ 309により撮影され画像処理部 311を通して画像処理された車両 401の前方の画像内に、信号機 411をあらわす信号画像があるか否かを判断する (ステップ S505)。撮影された画像内に信号画像がないと判断された場合（ステップ S505 : No)は、上記ステップ S501に戻り車両 401の前方の撮影をおこなう。 [0080] 一方、撮影された画像内に信号画像があると判断された場合 (ステップ S505 : Yes )は、画像処理部 311によって、撮影された画像から信号画像を抽出し (ステップ S5 06)、信号画像に基づく信号機 411の表示色を判別する（ステップ S507)。そして、制御部 301によって、例えば判別した表示色が赤色であるか否力を判断する（ステツプ S508)。

[0081] 表示色が赤色であると判断された場合 (ステップ S508 : Yes)は、制御部 301によつて、撮影したその信号機 411にっき最初の発見であるか否かを判断し (ステップ S50 9)、最初の発見であると判断された場合 (ステップ S509 : Yes)は、制御部 301によつて、所定時間を計時するタイマーをセットして (ステップ S510)、表示部 303や音声生成部 312、音声出力部 307およびスピーカ 313を制御して信号機 411の表示色が赤色である旨の、すなわち赤信号である旨の警報情報を出力する (ステップ S511)。

[0082] 最初の発見でないと判断された場合 (ステップ S509 : No)は、制御部 301によって、タイマーがタイムアウトしているか否かを判断し (ステップ S512)、タイムアウトしていると判断された場合 (ステップ S512 : Yes)は、上記ステップ S511に移行して警報情報を出力する。

[0083] 一方、表示色が赤色でないと判断された場合 (ステップ S508 : No)は、制御部 301 によって、例えば判別した表示色が黄色であるか否かを判断する (ステップ S513)。表示色が黄色であると判断された場合 (ステップ S513 : Yes)は、制御部 301によつて、撮影したその信号機 411にっき最初の発見であるか否力を判断する（ステップ S 514) ₀

[0084] そして、最初の発見であると判断された場合 (ステップ S514 : Yes)は、制御部 301 によって、所定時間を計時するタイマーをセットして (ステップ S515)、表示部 303や音声生成部 312、音声出力部 307およびスピーカ 313を制御して信号機 411の表示色が黄色である旨の、すなわち黄色信号である旨の警報情報を出力する (ステップ S 516)。

[0085] 最初の発見でないと判断された場合 (ステップ S514 : No)は、制御部 301によって、タイマーがタイムアウトしているか否かを判断し (ステップ S517)、タイムアウトしていると判断された場合 (ステップ S517 : Yes)は、上記ステップ S516に移行して警報情報を出力する。

[0086] 表示色が黄色でないと判断された場合 (ステップ S513 : No)、上記ステップ S512 およびステップ S517におレ、てタイムアウトしてレ、ないと判断された場合 (ステップ S51 2,ステップ S517 : No)および上記ステップ S511およびステップ S516において警報情報を出力した後は、制御部 301によって、例えば画像処理部 311からの情報に基づいて、カメラ 309により撮影された画像内に信号画像が未だ存在しているかどうかなどを判定し、信号機 411を通過したか否かを判断する（ステップ S518)。

[0087] 信号機 411を通過していないと判断された場合 (ステップ S518 : No)は、上記ステップ S501に戻りステップ S501〜ステップ S518までの処理を繰り返す。信号機 411 を通過したと判断された場合 (ステップ S518 : Yes)は、制御部 301によって、 RAM などに一時記憶された各種情報を初期化するために、メモリをクリアして (ステップ S5 19)、ステップ S 501に移行して処理をループする。

[0088] なお、上記ステップ S508およびステップ S513の表示色の判断処理は順番が異なつていてもよい。また、上述した処理は、上記ステップ S507において判別された信号機 411の表示色が赤色や黄色で連続してレ、る場合に、上記ステップ S510あるいはステップ S515においてタイマー設定した所定時間ごとに、上記ステップ S511およびステップ S516において警報音や警報画像などの警報情報を出力して、車両 401の運転者などに対して注意を喚起する動作をおこなうものである。

[0089] このように、この発明の実施例に力かる運転支援装置 300によれば、情報取得部 3 04によって取得された車両 401の挙動情報に基づいて、制御部 301により制御されたカメラ駆動部 310によってカメラ 309の撮影方向が車両 401の進行方向の変化に追従するように変更させることができる。このため、例えば道路 410がカーブなどで曲力 Sつている場合でもカメラ 309の撮影範囲から道路 410上の信号機 411が外れることがなぐ正確に信号機 411を撮影しこれに基づく警報情報などを出力することができる。

[0090] また、この発明の実施例に力る運転支援装置 300では、カメラ 309により撮影された画像から画像処理部 311によって信号機 411をあらわす信号画像を抽出し、この信号画像に基づいて信号機 411の表示色を判別して、例えば車両 401の運転者に対して警報情報を出力することができる。このため、運転者に対して確実に注意を喚起すること力 Sできる。

[0091] 以上のように、この発明にかかる運転支援装置、撮影制御方法、撮影制御プロダラムおよび記録媒体によれば、移動体の進行方向の変化に確実に撮影方向を追従させて移動体前方の画像を撮影するとともに、撮影した画像に基づく情報を出力することができる。これにより、運転者に対して正確かつ確実に移動体前方の画像に基づく情報を報知して運転支援することが可能となるという効果を奏する。

[0092] なお、本実施例では、運転支援装置 300によって信号機 411の表示色が赤色である場合や黄色である場合に警報情報を出力することを例に挙げて説明したが、表示色として青色（緑色）を判別し、この青色（緑色）に基づく情報を表示部 303に表示したり、スピーカ 313から音声出力したりするように構成してもよい。

[0093] また、本実施例では、信号機 411の表示色に基づく情報を出力することを例に挙げて説明したが、この情報に基づき制御部 301の制御によって、車両 401の各部を制御して走行安全性を向上させるように構成してもよい。この場合、例えば表示色が赤色であるときは、信号機 411から手前所定距離以内においては車両 401が安全に停止するようにブレーキをかけるなどの制御が考えられる。

[0094] また、本実施例においては、カメラ 309を車両 401のルームミラー裏側に配置して車両 401の前方を撮影するように構成した力カメラ 309の配置位置は、車両 401の前方が撮影できる位置であれば、これに限られるものではなレ、。また、カメラ 309を車両 401の後方が撮影できる位置にさらに配置し、車両 401の後方画像に基づく情報を適宜表示部 303の表示画面上に併せて表示するように構成してもよい。

[0095] なお、本実施の形態で説明した撮影制御方法は、あらかじめ用意されたプログラムをパーソナル ·コンピュータやワークステーションなどのコンピュータで実行することにより実現すること力 Sできる。このプログラムは、ハードディスク、フレキシブルディスク、 CD-ROM, MO、 DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、このプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

Claims

請求の範囲

[1] 移動体の前方を撮影する撮影手段と、

前記移動体の挙動に関する挙動情報を取得する取得手段と、

前記挙動情報に基づいて前記移動体の進行方向に変化が生じたか否かを判断する判断手段と、

前記移動体の進行方向に変化が生じたと判断された場合に、前記撮影手段の撮影方向を前記進行方向の変化に追従するように変更する制御手段と、

前記撮影手段によって撮影された画像に基づく情報を出力する出力手段と、を備えることを特徴とする運転支援装置。

[2] 前記撮影手段によって撮影された画像から、信号機に関する信号画像を抽出する抽出手段と、

前記抽出手段によって抽出された前記信号画像に基づいて、前記信号機の表示色を判別する判別手段と、

をさらに備え、

前記出力手段は、前記判別手段によって判別された判別結果に基づいて、前記移動体の運転者に対して警報情報を出力することを特徴とする請求項 1に記載の運転支援装置。

[3] 前記挙動情報は、前記移動体の加速度に関する情報であり、

前記判断手段は、前記加速度に関する情報に基づいて前記移動体の進行方向が当該移動体の横方向に変化したか否かを判断し、

前記制御手段は、前記移動体の進行方向が当該移動体の横方向に変化したと判断された場合に、前記撮影方向を当該横方向に変更することを特徴とする請求項 1 または 2に記載の運転支援装置。

[4] 前記挙動情報は、前記移動体の速度に関する情報および加速度に関する情報であり、

前記制御手段は、前記速度に関する情報が示す前記移動体の進行方向の速度および前記加速度に関する情報が示す前記移動体の横方向の加速度を用いて前記移動体の進行方向が当該移動体の横方向に変化したと判断された場合に、前記撮影方向を当該横方向に変更することを特徴とする請求項 1または 2に記載の運転支援装置。

[5] 前記挙動情報は、前記移動体の操舵機に関する情報であり、

前記判断手段は、前記操舵機に関する情報に基づいて前記移動体の進行方向が当該移動体の横方向に変化したか否かを判断し、

前記制御手段は、前記操舵機に関する情報が示す操舵方向が当該移動体の横方向に変化したと判断された場合に、前記撮影方向を当該横方向に変更することを特徴とする請求項 1または 2に記載の運転支援装置。

[6] 移動体の前方を撮影する撮影手段と、当該撮影手段によって撮影された画像に基づく情報を出力する出力手段と、を備える運転支援装置における撮影制御方法であつて、

前記移動体の挙動に関する挙動情報を取得する取得工程と、

前記挙動情報に基づいて前記移動体の進行方向に変化が生じたか否かを判断する判断工程と、

前記移動体の進行方向に変化が生じたと判断された場合に、前記撮影手段の撮影方向を前記進行方向の変化に追従するように変更する制御工程と、

を含んだことを特徴とする撮影制御方法。

[7] 請求項 6に記載の撮影制御方法をコンピュータに実行させることを特徴とする撮影制御プログラム。

[8] 請求項 7に記載の撮影制御プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。