JP6760211B2 - Display control device, display control system, display control method and display control program - Google Patents
Display control device, display control system, display control method and display control program Download PDFInfo
- Publication number
- JP6760211B2 JP6760211B2 JP2017118402A JP2017118402A JP6760211B2 JP 6760211 B2 JP6760211 B2 JP 6760211B2 JP 2017118402 A JP2017118402 A JP 2017118402A JP 2017118402 A JP2017118402 A JP 2017118402A JP 6760211 B2 JP6760211 B2 JP 6760211B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- line
- video data
- expected
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムに関する。 The present invention relates to a display control device, a display control system, a display control method, and a display control program.
近年、車両の後退時等に、車両の後方に搭載された後方カメラによって撮影された後方映像に対して、後退動作の軌跡の予測を示したガイド線を重畳してモニタ等の表示部に表示することで、容易かつ的確に車両を駐車区画へ誘導する技術が普及している。 In recent years, when the vehicle is reversing, a guide line showing the prediction of the trajectory of the retreating motion is superimposed on the rear image taken by the rear camera mounted on the rear of the vehicle and displayed on a display unit such as a monitor. By doing so, the technology of guiding the vehicle to the parking lot easily and accurately has become widespread.
例えば、特許文献1に記載された車載用撮像装置は、車両の駐車時等に車両後方の映像を撮影して、車内のモニタに車両後方の映像を表示させるとともに、該車両後方の映像に車両進行方向の予想軌跡を重畳して表示させる。 For example, the in-vehicle imaging device described in Patent Document 1 captures an image of the rear of the vehicle when the vehicle is parked, displays the image of the rear of the vehicle on a monitor inside the vehicle, and displays the image of the rear of the vehicle on the image of the rear of the vehicle. The predicted locus of the traveling direction is superimposed and displayed.
図18に従来技術の例を示す。例示した映像40は、車両の後方に搭載された後方カメラによって撮影された映像に、車両の後退動作の軌跡の予測を示したガイド線70を重畳したものである。運転者は、駐車枠線30及び31を含む駐車区画33へ車両10を移動させている。ガイド線70は、車両10の車幅に対応し、車両の予定軌跡に沿って描かれている。そして、駐車枠線30とガイド線70とは重なり合っている。
FIG. 18 shows an example of the prior art. The illustrated
従来技術においては、このように、後方映像に重畳されるガイド線が駐車枠線と重なってしまう場合がある。この場合、運転者は、表示されている映像から駐車枠線を見極めることが困難となる。そのため運転者は車両と駐車区画との位置関係を把握することが困難な場合がある。 In the prior art, the guide line superimposed on the rear image may overlap with the parking frame line in this way. In this case, it becomes difficult for the driver to identify the parking border from the displayed image. Therefore, it may be difficult for the driver to grasp the positional relationship between the vehicle and the parking lot.
本発明は、このような課題を解決するためになされたものであり、表示部に表示される駐車枠線が目視困難となることを抑制した表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムを提供することを目的とする。 The present invention has been made to solve such a problem, and is a display control device, a display control system, a display control method, and a display that suppress the parking frame line displayed on the display unit from becoming difficult to see. The purpose is to provide a control program.
本発明にかかる表示制御装置は、駐車枠線が表示されている駐車区画へ車両を移動する間に車両の進行方向を撮影するカメラからの映像データを取得する映像データ取得部と、前記車両の操舵角を含む動作情報を検出する車両動作検出部と、前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成する予想進路線生成部と、前記第1予想進路線又は前記第2予想進路線の内どちらを前記映像データと重畳させるのかを判断する判断部と、前記判断部の判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成する重畳映像生成部と、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する表示制御部と、を備え、前記判断部は、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線を前記映像データと重畳させることを判断するものである。 The display control device according to the present invention includes a video data acquisition unit that acquires video data from a camera that captures the traveling direction of the vehicle while moving the vehicle to the parking section where the parking frame line is displayed, and the vehicle. A vehicle motion detection unit that detects motion information including steering angle, a first predicted traveling route extending along the travel schedule of the vehicle starting from the central portion in the width direction of the vehicle, and both ends in the width direction of the vehicle. A second predicted line including a pair of lines extending along the progress schedule of the vehicle starting from the unit, a predicted line generating unit for generating a predicted line, and a first predicted line or a second predicted line. Superimposition that is a judgment unit that determines which of the two is superimposed on the video data, and video data in which the video data and the first predicted advance line or the second expected advance line are superimposed according to the judgment of the determination unit. A superposed image generation unit that generates data and a display control unit that transmits the superposed data to the display unit in order to display the image related to the superposed data on the display unit are provided, and the determination unit is the parking frame. When the line and the second expected advance line are displayed close to each other, it is determined to superimpose the first expected advance line on the video data.
また、本発明にかかる表示制御方法は、駐車枠線が表示されている駐車区画へ車両を移動する間に車両の進行方向を撮影するカメラからの映像データを取得し、前記車両の操舵角を含む動作情報を検出し、前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成し、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線又は前記第2予想進路線の内、前記第1予想進路線を前記映像データと重畳させることを判断し、前記判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成し、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信するものである。 Further, the display control method according to the present invention acquires video data from a camera that captures the traveling direction of the vehicle while moving the vehicle to the parking section where the parking frame line is displayed, and determines the steering angle of the vehicle. The first predicted traveling route that detects the motion information including the vehicle and extends along the traveling schedule of the vehicle starting from the central portion in the width direction of the vehicle, and the traveling of the vehicle starting from both ends in the width direction of the vehicle. A second predicted line including a pair of lines extending along a schedule is generated, and when the parking frame line and the second predicted line are displayed close to each other, the first predicted line is displayed. Alternatively, it is determined that the first predicted traveling route is superimposed on the video data among the second predicted traveling routes, and the video data and the first predicted traveling route or the second predicted traveling route are combined according to the determination. The superimposed data, which is the superimposed image data, is generated, and the superimposed data is transmitted to the display unit in order to display the image related to the superimposed data on the display unit.
また、本発明にかかる表示制御プログラムは、コンピュータに、駐車枠線が表示されている駐車区画へ車両を移動する間に車両の進行方向を撮影するカメラからの映像データを取得させ、前記車両の操舵角を含む動作情報を検出させ、前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成させ、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線又は前記第2予想進路線の内、前記第1予想進路線を前記映像データと重畳させることを判断させ、前記判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成させ、前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信させるものである。 Further, the display control program according to the present invention causes a computer to acquire video data from a camera that captures the traveling direction of the vehicle while moving the vehicle to the parking section where the parking border is displayed, and the display control program of the vehicle. The operation information including the steering angle is detected, and the first expected traveling route extending along the traveling schedule of the vehicle starting from the central portion in the width direction of the vehicle and the both ends in the width direction of the vehicle as starting points. When a second expected traveling route including a pair of lines extending along the traveling schedule of the vehicle is generated and the parking frame line and the second expected traveling route are displayed in close proximity to each other, the first expected traveling route is generated. It is determined that the first predicted advance route is superimposed on the video data among the expected advance route or the second expected advance route, and the video data and the first expected advance route or the second expected advance route are determined according to the determination. Superimposed data, which is video data superposed with a route, is generated, and the superposed data is transmitted to the display unit in order to display the video related to the superposed data on the display unit.
本発明により、駐車枠線が目視困難となることを抑制した表示制御装置、表示制御システム、表示制御方法及び表示制御プログラムを提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a display control device, a display control system, a display control method, and a display control program that prevent the parking frame line from becoming difficult to see visually.
実施の形態1
以下、図面を参照して本発明の実施の形態1について説明する。図1は、実施の形態1にかかる表示制御システム100の機能ブロック図である。なお、以下の説明及び図面において、複数の図面に共通する構成についてはそれぞれ共通の符号を付している。そのため、共通の符号を付した構成については適宜説明を省略する。
Embodiment 1
Hereinafter, Embodiment 1 of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram of the
表示制御システム100は、運転者が車両を駐車区画に移動させる際に、車両の前方又は後方に搭載され、車両の進行方向を撮影するカメラ210によって撮影された映像に対して、進行予定の方向を示した予想進路線を重畳して表示部220に表示するシステムである。表示制御システム100は、例えば、車両に後付け可能なナビゲーションシステムやドライブレコーダ等の機能の一部として実現されてもよい。また、表示制御装置200は、例えば、工場において車両を組み立てる際に車両に組み込まれるシステムの機能の一部として実現されてもよい。また、表示制御装置200は、例えば、工場において車両を組み立てる際に車両に組み込まれるシステムと、車両に後付け可能な装置とを組み合わせることにより実現されてもよい。表示制御システム100は、表示制御装置200と、カメラ210又は表示部220の少なくともいずれか一方を備える。
The
表示制御装置200は、カメラ210が撮影した映像のデータである映像データを取得し、予想進路線を重畳して表示部220に表示させる。表示制御装置200は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置など、様々な形態の装置として実現可能である。プロセッサは、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、もしくはCPU(Central Processing Unit)である。メモリは、揮発性メモリ又は不揮発性メモリであって、揮発性メモリ及び不揮発性メモリの組み合わせによって構成されてもよい。プロセッサは、実施の形態にかかる処理をコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。表示制御装置200は、車内ネットワークであるCAN(Controller Area Network)等と接続している。また、表示制御装置200は、カメラ210及び表示部220と接続している。尚、CAN等とは、CANに限らず、MOST(Media Oriented Systems Transport)やイーサネット(登録商標)等の車内ネットワークであってもよいことを意味している。
The
また、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュメモリ、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 Programs can also be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W, a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash memory, and a RAM (random access memory)). The program may also be supplied to the computer by various types of transient computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
続いて、表示制御装置200の詳細について説明する。表示制御装置200は、車両動作検出部300、予想進路線生成部310、映像データ取得部320、駐車枠線認識部330、判断部340、重畳映像生成部350及び表示制御部360を備える。
Subsequently, the details of the
車両動作検出部300は、車内ネットワークであるCAN等から車両の動作に関する情報である動作情報を受信する。動作情報とは、例えば、車両の変速機がどのレンジに設定されているかを示す情報、車両の操舵角を示す情報又は車両の走行速度を示す情報の一部又は全部を含む情報である。すなわち、車両動作検出部300は、CAN等から送られた信号のうち、予め設定された信号を検出し、予想進路線生成部310、判断部340又は表示制御部360に送り得る。車両動作検出部300は、動作情報を受けることにより、例えば、変速機がリバースレンジに設定されたことを検出し得る。また、車両動作検出部300は、例えば、変速機がドライブレンジの低速モードに設定されたことを検出し得る。また、車両動作検出部300は、車両の操舵角を示す情報を検出し、車両のハンドルの角度を監視し得る。また、車両動作検出部300は、車両の走行速度を示す情報を検出し、車両の走行速度を監視し得る。
The vehicle
予想進路線生成部310は、車両動作検出部300が送信した動作情報を受信する。そして予想進路線生成部310は、車両動作検出部300が送信した動作情報に基づいて、予想進路線を生成する。予想進路線は、カメラ210が撮影した映像のデータに重畳されることにより、車両の進行予定を示す線情報である。予想進路線生成部310は、例えば、車両動作検出部300が送信した操舵角を示す情報に基づいて、予想進路を算出する。予想進路線生成部310は、算出した予想進路から、予想進路線を生成する。予想進路線生成部310による予想進路線の生成は、既存の任意の手法が適用可能である。例えば、予想進路線生成部310は、1か所または2か所以上の点を予想進路点として算出する。そして、予想進路線生成部310は、予め設定された方法により、予想進路点を通過する予想進路線の情報を生成する。予想進路線の一例としては、車両が直進した場合の車幅を延伸した線情報である。また、予想進路線の別の例としては、車両の操舵角と連関する線情報である。予想進路線生成部310は、生成した予想進路線に関する情報を判断部340及び重畳映像生成部350に送信する。予想進路線生成部310は、上述した予想進路線の内、1又は複数の予想進路線に関する情報を生成して送信する。
The predicted
映像データ取得部320は、カメラ210において生成された映像データを取得する。映像データ取得部320は、カメラ210から非圧縮のデジタル映像データまたはアナログ映像データを取得する。映像データ取得部は、これらの映像データを、非圧縮のデジタル映像データまたは例えば、H.264もしくはH.265等の方式を用いたフォーマットの圧縮された映像データとして重畳映像生成部350に送信する。また、映像データ取得部320は、MPEG(Moving Picture Experts Group)、2−TS(Transport Stream)またはAVI(Audio Video Interleave)等の圧縮された映像フォーマットの映像データを生成してもよい。映像データ取得部320は、映像データを駐車枠線認識部330及び重畳映像生成部350に送信する。
The video
駐車枠線認識部330は、映像データ取得部320が送信した映像データから、駐車区画に表示されている駐車枠線を認識する。駐車枠線認識部330は、例えば、映像データが有する各画素の輝度勾配を演算し、エッジ検出などの予め設定された手法に基づいて、駐車枠線を認識する。映像データが有する各画素の輝度勾配を演算し予め設定された物体を認識する手法は、既知の技術である。よって、詳細な説明は省略する。駐車枠線認識部330は、駐車枠線を認識することにより、映像データ内に駐車枠線が存在しているか否か、及び、映像データ内の駐車枠線の位置に関する情報を生成する。駐車枠線認識部330は、生成した情報を、判断部340へ送信する。また、駐車枠線認識部330は、駐車枠線を認識しない場合に、映像データに駐車枠線が含まれていないことを判断部340へ送信する。
The parking frame
判断部340は、車両動作検出部300が送信した情報、予想進路線生成部310が送信した情報又は駐車枠線認識部330が送信した情報を受信し、表示部220に表示させる予想進路線の表示態様を判断する。判断部340は、これらの判断に関する情報を、重畳映像生成部350に送信する。
The
判断部340は、例えば、車両動作検出部300が送信した情報に基づいて、予想進路線の表示態様を判断し得る。また、判断部340は、例えば、予想進路線生成部310が送信した予想進路線に関する情報と、駐車枠線認識部330が送信した駐車枠線に関する情報とから、駐車枠線と予想進路線との距離を算出する。そして、判断部340は、算出結果に基づいて、予想進路線の表示態様を判断し得る。尚、判断部340は、予想進路線の表示態様を判断する場合に、予想進路線生成部310に対して生成する予想進路線の態様を指示してもよい。その場合、予想進路線生成部310は、判断部340からの指示に基づいて予想進路線を生成してもよい。
The
判断部340が表示態様を判断するとは、例えば、予想進路線が複数存在する場合において、判断部340がいずれの予想進路線を重畳させるかを判断することであってもよい。また、判断部340が表示態様を判断するとは、例えば、予想進路線が複数存在する場合において、判断部340が複数の予想進路線の内いずれかの予想進路線を目立たない表示態様にすることを判断することであってもよい。
When the
尚、目立たない表示態様とは、表示部220に表示された映像において、相対的に他の表示よりも目立たないという意味である。つまり、目立たない表示態様とは、例えば、映像データに重畳させる予想進路線の太さを細くすることである。また、目立たない表示態様とは、例えば、映像データに重畳させる予想進路線の透過率を高くすることである。また、目立たない表示態様とは、例えば、映像データに重畳させる予想進路線を表示しないことを含んでもよい。
The inconspicuous display mode means that the image displayed on the
重畳映像生成部350は、予想進路線生成部310が送信した情報と、映像データ取得部320が送信した映像データと、判断部340が送信した情報とを受信する。そして、重畳映像生成部350は、判断部が送信した情報に基づいて、映像データと予想進路線とを重畳させる。すなわち、重畳映像生成部350は、映像データ取得部320が送信した映像データと、予想進路線生成部310が送信した予想進路線に関する情報とを重畳させる際に、判断部340が送信した情報に応じて、予想進路線の表示態様を変更し得る。
The superimposed
例えば、判断部340が予想進路線を目立たない表示態様にすることを判断する情報を送信した場合に、重畳映像生成部350は、予想進路線を目立たない表示態様にして映像データに重畳させる。あるいは、判断部340が予想進路線を目立たない表示態様にしないことを判断する情報を送信した場合に、重畳映像生成部350は、予想進路線を目立たない表示態様にしないで映像データに重畳させる。予想進路線生成部310が複数の予想進路線に関する情報を送信する場合に、重畳映像生成部350は、判断部340が送信したそれぞれの予想進路線の表示態様に関する情報に応じて、複数の予想進路線を映像データに重畳させる。この場合、重畳映像生成部350は、判断部340が送信した情報に応じて、複数の予想進路線の内、映像データに重畳させると判断された予想進路線を重畳しうる。つまり、重畳映像生成部350は、判断部340が映像データに重畳させると判断しない予想進路線を映像データに重畳させないことができる。重畳映像生成部350は、予想進路線と映像データとを重畳させた映像データである重畳データを、表示制御部360に送信する。尚、判断部340は、重畳映像生成部350に含まれていてもよい。
For example, when the
表示制御部360は、重畳映像生成部350が送信した重畳データを受信する。表示制御部360は、受信した重畳データを表示部220に送信する。表示制御部360は、例えば図示しない表示指示部からの指示を受けて重畳データを表示部220に送信し、又は送信を停止してもよい。表示制御部360は、車両動作検出部300を監視して、車両動作検出部300が検出する情報に応じて、映像データ又は重畳データを表示部220に送信し、又は送信を停止してもよい。また、表示制御部360は、車両動作検出部300に接続し、車両動作情報を取得し得る。
The
表示制御部360は、受信した重畳データを加工することにより、表示部に表示させる映像の視野角を変更してもよい。また、表示制御部360は、受信した重畳データを加工することにより、表示部に表示させる映像の歪み補正処理を行ってもよい。また、表示制御部360は、受信した重畳データを加工することにより、表示部に表示させる映像を車両の上方から俯瞰しているような映像に変更してもよい。また、表示制御部360は、受信した重畳データを加工することにより、表示部に表示させる映像を、上述した内容に限らず変更してもよい。
The
カメラ210は、車両の前方又は車両の後方を撮影した映像データを生成する。カメラ210は、車両の前方に設置されていてもよい。また、カメラ210は、車両の後方に設置されていてもよい。また、カメラ210は、車両の前方及び車両の後方にそれぞれ設置されていてもよい。カメラ210は、生成した映像データを、表示制御装置200が有する映像データ取得部320に送信する。
The
表示部220は、表示制御装置200が有する表示制御部360から受信した映像データ又は重畳データを表示する。表示部220は、例えば液晶表示装置、有機EL(有機エレクトロルミネッセンス)表示装置、ヘッドアップディスプレイ等の表示装置である。表示部220は、運転者が車両を操作する際に目視可能な位置に設置されている。運転者が車両を操作する際に目視可能な位置とは、例えば、車両のセンターコンソール、ダッシュボード、メータパネル、バックミラー、ハンドル又はフロントガラス等である。
The
次に、図2を参照しながら、表示制御システム100が搭載された車両について説明する。図2は、表示制御システム100が搭載された車両10が駐車区画33に移動している状態の一例を示した上面図である。車両10は、任意の位置に、表示制御装置200を有している。また、車両10は、前方カメラ210Fと、後方カメラ210Rとを有している。また、車両10は、運転者が車両を操作する際に目視可能な位置に表示部220を有している。図2において、車両10は、駐車区画33へ向かって後進している。駐車区画33は、駐車枠線30〜32を有している。運転者は、駐車枠線30〜32に囲まれた位置に車両10を移動させようとしている。この場合に、表示制御システム100は、後方カメラ210Rが撮影した映像のデータを取得する。
Next, a vehicle equipped with the
続いて、車両10の有するカメラが撮影した映像データについて説明する。図3は、車両10の有するカメラが撮影した映像データを表示部220に表示させた映像の例を示す図である。映像40は、車両10の一部分及び駐車枠線30〜32を含んでいる。映像40の下側は、車両10に近く、映像40の上側ほど、車両10からは遠い位置を示している。
Subsequently, the video data taken by the camera of the
尚、図3はxy座標を含んでいる。図3において、x座標は、映像40の水平方向を示している。図3の右方向はx軸のプラス方向である。図3において、y座標は、映像40の垂直方向を示している。図3の上方向はy軸のプラス方向である。図3に示したxy座標は、いずれも構成要素の位置関係を説明するための便宜的なものである。また、図4以降の映像40に示したxy座標は、それぞれ図3におけるxy座標と同様の目的において示されている。
Note that FIG. 3 includes xy coordinates. In FIG. 3, the x-coordinate indicates the horizontal direction of the
次に、図4を参照しながら、第1予想進路線について説明する。図4は、実施の形態1にかかる表示制御システム100において映像データに第1予想進路線を重畳した映像の例を示す図である。図4における映像40は、図3において説明した映像に加えて、第1予想進路線50を含んでいる。第1予想進路線50は、車両10の幅方向の中央部11を起点として操舵角に応じた進行予定に沿って延伸している。すなわち、第1予想進路線50は、車両10の操舵角に応じて、車両の走行進路を予想して示した線情報である。第1予想進路線50は、車両10が直進している場合を除けば、車両10の操舵角に応じて曲線になる。第1予想進路線50の曲率は、車両10の操舵角が大きいほど大きくなる。
Next, the first expected route will be described with reference to FIG. FIG. 4 is a diagram showing an example of an image in which the first predicted route is superimposed on the image data in the
起点50sは、車両の中央部11に含まれる。中央部11は、映像40における車両10の車幅の表示に対して3分の1程度の中央部の領域を指している。起点50sは、中央部11内における中央点11cに一致していてもよい。終点50eは、車両の操舵角に応じて起点50sが進行予定に沿って延伸した曲線の上に位置する点である。
The
終点50eは、実際の車両からの距離が予め設定された値に相当する位置を示し得る。映像40において、起点50sから終点50eまでのy軸方向の寸法50yは、車両10の中央部11から、例えば、3メートルの距離に相当する。この場合、終点50eのy軸方向の寸法50yは固定され得る。また、終点50eのx軸方向の位置は、車両10の操舵角に対応して変化する。つまり、車両の操舵角が大きいほど、x方向の寸法50xの絶対値は大きくなる。そして、車両の操舵方向が映像40に対して右の場合、第1予想進路線50は、中央部11を起点としてy軸プラス方向且つx軸プラス方向に延伸する。同様に、操舵方向が映像40に対して左の場合、第1予想進路線50は、中央部11を起点としてy軸プラス方向且つx軸マイナス方向に延伸する。
The
尚、終点50eのy軸方向の寸法50yは固定されず、起点50sを中心とした円又は楕円の円周を描くように変化してもよい。終点50eのy軸方向の寸法50yは固定されず、操舵角が変化しても第1予想進路線50の長さが実質的に同じになるように変化してもよい。
The
第1予想進路線50は、図4に示したような実線ではなく、破線や点線であってもよい。第1予想進路線50は、太さが均一な線ではなく、起点50sから終点50eにかけて太さが変化してもよい。
The first expected traveling
また、本実施の形態における中央部11の位置は、映像40における車両10の車幅の表示に対して3分の1程度の中央部の領域を指している。起点50sは、中央部11内における中央点11cに一致していてもよい。
Further, the position of the
尚、映像データに対して第1予想進路線50を重畳する表示態様は、第1表示モードと称される。
The display mode in which the first predicted
このように、第1予想進路線50は、車両10の中央部11を起点として車両10の進行方向に沿って延伸している。そのため、運転者が車両を駐車区画に移動させる場合において、駐車枠線と第1予想進路線とは重なって表示される可能性が低減されている。
As described above, the first expected traveling
次に、図5を参照しながら、第2予想進路線について説明する。図5は、実施の形態1にかかる表示制御システム100において映像データに第2予想進路線を重畳した映像の例を示す図である。図5における映像40は、図3において説明した映像に加えて、第2予想進路線60、第2予想進路線61及び距離表示線66〜68を含んでいる。第2予想進路線60は、映像40における車両の幅方向の左側端部12を起点として車両の進行予定に沿って延伸する。第2予想進路線61は、映像40における車両の幅方向の右側端部13を起点として車両の進行予定に沿って延伸する。つまり、第2予想進路線60及び61は、車両の幅方向の両端部を起点として車両の進行予定に沿って延伸する一対の線情報である。第2予想進路線60及び61は、車両の操舵角と連関し、車両の操舵角に応じて、車両の走行進路を予想して示した線情報であってもよい。第2予想進路線60及び61のy軸方向の寸法は、図4において説明した第1予想進路線50の寸法50yと同様、車両10の両端部から、例えば、3メートルの距離に相当する。
Next, the second expected route will be described with reference to FIG. FIG. 5 is a diagram showing an example of an image in which the second predicted route is superimposed on the image data in the
距離表示線66〜68は、映像40における左側の第2予想進路線60と、右側の第2予想進路線61とを結ぶように水平方向に延伸した線情報である。距離表示線66〜68は、車両10の端部から、予め設定された距離を示す。例えば、距離表示線66は、車両10の後端から0.4メートルの距離を示している。距離表示線67は、例えば、車両10の後端から1.0メートルの距離を示している。距離表示線68は、例えば、車両10の後端から2.0メートルの距離を示している。
The
図5(A)は、操舵角が0度すなわち車両が直進する状態における第2予想進路線60及び61を示している。図5(B)は、矢印で示した操舵方向に車両10のハンドルが操作されている状態における第2予想進路線60及び61を示している。運転者は、車両を移動させる場合に、第2予想進路線60、第2予想進路線61及び距離表示線66〜68が重畳された映像データを見ることにより、車両の予想進路及び駐車枠線32と車両との距離を把握し得る。
FIG. 5A shows the second expected traveling
判断部340は、映像40が含んでいる左側の駐車枠線30と、左側の第2予想進路線60との距離を算出し得る。具体的には、例えば、判断部340は、第2予想進路線60に沿って、基準点62及び基準点63を設定する。基準点62及び基準点63の垂直方向の位置は、予め設定された位置であり得る。また、基準点62及び基準点63の水平方向の位置は、第2予想進路線60の位置に対応して変化し得る。そして、判断部340は、基準点62と駐車枠線30との水平方向の距離D62を算出する。また、判断部340は、基準点63と駐車枠線30との水平方向の距離D63を算出する。そして、判断部340は、算出した距離D62及び距離D63が、それぞれ予め設定された範囲内か否かを判断し得る。
The
距離D62及び距離D63がそれぞれ予め設定された範囲内の場合とは、駐車枠線30と第2予想進路線60との距離が近い場合、駐車枠線30と第2予想進路線60とが接している場合又は駐車枠線30と第2予想進路線60とが交差している場合を含む。尚、距離D62に対して予め設定された範囲と、距離D63に対して予め設定された範囲とは、それぞれ適宜設定されるものであり、同じ範囲であってもよいし、異なる範囲であってもよい。
When the distance D62 and the distance D63 are within the preset ranges, when the distance between the
判断部340は、上述した左側の例と同様に、映像40が含んでいる右側の駐車枠線31と、右側の第2予想進路線61との距離を算出する。すなわち、左側の駐車枠線30と左側の第2予想進路線60との距離を算出する場合と同様に、判断部340は、第2予想進路線61に沿って、基準点64及び基準点65を設定する。そして、判断部340は、基準点64と駐車枠線31との水平方向の距離D64を算出する。また、判断部340は、基準点65と駐車枠線31との水平方向の距離D65を算出する。そして、判断部340は、算出した距離D64及び距離D65が、予め設定された範囲内か否かを判断し得る。
The
判断部340は、このようにして算出した距離情報に応じて、第2予想進路線60及び61の表示態様を判断し得る。判断部340は、例えば、駐車枠線30と第2予想進路線60との距離又は駐車枠線31と第2予想進路線61との距離のいずれかが、予め設定された距離よりも近いと判断した場合に、第2予想進路線60及び61を目立たない表示態様にすることを判断してもよい。また、判断部340は、駐車枠線30と第2予想進路線60との距離又は駐車枠線31と第2予想進路線61との距離のいずれかが、予め設定された距離よりも近いと判断した場合に、第2予想進路線60及び61に代えて、図4を参照しながら説明した第1予想進路線を表示することを判断してもよい。
The
第2予想進路線60及び61は、車両の操舵角と連関してもよい。その場合、距離D62〜D65は、車両の操舵角に応じて変化する。例えば、図5(A)における距離D63と図5(B)における距離D63とを比較した場合、図5(B)における距離D63は、図5(A)における距離D63よりも長い。この場合、操舵角は、図5(A)において0度近傍であり、図5(B)において矢印に示したように、右側へ変化している。図5(B)における操舵角は、操舵角Adである。同様に、図5(A)における距離D65と、図5(B)における距離D65とを比較すると、図5(B)における距離D65は、図5(A)における距離D65よりも短い。
The second expected
尚、映像データに対して第2予想進路線60及び61を重畳する表示態様は、第2表示モードと称される。
The display mode in which the second expected
このような構成により、運転者は、車両を駐車区画に移動させる場合において、第2予想進路線60及び61を見ながら車両の操舵角を調整し得る。また、運転者は、距離表示線66〜68を見ながら、車両の前後方向の停止位置を調整し得る。しかしながら、第2予想進路線60及び61は、駐車枠線と重なってしまう場合がある。この場合、運転者は、表示されている映像から駐車枠線を見極めることが困難となる。そのため運転者は車両と駐車区画との位置関係を把握することが困難な場合がある。
With such a configuration, the driver can adjust the steering angle of the vehicle while looking at the second expected
実施の形態1にかかる表示制御システム100において、判断部340は、駐車枠線30及び31と第2予想進路線60及び61とが近接して表示される場合に、表示態様を第1表示モードにすることを判断する。
In the
例えば、車両10が直進に近い操舵角を伴い進行している場合に、車両10の進行方向に沿って表示される第2予想進路線60及び61と駐車枠線30及び31とは、平行に表示される可能性が高い。そして、この場合、駐車枠線30及び31と第2予想進路線60及び61とは、近接して表示される可能性が高い。そこで、判断部340は、操舵角Adが予め設定された角度より小さいか否かにより、表示態様を判断する。したがって、判断部340は、操舵角Adが予め設定された角度より小さい場合に、表示態様を第1表示モードにすることを判断する。操舵角Adが予め設定された角度より小さい場合とは、例えば操舵角Adが10度より小さい場合などである。
For example, when the
次に、図6を参照しながら実施の形態1にかかる表示制御装置200の処理について説明する。図6は、実施の形態1にかかる表示制御装置200におけるフローチャートを示す図である。
Next, the processing of the
まず、表示制御装置200において、車両動作検出部300は、車内ネットワークであるCAN等から検出する車両10の変速機の設定に関する情報を検出する。そして、表示制御部360は、車両動作検出部300が検出した車両10の変速機の設定に関する情報を取得し、車両10が後退するか否かを判断する(ステップS100)。
First, in the
車両10が後退しない場合、すなわち車両10の変速機の設定がリバースレンジではない場合(ステップS100:No)、表示制御部360は、車両動作検出部300が検出した車両10の変速機の設定に関する情報を取得し、再びステップS100の処理を行う。
When the
一方、車両10が後退している場合、すなわち車両10の変速機の設定がリバースレンジである場合(ステップS100:Yes)、表示制御装置200は、表示部220に重畳データを送信する処理を開始するために、ステップS101に進む。
On the other hand, when the
続いて、判断部340は、車両動作検出部300が検出した車両10の変速機の設定に関する情報を取得し、操舵角Adが予め設定された角度A1より小さいか否かを判断する(ステップS101)。操舵角Adが予め設定された角度A1より小さいと判断部340が判断した場合(ステップS101:Yes)、判断部340は、第1表示モードにより重畳データを生成することを指示する情報を、重畳映像生成部350に送信する(ステップS102)。したがって、重畳映像生成部350は、映像データ取得部320が送信した映像データと、予想進路線生成部310が送信した映像データを第1表示モードにより重畳する。表示制御部360は、重畳映像生成部350が送信した第1表示モードにおける重畳データを、表示部220に送信する。
Subsequently, the
一方、操舵角Adが予め設定された角度A1より小さいと判断部340が判断しない場合(ステップS101:No)、判断部340は、第2表示モードにより重畳データを生成することを指示する情報を、重畳映像生成部350に送信する(ステップS105)。したがって、重畳映像生成部350は、映像データ取得部320が送信した映像データと、予想進路線生成部310が送信した映像データを第2表示モードにより重畳する。表示制御部360は、重畳映像生成部350が送信した第2表示モードにおける重畳データを、表示部220に送信する。
On the other hand, when the
次に、ステップS102又はステップS105において、判断部340が表示態様を決定した後、表示制御部360は予想進路線の表示を終了するか否かを判断する(ステップS103)。具体的には、表示制御部360は、例えば、車両動作検出部300を監視することにより、車両10の変速機の設定がリバースレンジか否かを判断する。車両10の変速機の設定がリバースレンジではない場合(ステップS103:Yes)、表示制御装置200は、予想進路線表示を終了させる判断をする。一方、車両10の変速機の設定がリバースレンジの場合(ステップS103:No)、表示制御装置200は、予想進路線表示を終了させない。この場合、ステップS101に戻り、判断部340は、判断部340は、車両動作検出部300が検出した車両10の変速機の設定に関する情報を取得し、処理を継続する。
Next, in step S102 or step S105, after the
本実施の形態1にかかる表示制御システム100は、このような処理を行うことにより、表示部に表示される駐車枠線が目視困難となることを抑制することができる。
The
実施の形態2
次に、図7を参照しながら実施の形態2について説明する。実施の形態2にかかる表示制御システム100は、判断部340が駐車枠線と第2予想進路線60及び61との距離に基づいて判断を行う点において、実施の形態1と異なる。
Embodiment 2
Next, the second embodiment will be described with reference to FIG. 7. The
図7は、実施の形態2にかかる表示制御システム100における映像の例を示す図である。図7(A)は、映像データ取得部320が取得した映像データに対して、第2予想進路線60及び61と、距離表示線66〜68が重畳されている。すなわち、図7(A)に示す映像40の表示態様は、第2表示モードである。
FIG. 7 is a diagram showing an example of an image in the
判断部340は、図5を参照しながら説明したように、映像40における左側の駐車枠線30と左側の第2予想進路線60との距離を算出する。同様に、判断部340は、映像40における右側の駐車枠線31と右側の第2予想進路線61との距離を算出する。すなわち、判断部340は、距離D62〜D65をそれぞれ算出する。
As described with reference to FIG. 5, the
図7(A)において、距離D62及び距離D63は、予め設定された範囲内である。換言すると、駐車枠線30と、第2予想進路線60とは、近接している。このような場合、運転者は、映像40から駐車枠線30を見極めることが困難となる。そのため、運転者は車両と駐車区画との位置関係を把握することが困難な場合がある。そこで、判断部340は、第2予想進路線60及び61と、駐車枠線30及び31との距離が予め設定された範囲内である場合に、駐車枠線30及び31と、第2予想進路線60及び61とが近接して表示されると判断する。
In FIG. 7A, the distance D62 and the distance D63 are within a preset range. In other words, the
判断部340は、第2予想進路線60及び61と、駐車枠線30及び31との距離が予め設定された範囲内である場合に、映像40の表示態様を第1表示モードにすることを判断する。図7(B)は、映像データ取得部320が取得した映像データに対して、第1予想進路線50が重畳されている。すなわち、図7(B)に示す映像40の表示態様は、第1表示モードである。
The
第1予想進路線50は、車両10の中央部11を起点として車両10の進行方向に沿って延伸している。そのため、運転者が車両を駐車区画に移動させる場合において、駐車枠線と第1予想進路線とは重なって表示される可能性が低減されている。よって、本実施の形態2にかかる表示制御システム100は、駐車枠線が目視困難となることを抑制することができる。
The first expected traveling
次に、図8を参照しながら実施の形態2にかかる表示制御装置200における処理について説明する。図8は、実施の形態2にかかる表示制御装置200におけるフローチャートを示す図である。実施の形態2にかかる表示制御装置200のフローチャートは、ステップS100とステップS102の間における処理が実施の形態1にかかる表示制御装置200のフローチャートと異なる。
Next, the process in the
車両10が後退している場合、すなわち車両10の変速機の設定がリバースレンジである場合(ステップS100:Yes)、表示制御装置200は、表示部220に重畳データを送信する処理を開始するために、ステップS201に進む。
When the
ステップS201において、判断部340は、駐車枠線認識部330が駐車枠線を認識しているか否かを判断する(ステップS201)。駐車枠線認識部330が駐車枠線を認識していない場合(ステップS201:No)、判断部340は、第2表示モードにより重畳データを生成することを指示する情報を、重畳映像生成部350に送信する(ステップS105)。
In step S201, the
一方、駐車枠線認識部330が駐車枠線を認識している場合(ステップS201:Yes)、判断部340は、駐車枠線認識部330が送信した駐車枠線に関する情報と、予想進路線生成部310が送信した予想進路線に関する情報とから、駐車枠線と第2予想進路線とが近いか否かを判断する(ステップS202)。より具体的には、例えば、図7を参照しながら説明したように、判断部340は、距離D62〜D65を算出する。そして、判断部340は、算出した距離D62〜D65が、予め設定された範囲内か否かを判断する。
On the other hand, when the parking frame
判断部340が駐車枠線と第2予想進路線とが近いと判断しない場合(ステップS202:No)、判断部340は、第2表示モードにより重畳データを生成することを指示する情報を、重畳映像生成部350に送信する(ステップS105)。
When the
判断部340が駐車枠線と第2予想進路線とが近いと判断した場合(ステップS202:Yes)、判断部340は、重畳映像生成部350に、第1表示モードにより重畳データを生成することを指示する情報を重畳映像生成部350に送信する(ステップS102)。
When the
次に、ステップS102又はステップS105において、判断部340が表示態様を決定した後、表示制御部360は予想進路線の表示を終了するか否かを判断する(ステップS103)。具体的には、表示制御部360は、例えば、車両動作検出部300を監視することにより、車両10の変速機の設定がリバースレンジか否かを判断する。車両10の変速機の設定がリバースレンジではない場合(ステップS103:Yes)、表示制御装置200は、予想進路線表示を終了させる判断をする。一方、車両10の変速機の設定がリバースレンジの場合(ステップS103:No)、表示制御装置200は、予想進路線表示を終了させない。この場合、ステップS101に戻り、判断部340は、判断部340は、車両動作検出部300が検出した車両10の変速機の設定に関する情報を取得し、処理を継続する。
Next, in step S102 or step S105, after the
本実施の形態2にかかる表示制御システム100は、このような処理を行うことにより、表示部に表示される駐車枠線が目視困難となることを抑制することができる。
The
実施の形態3
次に、実施の形態3について説明する。実施の形態3にかかる表示制御装置は、車両の周囲に存在する物体を検出する物体検出センサ及びセンサ検出部をさらに備えるものである。
Next, the third embodiment will be described. The display control device according to the third embodiment further includes an object detection sensor and a sensor detection unit that detect an object existing around the vehicle.
以下に、図9を参照しながら表示制御システム101の機能構成について説明する。図9は、実施の形態3にかかる表示制御システム101の機能ブロック図である。実施の形態3にかかる表示制御システム101は、物体検出センサ230とセンサ検出部370を有する点において実施の形態1にかかる表示制御システム100と異なる。まだ、判断部340の機能が実施の形態1にかかる表示制御システム100と異なる。
The functional configuration of the
表示制御システム101は、運転者が車両を駐車区画に移動させる際に、車両の前方又は後方に搭載され、車両の進行方向を撮影するカメラ210によって撮影された映像に対して、進行予定の方向を示した予想進路線を重畳して表示部220に表示するシステムである。また、表示制御システム101は、物体検出センサ230を備え、さらに、表示制御装置201と、カメラ210又は表示部220の少なくともいずれか一方を備える。
The
物体検出センサ230は、車両の周囲に存在する物体の車両からの距離を検出するセンサである。物体検出センサ230は、例えば、超音波センサ、赤外センサ、レーザセンサ、ミリ波レーダなどである。また、物体検出センサ230は、ステレオカメラであってもよい。また、物体検出センサ230は、複数であってもよい。また、物体検出センサ230は、これらの組み合わせにより構成されてもよい。物体検出センサ230は、表示制御装置201が有しているセンサ検出部370に接続している。
The
続いて、表示制御装置201について説明する。表示制御装置201は、実施の形態1にかかる表示制御装置200とは、センサ検出部370と、判断部340に代えてセンサ検出部370と接続する判断部340を有している点において異なる。
Subsequently, the
センサ検出部370は、物体検出センサ230が送信した情報を検出する。センサ検出部370は、また、検出した情報を判断部340に送信する。センサ検出部370は、例えば、複数の物体検出センサ230が送信した情報を統合して、判断部340に送信し得る。また、センサ検出部370は、例えば、複数の物体検出センサ230が送信した情報をそのまま判断部に送信してもよい。また、センサ検出部370は、例えば、複数の物体検出センサ230が送信した情報から、予め設定された情報のみを抽出して、判断部340に送信してもよい。予め設定された情報とは、例えば、車両から予め設定された距離内に物体が存在するか否かであり得る。また、予め設定された情報とは、例えば、車両から物体までの距離情報であってもよい。
The
判断部340は、車両動作検出部300が送信した情報、予想進路線生成部310が送信した情報、駐車枠線認識部330が送信した情報又はセンサ検出部370が送信した情報を受信し、表示部220に表示させる予想進路線の表示態様を判断する。判断部340は、これらの判断に関する情報を、重畳映像生成部350に送信する。
The
判断部340は、例えば、車両動作検出部300及びセンサ検出部370が送信した情報に基づいて、予想進路線の表示態様を判断し得る。また、判断部340は、例えば、予想進路線生成部310が送信した予想進路線に関する情報と、駐車枠線認識部330が送信した駐車枠線に関する情報とから、駐車枠線と予想進路線との距離を算出し得る。そして、判断部340は、算出結果及びセンサ検出部370が送信した情報に基づいて、予想進路線の表示態様を判断し得る。
The
次に、図10を参照しながら、表示制御システム101が搭載された車両について説明する。図10は、表示制御システム101が搭載された車両10が駐車区画33に移動している状態の一例を示した上面図である。車両10は、任意の位置に、表示制御装置201を有している。また、車両10は、前方カメラ210Fと、後方カメラ210Rとを有している。また、車両10は、運転者が車両を操作する際に目視可能な位置に表示部220を有している。また、車両10は、車両10の周囲の物体の有無を検出するための、物体検出センサ230を有している。図10において、車両10は、駐車区画33へ向かって後進している。駐車区画33は、駐車枠線30〜32を有している。運転者は、駐車枠線30〜32に囲まれた位置に車両10を移動させようとしている。この場合に、表示制御システム100は、後方カメラ210Rが撮影した映像のデータを取得する。また、駐車区画33に隣接する駐車区画34には、他の車両15が存在している。したがって、車両10の運転者は、車両10と他の車両15との距離を確保しつつ、駐車区画33に車両10を移動させる。
Next, a vehicle equipped with the
次に、図11を参照しながら実施の形態3にかかる表示制御システム101についてさらに説明する。図11は、実施の形態3にかかる表示制御システム101における映像の例を示す図である。
Next, the
図11(A)は、実施の形態3にかかる表示制御システム101において映像データに第2予想進路線を重畳した映像の例を示す図である。図11(A)において、車両10は駐車区画33に移動中である。車両10の操舵角Adは、予め設定された角度よりも小さい。車両10は直進に近い操舵角を伴い進行している。そのため、車両10の進行方向に沿って表示される第2予想進路線60及び61と駐車枠線30及び31とは、平行に表示される可能性が高い。そして、この場合、駐車枠線30及び31と第2予想進路線60及び61とは、近接して表示される可能性が高い。
FIG. 11A is a diagram showing an example of an image in which the second predicted route is superimposed on the image data in the
しかしながら、駐車区画33に隣接する駐車区画34には、他の車両15が停車している。このような場合、運転者は、車両10を駐車区画33に移動させると共に、他の車両15との距離を確保する必要がある。そこで、判断部340は、操舵角Adの値に関わらず、車両10から予め設定された距離に隣接する物体を検出した場合には、第2予想進路線60及び61を重畳させる表示態様(第2表示モード)にすることを判断する。
However, another
図11(B)は、実施の形態3にかかる表示制御システム101において映像データに第1予想進路線を重畳した映像の例を示す図である。図11(B)においては、駐車区画34に他の車両15は停車していない。したがって、判断部340は、車両10から予め設定された距離に隣接する物体を検出しない場合に、操舵角Adが予め設定された角度より小さいか否かにより、表示態様を判断する。したがって、判断部340は、操舵角Adが予め設定された角度より小さい場合に、第1予想進路線を重畳させる表示態様(第1表示モード)にすることを判断する。
FIG. 11B is a diagram showing an example of an image in which the first predicted route is superimposed on the image data in the
このような構成により、実施の形態3にかかる表示制御システム101は、運転者が車両を駐車区画に移動させる場合において、隣接する物体との距離を確保したうえで、駐車枠線が目視困難となることを抑制することができる。
With such a configuration, in the
次に、図12を参照しながら、実施の形態3にかかる表示制御装置201の処理について説明する。図12は、実施の形態3にかかる表示制御装置201におけるフローチャートを示す図である。実施の形態3にかかる表示制御装置201のフローチャートは、ステップS202とステップS102の間における処理が実施の形態2にかかる表示制御装置200のフローチャートと異なる。
Next, the process of the
ステップS202において、判断部340が駐車枠線と第2予想進路線とが近いと判断した場合(ステップS202:Yes)、判断部340は、車両10の周囲に隣接する物体が存在するか否かを判断する(ステップS301)。すなわち、判断部340は、センサ検出部370が送信した情報から、車両10の周囲に隣接する物体が存在するか否かを判断する。
In step S202, when the
判断部340が車両10の周囲に隣接する物体が存在すると判断する場合(ステップS301:Yes)、判断部340は、第2表示モードにより重畳データを生成することを指示する情報を、重畳映像生成部350に送信する(ステップS105)。
When the
一方、判断部340が車両10の周囲に隣接する物体が存在すると判断しない場合(ステップS301:No)、判断部340は、第1表示モードにより重畳データを生成することを指示する情報を、重畳映像生成部350に送信する(ステップS102)。
On the other hand, when the
これ以降は、上述した実施の形態1及び2にかかる処理と同様である。尚、実施の形態3にかかる処理において、ステップS301は、ステップS201の前であっても構わないし、ステップS202の前であっても構わない。 After that, the process is the same as that of the above-described first and second embodiments. In the process according to the third embodiment, step S301 may be before step S201 or before step S202.
以上に説明した本実施の形態3にかかる表示制御システム101は、駐車枠線と第2予想進路線とが近いか否かの判断において、操舵角Adを用いた。しかしながら、駐車枠線と第2予想進路線とが近いか否かの判断は、実施の形態2において説明した、距離D62〜D65の値を用いてもよい。
The
本実施の形態3にかかる表示制御システム101は、このような処理を行うことにより、表示部に表示される駐車枠線が目視困難となることを抑制することができる。
The
実施の形態4
次に、図13及び図14を参照しながら実施の形態4について説明する。実施の形態4にかかる表示制御システム101は、図9を参照しながら説明した機能ブロック図と同様である。実施の形態4にかかる表示制御システム101は、判断部340において、駐車枠線認識部330が送信した情報と、センサ検出部370が送信した情報とから、駐車枠線と隣接する物体との距離を算出する点において、実施の形態3と異なる。
Embodiment 4
Next, the fourth embodiment will be described with reference to FIGS. 13 and 14. The
まず、図13を参照しながら実施の形態4について詳細を説明する。図13は、実施の形態4にかかる表示制御システム101における映像の例を示す図である。
First, the fourth embodiment will be described in detail with reference to FIG. FIG. 13 is a diagram showing an example of an image in the
図13(A)は、実施の形態4にかかる表示制御システム101において映像データに第2予想進路線を重畳した映像の例を示す図である。図13(A)において、車両10は駐車区画33に移動中である。
FIG. 13A is a diagram showing an example of an image in which the second predicted route is superimposed on the image data in the
判断部340は、駐車枠線と第2予想進路線とが近いか否かを判断するために、映像40における左側の駐車枠線30と左側の第2予想進路線60との距離を算出する。同様に、判断部340は、映像40における右側の駐車枠線31と右側の第2予想進路線61との距離を算出する。すなわち、判断部340は、距離D62〜D65をそれぞれ算出する。
The
図13(A)において、距離D62及び距離D63は、予め設定された範囲内である。換言すると、駐車枠線30と、第2予想進路線60とは、近接している。このような場合、運転者は、映像40から駐車枠線30を見極めることが困難となる。そのため、運転者は車両と駐車区画との位置関係を把握することが困難な場合がある。判断部340は、第2予想進路線60及び61と、駐車枠線30及び31との距離が予め設定された範囲内である場合に、駐車枠線30及び31と、第2予想進路線60及び61とが近接して表示されると判断する。
In FIG. 13 (A), the distance D62 and the distance D63 are within a preset range. In other words, the
しかしながら、駐車区画33に隣接する駐車区画34には、他の車両15が停車している。このような場合、運転者は、車両10を駐車区画33に移動させると共に、他の車両15との距離を確保する必要がある。そこで、判断部340は、距離D62〜D65の値に関わらず、駐車枠線30又は31から予め設定された距離に隣接する物体を検出した場合には、第2予想進路線60及び61を重畳させる表示態様(第2表示モード)にすることを判断する。図13(A)において、距離D30は、駐車枠線30と他の車両15との距離である。判断部340は、物体検出センサ230が検出した他の車両15の位置及び距離についての情報と、駐車枠線認識部330が認識した駐車枠線30についての情報とから、距離D30を算出する。
However, another
距離D30を算出するにあたり、判断部340は、他の車両15の位置及び距離を解析し、破線15bに示すように、検出した物体の境界線を設定し得る。距離D30は、例えば、駐車枠線30と、他の車両15との水平方向の距離であり得る。また、距離D30は、駐車枠線30と他の車両15との最短距離であってもよい。
In calculating the distance D30, the
図13(B)は、実施の形態4にかかる表示制御システム101において映像データに第1予想進路線を重畳した映像の例を示す図である。図13(B)においては、駐車区画34停車している他の車両15と、駐車枠線30との距離D30は、予め設定された値より大きい。この場合、判断部340は、第2予想進路線60及び61と、駐車枠線30及び31との距離が予め設定された範囲内である場合に、駐車枠線30及び31と、第2予想進路線60及び61とが近接して表示されると判断する。つまり、判断部340は、第1予想進路線を重畳させる表示態様(第1表示モード)にすることを判断する。
FIG. 13B is a diagram showing an example of an image in which the first predicted route is superimposed on the image data in the
このような構成により、実施の形態3にかかる表示制御システム101は、運転者が車両を駐車区画に移動させる場合において、隣接する物体との距離を確保したうえで、駐車枠線が目視困難となることを抑制することができる。
With such a configuration, in the
次に、図14を参照しながら、実施の形態4にかかる表示制御装置201の処理について説明する。図14は、実施の形態4にかかる表示制御装置201におけるフローチャートを示す図である。実施の形態4にかかる表示制御装置201のフローチャートは、ステップS202とステップS102の間における処理が実施の形態3にかかる表示制御装置201のフローチャートと異なる。
Next, the process of the
ステップS202において、判断部340が駐車枠線と第2予想進路線とが近いと判断した場合(ステップS202:Yes)、判断部340は、駐車枠線30及び31と車両10の周囲に隣接する物体とが近いか否かを判断する(ステップS401)。すなわち、判断部340は、センサ検出部370が送信した情報と駐車枠線認識部330が送信した情報とから、距離D30を算出する。そして、判断部340は、距離D30が予め設定された距離D1より小さいか否かを判断する。
In step S202, when the
判断部340が距離D30を距離D1より小さいと判断した場合(ステップS401:Yes)、判断部340は、第2表示モードにより重畳データを生成することを指示する情報を、重畳映像生成部350に送信する(ステップS105)。
When the
一方、判断部340が距離D30を距離D1より小さいと判断しない場合(ステップS401:No)、判断部340は、第1表示モードにより重畳データを生成することを指示する情報を、重畳映像生成部350に送信する(ステップS102)。
On the other hand, when the
これ以降は、上述した実施の形態1〜3にかかる処理と同様である。尚、実施の形態4にかかる処理において、ステップS401は、ステップS201の前であっても構わないし、ステップS202の前であっても構わない。 After that, the process is the same as that of the above-described first to third embodiments. In the process according to the fourth embodiment, the step S401 may be before the step S201 or before the step S202.
以上に説明した本実施の形態4にかかる表示制御システム101は、駐車枠線と第2予想進路線とが近いか否かの判断において、距離D62〜D65を用いた。しかしながら、駐車枠線と第2予想進路線とが近いか否かの判断は、実施の形態1において説明した操舵角Adの値を用いてもよい。
The
本実施の形態4にかかる表示制御システム101は、このような処理を行うことにより、表示部に表示される駐車枠線が目視困難となることを抑制することができる。
The
第1表示モードにおける他の表示態様の例
次に、図15〜図17を参照しながら実施の形態1〜4にかかる第1表示モードにおける他の表示態様の例について説明する。
Examples of Other Display Modes in the First Display Mode Next, examples of other display modes in the first display mode according to the first to fourth embodiments will be described with reference to FIGS. 15 to 17.
図15は、映像データに第1予想進路線及び車幅ガイド線を重畳した映像の例を示す図である。図15に示す映像40は、図4を参照して説明した第1予想進路線50に、車幅ガイド線76〜78が重畳されている。車幅ガイド線76〜78は、映像40の水平方向すなわちx軸と平行な方向に延伸した線情報である。車幅ガイド線76〜78は、車両10の端部から、予め設定された距離を示してもよい。例えば、車幅ガイド線76は、車両10の後端から0.4メートルの距離を示してもよい。車幅ガイド線77は、例えば、車両10の後端から1.0メートルの距離を示してもよい。車幅ガイド線78は、例えば、車両10の後端から2.0メートルの距離を示してもよい。この場合、車幅ガイド線76〜78は、映像40において、y軸方向に変位しないものであってもよい。つまり、車幅ガイド線76〜78は、図5を参照しながら説明した距離表示線66〜68と同じであってもよい。
FIG. 15 is a diagram showing an example of an image in which the first expected traveling route and the vehicle width guide line are superimposed on the image data. In the
車幅ガイド線76〜78の長さは、車両10の車幅と一致している。例えば、車幅ガイド線76の左側端部76Lは、車両10の後端から0.4メートルの距離における車両10の車幅の一端を示している。一方、車幅ガイド線76の右側端部76Rは、車両10の後端から0.4メートルの距離における車両10の車幅の他端を示している。つまり、車幅ガイド線76は、車両10の後端から例えば0.4メートルの距離において、車両10の幅方向に亘り延伸し、車両10の車幅に一致する直線である。同様に、車幅ガイド線77は、車両10の後端から例えば1.0メートルの距離において、車両10の幅方向に亘り延伸し、車両10の車幅に一致する直線である。また、車幅ガイド線78は、車両10の後端から例えば2.0メートルの距離において、車両10の幅方向に亘り延伸し、車両10の車幅に一致する直線である。車幅ガイド線76〜78は、映像40において、車両10の操舵角に伴い、x軸方向に変位し得る。
The lengths of the vehicle
次に、図16を参照しながら、第1表示モードにおける他の表示態様の例をさらに説明する。図16は、映像データに第1予想進路線及び透過率の高い第2予想進路線を併せて重畳した映像の例を示す図である。図16(A)に示す映像40は、図4を参照しながら説明した第1予想進路線50に加えて、第2予想進路線52及び53が併せて重畳されている。
Next, with reference to FIG. 16, examples of other display modes in the first display mode will be further described. FIG. 16 is a diagram showing an example of a video in which a first predicted route and a second predicted route having high transmittance are superimposed on the video data. In the
第2予想進路線52及び53は、車両10の操舵角と連関する一対の線情報である。第2予想進路線52及び53は、車両10の操舵角に応じて、車両10の走行進路を予想して示した線情報である。第2予想進路線52は、車両10の幅方向の左側端部12を起点として操舵角に応じた進行予定に沿って延伸している。同様に、第2予想進路線53は、車両10の幅方向の右側端部13を起点として操舵角に応じた進行予定に沿って延伸している。つまり、第2予想進路線52及び53は、車両10の車幅に相当する位置を、車両10の進行方向に沿って延伸している。第2予想進路線52及び53は、車両10が直進している場合を除けば、車両10の操舵角に応じて曲線になる。第2予想進路線52及び53の曲率は、車両10の操舵角が大きいほど大きくなる。
The second expected
図16(A)に示した例において、第2予想進路線52及び53は、予め設定された透過率を有している。予め設定された透過率とは、例えば50%から90%である。したがって、重畳映像生成部350が生成した重畳データにおいて、第2予想進路線52及び53と映像データとが重なっている部分は、第2予想進路線52及び53が半透明の状態になっている。
In the example shown in FIG. 16A, the second expected
また、第2予想進路線52及び53は、第1予想進路線50よりも高い透過率を有している。例えば、第2予想進路線52及び53の透過率が50%の場合、第1予想進路線50の透過率は0%である。第2予想進路線52及び53の透過率と、第1予想進路線50の透過率との差は、50%以上あることが好ましい。
Further, the second expected
このような構成により、駐車枠線と第1予想進路線とは重なって表示される可能性が低減されている。また、表示制御装置200又は表示制御装置201は、第2予想進路線52及び53を重畳することにより、表示部に表示される駐車枠線が目視困難となることを抑制すると共に、車両10の車幅と駐車区画との位置関係を的確に表示することができる。
With such a configuration, the possibility that the parking frame line and the first expected advance line are displayed overlapping is reduced. Further, the
次に、図16(B)について説明する。図16(B)に示す映像40は、第1予想進路線50に、第2予想進路線54及び55が重畳されている。
Next, FIG. 16B will be described. In the
第2予想進路線54及び55は、車両10の車幅に対応し、車両10が直進した場合の車両10の幅方向の端部を延長した一対の線情報である。第2予想進路線54は、車両10の幅方向の左側端部12を起点として車両10の直進方向に沿って延伸している。同様に、第2予想進路線55は、車両10の幅方向の右側端部13を起点として車両10の直進方向に沿って延伸している。つまり、第2予想進路線54及び55は、車両10の車幅に相当する位置を、車両10の進行方向に沿って延伸している。第2予想進路線54及び55は、車両10の操舵角に応じて変化しない。一方で、第1予想進路線50は、操舵角に応じて変化する。そのため、第1予想進路線50の終点50eと、第2予想進路線54の終点54eとの距離54gは、車両10の操舵角に応じて変化する。すなわち、車両10の操舵角が右方向に大きくなるほど距離54gは大きくなる。同様に、第1予想進路線50の終点50eと、第2予想進路線55の終点55eとの距離55gは、車両10の操舵角が左方向に大きくなるほど大きくなる。
The second expected traveling
このような構成により、駐車枠線と第1予想進路線とは重なって表示される可能性が低減されている。また、実施の形態3にかかる表示制御装置200は、第2予想進路線54及び55を重畳することにより、表示部に表示される駐車枠線が目視困難となることを抑制すると共に、車両10の車幅と駐車区画との位置関係及び、操舵角についての情報を的確に表示することができる。
With such a configuration, the possibility that the parking frame line and the first expected advance line are displayed overlapping is reduced. Further, the
次に、図17を参照しながら第1表示モードにおける他の表示態様の例をさらに説明する。図17は、第1予想進路線のバリエーションを例示した映像を示す図である。 Next, an example of another display mode in the first display mode will be further described with reference to FIG. FIG. 17 is a diagram showing an image exemplifying a variation of the first expected advance route.
図17に例示する映像40に重畳されている第1予想進路線51は、直線である。第1予想進路線51は、車両10の中央部11に一致する起点50sを起点として操舵角に応じた進行予定に沿って直線状に延伸する。すなわち、第1予想進路線51は、起点50sと終点50eとを直線で結んでいる。第1予想進路線51は、車両10が直進している場合に、y軸と平行な直線51yを描く。そして、第1予想進路線51と直線51yとの間の角度A51は、車両10の操舵角が大きいほど大きくなる。
The first expected traveling
起点50sは、車両10の中央部11に含まれる。終点50eは、車両10の操舵角に応じて起点50sが進行予定に沿って延伸した曲線の上に位置する点である。
The
以上に説明した第1表示モードにおける他の表示態様の例においても、運転者が車両を駐車区画に移動させる場合において、駐車枠線と第1予想進路線50又は51とは、重なって表示される可能性が低減されている。また、第1予想進路線50又は51は、運転者により的確に目視確認できる表示態様となっている。よって、このような表示態様を伴う実施の形態1〜4にかかる表示制御システム100及び101は、表示部に表示される駐車枠線が目視困難となることを抑制することができる。
Also in the example of the other display mode in the first display mode described above, when the driver moves the vehicle to the parking lot, the parking frame line and the first expected traveling
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述した実施の形態は、車両10が前進しながら駐車区画33に移動する場合にも適用してもよい。その場合、表示制御装置200は、車両10の有する前方カメラ210Fが撮影した映像のデータと、予想進路線とを重畳させ得る。この場合、ステップS100において、表示制御装置200は、例えば、車両10が予め設定された走行速度よりも遅く前進していることを検出し得る。あるいは、ステップS100において、表示制御装置200は、図示しない運転者からの指示により第1表示モードを開始させてもよい。
The present invention is not limited to the above embodiment, and can be appropriately modified without departing from the spirit. For example, the above-described embodiment may be applied to the case where the
10 車両
30、31、32 駐車枠線
33、34 駐車区画
40 映像
50、51 第1予想進路線
52、53、54、55、60、61 第2予想進路線
66、67、68 距離表示線
76、77、78 車幅ガイド線
100、101 表示制御システム
200、201 表示制御装置
210 カメラ
220 表示部
230 物体検出センサ
300 車両動作検出部
310 予想進路線生成部
320 映像データ取得部
330 駐車枠線認識部
340 判断部
350 重畳映像生成部
360 表示制御部
370 センサ検出部
10
Claims (11)
前記車両の操舵角を含む動作情報を検出する車両動作検出部と、
前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成する予想進路線生成部と、
前記第1予想進路線又は前記第2予想進路線の内どちらを前記映像データと重畳させるのかを判断する判断部と、
前記判断部の判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成する重畳映像生成部と、
前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する表示制御部と、
前記駐車区画に隣接する物体を検出する検出部と、
を備え、
前記判断部は、前記検出部が前記駐車区画に隣接する物体を検出せず、且つ、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線を前記映像データと重畳させることを判断する、
表示制御装置。 A video data acquisition unit that acquires video data from a camera that captures the direction of travel of the vehicle while moving the vehicle to the parking area where the parking border is displayed.
A vehicle motion detection unit that detects motion information including the steering angle of the vehicle,
A pair of a first expected traveling route extending along the traveling schedule of the vehicle starting from the central portion in the width direction of the vehicle and extending along the traveling schedule of the vehicle starting from both ends in the width direction of the vehicle. The second predicted route including the line of, and the predicted route generator that generates
A determination unit for determining whether to superimpose the first predicted route or the second predicted route with the video data.
A superposed video generation unit that generates superposed data, which is video data obtained by superimposing the video data and the first predicted line or the second predicted line according to the judgment of the determination unit.
A display control unit that transmits the superimposed data to the display unit in order to display the image related to the superimposed data on the display unit.
A detection unit that detects an object adjacent to the parking lot,
With
When the detection unit does not detect an object adjacent to the parking section and the parking frame line and the second expected advance line are displayed close to each other, the determination unit determines the first expected advance. Judging to superimpose the route on the video data,
Display control device.
前記車両の操舵角を含む動作情報を検出する車両動作検出部と、
前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成する予想進路線生成部と、
前記第1予想進路線又は前記第2予想進路線の内どちらを前記映像データと重畳させるのかを判断する判断部と、
前記判断部の判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成する重畳映像生成部と、
前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する表示制御部と、
前記映像データから駐車枠線を認識する駐車枠線認識部と、
前記車両の周囲の物体を検出する検出部と、
を備え、
前記判断部は、前記検出部が検出した前記周囲の物体と、前記駐車枠線との距離が、予め設定された値より大きく、且つ、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線を前記映像データと重畳させることを判断する、
表示制御装置。 A video data acquisition unit that acquires video data from a camera that captures the direction of travel of the vehicle while moving the vehicle to the parking area where the parking border is displayed.
A vehicle motion detection unit that detects motion information including the steering angle of the vehicle,
A pair of a first expected traveling route extending along the traveling schedule of the vehicle starting from the central portion in the width direction of the vehicle and extending along the traveling schedule of the vehicle starting from both ends in the width direction of the vehicle. The second predicted route including the line of, and the predicted route generator that generates
A determination unit for determining whether to superimpose the first predicted route or the second predicted route with the video data.
A superposed video generation unit that generates superposed data, which is video data obtained by superimposing the video data and the first predicted line or the second predicted line according to the judgment of the determination unit.
A display control unit that transmits the superimposed data to the display unit in order to display the image related to the superimposed data on the display unit.
A parking frame line recognition unit that recognizes the parking frame line from the video data,
A detection unit that detects objects around the vehicle,
With
In the determination unit, the distance between the surrounding object detected by the detection unit and the parking frame line is larger than a preset value, and the parking frame line and the second expected traveling line are close to each other. When it is displayed, it is determined that the first expected route is superimposed on the video data.
Display control device.
請求項1または2に記載の表示制御装置。 The determination unit determines that when the steering angle of the vehicle is smaller than a preset angle, the parking frame line and the second expected traveling line are displayed close to each other.
The display control device according to claim 1 or 2 .
前記判断部は、前記第2予想進路線と前記駐車枠線との距離が予め設定された範囲内である場合に、前記駐車枠線と前記第2予想進路線とが近接して表示されると判断する、
請求項1に記載の表示制御装置。 The display control device further includes a parking frame line recognition unit that recognizes the parking frame line from the video data.
When the distance between the second expected traveling line and the parking frame line is within a preset range, the determination unit displays the parking frame line and the second expected traveling line in close proximity to each other. To judge,
The display control device according to claim 1.
請求項1〜4のいずれか一項に記載の表示制御装置。 When the determination unit determines that the first predicted route is superimposed on the video data, the superimposed image generation unit determines the second predicted route having a higher transmittance than the first predicted route. Generates superimposed data, which is superimposed video data at the same time.
The display control device according to any one of claims 1 to 4 .
請求項1〜5のうちいずれか一項に記載の表示制御装置。 The first expected traveling line further includes a vehicle width guide line that extends in the width direction of the vehicle and is formed by a straight line that matches the vehicle width of the vehicle in the planned travel.
The display control device according to any one of claims 1 to 5 .
前記映像データを撮影するカメラ又は前記映像データを表示する表示部のうち少なくともいずれか一方と、
を備える表示制御システム。 The display control device according to any one of claims 1 to 6 and
With at least one of the camera that captures the video data and the display unit that displays the video data.
Display control system with.
前記車両の操舵角を含む動作情報を検出し、
前記駐車区画に隣接する物体を検出し、
前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成し、
前記駐車区画に隣接する物体を検出せず、且つ、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線又は前記第2予想進路線の内、前記第1予想進路線を前記映像データと重畳させることを判断し、
前記判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成し、
前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する、表示制御方法。 Acquire video data from a camera that captures the direction of travel of the vehicle while moving the vehicle to the parking area where the parking border is displayed.
Detecting operation information including the steering angle of the vehicle,
Detecting an object adjacent to the parking lot,
A pair of a first expected traveling route extending along the traveling schedule of the vehicle starting from the central portion in the width direction of the vehicle and extending along the traveling schedule of the vehicle starting from both ends in the width direction of the vehicle. Generate a second expected route, including the line,
When an object adjacent to the parking lot is not detected and the parking frame line and the second predicted line are displayed close to each other, the first predicted line or the second predicted line is displayed. Among them, it was decided to superimpose the first expected route on the video data,
According to the above determination, the superimposition data which is the superimposition data of the video data and the first expected advance line or the second expected advance line is generated.
A display control method in which the superimposed data is transmitted to the display unit in order to display the image related to the superimposed data on the display unit.
前記車両の操舵角を含む動作情報を検出し、
前記映像データから駐車枠線を認識し、
前記車両の周囲の物体を検出し、
前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成し、
前記周囲の物体と、前記駐車枠線との距離が、予め設定された値より大きく、且つ、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線又は前記第2予想進路線の内、前記第1予想進路線を前記映像データと重畳させることを判断し、
前記判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成し、
前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信する、表示制御方法。 Acquire video data from a camera that captures the direction of travel of the vehicle while moving the vehicle to the parking area where the parking border is displayed.
Detecting operation information including the steering angle of the vehicle,
Recognize the parking border from the video data and
Detects objects around the vehicle and
A pair of a first expected traveling route extending along the traveling schedule of the vehicle starting from the central portion in the width direction of the vehicle and extending along the traveling schedule of the vehicle starting from both ends in the width direction of the vehicle. Generate a second expected route, including the line,
When the distance between the surrounding object and the parking frame line is larger than a preset value and the parking frame line and the second expected traveling line are displayed close to each other, the first It is determined that the first predicted route is superimposed on the video data among the predicted route or the second predicted route.
According to the above determination, the superimposition data which is the superimposition data of the video data and the first expected advance line or the second expected advance line is generated.
A display control method in which the superimposed data is transmitted to the display unit in order to display the image related to the superimposed data on the display unit.
駐車枠線が表示されている駐車区画へ車両を移動する間に車両の進行方向を撮影するカメラからの映像データを取得させ、
前記車両の操舵角を含む動作情報を検出させ、
前記駐車区画に隣接する物体を検出させ、
前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成させ、
前記駐車区画に隣接する物体を検出せず、且つ、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線又は前記第2予想進路線の内、前記第1予想進路線を前記映像データと重畳させることを判断させ、
前記判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成させ、
前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信させる、表示制御プログラム。 On the computer
While moving the vehicle to the parking lot where the parking border is displayed, acquire the video data from the camera that captures the direction of travel of the vehicle.
The operation information including the steering angle of the vehicle is detected, and the operation information is detected.
Detect an object adjacent to the parking lot
A pair of a first expected traveling route extending along the traveling schedule of the vehicle starting from the central portion in the width direction of the vehicle and extending along the traveling schedule of the vehicle starting from both ends in the width direction of the vehicle. Generate a second expected route, including the line of
When an object adjacent to the parking lot is not detected and the parking frame line and the second predicted line are displayed close to each other, the first predicted line or the second predicted line is displayed. Among them, the decision is made to superimpose the first expected advance route on the video data.
According to the above determination, the superposed data which is the superposed video data of the video data and the first predicted line or the second predicted line is generated.
A display control program that causes the display unit to transmit the superimposed data in order to display the image related to the superimposed data on the display unit.
駐車枠線が表示されている駐車区画へ車両を移動する間に車両の進行方向を撮影するカメラからの映像データを取得させ、
前記車両の操舵角を含む動作情報を検出させ、
前記映像データから駐車枠線を認識させ、
前記車両の周囲の物体を検出させ、
前記車両の幅方向の中央部を起点として前記車両の進行予定に沿って延伸する第1予想進路線と、前記車両の幅方向の両端部を起点として前記車両の進行予定に沿って延伸する一対の線を含む第2予想進路線と、を生成させ、
前記周囲の物体と、前記駐車枠線との距離が、予め設定された値より大きく、且つ、前記駐車枠線と前記第2予想進路線とが近接して表示される場合に、前記第1予想進路線又は前記第2予想進路線の内、前記第1予想進路線を前記映像データと重畳させることを判断させ、
前記判断に従って前記映像データと前記第1予想進路線又は前記第2予想進路線とを重畳させた映像データである重畳データを生成させ、
前記重畳データにかかる映像を表示部に表示させるために前記表示部に前記重畳データを送信させる、表示制御プログラム。 On the computer
While moving the vehicle to the parking lot where the parking border is displayed, acquire the video data from the camera that captures the direction of travel of the vehicle.
The operation information including the steering angle of the vehicle is detected, and the operation information is detected.
Recognize the parking border from the video data
Detecting objects around the vehicle
A pair of a first expected traveling route extending along the traveling schedule of the vehicle starting from the central portion in the width direction of the vehicle and extending along the traveling schedule of the vehicle starting from both ends in the width direction of the vehicle. Generate a second expected route, including the line of
When the distance between the surrounding object and the parking frame line is larger than a preset value and the parking frame line and the second expected traveling line are displayed close to each other, the first It is determined that the first predicted route is superimposed on the video data among the predicted route or the second predicted route.
According to the above determination, the superposed data which is the superposed video data of the video data and the first predicted line or the second predicted line is generated.
A display control program that causes the display unit to transmit the superimposed data in order to display the image related to the superimposed data on the display unit.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017118402A JP6760211B2 (en) | 2017-06-16 | 2017-06-16 | Display control device, display control system, display control method and display control program |
PCT/JP2018/000367 WO2018230021A1 (en) | 2017-06-16 | 2018-01-10 | Display control device, display control system, display control method and display control program |
US16/714,508 US10737726B2 (en) | 2017-06-16 | 2019-12-13 | Display control device, display control system, display control method, and display control program |
US16/919,474 US10889324B2 (en) | 2017-06-16 | 2020-07-02 | Display control device, display control system, display control method, and display control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017118402A JP6760211B2 (en) | 2017-06-16 | 2017-06-16 | Display control device, display control system, display control method and display control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019004356A JP2019004356A (en) | 2019-01-10 |
JP6760211B2 true JP6760211B2 (en) | 2020-09-23 |
Family
ID=65008082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017118402A Active JP6760211B2 (en) | 2017-06-16 | 2017-06-16 | Display control device, display control system, display control method and display control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6760211B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4536889B2 (en) * | 1999-10-27 | 2010-09-01 | 富士通テン株式会社 | Vehicle driving support device |
JP4967620B2 (en) * | 2006-11-28 | 2012-07-04 | アイシン・エィ・ダブリュ株式会社 | Parking support method and parking support device |
JP4853712B2 (en) * | 2006-12-28 | 2012-01-11 | アイシン精機株式会社 | Parking assistance device |
JP2009292339A (en) * | 2008-06-05 | 2009-12-17 | Aisin Seiki Co Ltd | Parking assistant device |
JP5195692B2 (en) * | 2009-08-26 | 2013-05-08 | 株式会社日本自動車部品総合研究所 | Driving assistance device |
JP5071743B2 (en) * | 2010-01-19 | 2012-11-14 | アイシン精機株式会社 | Vehicle periphery monitoring device |
JP2012090087A (en) * | 2010-10-20 | 2012-05-10 | Toyota Motor Corp | Driving assist apparatus using vehicle periphery image |
JP2013184612A (en) * | 2012-03-08 | 2013-09-19 | Aisin Aw Co Ltd | Driving support system |
-
2017
- 2017-06-16 JP JP2017118402A patent/JP6760211B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019004356A (en) | 2019-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018230021A1 (en) | Display control device, display control system, display control method and display control program | |
JP7163984B2 (en) | Display control device, display control method and display control program | |
JP6387369B2 (en) | Travel control device | |
JP5523448B2 (en) | Driving support system, information display device, and information display program | |
US10268905B2 (en) | Parking assistance apparatus | |
JP6045796B2 (en) | Video processing apparatus, video processing method, and video display system | |
WO2019008764A1 (en) | Parking assistance method and parking assistance device | |
JPWO2015037117A1 (en) | Information display system and information display device | |
JP5446139B2 (en) | Parking assistance device and parking assistance method | |
KR20140144905A (en) | Parking assistance system | |
JP5309891B2 (en) | Parking assistance device | |
WO2019008762A1 (en) | Parking assistance method and parking assistance device | |
JP2010089716A (en) | Parking assist apparatus and parking assist method | |
WO2011013813A1 (en) | In-vehicle device and image processing program | |
JP2020077127A (en) | Driving support device | |
JP6760210B2 (en) | Display control device, display control system, display control method and display control program | |
JP2012023505A (en) | Driving support device | |
JP6760211B2 (en) | Display control device, display control system, display control method and display control program | |
JP2011211432A (en) | In-vehicle imaging apparatus | |
JP6763348B2 (en) | Display control device, display control system, display control method and display control program | |
JP2006303985A (en) | Predictive course display device and method | |
JP2012166689A (en) | Driving assistance apparatus | |
JP2018207385A (en) | Display control device, display control system, display control method, and display control program | |
JP6295868B2 (en) | Vehicle display device | |
JP6909388B2 (en) | Display control device, display system, display control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6760211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |