JP2019181976A - Imaging apparatus and rear confirmation system of movable body - Google Patents
Imaging apparatus and rear confirmation system of movable body Download PDFInfo
- Publication number
- JP2019181976A JP2019181976A JP2018070754A JP2018070754A JP2019181976A JP 2019181976 A JP2019181976 A JP 2019181976A JP 2018070754 A JP2018070754 A JP 2018070754A JP 2018070754 A JP2018070754 A JP 2018070754A JP 2019181976 A JP2019181976 A JP 2019181976A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wide
- angle camera
- subject
- confirmation system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本開示は、移動体の後方を撮影する撮影装置および移動体の後方確認システムに関する。 The present disclosure relates to an imaging device that captures an image of the rear of a moving body and a system for confirming the rear of the moving body.
近年の自動四輪車、特に普通自動車においては、車体後部に後方視界を確認するためのカメラが搭載されており、そのカメラによって撮影された車両後方における所定の範囲を捉える後方画像を車載の表示装置に表示させることにより、自動車の運転を支援するものが存在する。このような後方画像の表示を自動四輪車で行う後方確認システム（後方視界補助装置）は、例えば特許文献１に開示されている。
In recent automobiles, especially ordinary automobiles, a camera for confirming the rear view is mounted at the rear of the vehicle body, and a rear image capturing a predetermined range behind the vehicle photographed by the camera is displayed on the vehicle. There are devices that support driving of automobiles by displaying them on the device. For example,
また、自動二輪車においても、同じく車体後部に後方視界を確認するためのカメラを搭載し、そのカメラによって撮影された後方画像を車載の表示装置に表示させることが提案されている。このような後方画像の表示を自動二輪車で行う後方確認システム（後方視界補助装置）は、例えば特許文献２に開示されている。特許文献２に開示された後方確認システムでは、後方画像を撮影するのに広角カメラを用い、自動二輪車の旋回角に応じて後方画像から特定範囲の画像を表示装置に表示させる画像として切り出すことにより、良好な後方画像を得るようになっている。
Also in motorcycles, it has been proposed that a camera for confirming a rear view is similarly mounted on the rear part of the vehicle body, and a rear image captured by the camera is displayed on an in-vehicle display device. For example,
ところで、複数台の自動二輪車でツーリングするなど、複数の自動車が前後に連なって走行する場合には、先行車の運転者は後続車が付いてきているかをチェックしながら走行する必要があることから、上述したような後方画像の表示を行う後方確認システムの利用が考えられる。また、移動終了後には、後続車の運転者も含めて、後続車の走行姿勢などの移動状態を、モニタなどで再生して楽しみたいという場合もある。 By the way, when touring with a plurality of motorcycles, such as touring a plurality of cars, the driver of the preceding car needs to travel while checking whether the following car is attached The use of a rear confirmation system that displays the rear image as described above can be considered. In addition, after the movement is completed, it may be desired to reproduce the moving state such as the driving posture of the subsequent vehicle on the monitor or the like including the driver of the subsequent vehicle.
しかし、従来の後方確認システムでは、表示装置に表示される後方画像が車体に対して固定した範囲とされているため、同システムを搭載した自動車が先行車として比較的大きなカーブや曲がりくねった道路を走行すると、後続車が後方画像の撮影範囲から外れて、実際は後続車が付いてきていてもその確認をできなくなることがある。また、後続車が先行車の後ろを避けて走行したり先行車と別車線に車線変更したりするといった、先行車と異なる移動軌跡をとるような独自の動きをしたときにも、後続車が後方画像の撮影範囲から外れて確認できなくなることがある。 However, in the conventional rearward confirmation system, the rear image displayed on the display device is in a fixed range with respect to the vehicle body, so that a car equipped with the system is a relatively large curve or a winding road as a preceding car. When traveling, the following vehicle may be out of the shooting range of the rear image, and even if the following vehicle is actually attached, the confirmation may not be possible. Also, when the following vehicle moves in a different way from the preceding vehicle, such as driving behind the preceding vehicle or changing to a different lane from the preceding vehicle, the following vehicle will There are cases in which it is not possible to confirm the image out of the shooting range of the rear image.
こうした後続車の確認ができなくなる問題は、特許文献２の後方確認システムのように広角な後方画像から旋回角に応じて表示画像の切り出しを行っていても生じる。例えば、後続車が単独で蛇行運転したり、路面の起伏に応じてカメラの向き（撮影方向）が上下に変えられたりしたときには、先行車と後続車との間で相対的な位置関係が変化するため、特許文献２の後方確認システムでも後続車が後方画像の表示範囲から外れてしまう。だからといって、広角な後方画像をそのまま表示装置に表示させると、後続車が写っていても小さいため確認し辛い。
Such a problem that the subsequent vehicle cannot be confirmed occurs even when the display image is cut out from the wide-angle rear image according to the turning angle as in the rear-confirmation system of
上述した問題は、自動二輪車などの自動車に限らず、自転車や船舶、航空機といったような運転者の操作または自動運転により移動可能な移動体において、その移動体の移動中に後続する他の移動体を被写体として後方画像の表示で確認したい場合で、２つの移動体の間で相対的な位置関係が不意に上下方向や左右方向に変化したときに、同じく生じる。 The above-mentioned problem is not limited to automobiles such as motorcycles, and other moving bodies that follow during the movement of a moving body that can be moved by a driver's operation or automatic driving, such as a bicycle, ship, or aircraft. This also occurs when the relative positional relationship between the two moving bodies unexpectedly changes in the vertical direction or the horizontal direction when it is desired to confirm the image as a subject in the display of the rear image.
本開示の技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、先行する移動体の移動中に、後続する他の移動体との相対的な位置関係が不意に上下方向や左右方向に変化しても、後続する他の移動体を画像で確実に確認できるようにすることにある。 The technology of the present disclosure has been made in view of such a point, and the purpose of the technology is that the relative positional relationship between the preceding moving body and the other moving body is unexpectedly changed during the movement of the preceding moving body. The object is to ensure that the subsequent moving body can be confirmed with an image even if it changes in the vertical direction or the horizontal direction.
上記の目的を達成するために、本開示の技術では、移動体に搭載の広角カメラによって撮影された後方画像から、当該移動体に後続する他の移動体の位置として特定の被写体を含む範囲を切り出して、追従画像を作成するようにした。 In order to achieve the above object, in the technology of the present disclosure, a range including a specific subject as a position of another moving body that follows the moving body from a rear image captured by a wide-angle camera mounted on the moving body. Cut out to create a follow-up image.
具体的には、本開示の技術は、運転者の操作により移動可能な移動体の後方を撮影する撮影装置を対象とする。本開示の技術に係る撮影装置は、移動体の後方を撮影する広角カメラと、広角カメラの撮影によって取得された後方画像を処理する制御装置とを備える。制御装置は、後方画像に含まれる特定の被写体を移動体に後続する他の移動体の位置として検出し、後方画像における被写体の位置情報に基づき、後方画像から当該被写体を含む範囲を切り出すことにより、被写体を追従した追従画像を作成する。ここでいう「広角カメラ」とは、標準レンズよりも画角の広い広角レンズ（魚眼レンズを含む概念）を備えたカメラであればよい。 Specifically, the technology of the present disclosure is directed to an imaging device that captures the back of a movable body that can be moved by a driver's operation. An imaging device according to the technique of the present disclosure includes a wide-angle camera that captures the rear of a moving body, and a control device that processes a rear image acquired by imaging of the wide-angle camera. The control device detects a specific subject included in the rear image as a position of another moving body following the moving body, and cuts out a range including the subject from the rear image based on position information of the subject in the rear image. A tracking image that follows the subject is created. The “wide-angle camera” here may be a camera provided with a wide-angle lens (concept including a fisheye lens) having a wider angle of view than a standard lens.
この構成によると、広角カメラによって移動体の後方を広い画角で捉えた後方画像から後続する他の移動体の位置として被写体を追従した追従画像を作成するようにしたから、その追従画像を表示装置に表示させることで、移動体が比較的大きなカーブや曲がりくねった移動経路を移動したり、後続する他の移動体が当該撮影装置を搭載した先行する移動体とは異なる移動軌跡をとるような独自の動きをしたりしても、後続する他の移動体がその動きを追従するように表示装置に表示される。これにより、先行する移動体の移動中に、後続する他の移動体との相対的な位置関係が不意に上下方向や左右方向に変化しても、後続する他の移動体を画像で確実に確認することができる。 According to this configuration, a tracking image that follows the subject as the position of another moving object that follows is created from a rear image that captures the back of the moving object with a wide angle of view by a wide-angle camera. By displaying on the apparatus, the moving body moves on a relatively large curve or a winding movement path, or other subsequent moving bodies take a movement locus different from that of the preceding moving body on which the imaging device is mounted. Even if it makes its own movement, other subsequent moving bodies are displayed on the display device so as to follow the movement. As a result, even if the relative positional relationship with the succeeding other moving body unexpectedly changes in the vertical direction or the left and right direction while the preceding moving body is moving, the succeeding moving body is reliably displayed in the image. Can be confirmed.
上記撮影装置は、広角カメラの傾きを検出する傾きセンサをさらに備えていてもよい。この場合、制御装置は、傾きセンサによって検出された広角カメラの傾きに基づき、広角カメラの撮影によって取得された後方画像の傾きおよび切り出し位置を補正して、追従画像を作成することが好ましい。 The photographing apparatus may further include an inclination sensor that detects an inclination of the wide-angle camera. In this case, it is preferable that the control device generates a follow-up image by correcting the tilt and cutout position of the rear image acquired by photographing with the wide-angle camera based on the tilt of the wide-angle camera detected by the tilt sensor.
移動体に設置された広角カメラは、移動中に何らかの原因や目的で移動体が傾くと同じように傾く。傾いた姿勢の広角カメラで撮影した後方画像から追従画像を切り出して作成した場合、カメラの傾きは後方画像、ひいては追従画像にまで影響し、移動体の姿勢に倣って傾いた追従画像が表示装置に表示されるため、表示装置に表示された追従画像の表示で後方を確認する運転者に違和感を与えてしまう。 A wide-angle camera installed on a moving body tilts in the same way as the moving body tilts for some reason or purpose during movement. When a follow-up image is cut out and created from a rear image taken with a tilted wide-angle camera, the tilt of the camera affects the rear image, and thus the follow-up image, and the follow-up image tilted following the posture of the moving object is displayed on the display device. Therefore, the driver who confirms the rear in the display of the follow-up image displayed on the display device feels uncomfortable.
これに対し、上記の構成によると、傾きセンサによって検出された広角カメラの傾きに基づいてその広角カメラによって取得された後方画像の傾きおよび切り出し位置を補正するようにしたので、移動中に移動体が傾いても、移動体の姿勢に倣った広角カメラの傾き度合に合わせて後方画像が補正される。それによって、傾きが低減された、理想的には傾きのない追従画像を表示装置に表示することができ、表示装置の表示で後方を確認する運転者に違和感を与えないようにすることができる。 On the other hand, according to the above configuration, the inclination and cutout position of the rear image acquired by the wide-angle camera are corrected based on the inclination of the wide-angle camera detected by the inclination sensor. Even if is tilted, the rear image is corrected in accordance with the degree of tilt of the wide-angle camera following the posture of the moving body. As a result, a follow-up image with reduced inclination and ideally without inclination can be displayed on the display device, and the driver who confirms the rear by the display of the display device can be prevented from feeling uncomfortable. .
また、制御装置は、被写体が画像中心または中心付近に位置するように後方画像から当該被写体を含む箇所を切り出して追従画像を作成することが好ましい。 The control device preferably creates a follow-up image by cutting out a portion including the subject from the rear image so that the subject is located at or near the center of the image.
この構成によると、追従画像の中心またはその付近に追従対象である被写体を位置させるようにしたので、その被写体の位置に存在する他の移動体が表示装置での画像の表示範囲から外れるように急激な動きをとったとしても、当該他の移動体を確実に捉えることができる。 According to this configuration, since the subject to be tracked is positioned at or near the center of the tracking image, other moving bodies existing at the position of the subject deviate from the image display range on the display device. Even if a sudden movement is taken, the other moving object can be reliably captured.
また、本開示の技術は、運転者の操作により移動可能な移動体の後方を確認するための後方確認システムをも対象とする。本開示の技術に係る移動体の後方確認システムは、移動体の後方を撮影する広角カメラと、移動体の移動中に運転者から視認可能な位置に設けられた表示装置と、広角カメラの撮影によって取得された後方画像を処理して表示装置に表示させる制御装置とを備える。そして、制御装置は、後方画像に含まれる特定の被写体を当該後方確認システムが搭載された移動体に後続する他の移動体の位置として検出し、その被写体の位置情報に基づき、後方画像から当該被写体を含む箇所を切り出すことにより、被写体を追従した追従画像を作成して、その追従画像を表示装置に表示させる。ここでいう「広角カメラ」とは、広角レンズを備える上述した定義に従うカメラを意味する。 The technology of the present disclosure is also intended for a rear confirmation system for confirming the rear of a movable body that can be moved by a driver's operation. A moving object rear confirmation system according to the technology of the present disclosure includes a wide-angle camera that captures the rear of a moving object, a display device that is provided at a position that is visible to the driver while the moving object is moving, and an image captured by the wide-angle camera. And a control device that processes and displays the rear image acquired by the display device. Then, the control device detects a specific subject included in the rear image as the position of another moving body following the moving body on which the rear confirmation system is mounted, and based on the position information of the subject, By extracting a portion including the subject, a follow-up image that follows the subject is created, and the follow-up image is displayed on the display device. The term “wide-angle camera” as used herein means a camera that has a wide-angle lens and conforms to the above definition.
この構成によると、広角カメラによって移動体の後方を広い画角で捉えた後方画像から移動体に後続する他の移動体の位置として被写体を追従した追従画像を作成し、その追従画像を表示装置に表示させるようにしたので、移動体が比較的大きなカーブや曲がりくねった移動経路を移動したり、後続する他の移動体が当該後方確認システムを搭載した先行する移動体とは異なる移動軌跡をとるような独自の動きをしたりしても、後続する他の移動体がその動きを追従するように表示装置に表示される。これにより、先行する移動体の移動中に、後続する他の移動体との相対的な位置関係が不意に上下方向や左右方向に変化しても、後続する他の移動体を画像で確実に確認することができる。 According to this configuration, a tracking image that follows the subject as a position of another moving body following the moving body is created from a rear image obtained by capturing the rear of the moving body with a wide angle of view by a wide-angle camera, and the tracking image is displayed on the display device So that the moving object moves on a relatively large curve or a tortuous movement path, or another moving object that follows the moving locus differs from that of the preceding moving object equipped with the backward confirmation system. Even if such a unique movement is performed, the subsequent moving body is displayed on the display device so as to follow the movement. As a result, even if the relative positional relationship with the succeeding other moving body unexpectedly changes in the vertical direction or the left and right direction while the preceding moving body is moving, the succeeding moving body is reliably displayed in the image. Can be confirmed.
上記移動体の後方確認システムにおいて、広角カメラは、移動体の幅方向における中央位置に設置されていることが好ましい。 In the moving object rear confirmation system, the wide-angle camera is preferably installed at a central position in the width direction of the moving object.
この構成によると、広角カメラを移動体の左右両側が同等な範囲で撮影されるように設置したので、後方画像において後続する他の移動体を追従できる範囲、つまり後方画像から切り出し可能な範囲が後方画像の中央から左右均等になる。これにより、後方画像から追従画像を切り出す範囲を後続する他の移動体の動きに合わせて追従させる性能（追従性）を高めることができる。 According to this configuration, since the wide-angle camera is installed so that the left and right sides of the moving object are photographed in the same range, there is a range in which the following moving object can be followed in the rear image, that is, a range that can be cut out from the rear image. Left and right are even from the center of the rear image. Thereby, the performance (followability) of making the range which cuts out a follow-up image from a back picture in accordance with the movement of other following mobiles can be improved.
また、広角カメラは、１８０度以上の画角を有するカメラであることが好ましい。 The wide-angle camera is preferably a camera having an angle of view of 180 degrees or more.
この構成によると、１８０度以上の画角を有する広角カメラを用いるようにしたので、移動体の後方が比較的広い視野で撮影され、後続する他の移動体がある場合には当該他の移動体を遮蔽物がない限り確実に捉えることができる。よって、このように比較的広い視野で撮影可能な広角カメラは、上記移動体の後方確認システムにおいて好適である。 According to this configuration, since a wide-angle camera having an angle of view of 180 degrees or more is used, the rear of the moving object is photographed with a relatively wide field of view, and if there is another moving object that follows, the other movement As long as there is no shield, the body can be caught reliably. Therefore, such a wide-angle camera capable of photographing with a relatively wide field of view is suitable for the above-described moving object rear confirmation system.
本開示の技術に係る撮影装置および移動体の後方確認システムによれば、移動体の移動中に後続する他の移動体を表示装置で確実に確認することができる。 According to the imaging device and the moving object rear confirmation system according to the technique of the present disclosure, it is possible to reliably confirm another moving object that follows the moving object with the display device.
以下、例示的な実施形態を図面に基づいて詳細に説明する。 Hereinafter, exemplary embodiments will be described in detail with reference to the drawings.
この実施形態では、本開示の技術に係る撮影装置およびそれを備えた移動体の後方確認システムについて、自動二輪車に適用した場合を一例として説明する。この実施形態に係る移動体の後方確認システムは、自動二輪車の走行中において車体後方を表示画像で確認するためのシステムである。 In this embodiment, a case where the imaging device according to the technology of the present disclosure and a vehicle rearward confirmation system including the imaging device are applied to a motorcycle will be described as an example. The vehicle rear confirmation system according to this embodiment is a system for confirming the rear of the vehicle body with a display image while the motorcycle is running.
〈移動体の後方確認システムの構成〉
この移動体の後方確認システムの構成について、図１〜図４を参照しながら説明する。図１は、移動体の後方確認システム１０が搭載された自動二輪車１００の側面図である。図２は、移動体の後方確認システム１０が搭載された自動二輪車１００の平面図である。図３は、移動体の後方確認システム１０の構成を示すブロック図である。また、図４は、移動体の後方確認システム１０によって撮影される後方画像２００を示す図である。
<Configuration of moving object rearward confirmation system>
The configuration of the moving object rear confirmation system will be described with reference to FIGS. FIG. 1 is a side view of a
移動体の後方確認システム１０は、図１〜図３に示すように、自動二輪車１００の後部に設置された広角カメラ１１と、自動二輪車１００の前側に設置された表示装置としてのリアビューモニタ１３と、自動二輪車１００の走行状態を検出する各種センサ１５，１７と、当該後方確認システム１０を総合的に制御する制御装置１９とを備えている。広角カメラ１１と制御装置１９は、自動二輪車１００の後方を撮影する撮影装置２０を構成している。
As shown in FIGS. 1 to 3, the moving object
この移動体の後方確認システム１０は、広角カメラ１１で撮影した後方画像２００に特定の被写体が写っている場合、その被写体を含む範囲を部分的に切り出して、当該被写体を追従するようにリアビューモニタ１３にズーム表示する追従表示機能を有している。当該後方確認システム１０では、この追従表示機能を表示設定により有効にするか無効にするかを切り換えられるようになっている。
When a specific subject is reflected in the
広角カメラ１１は、車体後方における所定の範囲の風景を動画で撮影し、フレーム毎に後方画像２００（図４参照）として取り込むように構成されている。この広角カメラ１１は、標準レンズよりも画角の広い広角レンズ２１と、広角レンズ２１越しに入ってくる光の量を調整する絞りユニット２３と、絞りユニット２３を経て入ってきた光を受光するイメージセンサ２５と、ドライバ２７，２９とを備えている。
The wide-
広角レンズ２１としては、１８０度以上の画角を有するレンズが用いられる。具体的に、この実施形態での広角カメラ１１は、広角レンズ２１として半球状レンズを有する広域撮影カメラ、いわゆる半天球カメラである。そうした広角カメラ１１によって取り込まれる後方画像２００は、図４に示すように、広角レンズ２１の光軸Ａを中心とした周囲３６０度を見渡したような円形状の画像である。
As the wide-
イメージセンサ２５は、受光した光学像を光電変換することにより、そのような円形状の光学像に対応する生画像データを生成する。ドライバ２７，２９は、絞りユニット２３およびイメージセンサ２５にそれぞれ接続されており、絞り量や露光時間などを自動で設定する。これらドライバ２７，２９は、後述する制御装置１９のＣＰＵ４１によって制御される。
The
この広角カメラ１１は、自動二輪車１００のタンデムシート１０１の後部上において、自動二輪車１００の幅方向における中央位置に配置されている。また、広角カメラ１１の高さ位置は、図１に二点鎖線で示すように、自動二輪車１００のハンドル１０３の上方位置に設置されたバックミラー１０５の高さ位置とほぼ同じ位置に設定されている。このような位置に設定された広角カメラ１１は、バックミラー１０５とほぼ同じ高さ位置を中心として自動二輪車１００の後方の左右両側を同等な範囲で撮影する。
The wide-
リアビューモニタ１３は、自動二輪車１００の走行中に運転者であるライダー１（図７に示す）から視認可能な位置に設けられている。例えば、リアビューモニタ１３は、燃料タンク１０７の前部上で両ハンドル１０３の間に位置するメータユニット１０９の近傍に配置されており、ライダー１が運転中にも目を少し下に向ければ視認できる位置にある。当該リアビューモニタ１３には、広角カメラ１１によって撮影された後方画像２００の一部が表示される。
The rear view monitor 13 is provided at a position that is visible from the rider 1 (shown in FIG. 7) as the driver while the
このリアビューモニタ１３は、タッチパネル機能を有する液晶表示パネルなどによって構成されており、追従表示機能を有効にするか無効にするかを設定するなどの表示設定や動画記録の開始および終了を操作するための操作部３１を兼ねている。すなわち、リアビューモニタ１３には、各種設定に用いるメニュー画面も表示されるようになっており、ライダー１は、リアビューモニタ１３に表示されたメニュー画面に従い操作部３１（タッチパネル）を操作することによって、表示設定の変更と動画記録の開始および終了を行える。
The rear view monitor 13 is composed of a liquid crystal display panel having a touch panel function, and operates display settings such as whether to enable or disable the follow-up display function and start and end of moving image recording. It also serves as the
各種センサ１５，１７としては、３軸の角速度を検出するジャイロセンサ１５と、３軸の加速度を検出する加速度センサ１７とが設けられている。ジャイロセンサ１５は、自動二輪車１００が傾いたときに、広角カメラ１１がヨー軸方向、ピッチ軸方向およびロール軸方向にどれだけの速さで回転しているのかを検出する。加速度センサ１７は、自動二輪車１００が傾いたときに、広角カメラ１１がＸ軸方向、Ｙ軸方向およびＸ軸方向における加速度からどのような向きに回転しているのかを検出する。
As the
自動二輪車１００においては、走行時に、ハンドル１０３の操向動作だけで旋回するのではなく、車体を旋回内側に傾けてバンク角を付けることで旋回する、という特性がある。自動二輪車１００の車体が旋回時に傾けられると、広角カメラ１１の姿勢も合わせて変化する。また、自動二輪車１００は、走行時の路面に起伏があると、その路面の起伏に応じて縦揺れ（ピッチング）を起こし、車体が前後に傾けられることがある。自動二輪車１００の車体が前後に傾けられると、広角カメラ１１の姿勢も合わせて変化する。ジャイロセンサ１５および加速度センサ１７は、そのような自動二輪車１００の旋回時の運転動作や縦揺れ時の車体挙動などによって変化する広角カメラ１１の傾きを検出する傾きセンサ３３を構成している。
The
これらジャイロセンサ１５および加速度センサ１７は共に、広角カメラ１１に内蔵されており、自動二輪車１００の車幅方向における中央位置に配置されている。このように設置されたジャイロセンサ１５および加速度センサ１７の検出値に基づいて取得される広角カメラ１１の左右の傾きは、自動二輪車１００の左右における傾き、つまり自動二輪車１００の旋回時にはバンク角と一致する。また、ジャイロセンサ１５および加速度センサ１７の検出値に基づいて取得される広角カメラ１１の前後の傾きは、自動二輪車１００の前後における傾き、つまり自動二輪車１００の縦揺れ時にはピッチ角と一致する。
Both the
制御装置１９は、周知のマイクロコンピュータをベースとするコントローラである。この制御装置１９は、例えば、自動二輪車１００の中央に位置するライダーシート１１１の下部に設置されており、バッテリー１１３からの電源供給を受けて、広角カメラ１１、リアビューモニタ１３および各種センサ１５，１７に対して電力を分配供給すると共に、それら広角カメラ１１、リアビューモニタ１３および各種センサ１５，１７とデータをやり取りし、リアビューモニタ１３の表示動作を制御するようになっている。
The
具体的には、制御装置１９は、図３に示すように、画像データに所定の処理を施す信号処理回路３５と、プログラムやデータを一時的に記憶する主メモリ３７と、主メモリ３７に対するプログラムおよびデータの書き込みや読み出しを制御するメモリ制御回路３９と、主メモリ３７に読み出されたプログラムを実行するＣＰＵ（Central Processing Unit）４１と、各種プログラムおよびデータを記憶する補助メモリ４３と、リアビューモニタ１３を動作させるモニタ用ドライバ４４と、画像データを保存のため所定の形式に従って符号化するＭＰＥＧ（Motion Picture Experts Group）コーデック４５と、外部メモリ４７と画像データをやり取りするＩ／Ｆ回路４９とを備えている。
Specifically, as shown in FIG. 3, the
信号処理回路３５およびＣＰＵ４１は、典型的にはＩＣ（Integrated Circuit）やＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integration Circuit）などによって実現される。主メモリ３７は、典型的にはＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）などの揮発性メモリによって実現される。補助メモリ４３は、典型的にはフラッシュメモリなどの不揮発性メモリによって実現される。外部メモリ４７は、制御装置１９や広角カメラ１１に対して着脱可能に設けられたＳＤ（Secure Digital）カードなどの記録媒体である。
The
信号処理回路３５は、広角カメラ１１に含まれるイメージセンサ２５から出力された後方画像２００についての各フレームの画像データを次々と取得する。この信号処理回路３５は、その画像データに前処理を実行する前処理回路５１と、前処理後の画像データに後処理を実行する後処理回路５３とを有している。
The
前処理回路５１は、取得した画像データに対し、前処理として、ディジタルクランプ、画素欠陥補正、ゲイン制御などの調整処理を施す。これらの前処理が施された画像データは、メモリ制御回路３９を介して主メモリ３７に書き込まれる。
The
後処理回路５３は、前処理が施された画像データをメモリ制御回路３９を介して主メモリ３７から読み出し、読み出された画像データに対し、後処理として、色分離処理、ホワイトバランス調整処理およびＹＵＶ変換処理などの調整処理を施す。これらの後処理が施された画像データは、メモリ制御回路３９を介して主メモリ３７に書き込まれる。
The
さらに、後処理回路５３は、追従表示機能が有効（オン）にされている場合、後処理後のＹＵＶ形式に従う画像データに対して探索用のズーム処理を行い、探索用画像データを作成する。探索用画像データは、メモリ制御回路３９によって主メモリ３７に書き込まれる。
Further, when the follow-up display function is enabled (turned on), the
信号処理回路３５は、後処理が施された画像データをメモリ制御回路３９を介して主メモリ３７から読み出し、読み出された画像データからリアビューモニタ１３に表示する画像データを部分的に切り出す切り出し処理を行うことにより、表示画像データを作成する。作成された表示画像データは、メモリ制御回路３９によって主メモリ３７に書き込まれる。ここで行われる切り出し処理は、後述するが、追従表示機能が有効にされているか無効にされているかに応じて処理内容が切り換えられる。
The
主メモリ３７に書き込まれた各フレームの表示画像データは、メモリ制御回路３９によって読み出され、モニタ用ドライバ４４に受け渡される。モニタ用ドライバ４４は、表示画像データに基づいてリアビューモニタ１３を駆動する。これにより、リアビューモニタ１３には、表示画像データに基づく画像、つまり後方画像２００の一部がリアルタイム動画像（ライブビュー）として表示される。
The display image data of each frame written in the
補助メモリ４３には、追従表示機能が有効にされている場合に、追従対象とする特定の被写体を自動で認識するのに利用される辞書データ５５が記憶されている。
The
辞書データ５５としては、例えば、追従対象である特定の被写体の特徴量を示すデータが予め登録されている。特徴量には、被写体の輝度、明度、彩度、色相、色成分、形状（輪郭やエッジ成分）、方位、これらの組合せなどが挙げられる。この実施形態では、特定の被写体としてボール形態のマーカーＸ（図６および図８参照）が用いられ、マーカーＸの特徴量を示すデータが辞書データ５５として登録されている。このマーカーＸは、後続する自動二輪車１００Ｂに対し前方から見える位置に取り付けられ、当該自動二輪車１００Ｂの位置を示す標識として機能する。また、この実施形態では、辞書データ５５として登録される特徴量が被写体の形状と色成分との組合せである場合を例示する。以下では、追従対象であるマーカーＸの形状特徴量を「形状情報」、追従対象である被写体の色成分特徴量を「色成分情報」と称する。
As the
ＣＰＵ４１は、操作部３１によって追従表示機能が無効（オフ）にされている場合、後方画像２００のうち固定された所定の範囲Ｒｂをリアビューモニタ１３に表示させる固定域表示制御を行う。
When the follow-up display function is disabled (off) by the
具体的には、上記切り出し処理において、主メモリ３７から読み出した後方画像２００についての画像データから自動二輪車１００の真後ろに相当する固定された所定の範囲Ｒｂ（図９参照）の画像データを部分的に切り出すことにより、表示画像データとして固定域画像データを作成する。そして、作成した固定域画像データに基づく固定域画像（例えば図１０に示す画像２０３）をリアビューモニタ１３に表示させる。この固定域表示制御においては、自動二輪車１００の車体が旋回時に傾けられると、広角カメラ１１の姿勢も合わせて変化するから、固定域画像データに基づく表示画像は、当該車体の姿勢に応じて傾いた状態でリアビューモニタ１３に表示される。
Specifically, in the cutout process, the image data of a fixed predetermined range Rb (see FIG. 9) corresponding to the rear of the
また、ＣＰＵ４１は、操作部３１によって追従表示機能が有効（オン）にされている場合、後方画像２００のうち追従対象であるマーカーＸを含む範囲Ｒａ（図６参照）を追従するようにリアビューモニタ１３に表示させる追従表示制御を行う。
Further, when the follow-up display function is enabled (turned on) by the
具体的には、上記切り出し処理の前に、追従対象である被写体（ここではマーカーＸ）の検出処理を行う。この被写体の検出処理は、主メモリ３７から読み出された後方画像２００を示す画像データにおいて、辞書データ５５に登録されている追従対象であるマーカーＸの存在を自動で検出する処理である。そして、上記切り出し処理においては、後方画像２００についての画像データから追従対象である被写体の検出処理で検出されたマーカーＸを含む範囲を切り出すことにより、表示画像データとして追従画像データを作成する。そして、作成した追従画像データに基づく追従画像（例えば図８に示す画像２０１）をリアビューモニタ１３に表示させる。ここで、マーカーＸは後続する自動二輪車１００Ｂに取り付けられているから、追従画像には後続する自動二輪車１００Ｂも含まれる。
Specifically, a detection process of a subject (here, a marker X) that is a tracking target is performed before the clipping process. This subject detection process is a process for automatically detecting the presence of the marker X that is the tracking target registered in the
この追従表示制御においては、傾きセンサ３３によって検出される広角カメラ１１の傾きに基づき、後方画像２００についての画像データの傾きおよび追従画像データの切り出し位置を補正する。こうした補正は、電子ジンバルと呼ばれ、カメラの姿勢の動的な変化に起因した撮影画像の回転方向への変位をキャンセルする技術である。追従表示制御では、電子ジンバルを効かせているので、自動二輪車１００の車体が旋回時に左右に傾けられたり、路面の起伏に応じて上下に傾けられたりしても、追従画像データに基づく追従画像の傾きが補正されて、当該追従画像の水平状態が維持される。
In the follow-up display control, based on the tilt of the wide-
また、ＣＰＵ４１は、操作部３１によって動画記録の開始操作が行われると、動画の記録を開始するべく、記録開始命令をＭＰＥＧコーデック４５およびＩ／Ｆ回路４９に与える。また、ＣＰＵ４１は、操作部３１によって動画記録の終了操作が行われると、動画の記録を終了するべく、記録終了命令をＭＰＥＧコーデック４５およびＩ／Ｆ回路４９に与える。
When the
記録開始命令から記録終了命令までの期間において、ＭＰＥＧコーデック４５は、主メモリ３７に書き込まれたＹＵＶ形式の表示画像データ（固定域画像データ、追従画像データ）をメモリ制御回路３９を介して繰り返し読み出すと共に、読み出された表示画像データを所定の形式に従って符号化する。そして、当該期間において、Ｉ／Ｆ回路４９は、その符号化された表示画像データを動画ファイル形式で外部メモリ４７に記録保存する。
During the period from the recording start command to the recording end command, the
〈移動体の後方確認システムによる追従表示制御〉
次に、上述した移動体の後方確認システム１０によって実行される追従表示制御について、図５を参照しながら説明する。図５は、追従表示制御のフロー図である。
<Follow-up display control by moving object rearward confirmation system>
Next, the follow-up display control executed by the above-described moving object rearward
追従表示制御では、図５に示すように、データ読込みステップＳ０１、画像前処理ステップＳ０２、画像後処理ステップＳ０３、および画像表示ステップＳ０４が順に実行される。 In the follow-up display control, as shown in FIG. 5, a data reading step S01, an image preprocessing step S02, an image postprocessing step S03, and an image display step S04 are executed in order.
データ読込みステップＳ０１では、広角カメラ１１によって撮影された後方画像２００についての画像データと、自動二輪車１００および広角カメラ１１の姿勢状態を示す姿勢データとを読み込む。ここで、姿勢データとは、ジャイロセンサ１５によって検出された自動二輪車１００および広角カメラ１１の角速度を示す角速度データと、加速度センサ１７によって検出された自動二輪車１００の加速度を示す加速度データとである。
In the data reading step S01, image data regarding the
画像前処理ステップＳ０２では、読み込んだ画像データに対し、前処理として、ディジタルクランプ、画素欠陥補正、ゲイン制御などの調整処理を施す。 In the image preprocessing step S02, adjustment processing such as digital clamping, pixel defect correction, and gain control is performed as preprocessing on the read image data.
画像後処理ステップＳ０３では、調整処理ステップＳ０３−１、追従対象検出ステップＳ０３−２、カメラ姿勢取得ステップＳ０３−３、画像傾き補正ステップＳ０３−４、および表示画像作成ステップＳ０３−５が順に実行される。 In image post-processing step S03, adjustment processing step S03-1, tracking target detection step S03-2, camera posture acquisition step S03-3, image inclination correction step S03-4, and display image creation step S03-5 are executed in order. The
調整処理ステップＳ０３−１では、前処理が施された後方画像２００についての画像データに対し、後処理として、色分離処理、ホワイトバランス調整処理およびＹＵＶ変換処理などの調整処理を施す。
In the adjustment processing step S03-1, adjustment processing such as color separation processing, white balance adjustment processing, and YUV conversion processing is performed as post-processing on the image data of the
追従対象検出ステップＳ０３−２では、後処理が施された後方画像２００を示す画像データにおいて、辞書データ５５に登録されている追従対象であるマーカーＸの存在を自動で検出する。
In the tracking target detection step S03-2, the presence of the marker X that is the tracking target registered in the
具体的には、まず、主メモリ３７から検索画像データを読み出し、検索画像データを所定の範囲に設定された検索ブロックでスキャンすることにより、検索画像データ内の被写体の特徴量を検索ブロック毎に算出する。ここで、算出される特徴量には、形状（輪郭、エッジ成分）、色成分などが含まれる。これらの特徴量の算出については、特に限定されず、従来から知られている手法を用いることが可能である。輪郭の抽出手法としては、例えばスネーク法を用いることができる。また、エッジ成分を抽出してその方向の分布情報を形状特徴とする方法は一般的に知られている。この実施形態では、水平方向、垂直方向、右下がり斜め方向、左下がり斜め方向の４方向の分布情報を特徴量としている。
Specifically, first, the search image data is read from the
そして、辞書データ５５に登録された追従対象であるマーカーＸの特徴量（形状情報と色成分情報）を読み出し、当該マーカーＸの形状情報および色成分情報と検索ブロック内の検索画像データ毎の形状情報および色成分情報とをそれぞれ照合する。この照合の結果、両方の特徴量が一致する可能性が高いと判断した場合には、追従対象であるマーカーＸを検出したとして、マーカーＸが検出されたことを示す検出フラグを立てて（オンにして）、そのときの探索画像データ内の被写体Ｘを追従対象に設定する。他方、辞書データ５５に登録されたマーカーＸと特徴量が一致する可能性の高い被写体が探索画像データ内の被写体に存在しない場合には、検出フラグを落として（オフにして）、後方画像２００において追従対象が存在しない旨の情報がモニタ用ドライバ４４によりリアビューモニタ１３に表示される。
Then, the feature amount (shape information and color component information) of the marker X that is the tracking target registered in the
この追従対象検出ステップＳ０３−２においては、追従対象が設定済みでない初回の追従対象の検出を行う場合、つまり検出フラグが落ちている場合には、探索画像データの全体に対して被写体の特徴量を探索ブロック毎に算出する。その一方で、追従対象が設定済みである場合、つまり検出フラグが立てられている場合には、探索画像データの全体に対して被写体の特徴量を探索ブロック毎に算出してもよいし、前フレームで追従対象が検出された位置の周辺領域のみで被写体の特徴量を探索ブロック毎に算出し、その周辺領域でだけ追従対象であるマーカーＸの存在を自動で検出してもよい。 In this follow-up target detection step S03-2, when detecting the first follow-up target for which the follow-up target has not been set, that is, when the detection flag is off, the feature amount of the subject with respect to the entire search image data Is calculated for each search block. On the other hand, when the tracking target has been set, that is, when the detection flag is set, the feature amount of the subject may be calculated for each search block with respect to the entire search image data. The feature amount of the subject may be calculated for each search block only in the peripheral area at the position where the tracking target is detected in the frame, and the presence of the marker X that is the tracking target may be automatically detected only in the peripheral area.
カメラ姿勢取得ステップＳ０３−３では、ジャイロセンサ１５から読み込んだ広角カメラ１１の角速度データと、加速度センサ１７から読み込んだ広角カメラ１１の加速度データとに基づいて、広角カメラ１１の姿勢状態、つまり傾き度合を取得する。ここで、広角カメラ１１の左右の傾き度合は、自動二輪車１００の旋回時に車体が傾けられたときには広角カメラ１１も同様に傾くため、その車体のバンク角に応じた値で取得される。また、広角カメラ１１の前後の傾き度合は、自動二輪車が縦揺れしたときには広角カメラ１１も同様に傾くため、その車体のピッチ角に応じた値で取得される。
In the camera posture acquisition step S03-3, based on the angular velocity data of the wide-
画像傾き補正ステップＳ０３−４では、広角カメラ１１の傾き度合に応じて電子ジンバルを効かせ、後方画像２００についての画像データの傾きを補正する。これにより、後方画像２００についての画像データを、自動二輪車１００が前後左右に傾けられていない姿勢、つまりバンク角およびピッチ角が共に０度である姿勢で広角カメラ１１により撮影されたような水平状態を維持した画像とする。
In the image tilt correction step S03-4, the electronic gimbal is applied according to the tilt degree of the wide-
表示画像作成ステップＳ０３−５は、追従対象判断ステップＳ０３−５−１、固定域画像作成ステップＳ０３−５−２、および追従画像作成ステップＳ０３−５−３を含む
追従対象判断ステップＳ０３−５−１では、追従対象検出ステップＳ０３−２にて追従対象とするマーカーＸが検出されたか否かを判定する。このとき、検出フラグが立てられておらず、マーカーＸが検出されていないと判定された場合には、固定域画像作成ステップＳ０３−５−２が実行される。他方、検出フラグが立てられており、マーカーＸが検出されていると判定された場合には、追従画像作成ステップＳ０３−５−３が実行される。
The display image creation step S03-5 includes a follow-up object determination step S03-5-1, a fixed area image creation step S03-5-2, and a follow-up image creation step S03-5-3. In 1, it is determined whether or not the marker X to be tracked is detected in the tracking target detection step S03-2. At this time, when it is determined that the detection flag is not set and the marker X is not detected, the fixed area image creation step S03-5-2 is executed. On the other hand, when the detection flag is set and it is determined that the marker X is detected, the follow-up image creation step S03-5-3 is executed.
固定域画像作成ステップＳ０３−５−２では、追従表示機能が無効（オフ）にされている場合と同様に、後方画像２００についての画像データから自動二輪車１００の真後ろに相当する固定された画像データを所定の範囲Ｒｂに亘って部分的に切り出す。このようにして後方画像２００についての画像データから部分的に画像データを切り出すことで固定域画像データを作成し、その固定域画像データを表示画像データとする。
In the fixed area image creation step S03-5-2, as in the case where the follow-up display function is disabled (off), the fixed image data corresponding to the rear of the
他方、追従画像作成ステップＳ０３−５−３では、追従対象検出ステップＳ０３−２にて追従対象として設定されたマーカーＸの位置情報に基づき、後方画像２００についての画像データから当該マーカーＸを含む部分を所定の範囲Ｒａに亘って切り出す。このとき、追従対象であるマーカーＸが表示画像の中心または中心付近に位置するように画像データが切り出される。このようにして後方画像２００についての画像データから部分的に画像データを切り出すことでマーカーＸと共に後続する自動二輪車１００Ｂを含む追従画像データを作成し、その追従画像データを表示画像データとする。
On the other hand, in the follow-up image creation step S03-5-3, a part including the marker X from the image data of the
画像表示ステップＳ０４では、画像作成ステップＳ０３−５にて作成された表示画像データに基づく後方画像２００の一部をリアビューモニタ１３に表示させる。つまり、追従対象検出ステップＳ０３−２にて追従対象とするマーカーＸが検出されない場合には、固定域画像データに基づく車体真後ろを捉えた固定域画像が、後方画像２００には追従対象が存在しない旨の情報と共にリアビューモニタ１３に表示される。他方、追従対象検出ステップＳ０３−２にて追従対象とするマーカーＸが検出された場合には、追従画像データに基づくマーカーＸおよび後続する自動二輪車１００Ｂを含む追従画像がリアビューモニタ１３に表示される。
In the image display step S04, a part of the
次に、上記移動体の後方確認システム１０を搭載した自動二輪車１００を先行車として、他の自動二輪車１００と前後に連なって一緒にツーリングする場合を例に挙げて、追従表示制御による追従画像の表示のされ方について、図６〜図１０を参照しながら説明する。なお、以下では、便宜上、先行する自動二輪車１００を「先行車１００Ａ」、後続する自動二輪車１００を「後続車１００Ｂ」と称することがある。
Next, taking as an example a case where the
図６および図９は、移動体の後方確認システム１０を搭載した自動二輪車１００を先行車１００Ａとして二台の自動二輪車１００が一緒にツーリングしている状況でのカーブ走行時の様子を示す図である。図７は、移動体の後方確認システム１０を搭載した自動二輪車１００のカーブ走行時の様子を示す前面図である。図８は、移動体の後方確認システム１０において図６に示す状況で追従表示機能が有効（オン）なときにリアビューモニタ１３に表示される追従画像２０１を示す図である。図１０は、移動体の後方確認システム１０において図９に示す状況で追従表示機能が無効（オフ）なときにリアビューモニタ１３に表示される固定域画像２０３を示す図である。
FIG. 6 and FIG. 9 are diagrams showing a state during a curve run in a situation where two
図９に示すように、移動体の後方確認システム１０を搭載した自動二輪車１００を先行車１００Ａとし、他の自動二輪車１００Ｂを後続車１００Ｂとして、二台の自動二輪車１００が前後に連なって一緒にツーリングしている場合において、自動二輪車１００が比較的大きなカーブや曲がりくねった道路５００を走行するときには、後続車１００Ｂは、先行車１００Ａの車体の前後方向における真後ろ、つまり広角レンズ２１の光軸Ａから側方に外れた位置を走行することになる。
As shown in FIG. 9, a
このとき、追従表示機能を無効（オフ）にしていると、従来の如く、図９に二点鎖線で示すような範囲Ｒｂを捉えた図１０に示す固定域画像２０３がリアビューモニタ１３に表示されるため、リアビューモニタ１３に表示される画像２０３では後続車１００Ｂを確認できない。図１０中の二点鎖線は、広角カメラ１１によって撮影された後方画像２００には含まれるが、切り取り処理にて表示画像として切り取られなかった非表示範囲２０５である。図１０の例では、後続車１００Ｂが表示画像の切り取り範囲から外れてこの非表示範囲２０５に含まれている。また、図７に示すように、先行車１００Ａの旋回時においてはその車体が曲がりたい方向へ傾けられるが、追従表示機能を無効（オフ）にしているときには、電子ジンバルを効かせていないため、リアビューモニタ１３には、バックミラー１０５に映る車体後方の風景と同様に先導車１００Ａのバンク角θに応じて傾いた状態の固定域画像２０３が表示される。
At this time, if the tracking display function is disabled (off), the fixed
これに対し、追従表示機能を有効（オン）にしていると、図６に二点鎖線で示すような範囲Ｒａを捉えた図８に示す追従画像２０１がリアビューモニタ１３に表示されるので、リアビューモニタ１３に表示される画像２０１で後続車１００Ｂを確実に確認することができる。しかも、追従表示機能を有効（オン）にしているときには、電子ジンバルを効かせているから、図７に示すように先行車１００Ａの車体が傾けられも、リアビューモニタ１３に表示される追従画像２０１では、車体後方における後続車１００Ｂを含む風景を水平状態に補正された状態で見ることができる。これにより、先行車１００Ａのバンク角θに応じてリアビューモニタ１３に表示される画像が傾くことに起因する違和感をライダー１に与えることがない。
On the other hand, when the tracking display function is enabled (turned on), the
この実施形態に係る移動体の後方確認システム１０によると、追従表示機能を有効にした場合、広角カメラ１１によって当該後方確認システム１０を搭載した先行車１００Ａの後方を広い画角で捉えた後方画像２００から後続車１００Ｂに取り付けられたマーカーＸを追従する追従画像２０１を作成し、その追従画像２０１をリアビューモニタ１３に表示させるようにしたので、先行車１００Ａが比較的大きなカーブや曲がりくねった道路５００を走行したり、後続車１００Ｂが先行車１００Ａとは異なる走行軌跡をとるような独自の動きをしたりしても、後続車１００Ｂがその動きを追従するようにリアビューモニタ１３に表示される。これにより、先行車１００Ａの走行中に後続車１００Ｂとの相対的な位置関係が不意に上下方向や左右方向に変化しても、先行車１００Ａのライダー１は後続車１００Ｂをリアビューモニタ１３に表示される画像で確実に確認することができる。
According to the moving object rearward
また、この実施形態に係る移動体の後方確認システム１０によると、リアビューモニタ１３に表示される表示画像を動画ファイル形式で外部メモリ４７に記録保存できるようにしたので、上述した二台の自動二輪車１００Ａ，１００Ｂで一緒にツーリングする場合を例に挙げると、ツーリングを終えた後に後続車１００Ｂの様子を視聴して楽しんだり、後続車１００Ｂで事故が発生した際に事故発生時の状況を確認したりすることができる。
In addition, according to the moving object
以上のように、本開示の技術の例示として、好ましい実施形態について説明した。しかし、本開示の技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須でない構成要素が添付図面や詳細な説明に記載されていることを以て、直ちにそれらの必須でない構成要素が必須であるとの認定をするべきではない。 As described above, preferred embodiments have been described as examples of the technology of the present disclosure. However, the technology of the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, etc. are made as appropriate. In addition, the constituent elements described in the accompanying drawings and the detailed description may include constituent elements that are not essential for solving the problem. For this reason, it should not be immediately recognized that these non-essential components are essential because they are described in the accompanying drawings and detailed description.
例えば、上記実施形態では、追従表示制御において、追従画像データの作成に電子ジンバルを効かせるとしたが、本開示の技術はこれに限らない。追従表示制御では、電子ジンバルを効かせずに追従画像データを作成し、自動二輪車１００の旋回時のバンク角や縦揺れ時のピッチ角に応じて傾いた状態の追従画像をリアビューモニタ１３に表示させるようになっていてもよい。
For example, in the above-described embodiment, the electronic gimbal is applied to the generation of the tracking image data in the tracking display control. However, the technology of the present disclosure is not limited to this. In the follow-up display control, follow-up image data is created without applying the electronic gimbal, and the follow-up image tilted according to the bank angle during turning of the
また、上記実施形態では、固定域表示制御において、固定域画像データの作成に電子ジンバルを効かせないとしたが、本開示の技術はこれに限らない。固定域表示制御では、電子ジンバルを効かせて固定域画像データを作成し、自動二輪車１００の旋回時のバンク角や縦揺れ時のピッチ角に応じた画像の傾きが補正された固定域画像をリアビューモニタ１３に表示させるようになっていてもよい。
In the above embodiment, in the fixed area display control, the electronic gimbal is not applied to the generation of the fixed area image data. However, the technology of the present disclosure is not limited to this. In the fixed area display control, an electronic gimbal is used to create fixed area image data, and a fixed area image in which the inclination of the image according to the bank angle when turning the
また、上記実施形態では、制御装置１９は、広角カメラ１１およびリアビューモニタ１３とは別に設けられているとしたが、本開示の技術はこれに限らない。制御装置１９は、広角カメラ１１と同一の筐体内に収容されてユニット化されていてもよく、リアビューモニタ１３と一体に設けられていても構わない。
In the above embodiment, the
また、上記実施形態では、広角カメラ１１は半天球カメラであるとしたが、本開示の技術はこれに限らない。半天球カメラは、広角カメラ１１の一例に過ぎず、標準レンズよりも画角の広い広角レンズ（魚眼レンズを含む概念）を備え、比較的広い視野を撮影可能なカメラであれば、任意のカメラを採用することができる。
In the above embodiment, the wide-
また、上記実施形態では、リアビューモニタ１３がメータユニット１０９とは別に設けられているとしたが、本開示の技術はこれに限らない。リアビューモニタ１３は、メータユニット１０９内に液晶表示パネルなどを設けることによりメータユニット１０９と一体化されていてもよい。
In the above embodiment, the rear view monitor 13 is provided separately from the
その他、移動体の後方確認システム１０は、リアビューモニタ１３に代えて、ライダーが頭部に装着するヘルメットにヘッドマウントディスプレイを搭載し、このヘッドマウントディスプレイを表示装置とするなど、表示装置に他の形態を採用していてもよい。要は、表示装置は、自動二輪車１００の移動中にライダーから視認可能な位置に設けられていればよい。
In addition, the moving object rearward
また、上記実施形態では、追従対象とする特定の被写体としてマーカーＸを用いる態様を例示したが、本開示の技術はこれに限らない。特定の被写体には、自動二輪車１００などの移動体に取り付け可能な標識として機能するものの他、移動体そのものを追従対象として採用することが可能である。
In the above embodiment, an example in which the marker X is used as a specific subject to be tracked is exemplified, but the technology of the present disclosure is not limited thereto. As a specific subject, it is possible to adopt the moving body itself as a tracking target in addition to a functioning as a sign that can be attached to the moving body such as the
この場合、上記実施形態の例では、辞書データ５５に自動二輪車５００Ｂの特徴量を示すデータが登録され、その辞書データ５５に基づき、制御装置１９によって自動二輪車１００Ｂが自動で検出されると共に、自動二輪車１００Ｂがその動きに追従してリアビューモニタ１３に表示されるようになっていればよい。
In this case, in the example of the above-described embodiment, data indicating the characteristic amount of the motorcycle 500B is registered in the
また、追従対象とする特定の被写体について複数の候補が準備されており、自動二輪車のライダー１が操作部３９によってそれら複数の候補の中から追従対象とする被写体を任意に選択できるようになっていてもよい。
A plurality of candidates are prepared for a specific subject to be tracked, and the
この場合、上記実施形態の例では、追従対象とする各被写体の候補の特徴量を示すデータが辞書データ５５として登録され、その辞書データ５５に基づき、選択された特定の被写体が自動で検出されると共に、検出された被写体がその動きに追従してリアビューモニタ１３に表示されるようになっていてもよい。
In this case, in the example of the embodiment, data indicating the feature amount of each candidate subject to be tracked is registered as the
また、追尾対象とする特定の被写体についての特徴量を辞書データ５５に新たに登録できるようになっていてもよい。
In addition, a feature amount for a specific subject to be tracked may be newly registered in the
この場合、上記実施形態の例では、例えば、後続車１００Ｂのライダー２が装着するヘルメットの写真を読み込ませることで、該ヘルメットの特徴量が自動で辞書データ５５にそれぞれ登録され、その辞書データ５５に基づき、後方画像２００から登録したヘルメットが自動で検出されると共に、検出されたヘルメットと共にそのヘルメットを装着したライダー２の乗る後続車１００Ｂがその動きに追従してリアビューモニタ１３に表示されるようになっていてもよい。
In this case, in the example of the above embodiment, for example, by reading a photo of a helmet worn by the
また、上記実施形態では、本開示の技術に係る撮影装置および移動体の後方確認システムについて、自動二輪車１００に適用した場合を例に挙げて説明したが、これに限らない。本開示の技術に係る撮影装置および移動体の後方確認システムは、自動二輪車１００の他、自動四輪車、自転車などの陸上を走行する車両や、水上オートバイ（ジェットスキー）などの水上を航行する船舶にも広く適用することができ、その適用対象は、運転者の操作または自動運転により移動可能な移動体であれば構わない。
In the above-described embodiment, the imaging apparatus and the moving object rearward confirmation system according to the technology of the present disclosure have been described by way of example as applied to the
本開示の技術に係る撮影装置および移動体の後方確認システムは、上記実施形態に例示した自動二輪車１００Ａ，１００Ｂでのツーリングの他、特に、モーターボートなどの小型船舶でパラシュートを装着した遊技者を牽引して空中を飛行させるパラセーリングや、小型船舶で板状の滑走具に乗った遊技者を曳航して水面を滑走させるウェイクボードなどといったマリンスポーツに好適に利用される。
The imaging apparatus and the moving object rearward confirmation system according to the technology of the present disclosure tow a player wearing a parachute in a small boat such as a motor boat, in addition to touring in the
こうしたマリンスポーツでは、小型船舶の操船者が後方の遊技者の状態を確認する必要があるため、小型船舶の後部にカメラを後向きに設置して、そのカメラで撮影した後方画像を操船者が手元のモニタ（表示装置）に表示させることが考えられる。ここで、マリンスポーツの遊技者は様々な方向に大きく移動するため、後方画像に遊技者を確実に捉えるべく広角に後方を撮影する必要がある。しかし、広角な後方画像をモニタに表示させると、遊技者が小さく写ってしまい、操船者は遊技者の挙動を把握し難い。 In such marine sports, the operator of a small boat needs to check the state of the player behind it, so a camera is installed in the rear of the small boat and the rear image captured by the camera is handed by the operator. It is conceivable to display on a monitor (display device). Here, since a marine sports player moves greatly in various directions, it is necessary to photograph the rear at a wide angle so that the player can be surely captured in the rear image. However, if a wide-angle rear image is displayed on the monitor, the player appears small, and it is difficult for the boat operator to grasp the behavior of the player.
本開示の技術に係る移動体の後方確認システム１０を、そうしたパラセーリングやウェイクボードなどのマリンスポーツにおいて牽引や曳航を行う小型船舶に適用すると、遊技者がその動きに追従して操船者の手元のモニタにズーム表示されるので、操船者は遊技者の挙動を操船しながら確実に確認することができる。それによって、遊技者および操船者ともにマリンスポーツを安全に楽しむことができる。また、外部メモリ４７に記録保存された動画でマリンスポーツを行っているときの遊技者の様子を視聴して楽しむことができる。
When the moving body rearward
このような船舶に適用された本開示の技術に係る移動体の後方確認システム１０では、電子ジンバルによる画像の傾き補正が、追従対象である被写体（例えば遊技者）の視認性を高めるのに特に有効である。船舶に設置した広角カメラ１１は、波や風の影響による船舶の横揺れ（ローリング）や縦揺れ（ピッチング）といった揺動に起因して傾くが、電子ジンバルを効かせていれば、そうした船舶の揺動による広角カメラ１１の傾き度合に合わせて追従画像が補正されるので、視認性の高い追従画像を表示することができる。
In the moving object
以上説明したように、本開示の技術は、運転者の操作または自動運転により移動可能な移動体の撮影装置および移動体の後方確認システムについて有用である。 As described above, the technology of the present disclosure is useful for a moving body imaging apparatus and a moving body rearward confirmation system that can be moved by a driver's operation or automatic driving.
Ｘ 追従対象（被写体）
Ｒａ 追従画像の範囲
Ｒｂ 固定域画像の範囲
１，２ ライダー
１０ 移動体の後方確認システム
１１ 広角カメラ
１３ リアビューモニタ（表示装置）
１５ ジャイロセンサ
１７ 加速度センサ
１９ 制御装置
２０ 撮影装置
２１ 広角レンズ
２３ 絞りユニット
２５ イメージセンサ
２７，２９ ドライバ
３１ 操作部
３３ 傾きセンサ
３５ 信号処理回路
３７ 主メモリ
３９ メモリ制御回路
４１ ＣＰＵ
４３ 補助メモリ
４４ モニタ用ドライバ
４５ ＭＰＥＧコーデック
４７ 外部メモリ
４９ Ｉ／Ｆ回路
５１ 前処理回路
５３ 後処理回路
５５ 辞書データ
１００ 自動二輪車（移動体）
１００Ａ 先行車（移動体）
１００Ｂ 後続車（移動体）
１０１ タンデムシート
１０３ ハンドル
１０５ バックミラー
１０７ 燃料タンク
１０９ メータユニット
１１１ ライダーシート
２００ 後方画像
２０１ 追従画像
２０３ 固定域画像
２０５ 非表示範囲
X Tracking target (subject)
Ra Tracking image range Rb Fixed
DESCRIPTION OF
43
100A preceding vehicle (moving body)
100B Car (following vehicle)
101
Claims (6)
前記移動体の後方を撮影する広角カメラと、
前記広角カメラの撮影によって取得された後方画像を処理する制御装置と、を備え、
前記制御装置は、前記後方画像に含まれる特定の被写体を前記移動体に後続する他の移動体の位置として検出し、前記後方画像における前記被写体の位置情報に基づき、前記後方画像から当該被写体を含む範囲を切り出すことにより、前記被写体を追従した追従画像を作成する
ことを特徴とする撮影装置。 An imaging device for imaging the back of a moving object,
A wide-angle camera for photographing the rear of the moving body;
A control device for processing a rear image acquired by photographing with the wide-angle camera,
The control device detects a specific subject included in the rear image as a position of another moving body following the moving body, and detects the subject from the rear image based on position information of the subject in the rear image. An imaging apparatus that creates a follow-up image that follows the subject by cutting out a range that includes the subject.
前記広角カメラの傾きを検出する傾きセンサをさらに備え、
前記制御装置は、前記傾きセンサによって検出された前記広角カメラの傾きに基づき、前記広角カメラの撮影によって取得された前記後方画像の傾きおよび切り出し位置を補正して、前記追従画像を作成する
ことを特徴とする撮影装置。 The imaging apparatus according to claim 1,
A tilt sensor for detecting the tilt of the wide-angle camera;
The control device creates the follow-up image by correcting the tilt and cut-out position of the rear image acquired by photographing with the wide-angle camera based on the tilt of the wide-angle camera detected by the tilt sensor. An imaging device as a feature.
前記制御装置は、前記被写体が画像中心または中心付近に位置するように前記後方画像から当該被写体を含む範囲を切り出して前記追従画像を作成する
ことを特徴とする撮影装置。 In the imaging device according to claim 1 or 2,
The control apparatus creates the following image by cutting out a range including the subject from the rear image so that the subject is located at or near the center of the image.
前記移動体の後方を撮影する広角カメラと、
前記移動体の移動中に前記運転者から視認可能な位置に設けられた表示装置と、
前記広角カメラの撮影によって取得された後方画像を処理して前記表示装置に表示させる制御装置と、を備え、
前記制御装置は、前記後方画像に含まれる特定の被写体を前記移動体に後続する他の移動体の位置として検出し、該被写体の位置情報に基づき、前記後方画像から当該被写体を含む範囲を切り出すことにより、前記被写体を追従した追従画像を作成して、前記表示装置に表示させる
ことを特徴とする移動体の後方確認システム。 A backward confirmation system for confirming the rear of a movable body movable by a driver's operation,
A wide-angle camera for photographing the rear of the moving body;
A display device provided at a position visible from the driver during the movement of the moving body;
A control device that processes and displays a rear image acquired by photographing with the wide-angle camera on the display device,
The control device detects a specific subject included in the rear image as a position of another moving body following the moving body, and cuts out a range including the subject from the rear image based on position information of the subject. Thus, a tracking image that follows the subject is created and displayed on the display device.
前記広角カメラは、前記移動体の幅方向における中央位置に設置されている
ことを特徴とする移動体の後方確認システム。 In the back confirmation system of the mobile object described in Claim 4,
The wide-angle camera is installed at a central position in the width direction of the movable body, and is a rear confirmation system for the movable body.
前記広角カメラは、１８０度以上の画角を有するカメラである
ことを特徴とする移動体の後方確認システム。
In the back confirmation system of the mobile object described in Claim 4 or 5,
The wide-angle camera is a camera having an angle of view of 180 degrees or more.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070754A JP2019181976A (en) | 2018-04-02 | 2018-04-02 | Imaging apparatus and rear confirmation system of movable body |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070754A JP2019181976A (en) | 2018-04-02 | 2018-04-02 | Imaging apparatus and rear confirmation system of movable body |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019181976A true JP2019181976A (en) | 2019-10-24 |
Family
ID=68338976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018070754A Pending JP2019181976A (en) | 2018-04-02 | 2018-04-02 | Imaging apparatus and rear confirmation system of movable body |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019181976A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022201836A1 (en) * | 2021-03-26 | 2022-09-29 | 本田技研工業株式会社 | Image display device, image display method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013060128A (en) * | 2011-09-14 | 2013-04-04 | Suzuki Motor Corp | Rear side video display device for motorcycle |
| JP2013171391A (en) * | 2012-02-20 | 2013-09-02 | Toyota Motor Corp | Vehicle periphery monitoring system |
| WO2016132623A1 (en) * | 2015-02-18 | 2016-08-25 | 富士フイルム株式会社 | Tracking and photographing control device, tracking and photographing system, camera, terminal device, tracking and photographing method, and tracking and photographing program |
-
2018
- 2018-04-02 JP JP2018070754A patent/JP2019181976A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013060128A (en) * | 2011-09-14 | 2013-04-04 | Suzuki Motor Corp | Rear side video display device for motorcycle |
| JP2013171391A (en) * | 2012-02-20 | 2013-09-02 | Toyota Motor Corp | Vehicle periphery monitoring system |
| WO2016132623A1 (en) * | 2015-02-18 | 2016-08-25 | 富士フイルム株式会社 | Tracking and photographing control device, tracking and photographing system, camera, terminal device, tracking and photographing method, and tracking and photographing program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022201836A1 (en) * | 2021-03-26 | 2022-09-29 | 本田技研工業株式会社 | Image display device, image display method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105313779B (en) | Vehicle of the vehicle with panoramic looking-around device and with the device | |
| JP3898709B2 (en) | Vehicle lane marking recognition device | |
| CN105075247B (en) | The control device and storage medium of vehicle | |
| JP5099451B2 (en) | Vehicle periphery confirmation device | |
| EP1894779B1 (en) | Method of operating a night-view system in a vehicle and corresponding night-view system | |
| JP7159802B2 (en) | Vehicle electronic mirror system | |
| JP2008230296A (en) | Vehicle drive supporting system | |
| JP2004354236A (en) | Device and method for stereoscopic camera supporting and stereoscopic camera system | |
| CN109774723A (en) | Information processing unit, methods and procedures, driver's monitoring system and preservation media | |
| JP2008279875A (en) | Parking support device | |
| JP2012086684A (en) | Parking assist device | |
| JP7426174B2 (en) | Vehicle surrounding image display system and vehicle surrounding image display method | |
| JP2008085691A (en) | Vehicle periphery monitoring apparatus | |
| JP2005202787A (en) | Display device for vehicle | |
| JP2019181976A (en) | Imaging apparatus and rear confirmation system of movable body | |
| JP2006012191A (en) | Lane marking recognition device for vehicle | |
| JP4857159B2 (en) | Vehicle driving support device | |
| JP7347936B2 (en) | A photographic device on a ship, and a ship equipped with the photographic device | |
| JP2007221199A (en) | On-vehicle camera display device and image processing unit | |
| JP2020148811A (en) | Imaging apparatus of ship | |
| JP7363965B2 (en) | Vehicle video processing device, vehicle video processing system, vehicle video processing method and program | |
| JP3932127B2 (en) | Image display device for vehicle | |
| JP3722485B1 (en) | Vehicle lane marking recognition device | |
| JP7347330B2 (en) | Vehicle surrounding monitoring device | |
| JP2008230561A (en) | Photographing control device and photometry area adjustment method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220913 |