JP2020145564A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2020145564A JP2020145564A JP2019039964A JP2019039964A JP2020145564A JP 2020145564 A JP2020145564 A JP 2020145564A JP 2019039964 A JP2019039964 A JP 2019039964A JP 2019039964 A JP2019039964 A JP 2019039964A JP 2020145564 A JP2020145564 A JP 2020145564A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visual field
- image data
- image processing
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 19
- 230000004304 visual acuity Effects 0.000 description 9
- 238000009434 installation Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 208000030533 eye disease Diseases 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
従来、車両に搭載されたドライブレコーダで撮像された映像を加工して再生する再生装置がある。かかる映像は、例えば、乗員に対する運転指導等に用いられる（例えば、特許文献１参照）。 Conventionally, there is a playback device that processes and reproduces an image captured by a drive recorder mounted on a vehicle. Such an image is used, for example, for driving guidance to an occupant (see, for example, Patent Document 1).
しかしながら、従来技術では、付加価値の高い映像を提供する点において改善の余地があった。例えば、従来技術では、再生される映像と、乗員から見える実際の景色とに乖離があり、さらには、乗員が注意すべき対象物を把握し難かった。 However, in the prior art, there is room for improvement in providing high value-added images. For example, in the prior art, there is a discrepancy between the reproduced image and the actual scenery seen by the occupant, and it is difficult for the occupant to grasp the object to be noted.
本発明は、上記に鑑みてなされたものであって、付加価値の高い映像を提供することができる画像処理装置および画像処理方法を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus and an image processing method capable of providing high value-added images.
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、取得部と、第１重畳部と、第２重畳部とを備える。前記取得部は、移動体上で撮像された画像データを取得する。前記第１重畳部は、前記移動体の乗員の視野を示す視野画像を前記取得部によって取得された前記画像データへ重畳する。前記第２重畳部は、前記乗員の視認度に基づいて、前記画像データに写る対象物を強調した強調画像を重畳する。 In order to solve the above-mentioned problems and achieve the object, the image processing apparatus according to the present invention includes an acquisition unit, a first superimposition unit, and a second superimposition unit. The acquisition unit acquires image data captured on the moving body. The first superimposing unit superimposes a visual field image showing the visual field of the occupant of the moving body on the image data acquired by the acquisition unit. The second superimposing portion superimposes an emphasized image emphasizing an object reflected in the image data based on the visibility of the occupant.
本発明によれば、付加価値の高い映像を提供することができる。 According to the present invention, it is possible to provide an image having high added value.
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。 Hereinafter, embodiments of the image processing apparatus and the image processing method disclosed in the present application will be described in detail with reference to the accompanying drawings. The present invention is not limited to the embodiments shown below.
まず、図１Ａおよび図１Ｂを用いて、実施形態に係るが画像処理装置及び画像処理方法の概要について説明する。図１Ａは、画像処理システムの構成例を示す図である。図１Ｂは、画像処理方法の概要を示す図である。なお、以下では、移動体が車両である場合について説明するが、移動体は、車両に限られず、車両以外の移動体、例えば、バイク、船舶や航空機であってもよい。 First, the outline of the image processing apparatus and the image processing method according to the embodiment will be described with reference to FIGS. 1A and 1B. FIG. 1A is a diagram showing a configuration example of an image processing system. FIG. 1B is a diagram showing an outline of an image processing method. In the following, the case where the moving body is a vehicle will be described, but the moving body is not limited to the vehicle, and may be a moving body other than the vehicle, for example, a motorcycle, a ship, or an aircraft.
図１Ａに示すように、実施形態に係る画像処理システムＳは、画像処理装置１と、車載装置１００とを備える。車載装置１００は、例えば、車両に搭載されたドライブレコーダである。
As shown in FIG. 1A, the image processing system S according to the embodiment includes an image processing device 1 and an in-
実施形態に係る画像処理装置１は、車載装置１００によって撮像された画像データを再生するいわゆるビュワーソフトを有するコンピュータである。なお、画像処理装置１は、スマートフォンを含む携帯電話機や、タブレット端末や、デスクトップ型ＰＣや、ノート型ＰＣや、ＰＤＡ（Personal Digital Assistant）等の情報処理装置である。また、画像処理装置１には、眼鏡型や時計型の情報処理端末であるウェアラブルデバイス（wearable device）も含まれる。
The image processing device 1 according to the embodiment is a computer having so-called viewer software that reproduces image data captured by the in-
例えば、図１Ａに示すように、画像処理装置１は、可搬性メモリＭや、ネットワークＮを介して、車載装置１００から画像データを取得することができる。
For example, as shown in FIG. 1A, the image processing device 1 can acquire image data from the in-
ところで、従来、車両に搭載されたドライブレコーダで撮像された映像を加工して再生する再生装置がある。しかしながら、従来の再生装置においては、付加価値の高い映像を提供する点において改善の余地があった。 By the way, conventionally, there is a playback device that processes and reproduces an image captured by a drive recorder mounted on a vehicle. However, there is room for improvement in the conventional playback device in terms of providing high value-added images.
具体的には、従来の再生装置では、例えば、再生される映像の範囲と、乗員から見えていた実際の範囲とに乖離があった。さらには、乗員が注意すべき対象物を映像から把握し難かった。 Specifically, in the conventional playback device, for example, there is a discrepancy between the range of the reproduced image and the actual range seen by the occupant. Furthermore, it was difficult to grasp the object that the occupant should pay attention to from the video.
そこで、実施形態に係る画像処理方法では、乗員の視点にあわせた視野画像を生成して画像データに重畳するとともに、ユーザが注意すべき対象物などを乗員の視認度に応じて強調表示することとした。 Therefore, in the image processing method according to the embodiment, a visual field image that matches the viewpoint of the occupant is generated and superimposed on the image data, and an object or the like that the user should pay attention to is highlighted according to the visibility of the occupant. And said.
具体的には、図１Ｂに示すように、実施形態に係る画像処理方法では、画像データＬに対して、視野画像Ｌｖと、強調画像Ｌｅとを重畳する。視野画像Ｌｖは、画像データＬにおいて、ユーザの実際の視野を示す画像である。 Specifically, as shown in FIG. 1B, in the image processing method according to the embodiment, the visual field image Lv and the emphasized image Le are superimposed on the image data L. The visual field image Lv is an image showing the actual visual field of the user in the image data L.
すなわち、図１Ｂに示すように、視野画像Ｌｖは、画像データＬにおいて実際に乗員から見える範囲を示すとともに、画像データＬにおいて乗員の視界に基づいた視認度を示すものである。 That is, as shown in FIG. 1B, the visual field image Lv indicates the range actually visible to the occupant in the image data L, and also indicates the visibility based on the occupant's field of view in the image data L.
これにより、画像データＬを乗員の実際の視界に近づけることが可能となる。なお、視野画像Ｌｖは、例えば、乗員の着座位置、身長や年齢、視力等によって生成される。 This makes it possible to bring the image data L closer to the actual field of view of the occupant. The visual field image Lv is generated based on, for example, the seating position of the occupant, the height and age, the eyesight, and the like.
また、強調画像Ｌｅは、乗員が注意すべき対象物を強調する画像である。本実施形態において、強調画像Ｌｅは、例えば、乗員が視認しにくい対象物に重畳される。 Further, the emphasized image Le is an image that emphasizes an object that the occupant should pay attention to. In the present embodiment, the emphasized image Le is superimposed on an object that is difficult for the occupant to see, for example.
ここで、対象物とは、例えば、影や、背景との色調や色成分が似た車両などの物体を示す。すなわち、実施形態に係る画像処理方法では、画像データＬにおいて乗員が視認しにくい箇所を強調画像Ｌｅによって強調する。 Here, the object refers to, for example, an object such as a shadow or a vehicle having a similar color tone or color component to the background. That is, in the image processing method according to the embodiment, the portion of the image data L that is difficult for the occupant to see is emphasized by the enhanced image Le.
これにより、乗員が実際の運転中に見落としがちな対象物を容易に把握させることが可能となる。なお、強調画像Ｌｅとして、画像データＬにおいて物体の奥行を示す奥行画像を重畳することも可能である。 This makes it possible for the occupant to easily grasp an object that is often overlooked during actual driving. As the emphasized image Le, it is also possible to superimpose a depth image showing the depth of the object in the image data L.
このように、実施形態に係る画像処理方法では、画像データＬに対して、視野画像Ｌｖと、強調画像Ｌｅとを重畳する。これにより、画像データＬにおいては、視野画像Ｌｖによって、乗員の実際の視野範囲を把握することができ、強調画像Ｌｅによって、乗員が運転中に見落としがちな対象物を容易に把握させることが可能となる。 As described above, in the image processing method according to the embodiment, the visual field image Lv and the emphasized image Le are superimposed on the image data L. As a result, in the image data L, the actual visual field range of the occupant can be grasped by the visual field image Lv, and the emphasized image Le makes it possible to easily grasp the object that the occupant tends to overlook while driving. It becomes.
したがって、実施形態に係る画像処理方法によれば、付加価値の高い映像を提供することができる。 Therefore, according to the image processing method according to the embodiment, it is possible to provide an image having high added value.
次に、図２を用いて実施形態に係る画像処理装置１の構成例について説明する。図２は、実施形態に係る画像処理装置１のブロック図である。なお、図２には、表示装置５０を併せて示す。
Next, a configuration example of the image processing device 1 according to the embodiment will be described with reference to FIG. FIG. 2 is a block diagram of the image processing device 1 according to the embodiment. Note that FIG. 2 also shows the
表示装置５０は、画像処理装置１から入力される映像信号を表示する表示装置である。また、表示装置５０は、図示しない操作部を有しており、ユーザ操作を受け付けることも可能である。
The
実施形態に係る画像処理装置１は、制御部２と、記憶部３とを備える。制御部２は、取得部２１と、第１重畳部２２と、第２重畳部２３と、第３重畳部２４とを備える。記憶部３は、取得情報３１と、ユーザ情報３２と、第１画像情報３３と、第２画像情報３４とを記憶する。
The image processing device 1 according to the embodiment includes a
ここで、制御部２は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力ポートなどを有するコンピュータや各種の回路を含む。
Here, the
コンピュータのＣＰＵは、たとえば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部２の取得部２１、第１重畳部２２、第２重畳部２３および第３重畳部２４として機能する。
The CPU of the computer functions as the acquisition unit 21, the
また、記憶部３は、たとえば、ＲＡＭやＨＤＤに対応する。ＲＡＭやＨＤＤは、取得情報３１、ユーザ情報３２、第１画像情報３３および第２画像情報３４や、各種プログラムの情報等を記憶することができる。なお、画像処理装置１は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。
Further, the
取得情報３１は、車載装置１００から取得した情報である。図３は、取得情報３１の具体例を示す図である。図３に示すように、取得情報３１は、画像データと、走行データと、設置位置データ等を含む情報である。
The acquired information 31 is information acquired from the in-
画像データは、車載装置１００によって撮像された画像データであり、例えば、撮像時刻が対応付けられる。走行データは、走行時刻、走行位置や、走行速度、加速度、舵角など、画像データを撮像当時の車両の走行状態に関するデータである。
The image data is image data captured by the vehicle-mounted
また、設置位置データは、車種や、カメラの撮像位置および取付角度に関するデータである。例えば、設置位置データは、車両空間におけるカメラの三次元座標と、カメラの撮像向きを３次元座標で示すデータである。また、設置位置データには、カメラの画角や、焦点距離などが含まれる。なお、取得情報３１において、設置位置データは必須ではなく、ユーザが画像処理装置１に直接入力することにしてもよい。 The installation position data is data related to the vehicle type, the image pickup position of the camera, and the installation angle. For example, the installation position data is data indicating the three-dimensional coordinates of the camera in the vehicle space and the imaging direction of the camera in the three-dimensional coordinates. In addition, the installation position data includes the angle of view of the camera, the focal length, and the like. In the acquired information 31, the installation position data is not essential, and the user may directly input the image processing device 1.
図２の説明に戻り、ユーザ情報３２について説明する。ユーザ情報３２は、各乗員に関する情報である。図４は、ユーザ情報３２の具体例を示す図である。図４に示すように、ユーザ情報３２は、ユーザＩＤ、性別、年齢、身長、視力などが互いに対応付けられた情報である。
Returning to the description of FIG. 2, the
ユーザＩＤは、各ユーザ（乗員）を識別するための識別子である。性別および年齢は、ユーザの性別および年齢をそれぞれ示す。また、身長は、ユーザの身長を示し、視力は、ユーザの視力を示す。なお、視力については、運転時に矯正が必要なユーザについては、矯正後の視力であることが好ましい。 The user ID is an identifier for identifying each user (occupant). Gender and age indicate the user's gender and age, respectively. Further, the height indicates the height of the user, and the visual acuity indicates the visual acuity of the user. As for the visual acuity, it is preferable that the visual acuity is the corrected visual acuity for the user who needs to be corrected during driving.
なお、ユーザ情報３２は、その他、矯正種別（コンタクト、メガネ等）や、目の疾患履歴、座高などを含むようにしてもよい。また、ユーザ情報３２は、例えば、ユーザによって入力される情報である。
The
図２の説明に戻り、第１画像情報３３について説明する。第１画像情報３３は、上述の視野画像Ｌｖに関する情報である。例えば、第１画像情報３３は、複数種類の視野画像Ｌｖのテンプレート画像に関する情報である。
Returning to the description of FIG. 2, the
第２画像情報３４は、上述の強調画像Ｌｅに関する情報である。図５は、第２画像情報３４の一例を示す図である。図５に示すように、第２画像情報３４は、種別と、テンプレートとが対応付けられた情報である。 The second image information 34 is information regarding the above-mentioned emphasized image Le. FIG. 5 is a diagram showing an example of the second image information 34. As shown in FIG. 5, the second image information 34 is information in which the type and the template are associated with each other.
種別は、強調画像Ｌｅを重畳する対象領域の種別を示す。図５に示すように、例えば、種別として、背景類似領域、影領域、奥行領域などが含まれる。背景類似領域は、背景と色成分が類似する領域や、周囲と明度が類似する領域であり、影領域は、画像データに写る影となる領域である。 The type indicates the type of the target area on which the emphasized image Le is superimposed. As shown in FIG. 5, for example, a background similar area, a shadow area, a depth area, and the like are included as types. The background similar area is an area in which the background and the color component are similar, or the area is similar in brightness to the surrounding area, and the shadow area is an area that becomes a shadow reflected in the image data.
また、奥行領域は、カメラ画像に写る対象物の奥行を示す領域である。例えば、第２画像情報３４には、種別ごとに複数の画像テンプレートが含まれる。 The depth area is an area indicating the depth of the object captured in the camera image. For example, the second image information 34 includes a plurality of image templates for each type.
図２の説明に戻り、制御部２について説明する。制御部２は、車載装置１００から画像データを取得し、乗員の視野に応じた視野画像Ｌｖおよび乗員の視認度に応じた強調画像Ｌｅを重畳し、表示装置５０へ出力する。
Returning to the description of FIG. 2, the
取得部２１は、車両上で撮像された画像データを取得する。例えば、取得部２１は、図１Ａに示したように、可搬性メモリＭや、ネットワークＮを介して、車載装置１００から画像データを取得する。
The acquisition unit 21 acquires image data captured on the vehicle. For example, as shown in FIG. 1A, the acquisition unit 21 acquires image data from the vehicle-mounted
また、取得部２１は、走行データを画像データとあわせて取得することもできる。取得部２１は、取得した画像データや走行データを記憶部３に取得情報３１として格納する。なお、取得部２１は、通信ケーブルを介して、車載装置１００から画像データを取得することにしてもよい。
In addition, the acquisition unit 21 can also acquire the traveling data together with the image data. The acquisition unit 21 stores the acquired image data and travel data in the
図２の説明に戻り、第１重畳部２２について説明する。第１重畳部２２は、乗員の視野に基づく視野画像Ｌｖを取得部２１によって取得された画像データへ重畳する。第１重畳部２２は、上述したように、ユーザによって選択されたユーザＩＤの乗員の視野にあわせた視野画像Ｌｖを画像データに重畳する。
Returning to the description of FIG. 2, the
具体的には、第１重畳部２２は、ユーザ情報３２を参照し、ユーザの身長、年齢や視力に基づき、ユーザの視野範囲を推定する。例えば、第１重畳部２２は、身長、年齢や視力に応じた視野範囲を示すテーブルを有しており、かかるテーブルに基づいて視野範囲を推定することができる。
Specifically, the
図６Ａおよび図６Ｂは、視野範囲の一例を示す図である。図６Ａに示すように、第１重畳部２２は、例えば、車載装置１００の取り付け位置および乗員の視点位置Ｕとに基づいて車載装置１００（カメラ）における仮想面Ｒｃから視野範囲Ｒｕを推定する。
6A and 6B are diagrams showing an example of the visual field range. As shown in FIG. 6A, the
具体的には、まず、第１重畳部２２は、車載装置１００によって撮像された画像データに対する仮想面Ｒｃを設定する。図６Ａに示すように、仮想面Ｒｃは、車載装置１００から車載装置１００の撮像方向Ｄ１に沿って、所定距離ｄだけ離れた位置に設定される。
Specifically, first, the
本来撮像された画像は、写っている物体に応じて距離が異なる。しかし、特に単眼カメラで撮影した場合は、一般的に物体に対する距離方向の情報が失われる。そのため、第１重畳部２２は、写っている物体が仮想面Ｒｃに存在すると仮定することで、物体への距離情報を概算し、視野範囲Ｒｕを推定する。
Originally captured images have different distances depending on the object in which they are captured. However, information in the distance direction with respect to an object is generally lost, especially when the image is taken with a monocular camera. Therefore, the
続いて、第１重畳部２２は、乗員の視点位置Ｕおよび視線方向Ｄ２に基づいて視点位置Ｕから仮想面Ｒｃを見た画角を視野範囲Ｒｕとして推定する。
Subsequently, the
これにより、画像データを乗員の視点位置Ｕにあわせた視野画像Ｌｖ（図１Ｂ参照）を画像データに重畳することができる。このように、第１重畳部２２は、車載装置１００の視点位置とは異なる視点位置Ｕから仮想面Ｒｃを見た画角を視野範囲Ｒｕとして推定することで、視野範囲Ｒｕを適切に設定することができる。
As a result, the visual field image Lv (see FIG. 1B) that matches the image data with the viewpoint position U of the occupant can be superimposed on the image data. In this way, the
なお、図６Ａでは仮想面Ｒｃは平面として説明を行ったが、この限りではない。カメラの光学系に応じて球面などとしてもよい。光学系の歪みを反映させた非球面の曲面としてもよい。また、地面や車体など、距離があらかじめ概算できるものについては、仮想面Ｒｃに反映させるとよい。その場合、図６Ｂに示すように、例えば、車体に近い領域は地面に沿って平坦となるお椀状の仮想面Ｒｃを設定するとよい。 In FIG. 6A, the virtual surface Rc has been described as a plane, but this is not the case. It may be spherical or the like depending on the optical system of the camera. It may be an aspherical curved surface that reflects the distortion of the optical system. Further, if the distance can be estimated in advance, such as the ground or the vehicle body, it is preferable to reflect it on the virtual surface Rc. In that case, as shown in FIG. 6B, for example, it is preferable to set a bowl-shaped virtual surface Rc in which the region close to the vehicle body is flat along the ground.
例えば、第１重畳部２２は、ユーザの年齢が高齢の場合、高齢以外の場合に比べて、視野範囲Ｒｕを狭くしたり、身長に応じて、視野範囲Ｒｕの高さを調節したりすることができる。また、第１重畳部２２は、例えば、視力や目の疾患履歴等に基づいて視野範囲を補正することにしてもよい。
For example, when the user's age is old, the
そして、第１重畳部２２は、推定した視野範囲Ｒｕに応じた視野画像Ｌｖを第１画像情報３３に基づいて生成する。これにより、乗員の視野にあわせた画像データを提供することができる。
Then, the
図７Ａおよび図７Ｂは、視野画像Ｌｖの具体例を示す図である。図７Ａに示すように、視野画像Ｌｖは、例えば、画像データＬにおける視野範囲Ｒｕと、その他の範囲Ｒｏとを区別するように設けられる。 7A and 7B are diagrams showing specific examples of the field image Lv. As shown in FIG. 7A, the visual field image Lv is provided so as to distinguish, for example, the visual field range Ru in the image data L from the other range Ro.
視野画像Ｌｖは、例えば、その他の範囲Ｒｏにハッチング処理を施すハッチング画像とするとよい。また、その他の範囲Ｒｏをグレースケール画像として表示するフィルター画像であってもよい。 The visual field image Lv may be, for example, a hatched image in which the other range Ro is hatched. Further, it may be a filter image that displays the other range Ro as a grayscale image.
また、グレースケール画像に適宜色を付けた画像としてもよい。例えば、グレースケール画像における白から黒への輝度のグラデーションを、白から赤や、白から赤を経た黒など、グラデーションに対応させてもよい。なお赤でなく、青や緑でもよい。 Further, the grayscale image may be appropriately colored. For example, the gradation of brightness from white to black in a grayscale image may correspond to a gradation such as white to red or white to black via red. It may be blue or green instead of red.
車体や路面は無彩色である場合が多いため、グレースケール画像では視野画像Ｌｖとその他の範囲Ｒｏとの境界の変化が目立たないことが多い。そのため、赤や青などの有彩色を対応させることで、該境界の変化を目立たせることができる。また、視野画像Ｌｖは、視野範囲Ｒｕの枠を示す枠画像であってもよい。視野範囲Ｒｕとその他の範囲Ｒｏとの区別が明確に可能であるならば、任意の画像を用いることができる。 Since the vehicle body and the road surface are often achromatic, the change in the boundary between the visual field image Lv and the other range Ro is often inconspicuous in the grayscale image. Therefore, by associating chromatic colors such as red and blue, the change in the boundary can be made conspicuous. Further, the visual field image Lv may be a frame image showing a frame of the visual field range Ru. Any image can be used as long as it is clearly possible to distinguish between the viewing range Ru and the other range Ro.
また、図７Ｂに示すように、第１重畳部２２は、複数の視野画像Ｌｖを重畳することも可能である。図７Ｂに示す例では、画像データＬに対して、視野範囲Ｒｕを囲う視野画像Ｌｖ１と、さらに、視野画像Ｌｖ１を囲う視野画像Ｌｖ２とが重畳される場合を示す。
Further, as shown in FIG. 7B, the
すなわち、この場合には、ユーザに対して、複数の視野画像Ｌｖによって実際の視野を段階的に把握させることが可能となる。なお、図７Ｂに示す例では、２種類の視野画像Ｌｖを重畳する場合について示したが、視野画像Ｌｖは３種類以上であってもよい。また、視野画像Ｌｖに、グラデーションを施すことにしてもよい。 That is, in this case, it is possible for the user to grasp the actual field of view step by step by the plurality of field of view images Lv. In the example shown in FIG. 7B, the case where two types of field image Lv are superimposed is shown, but the field image Lv may be three or more types. Further, the visual field image Lv may be subjected to gradation.
また、一般的に、走行速度が速いほど、ドライバの視野が狭くなることから、第１重畳部２２は、走行速度に応じて、視野画像Ｌｖの重畳範囲を変更することにしてもよい。
Further, in general, the faster the traveling speed, the narrower the visual field of the driver. Therefore, the
図２の説明に戻り、第２重畳部２３について説明する。第２重畳部２３は、乗員の視認度に基づいて、画像データに写る対象物を強調する強調画像Ｌｅを対象物に重畳する。具体的には、第２重畳部２３は、画像データを解析し、背景類似領域、影領域、奥行領域を検出する。
Returning to the description of FIG. 2, the
第２重畳部２３は、任意の画像解析アルゴリズムを用いて、背景類似領域、影領域、奥行領域を検出することができる。なお、背景類似領域において、明度差や色成分差に対する閾値をユーザ毎に変更することにしてもよい。
The
そして、第２重畳部２３は、第２画像情報３４として格納されたテンプレート画像を検出した背景類似領域、影領域、奥行領域毎に加工して画像データへ重畳する。ここで、背景類似領域には、周囲と明度が近い対象物や色成分が背景と近い対象物を強調する明度画像、色画像がそれぞれ強調画像Ｌｅとして重畳される。
Then, the
背景類似領域に、強調画像Ｌｅを重畳することで、ユーザが視認し難い対象物を容易に把握することが可能となる。なお、背景類似領域を、車両や歩行者などの移動物に限定することにしてもよい。 By superimposing the emphasized image Le on the background similar region, it becomes possible to easily grasp an object that is difficult for the user to see. The background-similar area may be limited to moving objects such as vehicles and pedestrians.
また、影領域には、影領域を強調する影画像、奥行領域には、対象物の奥行を示す奥行画像がそれぞれ強調画像Ｌｅとして重畳される。これにより、画像データに含まれる影や、対象物の奥行を容易に把握させることが可能となる。 Further, a shadow image that emphasizes the shadow area is superimposed on the shadow area, and a depth image indicating the depth of the object is superimposed on the depth area as the emphasized image Le. This makes it possible to easily grasp the shadow included in the image data and the depth of the object.
第３重畳部２４は、時系列的に連続する複数の画像データに基づいて算出される対象物の移動方向を示す方向画像を対象物に重畳する。
The
図８Ａおよび図８Ｂは、第３重畳部２４による処理の具体例を示す図である。なお、図８Ａおよび図８Ｂでは、オプティカルフロー法により、対象物の移動量を算出する場合について説明するが、対象物の移動量の算出方法は、オプティカルフロー法に限定されるものではない。また、ここでは、対象物としてトラックＴを挙げて説明する。
8A and 8B are diagrams showing specific examples of processing by the
図８Ａに示すように、第３重畳部２４は、トラックＴの過去フレームにおける特徴点Ｐ１と、現在フレームにおける特徴点Ｐ２とをそれぞれ抽出する。続いて、第３重畳部２４は、特徴点Ｐ１と、特徴点Ｐ２とで同一特徴点を結ぶことで、過去フレームから現在フレームの間におけるトラックＴの移動ベクトルＶ１を算出する。
As shown in FIG. 8A, the
特徴点ごとに算出した移動ベクトルは、適宜クラスタリングなどで集約されて物体の移動方向と移動量として算出される。クラスタリングは、例えば特徴点同士の距離や移動ベクトルの方向・長さに基づき、類似の特徴点同士をまとめることである。集約された特徴点は、例えば位置として重心を、移動方向と移動量として移動ベクトルの平均をとり、画像に重畳させる。なお、特徴点と移動ベクトルを集約せずに、それぞれ個別に画像に重畳させるようにしてもよい。 The movement vector calculated for each feature point is appropriately aggregated by clustering or the like and calculated as the movement direction and movement amount of the object. Clustering is, for example, grouping similar feature points based on the distance between the feature points and the direction / length of the movement vector. For the aggregated feature points, for example, the center of gravity is taken as the position, the average of the movement vectors is taken as the movement direction and the movement amount, and the images are superimposed. It should be noted that the feature points and the movement vectors may be individually superimposed on the image without being aggregated.
そして、第３重畳部２４は、算出した移動ベクトルに基づき、対象物の移動向きを示す方向画像を重畳する。例えば、方向画像は、対象物の移動向きを示す矢印画像である。このように、対象物に対して方向画像を重畳することで、対象物の移動向きを容易に把握させることが可能となる。
Then, the
このとき、例えば、第３重畳部２４は、視認度の低い領域から視認度の高い領域に移動する対象物のみに対して、指示画像を重畳することにしてもよい。すなわち、乗員が警戒すべき特定の対象物のみに指示画像を重畳することにしてもよい。
At this time, for example, the
なお、第３重畳部２４は、対象物の移動速度を示す速度画像を重畳することも可能である。例えば、速度画像は、例えば、上記の矢印画像の長さを移動速度に応じて変更させたものであってもよい。すなわち、移動速度が速いほど、矢印画像の長さを長くすることにしてもよい。
The
また、対象物が視認度の高い領域に移動するまでの時間を表示するようにしてもよい。例えば、その他の範囲Ｒｏから視野範囲Ｒｕに移動するまでの時間を、テキスト文字で表示してもよい。 Further, the time until the object moves to the area with high visibility may be displayed. For example, the time required to move from the other range Ro to the visual field range Ru may be displayed in text characters.
また、移動ベクトルＶ１は、実際の走行速度が反映されるようにしてもよい。上記の例では、移動ベクトルＶ１には、トラックＴの実際の走行ベクトルＶ２と、車両Ｃの走行ベクトルＶｖとが含まれる。このため、図８Ｂに示すように、第３重畳部２４は、移動ベクトルＶ１から車両Ｃの走行ベクトルＶｖを差し引くことで、トラックＴの走行ベクトルＶ２を算出する。このとき、車両Ｃの走行ベクトルＶｖは、車両Ｃの走行速度や、舵角から求めることが可能である。第３重畳部２４は、方向画像を生成するにあたり、移動ベクトルＶ１の代わりに走行ベクトルＶ２を用いてもよい。
Further, the movement vector V1 may reflect the actual traveling speed. In the above example, the movement vector V1 includes the actual travel vector V2 of the truck T and the travel vector Vv of the vehicle C. Therefore, as shown in FIG. 8B, the
また、走行ベクトルＶ２の長さは、トラックＴの実際の走行速度に対応し、走行ベクトルＶ２の向きは、トラックＴの実際の走行向きを示す。なお、単眼カメラによって撮像された画像データを用いて、走行ベクトルを算出する場合、物体（トラックＴ）が地面にあることや、もしくは接地点（特徴点を地面に落とした時のタイヤ）がどこになるかを推定して距離を推定する。なお、この場合は物体の実際の走行速度が判明するため、速度画像には、例えば物体の移動速度を示すテキスト文字を表示してもよい。 Further, the length of the traveling vector V2 corresponds to the actual traveling speed of the truck T, and the direction of the traveling vector V2 indicates the actual traveling direction of the truck T. When calculating the traveling vector using the image data captured by the monocular camera, where is the object (track T) on the ground or the ground contact point (tire when the feature point is dropped on the ground)? Estimate the distance. In this case, since the actual traveling speed of the object is known, for example, text characters indicating the moving speed of the object may be displayed on the speed image.
次に、図９を用いて実施形態に係る画像処理装置１が実行する処理手順について説明する。図９は、画像処理装置１が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、画像処理装置１が画像データの取得毎に繰り返し実行される。 Next, the processing procedure executed by the image processing apparatus 1 according to the embodiment will be described with reference to FIG. FIG. 9 is a flowchart showing a processing procedure executed by the image processing device 1. The processing procedure shown below is repeatedly executed by the image processing device 1 every time the image data is acquired.
図９に示すように、画像処理装置１は、まず、画像データを取得すると（ステップＳ１０１）、画像データに視野画像Ｌｖや強調画像Ｌｅを重畳するモードである第１モードか否かを判定する（ステップＳ１０２）。 As shown in FIG. 9, when the image processing device 1 first acquires the image data (step S101), it determines whether or not it is the first mode, which is a mode in which the field image Lv and the emphasized image Le are superimposed on the image data. (Step S102).
画像処理装置１は、ステップＳ１０２の判定処理において、第１モードでないと判定した場合（ステップＳ１０２，Ｎｏ）、画像データをそのまま表示装置５０へ出力し（ステップＳ１０７）、処理を終了する。
When the image processing device 1 determines in the determination process of step S102 that the mode is not the first mode (steps S102, No), the image processing device 1 outputs the image data to the
一方、画像処理装置１は、ステップＳ１０２の判定処理において、第１モードである場合（ステップＳ１０２，Ｙｅｓ）、対象者の選択操作を受け付ける（ステップＳ１０３）。ここで、対象者の選択操作とは、着座シートや、ユーザＩＤの入力操作を示す。 On the other hand, in the determination process of step S102, the image processing device 1 accepts the selection operation of the target person in the case of the first mode (steps S102, Yes) (step S103). Here, the target person selection operation indicates a seating seat or a user ID input operation.
続いて、画像処理装置１は、対象者の視点位置にあわせて視野範囲Ｒｕを決定し（ステップＳ１０４）、視野範囲Ｒｕに基づいて視野画像Ｌｖを重畳する（ステップＳ１０５）。 Subsequently, the image processing device 1 determines the visual field range Ru according to the viewpoint position of the target person (step S104), and superimposes the visual field image Lv based on the visual field range Ru (step S105).
続いて、画像処理装置１は、対象物に対して方向画像を重畳した後に（ステップＳ１０６）、ステップＳ１０７へ移行し、処理を終了する。 Subsequently, the image processing apparatus 1 proceeds to step S107 after superimposing the direction image on the object (step S106), and ends the process.
上述したように、実施形態に係る画像処理装置１は、取得部２１と、第１重畳部２２と、第２重畳部２３と備える。取得部２１は、車両Ｃ（移動体の一例）上で撮像された画像データＬを取得する。第１重畳部２２は、車両Ｃの乗員の視野を示す視野画像Ｌｖを取得部２１によって取得された画像データＬへ重畳する。
As described above, the image processing device 1 according to the embodiment includes an acquisition unit 21, a
第２重畳部２３は、乗員の視認度に応じた強調画像Ｌｅを重畳する画像データへ重畳する。したがって、実施形態に係る画像処理装置１によれば、付加価値の高い映像を提供することができる。
The
ところで、上述した実施形態では、移動体上から撮像された画像データに対して、視野画像Ｌｖや強調画像Ｌｅを重畳する場合について説明したが、これに限定されるものではない。すなわち、固定カメラや、ユーザの頭部に固定されたウェアラブルカメラで撮像された画像データに対して、視野画像Ｌｖや強調画像Ｌｅを重畳することにしてもよい。 By the way, in the above-described embodiment, the case where the visual field image Lv and the emphasized image Le are superimposed on the image data captured from the moving body has been described, but the present invention is not limited to this. That is, the visual field image Lv and the emphasized image Le may be superimposed on the image data captured by the fixed camera or the wearable camera fixed to the user's head.
ところで、上述した実施形態では、視野範囲Ｒｕが固定される場合について説明したが、これに限定されるものではない。すなわち、視野範囲を動的に設定することにしてもよい。この場合、例えば、搭乗者の実際の視点位置、視野を記録しておき、かかる記録した視点位置、視野に応じて動的に視野範囲Ｒｕを設定することができる。なお、視点位置や、視野に関する情報は、例えば、搭乗者が撮像された画像から検出することが可能である。 By the way, in the above-described embodiment, the case where the field of view Ru is fixed has been described, but the present invention is not limited to this. That is, the field of view may be set dynamically. In this case, for example, the actual viewpoint position and visual field of the passenger can be recorded, and the visual field range Ru can be dynamically set according to the recorded viewpoint position and visual field. Information on the viewpoint position and the visual field can be detected from, for example, an image captured by the passenger.
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。 Further effects and variations can be easily derived by those skilled in the art. For this reason, the broader aspects of the invention are not limited to the particular details and representative embodiments described and described above. Therefore, various changes are possible without departing from the spirit or scope of the overall concept of the invention as defined by the appended claims and their equivalents.
１ 画像処理装置
２１ 取得部
２２ 第１重畳部
２３ 第２重畳部
２４ 第３重畳部
５０ 表示装置
１００ 車載装置
Ｃ 車両（移動体の一例）
Ｌ 画像データ
Ｌｅ 強調画像
Ｌｖ 視野画像
Ｒｕ 視野範囲
1 Image processing device 21
L image data Le emphasized image Lv field image Ru field range
Claims (8)
前記移動体の乗員の視野に基づく視野画像を前記取得部によって取得された前記画像データへ重畳する第１重畳部と、
前記乗員の視認度に基づいて、前記画像データに写る対象物を強調する強調画像を重畳する第２重畳部と
を備えることを特徴とする画像処理装置。 An acquisition unit that acquires image data captured on a moving object,
A first superimposing unit that superimposes a visual field image based on the visual field of the occupant of the moving body on the image data acquired by the acquisition unit, and
An image processing apparatus including a second superimposing portion that superimposes an emphasized image that emphasizes an object reflected in the image data based on the visibility of the occupant.
前記乗員の視点位置にあわせて前記視野画像を重畳する
ことを特徴とする請求項１に記載の画像処理装置。 The first overlapping portion is
The image processing apparatus according to claim 1, wherein the visual field image is superimposed according to the viewpoint position of the occupant.
前記乗員の着座位置、身長、年齢の少なくともいずれか一つに基づいて前記視野画像を重畳すること
を特徴とする請求項１または２に記載の画像処理装置。 The first overlapping portion is
The image processing apparatus according to claim 1 or 2, wherein the visual field image is superimposed based on at least one of the seating position, height, and age of the occupant.
前記対象物と当該対象物の背景との明度差に基づく明度画像を前記強調画像として前記対象物に重畳すること
を特徴とする請求項１、２または３に記載の画像処理装置。 The second superimposing portion is
The image processing apparatus according to claim 1, 2 or 3, wherein a brightness image based on a brightness difference between the object and the background of the object is superimposed on the object as the emphasized image.
前記画像データにおける影領域を強調する影画像を前記強調画像として重畳すること
を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。 The second superimposing portion is
The image processing apparatus according to any one of claims 1 to 4, wherein a shadow image that emphasizes a shadow region in the image data is superimposed as the emphasized image.
前記画像データに写る対象物の奥行を示す奥行画像を前記強調画像として重畳すること
を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。 The second superimposing portion is
The image processing apparatus according to any one of claims 1 to 5, wherein a depth image showing the depth of an object reflected in the image data is superimposed as the emphasized image.
を備えることを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。 Claims 1 to 6 include a third superimposing portion that superimposes a directional image indicating a moving direction of the object, which is calculated based on a plurality of the image data consecutive in time series, on the object. The image processing apparatus according to any one of the above.
前記移動体の乗員の視野に基づく視野画像を前記取得工程によって取得された前記画像データへ重畳する第１重畳工程と、
前記乗員の視認度に基づいて、前記画像データに写る対象物を強調する強調画像を前記対象物に重畳する第２重畳工程と
を含むことを特徴とする画像処理方法。 The acquisition process to acquire the image data captured on the moving object,
The first superimposition step of superimposing the visual field image based on the visual field of the occupant of the moving body on the image data acquired by the acquisition step, and
An image processing method comprising a second superimposition step of superimposing an emphasized image that emphasizes an object reflected in the image data on the object based on the visibility of the occupant.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019039964A JP2020145564A (en) | 2019-03-05 | 2019-03-05 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019039964A JP2020145564A (en) | 2019-03-05 | 2019-03-05 | Image processing device and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020145564A true JP2020145564A (en) | 2020-09-10 |
Family
ID=72354583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019039964A Pending JP2020145564A (en) | 2019-03-05 | 2019-03-05 | Image processing device and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020145564A (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005276056A (en) * | 2004-03-26 | 2005-10-06 | Mitsubishi Motors Corp | Nose view monitoring device |
| JP2007336466A (en) * | 2006-06-19 | 2007-12-27 | Nissan Motor Co Ltd | Vehicle peripheral information presenting apparatus, and vehicle peripheral information presenting method |
| JP2009040107A (en) * | 2007-08-06 | 2009-02-26 | Denso Corp | Image display control device and image display control system |
| JP2009089022A (en) * | 2007-09-28 | 2009-04-23 | Fujitsu Ten Ltd | Method for displaying vehicle's travel state |
| JP2009230225A (en) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | Periphery monitoring device for vehicle |
| WO2013042767A1 (en) * | 2011-09-21 | 2013-03-28 | 本田技研工業株式会社 | Apparatus for monitoring surroundings of vehicle |
| JP2014062794A (en) * | 2012-09-20 | 2014-04-10 | Sumitomo (Shi) Construction Machinery Co Ltd | Periphery monitoring device for operating machine |
| JP2016103142A (en) * | 2014-11-28 | 2016-06-02 | 富士通テン株式会社 | Data processing apparatus, image processing method, and program |
| JP2017034400A (en) * | 2015-07-30 | 2017-02-09 | 富士通株式会社 | Travel state display program, travel state display device, and travel state display method |
| JP2019032739A (en) * | 2017-08-09 | 2019-02-28 | 株式会社ユピテル | Reproducing apparatus and reproducing method, program thereof, recording apparatus, control method of recording apparatus, and the like |
-
2019
- 2019-03-05 JP JP2019039964A patent/JP2020145564A/en active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005276056A (en) * | 2004-03-26 | 2005-10-06 | Mitsubishi Motors Corp | Nose view monitoring device |
| JP2007336466A (en) * | 2006-06-19 | 2007-12-27 | Nissan Motor Co Ltd | Vehicle peripheral information presenting apparatus, and vehicle peripheral information presenting method |
| JP2009040107A (en) * | 2007-08-06 | 2009-02-26 | Denso Corp | Image display control device and image display control system |
| JP2009089022A (en) * | 2007-09-28 | 2009-04-23 | Fujitsu Ten Ltd | Method for displaying vehicle's travel state |
| JP2009230225A (en) * | 2008-03-19 | 2009-10-08 | Mazda Motor Corp | Periphery monitoring device for vehicle |
| WO2013042767A1 (en) * | 2011-09-21 | 2013-03-28 | 本田技研工業株式会社 | Apparatus for monitoring surroundings of vehicle |
| JP2014062794A (en) * | 2012-09-20 | 2014-04-10 | Sumitomo (Shi) Construction Machinery Co Ltd | Periphery monitoring device for operating machine |
| JP2016103142A (en) * | 2014-11-28 | 2016-06-02 | 富士通テン株式会社 | Data processing apparatus, image processing method, and program |
| JP2017034400A (en) * | 2015-07-30 | 2017-02-09 | 富士通株式会社 | Travel state display program, travel state display device, and travel state display method |
| JP2019032739A (en) * | 2017-08-09 | 2019-02-28 | 株式会社ユピテル | Reproducing apparatus and reproducing method, program thereof, recording apparatus, control method of recording apparatus, and the like |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6694112B2 (en) | AR display device and AR display method | |
| KR101811157B1 (en) | Bowl-shaped imaging system | |
| JP5267660B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| WO2012169355A1 (en) | Image generation device | |
| US20230249618A1 (en) | Display system and display method | |
| JP5516998B2 (en) | Image generation device | |
| US9836814B2 (en) | Display control apparatus and method for stepwise deforming of presentation image radially by increasing display ratio | |
| CN114041175A (en) | Neural network for estimating head pose and gaze using photorealistic synthetic data | |
| WO2017131814A1 (en) | Apparatus and method for exchanging and displaying data between electronic eyewear, vehicles and other devices | |
| CN109415018B (en) | Method and control unit for a digital rear view mirror | |
| WO2018134897A1 (en) | Position and posture detection device, ar display device, position and posture detection method, and ar display method | |
| WO2019130708A1 (en) | Information processing device, information processing method, and program | |
| WO2018042976A1 (en) | Image generation device, image generation method, recording medium, and image display system | |
| JPWO2019026747A1 (en) | Augmented reality image display device for vehicles | |
| WO2021079636A1 (en) | Display control device, display control method and recording medium | |
| CN115223231A (en) | Sight direction detection method and device | |
| JP2023109754A (en) | Ar display device, ar display method and program | |
| JP2020145564A (en) | Image processing device and image processing method | |
| CN111241946B (en) | Method and system for increasing FOV (field of view) based on single DLP (digital light processing) optical machine | |
| JP2021051764A (en) | Information recording apparatus | |
| JP2005071041A (en) | Device and system for detecting visual object of driver | |
| JP6665077B2 (en) | Image projection device, image display device, and moving object | |
| CN111243102B (en) | Method and system for improving and increasing FOV (field of view) based on diffusion film transformation | |
| JP2020019369A (en) | Display device for vehicle, method and computer program | |
| WO2024116543A1 (en) | Vehicle speed detection device, vehicle speed detection method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211117 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231114 |