JP2012214083A - Image generating apparatus, image displaying system, and image generating method - Google Patents
Image generating apparatus, image displaying system, and image generating method Download PDFInfo
- Publication number
- JP2012214083A JP2012214083A JP2011079563A JP2011079563A JP2012214083A JP 2012214083 A JP2012214083 A JP 2012214083A JP 2011079563 A JP2011079563 A JP 2011079563A JP 2011079563 A JP2011079563 A JP 2011079563A JP 2012214083 A JP2012214083 A JP 2012214083A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- display
- unit
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 21
- 239000002131 composite material Substances 0.000 claims description 77
- 238000003860 storage Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000012545 processing Methods 0.000 description 35
- 230000002093 peripheral effect Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000005856 abnormality Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本明細書で論じられる実施態様は、車両において画像を表示する技術に関する。 Embodiments discussed herein relate to techniques for displaying images in a vehicle.
従来より、自動車などの車両に搭載され、車載カメラで得られる撮影画像に基づいて車両の周辺の領域を示す周辺画像を車室内のディスプレイに表示する画像表示システムが知られている。この画像表示システムを利用することにより、ユーザ(代表的にはドライバ)は車両の周辺の様子をほぼリアルタイムに把握することができる。 2. Description of the Related Art Conventionally, there is known an image display system that is mounted on a vehicle such as an automobile and displays a peripheral image indicating a region around the vehicle on a display in a vehicle interior based on a captured image obtained by an in-vehicle camera. By using this image display system, a user (typically a driver) can grasp the situation around the vehicle almost in real time.
例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすく、車体と障害物との間のクリアランスをユーザが把握しにくい。これに対して、画像表示システムを利用すれば、車両の側方に配置された車載カメラの撮影画像に基づいてフロントフェンダの外側領域を示す周辺画像を車室内のディスプレイに表示できる。これにより、車両の幅寄せを行う場合などにおいて、運転席の逆側の車体と障害物との間のクリアランスをユーザが容易に確認できることとなる。 For example, the outer region of the front fender that is on the opposite side of the driver's seat is likely to be a blind spot from the driver's seat, and it is difficult for the user to grasp the clearance between the vehicle body and the obstacle. On the other hand, if an image display system is used, a peripheral image showing an outer region of the front fender can be displayed on a display in the vehicle interior based on a photographed image of an in-vehicle camera arranged on the side of the vehicle. As a result, the user can easily confirm the clearance between the vehicle body on the opposite side of the driver's seat and the obstacle, for example, when the vehicle is brought close.
なお、撮像部から出力されたカメラ画像を受けてマッピングテーブルを参照して合成画像を生成する画像処理システムが知られている。この画像システムでは、表示切替部は、ドアやボンネットなどの可動部分の表示を示す信号を受け、可動部分の状態変化がカメラ画像に影響を与えるとき、合成画像にそのカメラ画像が用いられないようにマッピングデータの書き換えを行う。 An image processing system that receives a camera image output from an imaging unit and generates a composite image with reference to a mapping table is known. In this image system, the display switching unit receives a signal indicating the display of a movable part such as a door or a bonnet, and when the change in the state of the movable part affects the camera image, the camera image is not used in the composite image. Rewrite the mapping data.
上記のような画像表示システムにおいて、車載カメラの撮影状態に異常が生じると適切な周辺画像をユーザに提供できなくなる。このような車載カメラの撮影状態の異常の例としては、車載カメラが設置されたサイドミラーの格納や、車載カメラ自体の故障がある。 In the image display system as described above, if an abnormality occurs in the shooting state of the in-vehicle camera, an appropriate peripheral image cannot be provided to the user. Examples of such abnormal shooting conditions of the in-vehicle camera include storage of a side mirror in which the in-vehicle camera is installed, and failure of the in-vehicle camera itself.
開示の装置及び方法は、車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供することを目的とする。 An object of the disclosed apparatus and method is to provide a user with an appropriate peripheral image corresponding to an abnormal state when an abnormal state occurs in the shooting state of the in-vehicle camera.
装置の一観点による画像生成装置は、車両の側方を撮影するカメラが配置されるサイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第1領域の画像を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第1領域と異なる撮影画像の第2領域の画像を選択する画像選択部と、画像選択部により選択される画像が配置された表示画像を生成する画像生成部を備える。 An image generation apparatus according to one aspect of the apparatus determines a storage state of a side mirror in which a camera that captures a side of a vehicle is disposed, and the state determination unit determines that the side mirror is in a storage state In this case, when at least a first region image in which the vehicle is reflected is selected from the captured images from the camera, and the state determination unit determines that the side mirror is in the unfolded state, the captured image is different from the first region. The image selection part which selects the image of a 2nd area | region, and the image generation part which produces | generates the display image by which the image selected by the image selection part is arrange | positioned are provided.
装置の一観点による画像表示システムは、車両のサイドミラーに配置されて車両の側方を撮影するカメラと、サイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第1領域の画像を選択し、状態判定部でサイドミラーが展開状態であると判定された場合に、第1領域と異なる撮影画像の第2領域の画像を選択する画像選択部と、画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、画像生成部から出力される画像を表示する表示部を備える。 An image display system according to one aspect of the apparatus includes a camera that is disposed on a side mirror of a vehicle and captures a side of the vehicle, a state determination unit that determines a storage state of the side mirror, and a side mirror that is stored in the state determination unit When it is determined that the image of the first region in which at least the vehicle is reflected is selected from the captured images from the camera, and the state determination unit determines that the side mirror is in the unfolded state, the first An image selection unit that selects an image in a second area of a captured image that is different from the area, an image generation unit that generates a display image in which an image selected by the image selection unit is arranged, and an image output from the image generation unit A display unit for displaying is provided.
装置の一観点による画像表示装置は、サイドミラーに設置されたサイドカメラを含む車両に配置された複数のカメラで得られる撮影画像に基づいて車両及び車両の周囲を仮想視点から見た様子を示す合成画像を生成する合成画像生成手段と、合成画像を表示画面に表示する表示手段と、サイドミラーの格納状態を判定する状態判定部と、状態判定部でサイドミラーが格納状態であると判定された場合に、サイドカメラからの撮影画像から車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した画像を表示手段に表示する表示制御手段を備える。 An image display device according to one aspect of the device shows a state in which the vehicle and the surroundings of the vehicle are viewed from a virtual viewpoint based on captured images obtained by a plurality of cameras arranged in a vehicle including a side camera installed in a side mirror. The composite image generation means for generating the composite image, the display means for displaying the composite image on the display screen, the state determination section for determining the storage state of the side mirror, and the state determination section determine that the side mirror is in the storage state. A display control means for displaying on the display means an image in which a part of the vehicle side surface is reflected from the photographed image from the side camera and cut out along the longitudinal direction of the vehicle side surface.
本件開示の装置又は方法によれば、車載カメラの撮影状態に異常状態が生じた場合に、異常状態に応じた適切な周辺画像をユーザに提供することが可能となる。 According to the device or method of the present disclosure, when an abnormal state occurs in the shooting state of the in-vehicle camera, it is possible to provide the user with an appropriate peripheral image corresponding to the abnormal state.
<1.第1の実施の形態>
<1−1.システム構成>
第1の実施の形態では、車載カメラが設置されたサイドミラーが格納された場合に、サイドミラーの展開時とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。まず始めに、周辺画像の処理が行われる画像表示システムの概要について説明する。
<1. First Embodiment>
<1-1. System configuration>
In the first embodiment, when a side mirror on which an in-vehicle camera is installed is stored, a more appropriate peripheral image is provided to the user by performing a display process different from that when the side mirror is deployed. First, an outline of an image display system that performs processing of peripheral images will be described.
図1は、第1の実施の形態の画像表示システム120の構成を示すブロック図である。この画像表示システム120は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の周辺を撮影して画像を生成して車室内に表示する機能を有している。画像表示システム120のユーザ(代表的にはドライバ)は、この画像表示システム120を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できるようになっている。
FIG. 1 is a block diagram illustrating a configuration of an
図1に示すように、画像表示システム120は、車両の周辺の様子を示す周辺画像を生成する画像生成装置100と、車両に乗車するユーザに対して各種情報を表示するナビゲーション装置20とを主に備えている。画像生成装置100で生成された周辺画像は、ナビゲーション装置20において表示される。
As shown in FIG. 1, the
ナビゲーション装置20は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ21と、ユーザが操作を行うハードスイッチなどの操作部22と、装置全体を制御する制御部23とを備えている。ディスプレイ21の画面がユーザから視認可能なように、ナビゲーション装置20は車両のインストルメントパネルなどに設置される。
The
ユーザの各種の指示は、操作部22とタッチパネルとしてのディスプレイ21とによって受け付けられる。制御部23は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。ナビゲーション装置20は、画像生成装置100と通信可能に接続され、画像生成装置100との間で各種の制御信号の送受信や、画像生成装置100で生成された画像の受信が可能となっている。
Various user instructions are received by the
ディスプレイ21には、制御部23の制御により、通常は、ナビゲーション装置20単体の機能によって、ナビゲーション案内用の車両の周辺の地図画像が表示される。地図画像は、ナビゲーション装置20が備えるハードディスクなどに予め記憶されている。また、ナビゲーション装置20が備えるGPS装置によって車両の位置(緯度、経度)が取得され、この車両の位置に基づいて、車両の周辺の地図画像がディスプレイ21に表示される。表示する地図画像の縮尺はユーザの操作部22の操作に応じて変更可能である。
Under the control of the
一方で、画像表示システム120の動作モードを変更した場合は、画像生成装置100で生成された車両の周辺の様子を示す周辺画像が、ディスプレイ21に表示される。これにより、ナビゲーション装置20は、画像生成装置100で生成された周辺画像を受信して表示する表示装置としても機能する。
On the other hand, when the operation mode of the
画像生成装置100は、画像を生成する機能を有するECU(Electronic Control Unit)である本体部10と、車両の周辺を撮影する撮影部5とを備えている。本体部10は、車両の所定の位置に配置され、撮影部5で車両の周辺を撮影して得られる撮影画像に基づいてディスプレイ21に表示するための周辺画像を生成する。
The
撮影部5は、本体部10に電気的に接続され、本体部10からの信号に基づいて動作する。撮影部5は、車載カメラであるフロントカメラ51、サイドカメラ52、及び、バックカメラ53を備えている。各車載カメラ51〜53は、レンズと撮像素子とを備えており電子的に画像を取得する。
The photographing
これらの複数の車載カメラ51〜53は、車両の異なる位置にそれぞれ配置される。図2は、車載カメラ51〜53が車両9に配置される位置を示す図である。
The plurality of in-
図2に示すように、フロントカメラ51は、車両9の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸51aは車両9の直進方向に向けられている。バックカメラ53は、車両9の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸53aは車両9の直進方向の逆方向に向けられている。これらフロントカメラ51やバックカメラ53の取り付け位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。また、サイドカメラ52は左右のサイドミラー93にそれぞれ設けられ、その光軸52aは車両9の左右方向(直進方向に直交する方向)に沿って車両9の外側に向けられている。
As shown in FIG. 2, the
これらの車載カメラ51〜53のレンズとしては魚眼レンズなどが採用されており、車載カメラ51〜53は180度以上の画角θを有している。このため、車載カメラは、それぞれの光軸を中心として、斜め下方や斜め上方の範囲の視野も撮影画像に移すことができる。撮影部5は、4つの車載カメラ51〜53を利用することで車両9の全周囲の撮影が可能となっている。
A fish-eye lens or the like is adopted as the lens of these in-
図1に戻り、画像生成装置100の本体部10は、装置全体を制御する制御部1と、撮影部5の4つの車載カメラ51〜53それぞれの撮影画像を入力する入力端子49と、表示用の周辺画像を生成する画像生成部3と、ナビゲーション装置20との間で通信を行うナビ通信部42を主に備えている。
Returning to FIG. 1, the
ナビゲーション装置20の操作部22やディスプレイ21によって受け付けられたユーザからの各種の指示は、制御信号としてナビ通信部42によって受け付けられて制御部1に入力される。また、画像生成装置100は、表示内容を切り替える指示をユーザから受け付ける切替スイッチ43を備えている。この切替スイッチ43からもユーザの指示を示す信号が制御部1に入力される。これにより、画像生成装置100は、ナビゲーション装置20に対するユーザの操作、及び、切替スイッチ43に対するユーザの操作の双方に応答した動作が可能となっている。切替スイッチ43は、ユーザが操作しやすいように、本体部10とは別に車両の適位置、例えばステアリングやセンターコンソールに配置される。
Various instructions from the user received by the
画像生成部3は、各種の画像処理が可能なハードウェア回路であり、入力端子49を介して撮影部5から入力される撮影画像を処理し、ディスプレイ21に表示するための周辺画像を生成する。画像生成部3は、画像結合部30、メモリ31、画像調整部32、合成画像生成部34、画像配置部35、及び表示付加部36を主な構成要素として備えている。
The
画像結合部30は、撮影部5で取得された撮影画像を1枚の結合画像に結合する。図3の(A)及び図3の(B)は、画像結合部30によって生成される結合画像Pcnの説明図である。撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方及び後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。画像結合部30は、これら4枚の撮影画像P1〜P4を結合することによって、図3の(B)に示すような結合画像Pcnを生成する。画像結合部30によって生成された結合画像Pcnは、メモリ31に格納される。
The
画像調整部32は、画像結合部30にて生成された結合画像Pcnを表示に利用するための調整を行うものである。具体的には、画像調整部32は、結合画像Pcnに含まれる撮影画像P1〜P4に対して、歪み補正、拡大縮小、及び、切り出しなどの画像処理を行う。画像調整部32は、画像選択部33を備える。画像選択部33は、画像調整部32における画像処理において、結合画像Pcnに含まれる撮影画像P1〜P4から表示範囲の画像を切り出す範囲、すなわちディスプレイ21への表示範囲を選択する。
尚、切り出しの設定(切り出し範囲の設定)や拡大縮小設定等は、装置(カメラ)取付時に行われるキャリブレーション(調整・設定作業)時においてそれら調整値・設定値等が記憶され、これらの値を用いて、上述の調整処理等の画像処理が行われる。
The
In addition, for the setting of cutout (setting of the cutout range) and enlargement / reduction setting, these adjustment values, setting values, etc. are stored at the time of calibration (adjustment / setting work) performed when the device (camera) is attached. Is used to perform image processing such as the above-described adjustment processing.
合成画像生成部34は、結合画像Pcnに基づいて、車両の周辺の任意の仮想視点からみた車両の周辺の領域を示す合成画像を生成する。合成画像生成部34が合成画像を生成する手法については後述する。
Based on the combined image Pcn, the composite
画像調整部32により表示用に調整された撮影画像、及び合成画像生成部34により生成された合成画像は、ナビ通信部42によってナビゲーション装置20に出力される。その際に、画像配置部35は、以下に説明する画像表示システム120の動作モードに応じて、画面上の所定の表示位置にこれらの画像を配置した表示画像を生成し、ナビゲーション装置20へ出力する。これにより、被写体像として車両の周辺の少なくとも一部の領域を含む周辺画像がナビゲーション装置20のディスプレイ21に表示されることになる。
The captured image adjusted for display by the
本明細書において、「周辺画像」とは、車両の周辺の少なくとも一部の領域を示す画像を意味し、表示用に調整された撮影画像、及び、合成画像の双方を含む概念である。表示用に調整された撮影画像は、取得された車載カメラ51〜53のレンズの位置を視点とし、その視点からみた周辺画像となる。また、合成画像は、車両の周辺の任意の位置に設定された仮想視点からみた周辺画像となる。
In this specification, the “peripheral image” means an image showing at least a part of the area around the vehicle, and is a concept that includes both a captured image adjusted for display and a composite image. The captured image adjusted for display is a peripheral image viewed from the viewpoint of the acquired lens position of the in-
表示付加部36は、画像表示システム120がユーザへ所定の情報を提示するための表示を、画像配置部35によって生成される表示画像上に付加する。この表示は、例えば特定の情報を示すアイコンでもよく、又はメッセージなどの文字情報であってよい。
The
制御部1は、CPU、RAM及びROMなどを備えたコンピュータであり、所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能が実現される。図中に示す、画像制御部11、表示制御部12、及び格納状態判定部13は、このようにして実現される制御部1の機能のうちの一部を示している。
The control unit 1 is a computer including a CPU, a RAM, a ROM, and the like, and various control functions are realized by the CPU performing arithmetic processing according to a predetermined program. An
画像制御部11は、画像生成部3によって実行される画像処理に係る制御を行う。例えば、画像制御部11は、合成画像生成部34が生成する合成画像の生成に必要な各種パラメータなどを指示する。
The
表示制御部12は、ナビゲーション装置20のディスプレイ21に表示する表示内容に係る制御を行う。例えば、画像表示システム120の動作モードの変更に応じて、ディスプレイ21の表示内容を切り替える。
The
格納状態判定部13は、車両9のサイドミラーの格納状態を判定する。すなわち、格納状態判定部13は、現在、サイドミラーの位置が展開位置であるのか、サイドミラーの位置が格納位置であるのかを判定する。サイドミラーの展開位置とは、サイドミラーのミラー面が車両後方に向きサイドミラーが使用状態になる位置であり、サイドミラーの格納位置とは、サイドミラーのミラー面が車両9の本体に対向する位置である。
The storage
格納状態判定部13は、サイドミラーの開閉を操作する制御装置からの出力信号に基づいてサイドミラーの格納状態を判定してよい。格納状態判定部13は、サイドミラーに設けられた位置センサの検出結果に基づいてサイドミラーの格納状態を判定してもよい。
The storage
画像生成装置100の本体部10は、不揮発性メモリ40、カード読取部44、及び、信号入力部41をさらに備えており、これらは制御部1に接続されている。
The
不揮発性メモリ40は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ40には、視点データ4aが記憶されている。視点データ4aは、合成画像の仮想視点を定める際に利用される。
The
カード読取部44は、可搬性の記録媒体であるメモリカードMCの読み取りを行う。カード読取部44は、メモリカードMCの着脱が可能なカードスロットを備えており、そのカードスロットに装着されたメモリカードMCに記録されたデータを読み取る。カード読取部44で読み取られたデータは、制御部1に入力される。メモリカードMCは、種々のデータを記憶可能なフラッシュメモリなどであり、画像生成装置100はメモリカードMCに記憶された種々のデータを利用できる。例えば、メモリカードMCにプログラムを記憶させ、これを読み出すことで、制御部1の機能を実現するプログラム(ファームウェア)を更新することが可能である。
The
また、信号入力部41は、車両に設けられた各種装置からの信号を入力する。この信号入力部41を介して、画像表示システム120の外部からの信号が制御部1に入力される。本実施の形態では、シフトセンサ71及び舵角センサ72からの信号が信号入力部41を介して制御部1に入力される。
Moreover, the
シフトセンサ71からは、車両の変速装置のシフトレバーの操作の位置、すなわち、”P(駐車)”,”D(前進)”,”N(中立)”,”R(後退)”などのシフトポジションが入力される。舵角センサ72からは、ドライバによるステアリングホイールの操作角が入力される。
From the
<1−2.画像合成処理>
次に、画像生成部3の合成画像生成部34が、撮影部5で得られた複数の撮影画像P1〜P4に基づいて車両9の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。図4は、合成画像を生成する手法を説明するための図である。
<1-2. Image composition processing>
Next, the composite
上述の通り、撮影部5のフロントカメラ51、サイドカメラ52及びバックカメラ53で同時に撮影が行われると、車両9の前方、左側方、右側方及び後方をそれぞれ示す4つの撮影画像P1〜P4が取得される。撮影部5で取得される4つの撮影画像P1〜P4を結合した結合画像Pcnには、撮影時点の車両9の全周囲を示す情報が含まれている。
As described above, when the
次に、結合画像Pcnの各画素が、仮想的な三次元空間における立体曲面TSに投影される。立体曲面TSは、例えば略半球状(お椀形状)をしており、その中心部分(お椀の底部分)が車両9が存在する位置として定められている。結合画像Pcnの各画素の位置とこの立体曲面TSの各画素の位置とは予め対応関係が定められている。このため、立体曲面TSの各画素の値は、この対応関係と結合画像Pcnに含まれる各画素の値とに基づいて決定できる。
Next, each pixel of the combined image Pcn is projected onto the three-dimensional curved surface TS in the virtual three-dimensional space. The three-dimensional curved surface TS has, for example, a substantially hemispherical shape (a bowl shape), and a center portion (a bottom portion of the bowl) is determined as a position where the
結合画像Pcnの各画素の位置と立体曲面TSの各画素の位置との対応関係は、車両9における4つの車載カメラ51〜53の配置(相互間距離、地上高さ、光軸角度等)に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ40に予め記憶されている。
The correspondence relationship between the position of each pixel of the combined image Pcn and the position of each pixel of the three-dimensional curved surface TS depends on the arrangement of the four in-
また、不揮発性メモリ40に予め記憶された車体の形状やサイズを示すデータが利用され、車両9の三次元形状を示すポリゴンのモデルが仮想的に構成される。構成された車両9のモデルは、立体曲面TSが設定される三次元空間において、車両9の位置と定められた略半球状の中心部分に配置される。
Further, data indicating the shape and size of the vehicle body stored in advance in the
さらに、立体曲面TSが存在する三次元空間に対して、制御部1により仮想視点VPが設定される。仮想視点VPは、視点位置と視野方向とで規定され、この三次元空間における車両9の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
Furthermore, the virtual viewpoint VP is set by the control unit 1 for the three-dimensional space where the three-dimensional curved surface TS exists. The virtual viewpoint VP is defined by the viewpoint position and the visual field direction, and is set at an arbitrary viewpoint position corresponding to the vicinity of the
そして、設定された仮想視点VPに応じて、立体曲面TSにおける必要な領域が画像として切り出される。仮想視点VPと、立体曲面TSにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ40等に予め記憶されている。一方で、設定された仮想視点VPに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両の像が、切り出された画像に対して重畳される。これにより、車両9及びその車両9の周辺を任意の仮想視点VPからみた様子を示す合成画像が生成されることになる。
Then, according to the set virtual viewpoint VP, a necessary area on the three-dimensional curved surface TS is cut out as an image. The relationship between the virtual viewpoint VP and a necessary area in the three-dimensional curved surface TS is determined in advance, and is stored in advance in the
例えば、視点位置が車両9の位置の略中央の直上で、視野方向が直下方向とした仮想視点VPaを設定した場合は、車両9の略直上から車両9を見下ろすように、車両9及び車両9の周辺の領域を示す合成画像CPaが生成される。また、図中に示すように、視点位置が車両9の位置の左後方で、視野方向が車両9における略前方方向とした仮想視点VPbを設定した場合は、車両9の左後方からその周辺全体を見渡すように、車両9及び車両9の周辺の領域を示す合成画像CPbが生成される。
For example, when a virtual viewpoint VPa is set in which the viewpoint position is just above the center of the position of the
なお、実際に合成画像を生成する場合においては、立体曲面TSの全ての画素の値を決定する必要はなく、設定された仮想視点VPに対応して必要となる領域の画素の値のみを撮影画像P1〜P4に基づいて決定することで、処理速度を向上できる。画像表示システム120では、このような合成画像生成部34の機能を利用することで、車両9の周辺の任意の視点からみた合成画像を生成して、ディスプレイ21に表示する。
In the case of actually generating a composite image, it is not necessary to determine the values of all the pixels of the three-dimensional curved surface TS, and only the values of the pixels in the area necessary corresponding to the set virtual viewpoint VP are photographed. By determining based on the images P1 to P4, the processing speed can be improved. In the
<1−3.動作モード>
次に、画像表示システム120の動作モードについて説明する。図5は、画像表示システム120の動作モードの遷移を示す図である。画像表示システム120は、ナビモードM0、フロントモードM1、サイドモードM2、及び、バックモードM3の3つの動作モードを有している。これらの動作モードは、ドライバの車両9への操作や車両9の走行状態に応じて制御部1の制御により切り替えられるようになっている。
<1-3. Operation mode>
Next, the operation mode of the
ナビモードM0は、ナビゲーション装置20の機能により、ナビゲーション案内を行う動作モードである。ナビモードM0では、画像生成装置100の機能が利用されず、ナビゲーション装置20単体の機能でディスプレイ21に各種の表示がなされる。具体的には、ディスプレイ21には、車両9の周辺の地図画像NPが主に表示される。
The navigation mode M0 is an operation mode in which navigation guidance is performed by the function of the
これに対し、フロントモードM1、サイドモードM2及びバックモードM3は、画像生成装置100の機能を利用して、周辺画像をディスプレイ21に表示して、車両の周辺の状況をリアルタイムでユーザに示す動作モードである。
On the other hand, the front mode M1, the side mode M2, and the back mode M3 use the function of the
フロントモードM1は、車両9の前方を表示する動作モードであり、見通しの悪い交差点への進入時などに利用される。ディスプレイ21の第2表示位置L2には、フロントカメラ51で取得されて表示用に調整した撮影画像(以下、「フロント画像」という。)SP1が表示される。このフロント画像SP1は、車両9の前方の視点(フロントカメラ51のレンズ位置)からみた周辺画像である。フロントモードM1では、表示中の周辺画像(すなわち、フロント画像)SP1の視点が車両9の前方であることを示すアイコンC1が表示される。
The front mode M1 is an operation mode for displaying the front of the
また、第1表示位置L1には、合成画像生成部34により生成された、車両9の略直上から車両9を見下ろすように車両9とその周辺の領域を示す合成画像CPaが表示される。
In addition, at the first display position L1, a composite image CPa that is generated by the composite
サイドモードM2は、車両9の側方を表示する動作モードであり、幅寄せを行う場合などに利用される。ディスプレイ21の第3表示位置L3及び第4表示位置L4には、サイドカメラ52で取得されて表示用に調整した撮影画像(以下、「サイド画像」という。)SP2が表示される。このサイド画像SP2は、車両9の側方の視点(サイドカメラ52のレンズ位置)からみた周辺画像である。尚、この状態では前進中、今後前進が推測される状態(シフト「R」以外)のため、画像は車両側方画像から前方方向を切り出した画像であり、車体と道路(および車外の物体)との関係が分かりやすいように車体の一部が写り写り、かつ車両進行方向が略上下方向に一致するように画像処理(切り出し処理、回転処理等)がなされている。サイドモードM2では、表示中の周辺画像(すなわち、サイド画像)SP2の視点が車両9の側方であることを示すアイコンC2が表示される。
The side mode M2 is an operation mode for displaying the side of the
また、バックモードM3は、車両9の後方を表示する動作モードであり、後退時に利用される。ディスプレイ21の第2表示位置L2には、バックカメラ53で取得されて表示用に調整した撮影画像(以下、「バック画像」という。)SP3が表示される。このバック画像SP3は、車両9の後方の視点(バックカメラ53のレンズ位置)からみた周辺画像である。バックモードM3では、表示中の周辺画像(すなわち、バック画像)SP3の視点が車両9の後方であることを示すアイコンC3が表示される。
The back mode M3 is an operation mode for displaying the rear of the
また、第1表示位置L1には、合成画像生成部34により生成された、車両9の略直上から車両9を見下ろすように車両9とその周辺の領域を示す合成画像CPaが表示される。
In addition, at the first display position L1, a composite image CPa that is generated by the composite
ナビモードM0において、ナビゲーション装置20の操作部22に所定の操作(周辺画像の表示操作)がなされると、フロントモードM1及びサイドモードM2のうちの最後に有効化された動作モード(いわゆる、ラストモード)に切り替わる。フロントモードM1とサイドモードM2とは、切替スイッチ43を押下するごとに切り替えられる。また、フロントモードM1あるいはサイドモードM2において、ナビゲーション装置20の操作部22に所定の操作がなされると、ナビモードM0に戻る。
In the navigation mode M0, when a predetermined operation (peripheral image display operation) is performed on the
また、バックモードM3以外の動作モードにおいて、シフトセンサ71から入力されるシフトポジションが”R(後退)”となったときは、バックモードM3に切り替えられる。すなわち、シフトポジションが”R(後退)”の場合は、車両9は後退する状態であるため、車両9の後方を主に示すバックモードM3に切り替えられる。また、バックモードM3の場合に、シフトポジションが”R(後退)”以外となったときは、バックモードM3に切り替えられる直前の動作モードに戻ることになる。
In the operation mode other than the back mode M3, when the shift position input from the
このように画像表示システム120は、複数の動作モードを切り替えることで、複数の視点からみた周辺画像を切り替えてディスプレイ21に表示可能となっている。
As described above, the
<1−4.サイドミラー格納時の処理>
次に、サイドミラーが格納された場合の画像表示システム120の処理について説明する。サイドカメラ52の撮影画像は、合成画像CPaの生成やサイド画像SP2に使用されている。これらの画像は、サイドミラーが展開している状態で撮影されることを前提にしている。このため、サイドミラーが格納されると、画像表示システム120は、合成画像CPa及びサイド画像SP2を正常に表示することができない。
<1-4. Processing when storing side mirror>
Next, processing of the
図6の(A)は、サイドミラー展開時に生成される合成画像CPaを示す図である。図6の(A)において、参照符号201は、車両9の左側方に見られる白線を示し、参照符号202は、車両9の左側方に見られる側溝蓋を示す。
FIG. 6A shows a composite image CPa generated when the side mirror is expanded. In FIG. 6A,
なお、図6の(A)及び図6の(B)における領域210〜213は、それぞれ合成画像CPaのうち、フロントカメラ51、バックカメラ53、左側のサイドカメラ52及び右側のサイドカメラ52によって撮影された画像から生成された領域を示す。また、点線215〜218は、これら領域210〜213の境界を模式的に示す境界線であり、実際の合成画像CPa上には、これらの点線215〜218は表示されない。なお、これらの参照符号210〜215及び215〜218は、他の添付図面における合成画像CPaの説明でも同様の意味で使用される。
6A and 6B are taken by the
図6の(B)は、左側のサイドミラーが格納されている時に生成される合成画像CPaを示す図である。格納時の左側のサイドミラーの回転に伴い、車両9の左側領域212の画像が回転し、各画像の繋がりが乱れ、一種の異常画像となる。また参照符号203の部分には、車両9の車体の一部が映り込んでいる。このように、サイドミラーが格納されていると、適正な合成画像CPaを生成することができない。このため、ユーザはこのような合成画像CPaから車両側面の障害物に対するクリアランスを把握しにくい。
FIG. 6B is a diagram illustrating a composite image CPa generated when the left side mirror is stored. Along with the rotation of the left side mirror at the time of storage, the image of the
サイドミラーを格納しながら走行する状況としては、車両側面と障害物との間のクリアランスが非常に少なくなるような場所、すなわち幅が狭い場所を走行していることが想定される。したがってユーザにとっては、車両9周辺のある程度広い範囲を俯瞰する合成画像CPaが表示されるよりも車両側方の狭い範囲の画像が大きく表示される方が、障害物とのクリアランスを把握しやすい。
また、俯瞰合成画像においては、合成処理の関係で車体近傍にマージンが発生するため、このマージンにより車体に近い部分では障害物を確認することができないという可能性がある。
As a situation of traveling while storing the side mirror, it is assumed that the vehicle is traveling in a place where the clearance between the vehicle side surface and the obstacle is very small, that is, a place where the width is narrow. Therefore, it is easier for the user to grasp the clearance from the obstacle when the image in the narrow range on the side of the vehicle is displayed larger than the composite image CPa overlooking the somewhat wide range around the
In addition, in the overhead view composite image, a margin occurs in the vicinity of the vehicle body due to the composition processing, and therefore there is a possibility that an obstacle cannot be confirmed in a portion near the vehicle body due to this margin.
そこで本実施形態は、サイドミラーの格納が検出された場合に、サイドミラーを格納しながら走行することが想定される場面に適した周辺画像の提示を行うことを目的とする。 Therefore, the present embodiment aims to present a peripheral image suitable for a scene that is assumed to travel while storing the side mirror when the storage of the side mirror is detected.
本実施形態では、サイドミラー格納時には、合成画像CPaの代わりに、サイドカメラ52の撮影画像から切り出した車両側方の直近の領域を大きく表示する。サイドミラーを格納しながら走行する場合には車両側方の直近の領域を大きく表示した方が、ユーザにとって障害物とのクリアランスを把握し易くなると考えられる。また、上述した俯瞰画におけるマージンの問題も発生することがない。
In the present embodiment, when the side mirror is stored, instead of the composite image CPa, the nearest region on the side of the vehicle cut out from the captured image of the
この車両側方の直近画像には、車両9の車体が一部に映り込んでいることが望ましい。車両9の車体が画像内に映り込んでいることにより、ユーザは車両9と障害物との間隔を把握しやすくなる。また、車両側方の画像は、左右両側方のうち助手席側の側方を映す画像であることが望ましい。運転手にとって、運転手側の側方よりも助手席側の側方の方が、障害物との間隔を把握しにくいからである。
It is desirable that the vehicle body of the
画像調整部32がサイドカメラ52の撮影画像を表示用に調整する際に、画像選択部33は、サイドカメラ52の撮影画像P2又はP3から表示用画像を切り出す範囲を選択する。なお、以下の実施例では、サイドミラー格納時における表示用画像として、車両左側の撮影画像が使用される場合について説明する。他の実施例では、車両左側の撮影画像に代えて又はこれに加えて右側の撮影画像を使用してもよい。
When the
画像選択部33は、格納状態判定部13によるサイドミラーの格納状態の判定結果に応じて、撮影画像P2から表示用画像を切り出す範囲を選択する。図7は、画像選択部33による選択範囲の説明図である。参照符号220及び221は、サイドミラー格納時及び展開時のそれぞれの場合に撮影画像P2に写り込む範囲を模式的に示す。サイドミラー格納時と展開時とではサイドカメラ52の光軸のパン角、チルト角及びロール角が異なり、この結果、範囲220は範囲221と異なる。また、範囲220は範囲221に対して回転している。すなわち、サイドミラー格納時の撮影画像はサイドミラー展開時の撮影画像に比べて回転している。
The
サイドミラー格納時において、画像選択部33は、撮影画像P2の範囲220の中の矩形の第1領域R1の画像を表示範囲として選択する。サイドミラー展開時には、画像選択部33は、撮影画像P2の範囲221の中の第2領域R2の画像を表示範囲として選択する。図示するとおり、範囲220における第1領域R1の画像の位置及び範囲は、範囲221における第2領域R2の画像の位置及び範囲と異なっている。
When the side mirror is stored, the
以下の説明において、サイドミラー格納時において撮影画像P2の第1領域R1から切り出される画像を「サイド画像SR1」と表記することがある。第1領域R1の前後方向の辺222及び223は、サイド画像SR1の垂直方向の辺に対応し、第1領域R1の左右方向の辺224及び225は、サイド画像SR1の水平方向の辺に対応する。一方で、サイドミラー展開時において撮影画像P2の第2領域R2から切り出される画像は、図5に示すサイド画像SP2と同様であってよいし、サイド画像SR1と同様であってもよい。
In the following description, an image cut out from the first region R1 of the captured image P2 when the side mirror is stored may be referred to as “side image SR1”. The front and
例えば、画像選択部33は、車両9の側端、前端及び後端からそれぞれ長さW、F及びBだけ離れた位置まで含む矩形領域を第1領域R1として選択してよい。このとき、画像選択部33は、第1領域R1の一部分に車両9の車体の一部が映り込み、かつ車両9の車体の前後方向と、矩形の第1領域R1の前後方向の辺223とが揃うように第1領域R1を定めてよい。長さW、F及びBの値は、例えばそれぞれ2m、1m及び1.5mであってよい。
For example, the
サイド画像SR1及びSP2内の各画素の座標と、撮影画像P2の画像の各画素の座標との対応関係は、サイドカメラ52の光軸のパン角、チルト角及びロール角に基づいて定まる。画像選択部33は、サイドミラー格納時におけるこれらのパン角、チルト角及びロール角に基づいて、サイド画像SR1内の各画素を、それぞれに対応する撮影画像P2内の画素からマッピングすることによりサイド画像SR1を生成する。
The correspondence between the coordinates of each pixel in the side images SR1 and SP2 and the coordinates of each pixel of the image of the captured image P2 is determined based on the pan angle, tilt angle, and roll angle of the optical axis of the
また、画像選択部33は、サイドミラー展開時におけるこれらのパン角、チルト角及びロール角に基づいて、サイド画像SP2内の各画素を、それぞれに対応する撮影画像P2内の画素からマッピングすることによりサイド画像SP2を生成する。これらパン角、チルト角及びロール角の情報は、不揮発性メモリ40に格納されてよい。画像選択部33は不揮発性メモリ40からこれらの情報を読み出してよい。
Further, the
サイド画像SR及びSP2内の各画素の座標と、撮影画像P2の各画素の座標との対応関係を、予め不揮発性メモリ40に格納しておいてもよい。これら画素間の対応関係は、既知のサイドカメラ52の光軸のパン角、チルト角及びロール角に基づいて予め決定しておく。画像選択部33は、この対応関係を不揮発性メモリ40から読み出して、サイド画像SR1及びSP2内の各画素にそれぞれ対応する撮影画像P2内の画素を決定してよい。
The correspondence relationship between the coordinates of each pixel in the side images SR and SP2 and the coordinates of each pixel of the captured image P2 may be stored in the
図8の(A)及び図8の(B)を参照して、サイドミラー格納時にディスプレイ21の表示例を説明する。図8の(A)は、車両9及びその周囲の状態と、第1領域R1の位置の説明図である。図8の(A)に示すように、車両9の前方には他の車両230が駐車しており、車両9の助手席側である左側には複数の白線231と車止め232が存在する。第1領域R1は、図7にて例示した設定方法と同様に設定されており、参照符号233は、第1領域R1の前後方向の一辺を示す。
With reference to FIGS. 8A and 8B, a display example of the
図8の(B)は、画像表示システム120の動作モードがフロントモードM1である場合のディスプレイ21の表示例を示す。図8の(B)に示すように、ディスプレイ21に表示される表示画像の第1表示位置L1には、車両側方の第1領域R1を撮影したサイド画像SR1が表示される。また、第2表示位置L2には、フロント画像SP1が表示される。フロント画像SP1には、車両9の前方の車両230が写っている。また、サイド画像SR1には、第1領域R1内の白線231と車止め232と車両9の車体の側面234が写っている。
FIG. 8B shows a display example of the
上述の通り、第1領域R1の前後方向の辺233と車両9の車体の前後方向とが揃っているため、サイド画像SRに映り込む車両9の車体の前後方向はサイド画像SRの垂直方向に一致する。一方で、サイド画像SR1を切り出す撮影画像SP2上では、映り込んだ車両9の車体の前後方向と撮影画像P2の垂直方向とは一致しない。これは、サイドミラーを格納する際にサイドカメラ52の光軸が回転するためである。このため、撮影画像P2からサイド画像SR1へのマッピング処理は、撮影画像の回転処理を伴う画像処理になる。このように、撮影画像を回転させて車体の前後方向をサイド画像SRの垂直方向に一致させることにより、車両側方にある障害物の方向を把握することが容易になる。
As described above, since the
図1に示す画像配置部35は、ナビゲーション装置20へ出力する表示画像の第1表示位置L1にサイド画像SR1を配置する。フロントモードM1において画像配置部35は、表示画像の第2表示位置L2へフロント画像SP1を配置する。このため、フロントモードM1では、サイド画像SR1及びフロント画像SP1が同時に表示画像に配置される。バックモードM3において画像配置部35は、表示画像の第2表示位置L2へバック画像SP3を配置する。このため、バックモードM3では、サイド画像SR1及びバック画像SP3が同時に表示画像に配置される。
The
フロント画像SP1又はバック画像SP3に加えてサイド画像SR1を同時に表示することによって、前方又は後方の安全確認と車両側方の障害物までのクリアランスの確認を同時に確認できるようになる。このため、例えばサイドミラーを格納して通るような狭い場所を走行する場面において、運転手の確認作業がより容易になる。
また、俯瞰画像ではなく、サイド画像SR1を表示するので、俯瞰画像におけるマージンの問題を発生することを防ぐことができる。
By simultaneously displaying the side image SR1 in addition to the front image SP1 or the back image SP3, it is possible to simultaneously confirm the safety confirmation of the front or rear and the confirmation of the clearance to the obstacle on the side of the vehicle. For this reason, for example, in a scene of traveling in a narrow place where the side mirror is stored and passed, the driver's confirmation work becomes easier.
In addition, since the side image SR1 is displayed instead of the overhead image, it is possible to prevent a margin problem in the overhead image.
サイドミラー格納時に表示付加部36は、第1表示位置L1にサイド画像SR1が表示されている旨を示す表示を、ナビゲーション装置20へ出力する表示画像に付加してよい。このような表示は、例えば、図8の(B)に示すようなアイコンC4であってよい。このような表示を付加することによって、ユーザは、車両周辺のどの位置が第1表示位置L1に表示されているか判断しやすくなる。第1表示位置L1にサイド画像SR1が表示されている旨を示す表示はメッセージなどの文字情報でもよい。
At the time of storing the side mirror, the
続いて、画像表示システム120によって実行される処理を説明する。図9は、サイドミラー格納時における画像表示システム120の処理例の説明図である。なお、他の実施態様においては、下記のオペレーションAA〜AOの各オペレーションはステップであってもよい。
Next, processing executed by the
オペレーションAAにおいて車載カメラ51〜53は、それぞれ撮影画像P1〜P4を撮影する。オペレーションABにおいて画像結合部30は、これらの画像P1〜P4を結合した結合画像Pcnを生成し、メモリ31に格納する。
In operation AA, the in-
オペレーションACにおいて格納状態判定部13は、車両9のサイドミラーの格納状態を判断する。サイドミラーが格納状態にある場合(オペレーションAD:Y)には、処理はオペレーションAEに進む。サイドミラーが展開状態にある場合(オペレーションAD:N)には、処理はオペレーションALへ進む。
In operation AC, the storage
オペレーションAEにおいて画像選択部33は、結合画像Pcnに含まれる撮影画像P2内の第1領域R1を表示範囲として選択する。画像選択部33は、選択した範囲を撮影画像P2から切り出してサイド画像SR1を生成する。オペレーションAFにおいて画像配置部35は、ナビゲーション装置20へ出力する表示画像の第1表示位置L1にサイド画像SR1を配置する。
In operation AE, the
オペレーションAGにおいて画像配置部35は、現在の画像表示システム120の動作モードがフロントモードM1であるかバックモードM3であるかを判断する。動作モードがフロントモードM1である場合(オペレーションAG:Y)には、処理はオペレーションAHへ進む。動作モードがフロントモードM1でない場合(オペレーションAG:N)には、処理はオペレーションAIへ進む。
In operation AG, the
オペレーションAHにおいて画像配置部35は、表示画像の第2表示位置L2にフロント画像SP1を配置する。その後処理はオペレーションAJへ進む。オペレーションAIにおいて画像配置部35は、表示画像の第2表示位置L2にバック画像SP3を配置する。その後処理はオペレーションAJへ進む。
In operation AH, the
オペレーションAJにおいて表示付加部36は、第1表示位置L1にサイド画像SR1が表示されている旨を示すアイコンC4を表示画像に付加する。画像生成装置100は、表示画像をナビゲーション装置20へ出力する。ナビゲーション装置20へ出力される表示画像には、サイド画像SRと、フロント画像SP1及びバック画像SP3のいずれか一方と、アイコンC4が含まれる。その後、処理はオペレーションAKへ進む。
In operation AJ, the
オペレーションALにおいて画像配置部35は、現在の画像表示システム120の動作モードがサイドモードM2であるかその他のモードであるかを判断する。動作モードがサイドモードM2である場合(オペレーションAL:Y)には、処理はオペレーションANへ進む。動作モードがサイドモードM2でない場合(オペレーションAL:N)には、処理はオペレーションAMへ進む。
In operation AL, the
オペレーションAMにおいて画像配置部35は、現在の動作モード、すなわちフロントモードM1であるかバックモードM3であるかに応じて表示画像を生成する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。その後、処理はオペレーションAKへ進む。
In operation AM, the
オペレーションANにおいて画像選択部33は、結合画像Pcnに含まれる撮影画像P2内の第2領域R2を表示範囲として選択する。画像選択部33は、選択した範囲を撮影画像P2から切り出してサイド画像SP2を生成する。オペレーションAOにおいて、画像配置部35は、サイド画像SP2を表示画像に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。その後、処理はオペレーションAKへ進む。
In operation AN, the
オペレーションAKにおいてナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
In operation AK, the
本実施例によれば、サイドミラーを格納しながら走行するような場面、例えば車両側面と障害物との間の間隔が非常に少ない場面において、ディスプレイ21上に車両側方の直近領域を大きく表示することが可能になる。このため、上記場面において、ユーザは、障害物と車両との間のクリアランスを把握しやすくなる。
According to the present embodiment, in a scene where the vehicle is traveling while retracting the side mirror, for example, a scene where the distance between the vehicle side surface and the obstacle is very small, the closest area on the side of the vehicle is displayed large on the
特に、助手席側の側方を表示することによって、ドライバは、運転席から死角になりやすい助手席側の側方において、障害物と車両とのクリアランスを把握しやすくなる。 In particular, displaying the side of the passenger seat makes it easier for the driver to grasp the clearance between the obstacle and the vehicle on the side of the passenger seat, which is likely to be a blind spot from the driver's seat.
また、表示画像の一部に車両側面を映し込むことによって、車両側面と障害物との距離の把握がより容易になる。また、撮影画像を回転させて、表示画面に映り込む車両の前後方向を表示画面の垂直方向に合わせることにより、ユーザは、障害物の方向を把握しやすくなる。 In addition, by reflecting the vehicle side surface in a part of the display image, it becomes easier to grasp the distance between the vehicle side surface and the obstacle. Further, by rotating the captured image so that the front-rear direction of the vehicle reflected on the display screen matches the vertical direction of the display screen, the user can easily grasp the direction of the obstacle.
<2.第2の実施の形態>
<2−1.システム構成>
続いて第2の実施の形態について説明する。第2の実施の形態では、車載カメラ51〜53のいずれかが故障した場合に、車載カメラ51〜53が正常に画像を出力している場合とは異なる表示処理を行うことで、より適切な周辺画像をユーザに提供する。
<2. Second Embodiment>
<2-1. System configuration>
Next, a second embodiment will be described. In the second embodiment, when any of the in-
車載カメラ51〜53のいずれかが故障し、故障したカメラからの映像信号の出力が停止すると、図1に示す合成画像生成部34が、固着した画像を使用して合成画像CPaを生成する可能性がある。車両移動中に固着した画像を表示すると、ユーザにより認識される障害物までの間隔が現実と相違する可能性がある。
If any of the in-
そこで第2の実施の形態は、車載カメラ51〜53のいずれかが故障した場合に、固着画像から合成画像CPaが生成されることを防止する。
Therefore, the second embodiment prevents the composite image CPa from being generated from the fixed image when any of the in-
第2の実施の形態は、車載カメラ51〜53の故障を検出すると、合成画像CPaに含まれる画像のうち、故障したカメラの撮影画像から生成される範囲の画像を、予め定めた他の画像で置換する。このように故障したカメラの撮影画像を他の画像で置換することによって固着画像の表示を防止する。また、画像表示システム120は、予め定めた他の画像を合成画像CPa上に表示することによって、カメラの故障をユーザに通知する。図10は、カメラの故障時にディスプレイ21に表示される合成画像CPaの第1例を示す図である。
In the second embodiment, when a failure of the in-
なお、以下の説明において、合成画像CPaに含まれる画像のうち、故障したカメラの撮影画像から生成される範囲を「故障カメラの範囲」と表記することがある。また、合成画像CPaに含まれる画像のうち、故障していないカメラの撮影画像から生成される範囲を「故障していないカメラの範囲」と表記することがある。さらに、故障カメラの範囲の画像に置換される予め定めた他の画像を「置換用画像」と表記することがある。 In the following description, among the images included in the composite image CPa, a range generated from a captured image of a failed camera may be referred to as a “failed camera range”. In addition, among the images included in the composite image CPa, a range generated from a captured image of a camera that has not failed may be referred to as a “range of camera that has not failed”. Furthermore, another predetermined image that is replaced with an image in the range of the failed camera may be referred to as a “replacement image”.
図10に示す例では、バックカメラ53の故障のため、合成画像CPaに含まれる画像のうちバックカメラ53の撮影画像P4から生成された領域211が置換用画像で置換されている。置換用画像は、例えば黒一色などの単一色で塗りつぶされた画像であってよい。この場合、領域211はこの単一色で塗り潰される。置換用画像は、黒以外の単一色の画像でもよい。黒以外の色を使用することによって、車両9の周囲が暗く合成画像CPaの輝度が低い場合であっても、正常な画像と置換用画像が混同されにくくなり、カメラの故障が発見しやすくなる。置換用画像は、単一色以外の画像、例えば所定の模様やアイコン、文字を含んだ画像であってもよい。
In the example illustrated in FIG. 10, due to the failure of the
図11は、第2の実施の形態の画像表示システム120の構成例を示す図である。図1に示す構成要素と同一の構成要素については同一の参照符号を付する。同一の参照符号が付された構成要素の動作は特に説明しない限り同じである。また、図11に示す構成要素やその機能を他の実施例が備えていてもよい。
FIG. 11 is a diagram illustrating a configuration example of the
画像生成部3は、異常検出部37と、画像置換部38と、ガイド線付加部39を備える。異常検出部37は、車載カメラ51〜53の故障を検出する。例えば、異常検出部37は、車載カメラ51〜53から出力される同期信号の異常を判断することによって、車載カメラ51〜53の故障を検出してよい。例えば、異常検出部37は、車載カメラ51〜53から出力される画像信号が所定の期間に亘って変わらない場合に車載カメラ51〜53の故障を検出してよい。また、例えば異常検出部37は、車載カメラ51〜53から出力される画像信号が白一色や黒一色などの異常値を示す場合に車載カメラ51〜53の故障を検出してよい。
The
画像置換部38は、合成画像CPa内の故障カメラの範囲の画像を置換用画像に置き換える。図12は、合成画像CPaの一部を置換用画像で置き換える処理の一例の説明図である。画像置換部38は、例えば、画像結合部30により生成される結合画像Pcnのうち、故障したカメラの撮影画像を置換用画像で置き換えてよい。合成画像生成部34が、この結合画像Pcnに基づいて合成画像CPaを生成すると、合成画像CPa内の故障カメラの範囲の画像も置換用画像に置き換えられる。図12の例では、画像置換部38は、結合画像Pcnのうちバックカメラ53の撮影画像P4を置換用画像で置き換える。図12に示すように撮影画像P4が置換用画像で置換されると、図10に示す合成画像CPaのように領域211が置換用画像に置き換えられる。
The
図11を参照する。ガイド線付加部39は、合成画像CPaに各種ガイド線を付加する。ガイド線は、例えば、車両端が通過する軌跡を示す予想進路線であってよい。ガイド線付加部39は、舵角センサ72からの入力信号に従って合成画像CPa上に予想進路線を描画する描画位置を決定してよい。ガイド線付加部39は、合成画像CPa上の描画位置に予想進路線を付加する。ガイド線は、例えば、車両後端を示す距離目安線や、車両側面に平行な車幅平行線であってもよい。
Refer to FIG. The guide
ガイド線付加部39は、故障カメラの範囲の上にも継続してガイド線を描画する。図13は、バックカメラ53の故障時にディスプレイ21に表示される合成画像CPaの例を示す図である。ガイド線240は、車両9の後退時に左後端及び右後端が通る軌跡を示す予想進路線である。ガイド線241は、車両9の後退時に左前端が通る軌跡を示す予想進路線である。
The guide
予想進路線240は故障カメラの範囲211内にも描画される。また、予想進路線241は、故障していない左カメラ52の撮影画像P2から生成される領域212と、故障カメラの範囲211との間に跨いで描画される。
The expected
このように、ガイド線付加部39は、故障カメラの範囲211の上へのガイド線240及び241の描画を継続する、すなわち故障カメラの範囲211に描画されるガイド線240及び241を消さないため、故障していないカメラの範囲212へ跨いで描画されるガイド線241が継続して描画される。このため、ユーザは、故障していないカメラの範囲212において、ガイド線241を有効に利用することが可能になる。
As described above, the guide
<2−2.カメラ故障時の処理>
続いて、図14を参照して、カメラ故障時における画像表示システム120の処理を説明する。なお、他の実施態様においては、下記のオペレーションBA〜BIの各オペレーションはステップであってもよい。
<2-2. Processing in case of camera failure>
Next, the processing of the
オペレーションBAにおいて車載カメラ51〜53は、それぞれ撮影画像P1〜P4を撮影する。オペレーションBBにおいて画像結合部30は、これらの画像P1〜P4を結合した結合画像Pcnを生成し、メモリ31に格納する。
In operation BA, the in-
オペレーションBCにおいて異常検出部37は、車載カメラ51〜53が正常か否かを判断する。いずれの車載カメラ51〜53も正常である場合(オペレーションBD:Y)には、処理はオペレーションBFに進む。いずれかの車載カメラが故障している場合(オペレーションBD:N)には、処理はオペレーションBEへ進む。
In operation BC, the
オペレーションBEにおいて画像置換部38は、結合画像Pcnのうち故障したカメラの撮影画像の部分を置換用画像に置き換える。その後、処理はオペレーションBFへ進む。オペレーションBFにおいて合成画像生成部34は、結合画像Pcnに基づいて合成画像CPaを生成する。オペレーションBGにおいてガイド線付加部39は、合成画像CPa上にガイド線を付加する。
In operation BE, the
オペレーションBHにおいて画像配置部35は、現在の画像表示システム120の動作モードにしたがって、合成画像CPa及び撮影画像SP1〜SP3のいずれかを選択し、ナビゲーション装置20へ出力する表示画像上に配置する。表示画像は、画像生成装置100によってナビゲーション装置20へ出力される。オペレーションBIにおいてナビゲーション装置20は、画像生成装置100から出力された表示画像をディスプレイ21へ表示する。
In operation BH, the
本実施例によれば、車載カメラ51〜53が故障した場合に、固着した画像が合成画像CPaに使用されることが防止される。このため、車両移動中に表示画像が固着してユーザが認識する障害物までの間隔を現実の間隔から相違させてしまうことを防止する。また、車載カメラ51〜53の故障をユーザに通知することが可能となる。
According to this embodiment, when the in-
次に、車載カメラ51〜53が故障から復旧した場合の処理について説明する。車載カメラ51〜53が故障から復旧した場合には、置換用画像での置き換えを停止してよい。しかしながら、異常検出部37が検出する車載カメラの状態が、故障と復旧との間で頻繁に変化を繰り返すと、置換用画像の置換と停止が短い周期で発生しすることで画面のちらつきが生じ、合成画像CPaが見にくくなる。
Next, processing when the in-
そこで、画像置換部38は、車載カメラ51〜53が故障を検出した後は、切替スイッチ43の押下やシフトレバーの切り換えによって画像表示システム120の動作モードの変更があるまでは、故障したカメラの復旧を検出しても置換用画像での置き換えを続行する。
Therefore, after detecting the failure of the in-
図15は、カメラの故障時に表示される合成画像の状態遷移の説明図である。図15の上段の画像は、車載カメラ51〜53が故障していない場合の合成画像CPaである。上段の画像は、車載カメラ51〜53の故障によって置換用画像での置き換えが施された合成画像CPa’である。
FIG. 15 is an explanatory diagram of the state transition of the composite image displayed when the camera malfunctions. The upper image in FIG. 15 is a composite image CPa when the in-
車載カメラ51〜53が故障すると、即座に故障カメラの範囲が置換用画像で置き換えられ、表示画像は合成画像CPa’に変わる。その後、故障したカメラが復旧しても、表示画像はすぐに合成画像CPaに戻らない。カメラの復旧後、画像表示システム120の動作モードの変更があった時に、表示画像が元の合成画像CPaに戻る。
When the in-
本実施例によれば、カメラ故障時に即座に故障カメラの範囲を置換用画像で置き換えて、固着画像の表示が防止される一方で、車載カメラの故障の検出結果が頻繁に変わる場合の画像のちらつきが防止される。このため、車載カメラの撮影画像を使用する場合の安全性とユーザの利便性が両立される。 According to this embodiment, when a camera failure occurs, the range of the failed camera is immediately replaced with a replacement image, and the display of the fixed image is prevented, while the detection result of the in-vehicle camera failure changes frequently. Flickering is prevented. For this reason, both safety and user convenience when using a captured image of the in-vehicle camera are compatible.
13 格納状態判定部
30 画像選択部
35 画像配置部
36 表示付加部
100 画像生成装置
120 画像表示システム
DESCRIPTION OF
Claims (6)
前記状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第1領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、前記第1領域と異なる前記撮影画像の第2領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
を備えることを特徴とする画像生成装置。 A state determination unit for determining a storage state of a side mirror on which a camera for photographing the side of the vehicle is disposed;
When the state determining unit determines that the side mirror is in the retracted state, at least a first region image in which the vehicle is reflected is selected from the captured images from the camera, and the state determining unit is in the deployed state. An image selecting unit that selects an image in a second area of the captured image different from the first area when it is determined that
An image generation unit that generates a display image in which an image selected by the image selection unit is arranged;
An image generation apparatus comprising:
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、カメラからの撮影画像のうち少なくとも車両が映り込む第1領域の画像を選択し、前記状態判定部でサイドミラーが展開状態であると判定された場合に、前記第1領域と異なる前記撮影画像の第2領域の画像を選択する画像選択部と、
前記画像選択部により選択される画像が配置された表示画像を生成する画像生成部と、
前記画像生成部から出力される画像を表示する表示部と、
を備える画像表示システム。 A camera that is placed on the side mirror of the vehicle and photographs the side of the vehicle;
A state determination unit that determines the storage state of the side mirror;
When the state determining unit determines that the side mirror is in the retracted state, at least a first region image in which the vehicle is reflected is selected from the captured images from the camera, and the state determining unit is in the deployed state. An image selecting unit that selects an image in a second area of the captured image different from the first area when it is determined that
An image generation unit that generates a display image in which an image selected by the image selection unit is arranged;
A display unit for displaying an image output from the image generation unit;
An image display system comprising:
前記合成画像を表示画面に表示する表示手段と、
サイドミラーの格納状態を判定する状態判定部と、
前記状態判定部でサイドミラーが格納状態であると判定された場合に、前記サイドカメラからの撮影画像から車両側面の一部が映り込み、かつ、車両側面前後方向に沿って切り出した画像を前記表示手段に表示する表示制御手段と、を備えたことを特徴とする画像表示装置。 A composite image generating means for generating a composite image showing a state in which the vehicle and the surroundings of the vehicle are viewed from a virtual viewpoint based on captured images obtained by a plurality of cameras arranged in the vehicle including the side camera installed in the side mirror; ,
Display means for displaying the composite image on a display screen;
A state determination unit that determines the storage state of the side mirror;
When the state determination unit determines that the side mirror is in the retracted state, a part of the vehicle side surface is reflected from the captured image from the side camera, and an image cut out along the vehicle side front-rear direction is An image display device comprising: display control means for displaying on the display means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011079563A JP5697512B2 (en) | 2011-03-31 | 2011-03-31 | Image generation apparatus, image display system, and image display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011079563A JP5697512B2 (en) | 2011-03-31 | 2011-03-31 | Image generation apparatus, image display system, and image display apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012214083A true JP2012214083A (en) | 2012-11-08 |
JP5697512B2 JP5697512B2 (en) | 2015-04-08 |
Family
ID=47267351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011079563A Active JP5697512B2 (en) | 2011-03-31 | 2011-03-31 | Image generation apparatus, image display system, and image display apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5697512B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014155954A1 (en) * | 2013-03-28 | 2014-10-02 | 株式会社デンソー | Vehicle display control device |
JP2016042640A (en) * | 2014-08-15 | 2016-03-31 | 株式会社ソシオネクスト | Failure camera detection method and failure camera detection program of imaging apparatus, and image processing apparatus |
US9449390B1 (en) | 2015-05-19 | 2016-09-20 | Ford Global Technologies, Llc | Detecting an extended side view mirror |
CN106254763A (en) * | 2015-06-10 | 2016-12-21 | 富士通天株式会社 | Image processing apparatus and image processing method |
JP2017081445A (en) * | 2015-10-29 | 2017-05-18 | 富士通テン株式会社 | Image processing device and image processing method |
JP2018046500A (en) * | 2016-09-16 | 2018-03-22 | 株式会社コムテック | Video storage device |
GB2562595A (en) * | 2017-03-24 | 2018-11-21 | Ford Global Tech Llc | Controlling side-view mirrors in autonomous vehicles |
GB2562844A (en) * | 2017-03-24 | 2018-11-28 | Ford Global Tech Llc | Controlling side-view mirrors in autonomous vehicles |
JP2019004229A (en) * | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | Information processing apparatus and image generating apparatus, and control method thereof, as well as program and image processing system |
JP2020086491A (en) * | 2018-11-15 | 2020-06-04 | 株式会社リコー | Information processing apparatus, information processing system and information processing method |
JP2021022833A (en) * | 2019-07-26 | 2021-02-18 | トヨタ自動車株式会社 | Vehicle electronic mirror system |
KR102419828B1 (en) * | 2021-02-05 | 2022-07-13 | 주식회사 에스엠알오토모티브모듈코리아 | Retractable CMS device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004194071A (en) * | 2002-12-12 | 2004-07-08 | Matsushita Electric Ind Co Ltd | Drive support image generator |
JP2007022176A (en) * | 2005-07-13 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | Ocularly acknowledging device for surrounding area of vehicle |
JP2010042727A (en) * | 2008-08-11 | 2010-02-25 | Nissan Motor Co Ltd | Surrounding situation indication device for vehicle |
-
2011
- 2011-03-31 JP JP2011079563A patent/JP5697512B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004194071A (en) * | 2002-12-12 | 2004-07-08 | Matsushita Electric Ind Co Ltd | Drive support image generator |
JP2007022176A (en) * | 2005-07-13 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | Ocularly acknowledging device for surrounding area of vehicle |
JP2010042727A (en) * | 2008-08-11 | 2010-02-25 | Nissan Motor Co Ltd | Surrounding situation indication device for vehicle |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014155954A1 (en) * | 2013-03-28 | 2014-10-02 | 株式会社デンソー | Vehicle display control device |
JP2014191668A (en) * | 2013-03-28 | 2014-10-06 | Denso Corp | Vehicle display control device |
JP2016042640A (en) * | 2014-08-15 | 2016-03-31 | 株式会社ソシオネクスト | Failure camera detection method and failure camera detection program of imaging apparatus, and image processing apparatus |
US9449390B1 (en) | 2015-05-19 | 2016-09-20 | Ford Global Technologies, Llc | Detecting an extended side view mirror |
RU2712397C2 (en) * | 2015-05-19 | 2020-01-28 | ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи | System and method for detecting position of vehicle mirror |
CN106254763A (en) * | 2015-06-10 | 2016-12-21 | 富士通天株式会社 | Image processing apparatus and image processing method |
JP2017005497A (en) * | 2015-06-10 | 2017-01-05 | 富士通テン株式会社 | Image processing device and image processing method |
US10037595B2 (en) | 2015-06-10 | 2018-07-31 | Fujitsu Ten Limited | Image processing device and image processing method |
CN106254763B (en) * | 2015-06-10 | 2019-04-23 | 富士通天株式会社 | Image processing apparatus and image processing method |
JP2017081445A (en) * | 2015-10-29 | 2017-05-18 | 富士通テン株式会社 | Image processing device and image processing method |
JP2018046500A (en) * | 2016-09-16 | 2018-03-22 | 株式会社コムテック | Video storage device |
US10220786B2 (en) | 2017-03-24 | 2019-03-05 | Ford Global Technologies, Llc | Controlling side-view mirrors in autonomous vehicles |
US10220785B2 (en) | 2017-03-24 | 2019-03-05 | Ford Global Technologies, Llc | Controlling side-view mirrors in autonomous vehicles |
GB2562844A (en) * | 2017-03-24 | 2018-11-28 | Ford Global Tech Llc | Controlling side-view mirrors in autonomous vehicles |
RU2708998C2 (en) * | 2017-03-24 | 2019-12-12 | ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи | Method of controlling side-view mirrors in autonomous vehicles, computer and vehicle |
GB2562595A (en) * | 2017-03-24 | 2018-11-21 | Ford Global Tech Llc | Controlling side-view mirrors in autonomous vehicles |
RU2716529C2 (en) * | 2017-03-24 | 2020-03-12 | ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи | Method and computer for monitoring side mirrors in autonomous vehicles |
JP2019004229A (en) * | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | Information processing apparatus and image generating apparatus, and control method thereof, as well as program and image processing system |
JP2020086491A (en) * | 2018-11-15 | 2020-06-04 | 株式会社リコー | Information processing apparatus, information processing system and information processing method |
JP2021022833A (en) * | 2019-07-26 | 2021-02-18 | トヨタ自動車株式会社 | Vehicle electronic mirror system |
JP7279566B2 (en) | 2019-07-26 | 2023-05-23 | トヨタ自動車株式会社 | Vehicle electronic mirror system |
KR102419828B1 (en) * | 2021-02-05 | 2022-07-13 | 주식회사 에스엠알오토모티브모듈코리아 | Retractable CMS device |
KR20220113306A (en) * | 2021-02-05 | 2022-08-12 | 주식회사 에스엠알오토모티브모듈코리아 | Retractable CMS device |
KR102671731B1 (en) | 2021-02-05 | 2024-05-31 | 주식회사 에스엠알오토모티브모듈코리아 | Retractable CMS device |
Also Published As
Publication number | Publication date |
---|---|
JP5697512B2 (en) | 2015-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5697512B2 (en) | Image generation apparatus, image display system, and image display apparatus | |
JP5087051B2 (en) | Image generating apparatus and image display system | |
US9706175B2 (en) | Image processing device, image processing system, and image processing method | |
JP5302227B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP5548002B2 (en) | Image generation apparatus, image display system, and image generation method | |
JP5341789B2 (en) | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program | |
JP5858650B2 (en) | Image generation apparatus, image display system, and image generation method | |
JP4254887B2 (en) | Image display system for vehicles | |
JP5743652B2 (en) | Image display system, image generation apparatus, and image generation method | |
JP5813944B2 (en) | Image display system, image processing apparatus, and image display method | |
JP2012216991A (en) | Image display system | |
JP5658507B2 (en) | Image display system, image generation apparatus, and image display method | |
US20120249796A1 (en) | Image processing device, image processing system, and image processing method | |
JP2002019556A (en) | Monitoring system | |
JP5914114B2 (en) | Parking assistance device and parking assistance method | |
JP2005186648A (en) | Surrounding visualizing device for vehicle and displaying control device | |
JP6073433B2 (en) | Image display system, image processing apparatus, and image display method | |
JP5479639B2 (en) | Image processing apparatus, image processing system, and image processing method | |
JP2012138876A (en) | Image generating apparatus, image display system, and image display method | |
JP2012046124A (en) | Image display system, image processing device and image display method | |
JP5677168B2 (en) | Image display system, image generation apparatus, and image generation method | |
JP2004235986A (en) | Monitoring system | |
JP5466743B2 (en) | Image generating apparatus and image display system | |
JP6760129B2 (en) | Bird's-eye view image generation device, bird's-eye view image generation system, bird's-eye view image generation method and program | |
US20240140311A1 (en) | Vehicle periphery monitoring system, vehicle periphery monitoring method and a non-transitory storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5697512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |