JP6447121B2 - Image processing apparatus, image processing method, imaging system, image processing system, and program - Google Patents
Image processing apparatus, image processing method, imaging system, image processing system, and program Download PDFInfo
- Publication number
- JP6447121B2 JP6447121B2 JP2014265384A JP2014265384A JP6447121B2 JP 6447121 B2 JP6447121 B2 JP 6447121B2 JP 2014265384 A JP2014265384 A JP 2014265384A JP 2014265384 A JP2014265384 A JP 2014265384A JP 6447121 B2 JP6447121 B2 JP 6447121B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image processing
- image
- light
- reflected light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Blocking Light For Cameras (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、画像処理装置、画像処理方法、撮像システム、画像処理システム、およびプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, an imaging system, an image processing system, and a program.
従来から、一般道や高速道における通行車両を監視する目的で、車両の交通監視システムがある。公知の交通監視システムとして、主に車両のナンバーや車両内の運転者などの人物を、監視カメラを使って取得するシステムが知られている。 Conventionally, there is a vehicle traffic monitoring system for the purpose of monitoring a passing vehicle on a general road or a highway. As a known traffic monitoring system, a system that mainly acquires a person such as a vehicle number or a driver in a vehicle using a monitoring camera is known.
すなわち、例えば特許文献1には、車両内の運転者を特定するため、車両のフロントガラスを通して(フロントガラス越しに)被写体としての運転者の画像を取得するとき、例えば太陽光により照射される光の成分のうち、フロントガラスでの反射成分と運転手の顔での反射成分とを偏光フィルタを利用して切り分け、フロントガラスからの反射成分を除去することにより、運転手の顔からの反射成分の画像を取得するシステムが記載されている。
That is, for example, in
しかしながら、特許文献1に記載されているシステムは、フロントガラスでの反射成分の除去性能が反射成分の偏光状態に依存する。すなわち、反射成分が偏光していない場合や、反射成分の偏光方向と偏光フィルタの偏光方向とが同じ場合には、反射成分を除去できないという問題がある。
However, in the system described in
図13を用いて説明する。
図13Aは偏光フィルタを設けない場合のフロントガラスでの反射光(偏光有)、フロントガラスでの透過光(偏光無)、およびカメラでの検出光の関係を示している。この場合、検出光の強度は反射光と透過光の混合光の強度、すなわち2種類の光の強度の和となる。
This will be described with reference to FIG.
FIG. 13A shows the relationship between the reflected light from the windshield (with polarization), the transmitted light from the windshield (without polarization), and the detection light from the camera when no polarizing filter is provided. In this case, the intensity of the detection light is the sum of the intensity of the mixed light of the reflected light and the transmitted light, that is, the sum of the two kinds of light.
図13Bは特定の偏光軸を持つ偏光フィルタを設けることで、フロントガラスでの反射光が完全に除去された理想的な場合のフロントガラスでの反射光、フロントガラスでの透過光、およびカメラでの検出光の関係を示している。この場合、検出光の強度は理想的には透過光の強度の1/2となる。 In FIG. 13B, by providing a polarizing filter having a specific polarization axis, the reflected light on the windshield, the transmitted light on the windshield, and the camera in an ideal case where the reflected light on the windshield is completely removed. The relationship of the detected light is shown. In this case, the intensity of the detection light is ideally ½ of the intensity of the transmitted light.
図13Cは特定の偏光軸を持つ偏光フィルタを設けても、フロントガラスでの反射光の一部しか除去されない場合のフロントガラスでの反射光、フロントガラスでの透過光、およびカメラでの検出光の関係を示している。この場合、検出光の強度は透過光の強度の1/2(理想値)と除去されなかった反射光の強度(残差)との和となる。 FIG. 13C shows the case where a part of the reflected light from the windshield is removed even if a polarizing filter having a specific polarization axis is provided, the reflected light from the windshield, the transmitted light from the windshield, and the detected light from the camera. Shows the relationship. In this case, the intensity of the detected light is the sum of 1/2 of the intensity of the transmitted light (ideal value) and the intensity of the reflected light that has not been removed (residual).
本発明は、このような問題を解決するためになされたものであり、その目的は、車両のフロントガラスのような光透過性および光反射性を有する光学部材を通して被写体の画像を取得するとき、前記光学部材での反射成分の偏光状態にかかわらず、反射成分の強度を制御できるようにすることである。 The present invention has been made in order to solve such a problem, and its purpose is to obtain an image of a subject through an optical member having light transmittance and light reflection such as a windshield of a vehicle. The intensity of the reflection component can be controlled regardless of the polarization state of the reflection component at the optical member.
本発明の画像処理装置は、異なる偏光状態を有する偏光部材を備えた撮像装置により、光透過性および光反射性を有する光学部材を通して被写体を撮像して生成した異なる偏光状態に対応する画像情報を処理する画像処理装置であって、前記異なる偏光状態に対応する画像情報を用いて、前記異なる偏光状態に対応する画像情報における前記光学部材での反射光に対応する成分を制御する画像処理手段を有し、前記画像処理手段は、前記光学部材での透過光と反射光との混合光の強度を表す第1の情報を取得する第1の手段と、前記画像情報から、前記光学部材での反射光の強度に比例する第2の情報を取得する第2の手段と、前記第1の情報および第2の情報から、前記反射光の強度の推定値を取得する第3の手段と、前記推定値に基づいて、前記第1の情報の値を制御する第4の手段と、を有する画像処理装置である。 The image processing apparatus of the present invention captures image information corresponding to different polarization states generated by imaging a subject through an optical member having light transmittance and light reflectivity by an imaging device including polarization members having different polarization states. An image processing device for processing, wherein image processing means for controlling a component corresponding to reflected light from the optical member in image information corresponding to the different polarization state using image information corresponding to the different polarization state Yes, and the image processing means includes first means for obtaining first information representative of the intensity of mixed light of the transmitted light and reflected light in the optical member, from the image information, in the optical member Second means for obtaining second information proportional to the intensity of the reflected light; third means for obtaining an estimated value of the intensity of the reflected light from the first information and the second information; Based on estimate An image processing apparatus having a fourth means for controlling the value of said first information.
本発明によれば、光透過性および光反射性を有する光学部材を通して被写体の画像を取得するとき、前記光学部材での反射成分の偏光状態にかかわらず、反射成分の強度を制御することができる。 According to the present invention, when an image of a subject is acquired through an optical member having light transparency and light reflection, the intensity of the reflection component can be controlled regardless of the polarization state of the reflection component on the optical member. .
以下、本発明の実施形態について、図面を参照して説明する。
〈画像処理システムの設置環境〉
図1は、本発明の実施形態に係る画像処理システムの設置環境について説明するための図であり、図2は、本発明の実施形態に係る画像処理システムに入射する光線の経路について模式的に説明するための図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<Installation environment of image processing system>
FIG. 1 is a diagram for explaining an installation environment of an image processing system according to an embodiment of the present invention, and FIG. 2 is a schematic view of a path of light rays incident on the image processing system according to the embodiment of the present invention. It is a figure for demonstrating.
図1に示すように、第1の画像処理システム1−1乃至第n(nは2以上の整数)の画像処理システム1−n(各画像処理システムを区別しないときは画像処理システム1という)が側道3に設置されている。各画像処理システム1−1乃至1−nは、所定の高さに保持されたキャビンと呼ばれる窓付きのケースに収納されている。
As shown in FIG. 1, the first image processing system 1-1 to the n-th (n is an integer of 2 or more) image processing systems 1-n (the
図2に示すように、画像処理システム1には、太陽から出射し、車両4のフロントガラス(光透過性および光反射性を有する光学部材)で反射した光(以下、太陽光のフロントガラスでの反射光)と、太陽から出射し、車両4のフロントガラスを透過し、車両4の内部の運転者(被写体)で反射し、再度フロントガラスを透過した光(以下、太陽光の対象部での反射光)と、太陽から出射し、まだら雲などの雲により散乱され、車両4のフロントガラスで反射した光(以下、雲による散乱光の照り返し光)が入射する。
As shown in FIG. 2, the
なお、図示を省略したが、照り返し光としては、雲による散乱光の照り返し光以外に、周辺に存在する建物による散乱光や木漏れ日などの照り返し光が入射することもある。以下、これらの照り返し光を環境による照り返し光という。 In addition, although illustration was abbreviate | omitted, as reflected light, reflected light such as scattered light by a building existing in the vicinity or sunlight from a tree may enter as reflected light. Hereinafter, such reflected light is referred to as reflected light from the environment.
ここで、太陽光のフロントガラスでの反射光は、縦方向の矢印が示すように、ある方向の偏光成分が多い光である。雲による散乱光の照り返し光も同じ方向の偏光成分が多い光である。また、太陽光の対象部での反射光は、縦方向の矢印および横方向の矢印が示すように無偏光である。 Here, the reflected light of the sunlight on the windshield is light having a large amount of polarization components in a certain direction, as indicated by the vertical arrows. The reflected light of the scattered light from the cloud is also light with many polarization components in the same direction. Moreover, the reflected light from the sunlight target portion is non-polarized light as indicated by the vertical arrows and the horizontal arrows.
画像処理システム1は、入射光を所定の偏光フィルタに通し、電気信号に変換して、後述する所定の画像処理を施すことにより、太陽光のフロントガラスでの反射光の成分および環境による照り返し光の成分を低減し、車両4の内部の可視化画像を生成し、ネットワーク経由でデータセンターへ送信する。
The
〈情報処理システムの概略構成〉
図3は、本発明の実施形態に係る情報処理システムの概略構成を示す図である。
図示のように、この情報処システムは、第1の画像処理システム1−1、第2の画像処理システム1−2、・・・第nの画像処理システム1−nと、各画像処理システムとインターネットなどのネットワーク5を介して接続されるデータセンター6により構成される。
<Schematic configuration of information processing system>
FIG. 3 is a diagram showing a schematic configuration of the information processing system according to the embodiment of the present invention.
As shown, the information processing system includes a first image processing system 1-1, a second image processing system 1-2,... N-th image processing system 1-n, and each image processing system. The data center 6 is connected via a network 5 such as the Internet.
第1の画像処理システム1−1は、偏光カメラ100−1および映像サーバー200−1を備えている。偏光カメラ100−1は、入射光を所定の偏光フィルタに通し、電気信号に変換して、後述する所定の画像処理を施すことにより、太陽光のフロントガラスでの反射光の成分および環境による照り返し光の成分を低減し、車両4の内部の可視化画像を生成し、映像サーバー200−1へ出力する。映像サーバー200−1は、偏光カメラ100−1から出力された可視化画像を格納した後、データセンター6へ送信する。データセンター6は、映像サーバー200−1から送信された可視化画像を受信し、認識処理等を行う。 The first image processing system 1-1 includes a polarization camera 100-1 and a video server 200-1. Polarization camera 100-1 passes incident light through a predetermined polarizing filter, converts it into an electrical signal, and performs predetermined image processing to be described later, thereby reflecting the reflected light component of sunlight on the windshield and the environment. The light component is reduced, and a visualized image inside the vehicle 4 is generated and output to the video server 200-1. The video server 200-1 stores the visualized image output from the polarization camera 100-1, and then transmits it to the data center 6. The data center 6 receives the visualized image transmitted from the video server 200-1 and performs recognition processing and the like.
第2の画像処理システム1−2乃至第nの画像処理システム1−nも同様に構成されており、同様に動作する。なお、以下の説明では、各画像処理システムに偏光カメラ、映像サーバーを区別しない場合、偏光カメラ100、映像サーバー200とする。
The second image processing system 1-2 to the n-th image processing system 1-n are similarly configured and operate in the same manner. In the following description, the
〈偏光カメラのハードウェア構成〉
図4は、偏光カメラのハードウェア構成を示すブロック図である。
図示のように、偏光カメラ100は、撮像装置としての撮像部101、および信号処理基板170を備えている。
<Hardware configuration of polarization camera>
FIG. 4 is a block diagram illustrating a hardware configuration of the polarization camera.
As illustrated, the
撮像部101は、イメージセンサ150と、センサコントローラ160を備えている。イメージセンサ150は、入射光を電気信号に変換し、センサコントローラ160へ出力する。センサコントローラ160は、イメージセンサ150の露光制御、読み出し制御、信号処理基板170との通信、画像データの送信の役割を担う。
The
信号処理基板170は、FPGA171、CPU172、ROM(書き換え可能なものも含む)173、RAM174、シリアルI/F(インタフェース)175、データバス176、およびシリアルバス177を備えている。
The
センサコントローラ160から出力される画像データは、データバス176を介してRAM174に転送される。FPGA171は、RAM174に記憶されている画像データに対してリアルタイム性が要求される処理を実行し、RAM174に書き戻す。CPU172は、RAM174を作業エリアとしてROM173に格納されているコンピュータプログラムを実行することにより、信号処理基板170全体の動作の制御、画像処理などを行う。また、CPU172は、画像処理を受けた画像データ(ここでは、車両内部の可視化画像)をシリアルI/F175を介して映像サーバー200へ送信する。また、FPGA171あるいはCPU172は、イメージセンサ150の露光制御値変更、画像読み出しパラメータ変更などの各種設定データの送受信を行う。
Image data output from the
〈映像サーバーのハードウェア構成〉
図5は、映像サーバーのハードウェア構成を示すブロック図である。
図示のように、映像サーバー200は、バス210と、バス210に接続されたCPU220、ROM230、RAM240、HDD(ハードディスク)250、シリアルI/F260、およびネットワークI/F270を備えている。
<Hardware configuration of video server>
FIG. 5 is a block diagram illustrating a hardware configuration of the video server.
As illustrated, the
CPU220は、RAM240を作業エリアとしてROM230に格納されているコンピュータプログラムを実行することにより、映像サーバー200全体の動作の制御を行う。シリアルI/F260は撮像部101のシリアルI/F175から送信された画像データ(車両内部の可視化画像)を受信する。HDD250はシリアルI/F260により受信された画像データを保存する。ネットワークI/F270はネットワーク5を介してデータセンター6と通信を行うことで、車両内部の可視化画像をデータセンター6へ送信する。
The
〈イメージセンサの構成〉
図6は、図4におけるイメージセンサの構成例を示す図である。ここで、図6Aは、偏光部材としての偏光フィルタ層がレンズの前方に配置されている構成例であり、図6Bは、偏光フィルタ層がレンズの後方に配置されている構成例である。
<Configuration of image sensor>
FIG. 6 is a diagram illustrating a configuration example of the image sensor in FIG. Here, FIG. 6A is a configuration example in which a polarizing filter layer as a polarizing member is disposed in front of the lens, and FIG. 6B is a configuration example in which the polarizing filter layer is disposed behind the lens.
図6Aに示すイメージセンサでは、偏光フィルタ層151、マイクロレンズ152、カラーフィルタ層153、受光素子154の順に配置されている。また、図6Bに示すイメージセンサでは、マイクロレンズ152、偏光フィルタ層151、カラーフィルタ層153、受光素子154の順に配置されている。
In the image sensor shown in FIG. 6A, a
カラーフィルタ層153を構成するカラーフィルタは個別の画素で色が異なる。一般には、R(赤)、G(緑)、B(青)の3種類からなり、2画素のGと、1画素ずつのRおよびBからなる4画素で単一のマトリックスを構成し、このマトリックスが水平方向および垂直方向に周期的に並んでいる。
The color filters constituting the
偏光フィルタ層151には、カラーフィルタの画素パターンに合わせて偏光フィルタの画素パターンが設定されている。この画素パターン同士の対応関係については後述する。
In the
なお、偏光フィルタ層151の位置は、図6Aおよび図6Bに示す位置に限るものではなく、各画素に対して個別に機能するように設定されていれば、どこに配置してもかまわない。
Note that the position of the
〈偏光フィルタとカラーフィルタとの対応関係〉
図7は、図6における偏光フィルタ層の画素パターンとカラーフィルタ層の画素パターンとの対応関係の例を示す図である。ここでは、偏光フィルタの単一のマトリックスと、カラーフィルタの単一のマトリックスとの対応関係の例として図7A乃至図7Fに示す6つの例を挙げた。以下、これらの図におけるマトリックスの左上、右上、左下、右下の画素をPix1、Pix2、Pix3、Pix4として説明する。
<Correspondence between polarization filter and color filter>
FIG. 7 is a diagram illustrating an example of a correspondence relationship between the pixel pattern of the polarization filter layer and the pixel pattern of the color filter layer in FIG. Here, six examples shown in FIGS. 7A to 7F are given as examples of the correspondence relationship between the single matrix of the polarization filter and the single matrix of the color filter. Hereinafter, the upper left, upper right, lower left, and lower right pixels of the matrix in these drawings will be described as Pix1, Pix2, Pix3, and Pix4.
図7Aに示す第1の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層153のR(赤色フィルタ画素)、G(緑色フィルタ画素)、G、B(青色フィルタ画素)と、偏光フィルタ層151のC、C、V、Cが対応付けられている。ここで、C(Clear)は全偏光成分を透過させる画素(偏光フィルタを備えていない画素)である。また、V(Vertical)は垂直方向の電界成分を透過させる画素(特定方向軸の偏光フィルタを備えている画素)である。なお、後述するH(Horizontal)は水平方向の電界成分を透過させる画素(特定方向軸の偏光フィルタを備えている画素)である。
In the first example shown in FIG. 7A, R (red filter pixel), G (green filter pixel), G, B (blue filter pixel) of the
この図に示す画素配置では、Pix1、Pix2、Pix4にて輝度カラー画像情報とする。また、Pix2、Pix3から偏光画像を生成する。すなわち、例えば、Pix3(G画素、かつV画素)をそのまま用いたり、Pix2とPix3との差分画素を用いたりすることもできる。差分信号として、下記の式〔1〕が成り立つ。
「(G画素、かつH画素)の輝度値」=「Pix2(G画素、かつC画素)の輝度値」−「Pix3(G画素、かつV画素)の輝度値」 …式〔1〕
In the pixel arrangement shown in this figure, luminance color image information is used at Pix1, Pix2, and Pix4. In addition, a polarization image is generated from Pix2 and Pix3. That is, for example, Pix3 (G pixel and V pixel) can be used as it is, or a difference pixel between Pix2 and Pix3 can be used. The following equation [1] is established as the difference signal.
“Luminance value of (G pixel and H pixel)” = “Luminance value of Pix2 (G pixel and C pixel)” − “Luminance value of Pix3 (G pixel and V pixel)” Equation [1]
ここで、輝度カラー画像とは、R、G、B3色の成分から演算・生成される画像とする。また、偏光画像とは、垂直方向もしくは水平方向の電界振動成分を透過させる(偏光軸を持つ)画素により生成される画像のことである。また、輝度カラー画像、偏光画像の出力を行う際には、上記の演算に加えて、単一マトリックスの隣接マトリックス画素を用いた補間処理なども行う。 Here, the luminance color image is an image calculated and generated from R, G, and B3 color components. A polarization image is an image generated by a pixel that transmits a vertical or horizontal electric field vibration component (has a polarization axis). In addition, when outputting a luminance color image and a polarization image, in addition to the above calculation, an interpolation process using adjacent matrix pixels of a single matrix is also performed.
図7Bに示す第2の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層153のR、G、G、Bと、偏光フィルタ層151のC、C、H、Cが対応付けられている。すなわち、第1の例におけるVをHに変更したものである。前述した差分の式が成立することから、H画素、V画素のどちらを配置しても偏光画像を得ることができる。
In the second example shown in FIG. 7B, R, G, G, and B of the
図7Cに示す第3の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層153のR、G、G、Bと、偏光フィルタ層151のC、V、H、Cが対応付けられている。偏光画像はPix2、Pix3から生成される。輝度カラー画像については、Pix1、Pix4からそれぞれR成分、B成分が生成され、「Pix2+Pix3」からG成分が生成される。これは前述の式の差分(H=C−V、すなわちC=V+H)が成立するとの考えに基づく。
In the third example shown in FIG. 7C, R, G, G, and B of the
図7Dに示す第4の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層153のR、G、G、Bと、偏光フィルタ層151のC、H、V、Cが対応付けられている。
In the fourth example shown in FIG. 7D, R, G, G, and B of the
第3の例、第4の例では、画像全体の輝度成分が均一化され、ダイナミックレンジを向上させる効果がある。被写体にもよるが、一般にG画素はR画素、B画素よりも高輝度となり、撮影条件により飽和しやすくなる。同じくG画素に偏光フィルタV、Hを合わせた場合に対し、偏光フィルタCを合わせた場合も概ね2倍程度高輝度となり、第1の例および第2の例では、4画素のうち、Pix2のG画素が周囲画素に対し輝度が高い状態となる。これに対し、第3の例、第4の例のパターンとすることで、単一マトリックスを構成する4画素のなかで輝度の均一化を図ることができる。 In the third and fourth examples, the luminance component of the entire image is made uniform, and the dynamic range is improved. Although depending on the subject, the G pixel generally has higher brightness than the R pixel and the B pixel, and is likely to be saturated depending on the shooting conditions. Similarly, when the polarizing filters V and H are combined with the G pixel, the luminance is approximately twice as high when the polarizing filter C is combined. In the first example and the second example, of the four pixels, Pix2 The G pixel is in a higher luminance state than the surrounding pixels. On the other hand, by using the patterns of the third example and the fourth example, it is possible to make the luminance uniform among the four pixels constituting the single matrix.
図7Eに示す第5の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層153のR、G、G、Bと、偏光フィルタ層151のV、V、H、Vが対応付けられている。また、図7Fに示す第6の例では、Pix1、Pix2、Pix3、Pix4に対して、カラーフィルタ層153のR、G、G、Bと、偏光フィルタ層151のH、H、V、Hが対応付けられている。
In the fifth example shown in FIG. 7E, R, G, G, and B of the
一般に、偏光フィルタを設置した画素は周囲画素と比較し低輝度となる。例えば第1の例について、偏光画像の生成に用いるPix3に対し、周囲画素のPix1,2,4の輝度が高くなる。 In general, a pixel provided with a polarizing filter has lower luminance than surrounding pixels. For example, in the first example, the brightness of Pix1, 2, and 4 of the surrounding pixels is higher than Pix3 used for generating the polarization image.
このパターン構成では、高輝度のPix1,2,4から、低輝度のPix3へより多くの光成分が混入しクロストークが発生し、Pix3が本来とるべき信号値に対して誤差成分が多く乗ることになる。この現象は、図6Aで示したような偏光フィルタ層151が受光素子154からより遠方に配置されている構成の場合に特に顕著である。
In this pattern configuration, more light components are mixed from Pix1, 2, 4 with high luminance to Pix3 with low luminance, causing crosstalk, and Pix3 has more error components than the signal value that Pix3 should originally take become. This phenomenon is particularly prominent when the
これを抑制するために、偏光画素Pix3に対し、上記周囲画素Pix1,2,4の輝度値を相対的に低下させる構成とすることが有効である。第5の例、第6の例に示したような、Pix1,2,4についても偏光フィルタVもしくはHを設置することで、この効果を得ることができる。 In order to suppress this, it is effective to adopt a configuration in which the luminance values of the surrounding pixels Pix1, 2, and 4 are relatively lowered with respect to the polarization pixel Pix3. This effect can be obtained by installing the polarizing filter V or H for Pix1, 2, 4 as shown in the fifth example and the sixth example.
〈第1の実施形態に係る偏光カメラ〉
図8は、本発明の第1の実施形態に係る偏光カメラの構成を示すブロック図である。
この偏光カメラは、撮像部101、第1の手段としての輝度画像生成部102、偏光画像生成部103、第2の手段および第3の手段としての反射成分推定部104、ならびに第4の手段としての反射成分除去処理部105を備えている。
<Polarized camera according to the first embodiment>
FIG. 8 is a block diagram showing the configuration of the polarization camera according to the first embodiment of the present invention.
The polarization camera includes an
ここで、撮像部101は図4における撮像部101である。また、その他の部分が画像処理装置を構成している。この画像処理装置はFPGA171、CPU172、ROM173、およびRAM174により構成される。
Here, the
撮像部101には、車両内部からのフロントガラスを透過した光(透過光)およびフロントガラスでの反射光の混合光が入射する。輝度画像生成部102、偏光画像生成部103は、図7を参照して説明した演算により、それぞれ輝度画像、偏光画像を生成する。
Light that has passed through the windshield from the inside of the vehicle (transmitted light) and reflected light from the windshield enters the
反射成分推定部104は、輝度画像生成部102で生成された輝度画像および偏光画像生成部103で生成された偏光画像に基づいて、フロントガラスでの反射光成分を推定する。反射成分推定部104の詳細については後述する。反射成分除去処理部105は、輝度画像から反射光成分の推定値を除去することにより、車両内部の可視化画像を生成する。
The reflection
〈反射成分推定部の処理〉
図9は、図8における反射成分推定部の処理を示すフローチャートであり、図10は、図8における反射成分推定部の入力情報について説明するための図である。
<Processing of reflection component estimation unit>
FIG. 9 is a flowchart showing processing of the reflection component estimation unit in FIG. 8, and FIG. 10 is a diagram for explaining input information of the reflection component estimation unit in FIG.
図9に示すように、まず輝度画像生成部102で生成された輝度画像の輝度値Iの統計量を算出する(ステップS1)。算出する統計量としては、画面全体や画面の所定領域内の平均値、標準偏差値などが挙げられる。
As shown in FIG. 9, first, a statistic of the luminance value I of the luminance image generated by the luminance
次に第1の情報としての輝度値Iと、偏光画像生成部103で生成された偏光画像の画素値Pに予め測定して係数K1を乗算した値であるK1*Pとの差分値Δ(=I−K1*P)の統計量を算出する(ステップS2)。
Next, a difference value between the luminance value I as the first information and K 1 * P which is a value obtained by multiplying the pixel value P of the polarization image generated by the polarization
ここで、輝度値Iと偏光画像の画素値Pについて図10を用いて説明する。
図10Aは、強度aの反射光(偏光有)と、強度bの透過光(偏光無)を受光したC画素の輝度値を表している。この場合、上記輝度値Iに相当するC画素の画素値は「a+b」となる。
Here, the luminance value I and the pixel value P of the polarization image will be described with reference to FIG.
FIG. 10A shows the luminance value of the C pixel that receives the reflected light (with polarization) with intensity a and the transmitted light with intensity b (without polarization). In this case, the pixel value of the C pixel corresponding to the luminance value I is “a + b”.
図10Bは、強度aの反射光(偏光有)と、強度bの透過光(偏光無)を受光したV画素およびH画素の画素値を表している。この場合、上記画素値Pに相当するV画素およびH画素の画素値は「a/K0+b/K1」となる。ここで、K0、K1は係数であり、K1は理想的には2、K0は反射光(偏光有)全体に対する垂直方向以外または水平方向以外の偏光成分の比率により異なる。本実施形態では、K1は、自然光のような無偏光の光を予め撮像部101に入射させたとき(図10A、図10Bでa=0とき)の「I/P」の値を係数K1としている。
FIG. 10B shows the pixel values of the V pixel and the H pixel that receive the reflected light (with polarization) with intensity a and the transmitted light with intensity b (without polarization). In this case, the pixel values of the V pixel and the H pixel corresponding to the pixel value P are “a / K 0 + b / K 1 ”. Here, K 0 and K 1 are coefficients, K 1 is ideally 2, and K 0 varies depending on the ratio of polarization components other than the vertical direction or the horizontal direction with respect to the entire reflected light (with polarization). In the present embodiment, K 1 is a value of “I / P” when non-polarized light such as natural light is incident on the
また図10A、Bより、下記の式〔2〕が得られるので、Δの値は反射光の強度aに比例することが分かる。Δが本発明に係る第2の情報に相当する。
Δ(=I−K1*P)={(a+b)−K1(a/K0+b/K1)}={1−(K1/K0)}a …式〔2〕
10A and 10B, the following formula [2] is obtained, and it can be seen that the value of Δ is proportional to the intensity a of the reflected light. Δ corresponds to the second information according to the present invention.
Δ (= I−K 1 * P) = {(a + b) −K 1 (a / K 0 + b / K 1 )} = {1− (K 1 / K 0)} a (2)
次に、ステップS1で算出した輝度値Iの統計量と、ステップS2で算出したΔの統計量とから、係数K2を求め(ステップS3)、Δに係数K2をかけることで、反射成分の強度K2*Δを算出する(ステップS4)。K2*Δが本発明に制御情報および第3の情報に相当する。
Next, a coefficient K 2 is obtained from the statistic of the luminance value I calculated in
ここで、係数K2は、「K2=Iの統計量/Δの統計量」として算出する。このとき採用する統計量としては、K2の値が「Iの平均値/Δの平均値」よりも小さくなるように選択する。すなわち、Δを平均値とした場合は、Iを平均値より小さな値(例えば「平均値−3σ」(σは標準偏差値))とする。その理由を説明する。Iの信号の平均値±3σをとることで、信号が正規分布していると仮定すると、99.7%の信号が含まれる。つまり、Iの信号の平均値−3σが信号の下限値で平均値−3σをΔの平均値で割ったK2を基に、反射成分除去処理部105における処理「I−K2*Δ」を行うことにより、殆どの輝度画像から反射光の成分を低減した情報が得られる。なお、K2の値を「Iの平均値/Δの平均値」とした場合、K2の値が「aの平均値/Δの平均値」よりも大きくなるため、「I−K2*Δ」により、輝度画像の低輝度部分の情報が失われる。
Here, the coefficient K 2 is calculated as “K 2 = statistic of I / statistic of Δ”. In this case as the statistic employed, the value of K 2 is selected to be less than "average value of the average value / delta of I". That is, when Δ is an average value, I is set to a value smaller than the average value (for example, “average value−3σ” (σ is a standard deviation value)). The reason will be explained. Assuming that the signal is normally distributed by taking the average value ± 3σ of the I signal, 99.7% of the signals are included. That is, the process “I−K 2 * Δ” in the reflection component
このように、本発明の第1の実施形態に係る偏光カメラによれば、車両のフロントガラスでの反射成分の偏光状態にかかわらず、反射成分の強度を表す情報を取得し、反射成分を除去することができる。 As described above, according to the polarization camera of the first embodiment of the present invention, information indicating the intensity of the reflection component is acquired and the reflection component is removed regardless of the polarization state of the reflection component on the vehicle windshield. can do.
〈第2の実施形態に係る偏光カメラ〉
図11は、本発明の第2の実施形態に係る偏光カメラの構成を示すブロック図である。この図において、図8(第1の実施形態)と同一の部分または対応する部分には、図8と同じ参照符号が付されている。これらの部分については、必要な場合を除き、その説明を省略する。
<Polarized camera according to the second embodiment>
FIG. 11 is a block diagram showing a configuration of a polarization camera according to the second embodiment of the present invention. In this figure, the same reference numerals as those in FIG. 8 are given to the same or corresponding parts as those in FIG. 8 (first embodiment). Description of these portions is omitted unless necessary.
この偏光カメラは、本発明に係る第4の手段として、第1の実施形態に係る偏光カメラの反射成分除去処理部105に代わりに反射成分増強処理部106を設けたものである。反射成分増強処理部106は、輝度画像の輝度値Iに反射成分推定値K2*Δを加えることで、反射成分を増加させる。
In this polarization camera, as a fourth means according to the present invention, a reflection component
この結果、反射成分増強処理部106の出力は、フロントガラス内の被写体が見えにくい不可視画像となる。したがって、この偏光カメラは、撮像された人物のプライバシーを保護する場合(例えば、データセンター6では、この偏光カメラで取得した画像を運転者の特定には使用せず、別途第1の実施形態に係るカメラで取得した可視画像を運転者を特定するために警察に提供する場合や、レストランなどを外部から撮像する際に内部の人を識別できないようにする場合)に有用である。
As a result, the output of the reflection component
〈情報処理システムの概略動作〉
図12は、本発明の実施形態に係る情報処理システムの概略動作を示すフローチャートである。
<Outline of information processing system>
FIG. 12 is a flowchart showing a schematic operation of the information processing system according to the embodiment of the present invention.
偏光カメラ100では、CPU172が、撮像部101からの画像から、車両が撮影しているか否かを判定する(ステップS11)。この判定は、例えば前フレームの背景画像に対する変化に基づいて判定する。
In the
車両が撮影されていない間は監視を続け(ステップS11:NO→ステップS11)、車両が撮影されていたら(ステップS1:YES)、画像処理を開始する(ステップS12)。この画像処理は、前述した第1または第2の実施形態に係る偏光カメラ(図8または図10)における画像処理のどちらでもよい。 Monitoring is continued while the vehicle is not photographed (step S11: NO → step S11). If the vehicle is photographed (step S1: YES), image processing is started (step S12). This image processing may be either image processing in the polarization camera (FIG. 8 or FIG. 10) according to the first or second embodiment described above.
次に、偏光カメラ100は、画像処理により生成された可視化画像を映像サーバー200へ出力し(ステップS13)、車両が撮影されているか否かの判定処理(ステップS11)に戻る。以後、偏光カメラ100は、ステップS11からS13を繰り返す。
Next, the
映像サーバー200は、可視化画像を画像格納部としてのHDD250に格納し(ステップS14)、可視化画像をデータセンター6へ送信する(ステップS15)。データセンター6では、可視化画像を受信し、画像を確認する(ステップS16)。
The
なお、本発明は上記の実施形態に限定されるものではなく、例えば下記(1)乃至(6)のような変形が可能である。
(1)「Iの値/Δの値」の平均値K3および標準偏差値σを算出し、「K3−3σ」を係数K2とする。
(2)画面全体のΔの値を算出し、そのヒストグラムを求め、頻度がある値を超える画素を抽出することで、画面で反射光の強度の高い複数の領域を抽出する。そして、それらの領域に対して、それぞれ反射光成分低減処理を行い、それぞれの領域に最適なK2を算出し、反射光成分を低減する。これにより、1台の偏光カメラで同時に撮像している複数の車両の内部の可視化画像を同時に取得することができる。
(3)図8および図11における「I」に代えて「H(Horizontal)+V(Vertical)」を用い、「P」に代えて「H」または「V」を用いることで、輝度信号と特定の偏光信号だけでなく、水平方向、垂直方向の偏光フィルタで得られた信号にも適応できる。
(4)用途に応じて、反射成分除去処理、反射成分増強処理の切替または選択が可能な構成とする。
(5)偏光カメラを2つ用意して所定の基線長を有するステレオカメラとする。ステレオカメラでは、偏光カメラで実現するが画像処理の他に、距離画像の生成も可能である。車両が撮像される、画像処理システムから車両までの距離画像が取得できるため、画像処理開始開始(図12のステップS2)のタイミングの設定に柔軟に対応することができる。
(6)偏光カメラ100の信号処理基板170を偏光カメラ100とは別のコントローラに設け、偏光カメラとコントローラとが協働する撮像システムとする。
In addition, this invention is not limited to said embodiment, For example, a deformation | transformation like the following (1) thru | or (6) is possible.
(1) The average value K 3 and standard deviation value σ of “I value / Δ value” are calculated, and “K 3 -3σ” is set as the coefficient K 2 .
(2) A value of Δ for the entire screen is calculated, a histogram thereof is obtained, and pixels having a frequency exceeding a certain value are extracted, thereby extracting a plurality of regions having high reflected light intensity on the screen. Then, a reflected light component reduction process is performed on each of these regions, K2 optimum for each region is calculated, and the reflected light component is reduced. Thereby, the visualization image inside a several vehicle currently imaged simultaneously with one polarization camera can be acquired simultaneously.
(3) “H (Horizontal) + V (Vertical)” is used in place of “I” in FIGS. 8 and 11, and “H” or “V” is used in place of “P”. It can be applied not only to the polarization signal of the above, but also to the signal obtained by the polarization filters in the horizontal and vertical directions.
(4) A configuration in which the reflection component removal processing and the reflection component enhancement processing can be switched or selected according to the application.
(5) Two polarization cameras are prepared to provide a stereo camera having a predetermined baseline length. In the stereo camera, which is realized by a polarization camera, a distance image can be generated in addition to the image processing. Since it is possible to acquire a distance image from the image processing system to the vehicle where the vehicle is imaged, it is possible to flexibly cope with the setting of the timing for starting the image processing (step S2 in FIG. 12).
(6) The
1,1−1乃至1−n…画像処理システム、6…データセンター、100,100−1…偏光カメラ、101…撮像部、102…輝度画像生成部、103…偏光画像生成部、104…反射成分推定部、105…反射成分除去処理部、106…反射成分増強処理部、200,200−1…映像サーバー。
DESCRIPTION OF
Claims (9)
前記異なる偏光状態に対応する画像情報を用いて、前記異なる偏光状態に対応する画像情報における前記光学部材での反射光に対応する成分を制御する画像処理手段を有し、
前記画像処理手段は、前記光学部材での透過光と反射光との混合光の強度を表す第1の情報を取得する第1の手段と、前記画像情報から、前記光学部材での反射光の強度に比例する第2の情報を取得する第2の手段と、前記第1の情報および第2の情報から、前記反射光の強度の推定値を取得する第3の手段と、前記推定値に基づいて、前記第1の情報の値を制御する第4の手段と、を有する画像処理装置。 An image processing apparatus that processes image information corresponding to different polarization states generated by imaging a subject through an optical member having light transmittance and light reflectivity by an imaging device including polarization members having different polarization states. ,
Using the image information corresponding to the different polarization states, it has a image processing means for controlling the corresponding component on the reflected light at the optical member in the image information corresponding to the different polarization states,
The image processing means includes: first means for obtaining first information representing intensity of mixed light of transmitted light and reflected light at the optical member; and the reflected light at the optical member from the image information. A second means for obtaining second information proportional to the intensity; a third means for obtaining an estimated value of the intensity of the reflected light from the first information and the second information; and And a fourth means for controlling the value of the first information based on the image processing apparatus.
前記画像処理手段は、前記反射光に対応する成分を低減させる、画像処理装置。 The image processing apparatus according to claim 1,
The image processing device, wherein the image processing means reduces a component corresponding to the reflected light.
前記画像処理手段は、前記反射光に対応する成分を増加させる、画像処理装置。 The image processing apparatus according to claim 1,
The image processing device increases the component corresponding to the reflected light.
前記第3の手段は、画像の所定の領域内の前記第1の情報の値の平均値および前記第2の情報の値の平均値に基づいて前記反射光の強度の推定値を算出する、画像処理装置。 The image processing apparatus according to any one of claims 1 to 3 ,
The third means calculates an estimated value of the intensity of the reflected light based on an average value of the first information value and an average value of the second information value in a predetermined region of the image ; Image processing device.
前記異なる偏光状態は、偏光なしと、偏光ありであり、
前記第2の情報は、偏光なしの画素の画素値から、前記撮像装置が無偏光の光を受光したときの偏光なしの画素の画素値と偏光ありの画像の画素値の比の値である係数に偏光ありの画素の画素値を乗算した値を減算した値である、画像処理装置。 The image processing apparatus according to claim 1 ,
The different polarization states are unpolarized and polarized,
The second information is a value of a ratio between a pixel value of a non-polarized pixel and a pixel value of a polarized image when the imaging apparatus receives non-polarized light from the pixel value of the non-polarized pixel. An image processing apparatus, which is a value obtained by subtracting a value obtained by multiplying a coefficient by a pixel value of a pixel with polarization .
前記異なる偏光状態に対応する画像情報を用いて制御情報を生成するステップと、
前記制御情報を用いて、前記異なる偏光状態に対応する画像情報における前記光学部材での反射光に対応する成分を制御するステップと、
を有し、
前記制御情報を生成するステップは、前記光学部材での透過光と反射光との混合光の強度を表す第1の情報を取得する第1のステップと、前記画像情報から、前記光学部材での反射光の強度に比例する第2の情報を取得する第2のステップと、前記第1の情報および第2の情報から、前記反射光の強度の推定値を取得する第3のステップと、を有し、
前記制御するステップは、前記推定値に基づいて、前記第1の情報の値を制御する第4のステップを有する画像処理方法。 An image processing method for processing image information corresponding to different polarization states generated by imaging a subject through an optical member having light transmittance and light reflectivity by an imaging device including polarization members having different polarization states. ,
Generating control information using image information corresponding to the different polarization states;
Using the control information to control a component corresponding to the reflected light from the optical member in the image information corresponding to the different polarization states;
Have
The step of generating the control information includes: a first step of acquiring first information representing intensity of mixed light of transmitted light and reflected light at the optical member; and A second step of acquiring second information proportional to the intensity of the reflected light; and a third step of acquiring an estimated value of the intensity of the reflected light from the first information and the second information. Have
The image processing method includes a fourth step of controlling the value of the first information based on the estimated value .
前記撮像部が、光透過性および光反射性を有する光学部材を通して被写体を撮像して異なる偏光状態に対応する画像情報を生成したとき、前記画像情報を用いて、画像情報における前記光学部材での反射光に対応する成分を制御する画像処理手段と、
を有し、
前記画像処理手段は、前記光学部材での透過光と反射光との混合光の強度を表す第1の情報を取得する第1の手段と、前記画像情報から、前記光学部材での反射光の強度に比例する第2の情報を取得する第2の手段と、前記第1の情報および第2の情報から、前記反射光の強度の推定値を取得する第3の手段と、前記推定値に基づいて、前記第1の情報の値を制御する第4の手段と、を有する撮像システム。 An imaging unit including a polarizing member having different polarization states;
When the imaging unit captures an image of a subject through an optical member having light transmittance and light reflectivity and generates image information corresponding to different polarization states, the image information is used in the optical member in the image information. Image processing means for controlling a component corresponding to the reflected light;
I have a,
The image processing means includes: first means for obtaining first information representing intensity of mixed light of transmitted light and reflected light at the optical member; and the reflected light at the optical member from the image information. A second means for obtaining second information proportional to the intensity; a third means for obtaining an estimated value of the intensity of the reflected light from the first information and the second information; and based on the imaging system having a fourth means for controlling the value of said first information.
前記撮像部が、光透過性および光反射性を有する光学部材を通して被写体を撮像して異なる偏光状態に対応する画像情報を生成したとき、前記画像情報を用いて、画像情報における前記光学部材での反射光に対応する成分を制御する画像処理手段と、
前記画像処理手段の出力を保存する保存手段と、
を有し、
前記画像処理手段は、前記光学部材での透過光と反射光との混合光の強度を表す第1の情報を取得する第1の手段と、前記画像情報から、前記光学部材での反射光の強度に比例する第2の情報を取得する第2の手段と、前記第1の情報および第2の情報から、前記反射光の強度の推定値を取得する第3の手段と、前記推定値に基づいて、前記第1の情報の値を制御する第4の手段と、を有する画像処理システム。 An imaging unit including a polarizing member having different polarization states;
When the imaging unit captures an image of a subject through an optical member having light transmittance and light reflectivity and generates image information corresponding to different polarization states, the image information is used in the optical member in the image information. Image processing means for controlling a component corresponding to the reflected light;
Storage means for storing the output of the image processing means;
I have a,
The image processing means includes: first means for obtaining first information representing intensity of mixed light of transmitted light and reflected light at the optical member; and the reflected light at the optical member from the image information. A second means for obtaining second information proportional to the intensity; a third means for obtaining an estimated value of the intensity of the reflected light from the first information and the second information; and And a fourth means for controlling the value of the first information based on the image processing system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014265384A JP6447121B2 (en) | 2014-12-26 | 2014-12-26 | Image processing apparatus, image processing method, imaging system, image processing system, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014265384A JP6447121B2 (en) | 2014-12-26 | 2014-12-26 | Image processing apparatus, image processing method, imaging system, image processing system, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016127365A JP2016127365A (en) | 2016-07-11 |
JP6447121B2 true JP6447121B2 (en) | 2019-01-09 |
Family
ID=56356824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014265384A Active JP6447121B2 (en) | 2014-12-26 | 2014-12-26 | Image processing apparatus, image processing method, imaging system, image processing system, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6447121B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7411335B2 (en) | 2018-03-23 | 2024-01-11 | ザ・ボーイング・カンパニー | System and method for pulse width modulation using adjustable comparison criteria |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6697680B2 (en) * | 2016-08-17 | 2020-05-27 | ソニー株式会社 | Signal processing device, signal processing method, and program |
CN106791339B (en) * | 2017-03-22 | 2019-12-13 | 北京小米移动软件有限公司 | Imaging system and control method thereof |
JP6951917B2 (en) * | 2017-09-15 | 2021-10-20 | 株式会社ソニー・インタラクティブエンタテインメント | Imaging device |
JPWO2022113568A1 (en) * | 2020-11-30 | 2022-06-02 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006254331A (en) * | 2005-03-14 | 2006-09-21 | Fuji Photo Film Co Ltd | Image processing method for detecting reflected optical component of object and apparatus executing this method |
JP4924114B2 (en) * | 2007-03-09 | 2012-04-25 | 株式会社ニコン | Image processing program and image processing method |
JP2014183516A (en) * | 2013-03-21 | 2014-09-29 | Nikon Corp | Camera |
-
2014
- 2014-12-26 JP JP2014265384A patent/JP6447121B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7411335B2 (en) | 2018-03-23 | 2024-01-11 | ザ・ボーイング・カンパニー | System and method for pulse width modulation using adjustable comparison criteria |
Also Published As
Publication number | Publication date |
---|---|
JP2016127365A (en) | 2016-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6447121B2 (en) | Image processing apparatus, image processing method, imaging system, image processing system, and program | |
EP1992987B1 (en) | Apparatus and method for processing video signal, imaging device and computer program | |
JP5954063B2 (en) | Image fog removal method and system | |
CN101742123B (en) | Image processing apparatus and method | |
US9200895B2 (en) | Image input device and image processing device | |
EP3588456A1 (en) | Image processing apparatus, image processing method, and program | |
US10176543B2 (en) | Image processing based on imaging condition to obtain color image | |
WO2014185064A1 (en) | Image processing method and system | |
JP6635799B2 (en) | Image processing apparatus, image processing method, and program | |
JP5867806B2 (en) | Imaging device and object identification device using the same | |
EP2741504B1 (en) | Image processing device | |
JP6297234B1 (en) | Compound eye imaging apparatus, image processing method, program, and recording medium | |
JP6544257B2 (en) | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM | |
WO2017154628A1 (en) | Image processing device and method | |
JP6137316B2 (en) | Depth position detection device, imaging device, and depth position detection method | |
CN106485670A (en) | Image processing equipment and image processing method | |
JP2015103906A (en) | Image processing device, imaging system, image processing method, and program | |
EP2887310A1 (en) | Method and apparatus for processing light-field image | |
WO2014006514A2 (en) | Image processing in a multi-channel camera | |
WO2020155739A1 (en) | Image sensor, method for acquiring image data from image sensor, and camera device | |
KR20170107269A (en) | Apparatus and method for depth image filtering of rgbd camera | |
JP6844223B2 (en) | Information processing equipment, imaging equipment, equipment control system, information processing method and program | |
US11663708B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP2009253447A (en) | Solid state image sensor for both near-infrared light and visible light, and solid-state imaging apparatus | |
JP6902563B2 (en) | Sub-pixel units for optical sensors, optical sensors, methods for detecting optical signals, and methods for generating images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181119 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6447121 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |