JP2017033448A - Image processing unit, program and image processing method - Google Patents
Image processing unit, program and image processing method Download PDFInfo
- Publication number
- JP2017033448A JP2017033448A JP2015155188A JP2015155188A JP2017033448A JP 2017033448 A JP2017033448 A JP 2017033448A JP 2015155188 A JP2015155188 A JP 2015155188A JP 2015155188 A JP2015155188 A JP 2015155188A JP 2017033448 A JP2017033448 A JP 2017033448A
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- blurred
- processing apparatus
- generate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、画像処理装置、プログラム及び画像処理方法に関する。 The present invention relates to an image processing apparatus, a program, and an image processing method.
従来、画像のエッジを抽出して、画素がエッジであるか否かによって入力画像又は平滑化画像を出力することで画像のノイズを低減するノイズ低減処理が開示されている(例えば、特許文献1)。 Conventionally, a noise reduction process has been disclosed in which an edge of an image is extracted and an input image or a smoothed image is output depending on whether or not a pixel is an edge (for example, Patent Document 1). ).
特許文献1に記載のような画素がエッジであるか否かによって入力画像又は平滑化画像を選択する方法では、輪郭が浮き出るような不自然な画像が生成されてしまう。 In the method of selecting an input image or a smoothed image depending on whether or not a pixel is an edge as described in Patent Document 1, an unnatural image in which a contour is raised is generated.
そこで、本発明は、画像のノイズを低減し、より自然な画像を生成可能な画像処理装置、プログラム及び画像処理方法を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus, a program, and an image processing method capable of reducing image noise and generating a more natural image.
本発明は、以下のような解決手段により、前記課題を解決する。
第1の発明は、入力画像に対してぼかし処理を行ってぼかし画像を生成するぼかし画像生成手段と、前記入力画像に対してエッジ抽出を行ってエッジ抽出画像を生成後に、前記エッジ抽出画像に対してぼかし処理を行ってエッジぼかし画像を生成するプロセス画像生成手段と、前記プロセス画像生成手段により生成された前記エッジぼかし画像の画素値に基づいて、前記入力画像と前記ぼかし画像とを合成して、新たな画像を生成する画像生成手段と、を備えた画像処理装置である。
第2の発明は、第1の発明の画像処理装置において、前記入力画像に対してノイズを除去したノイズ除去画像を生成するノイズ除去画像生成手段を備え、前記画像生成手段は、前記ノイズ除去画像と前記ぼかし画像とを合成して、新たな画像を生成すること、を特徴とする画像処理装置である。
第3の発明は、第1の発明又は第2の発明の画像処理装置において、前記画像生成手段は、前記エッジぼかし画像の輝度値に基づいて、新たな画像を生成すること、を特徴とする画像処理装置である。
第4の発明は、第1の発明から第3の発明までのいずれかの画像処理装置において、各画素に対して前記エッジぼかし画像の輝度値に基づいて、前記入力画像の輝度値と前記ぼかし画像の輝度値とを用いた新たな輝度値を算出する輝度値算出手段を備え、前記画像生成手段は、算出した新たな輝度値に基づいて、前記入力画像の色成分及び前記ぼかし画像の色成分の少なくとも一方の色成分を用いた新たな画像を生成すること、を特徴とする画像処理装置である。
第5の発明は、第4の発明の画像処理装置において、前記画像生成手段は、算出した新たな輝度値の閾値に基づいて、前記入力画像の色成分又は前記ぼかし画像の色成分のいずれか一方を選択し、前記新たな輝度値に、選択した画素の色成分を付与することで、新たな画像を生成すること、を特徴とする画像処理装置である。
第6の発明は、第1の発明から第5の発明までのいずれかの画像処理装置としてコンピュータを機能させるためのプログラムである。
第7の発明は、入力画像に対してぼかし処理を行ってぼかし画像を生成し、前記入力画像に対してエッジ抽出を行ってエッジ抽出画像を生成後に、前記エッジ抽出画像に対してぼかし処理を行ってエッジぼかし画像を生成し、生成された前記エッジぼかし画像の画素値に基づいて、前記入力画像と生成された前記ぼかし画像とを合成して新たな画像を生成する、画像処理方法である。
The present invention solves the above problems by the following means.
According to a first aspect of the present invention, there is provided a blurred image generation unit that performs a blurring process on an input image to generate a blurred image, and performs edge extraction on the input image to generate an edge extracted image. A process image generation unit that generates an edge blur image by performing blur processing on the image, and combines the input image and the blur image based on a pixel value of the edge blur image generated by the process image generation unit. And an image generation device that generates a new image.
According to a second aspect of the present invention, in the image processing apparatus according to the first aspect of the present invention, the image processing apparatus includes a noise-removed image generation unit that generates a noise-removed image from which noise has been removed from the input image. And the blurred image are combined to generate a new image.
According to a third invention, in the image processing device according to the first or second invention, the image generation means generates a new image based on a luminance value of the edge blurred image. An image processing apparatus.
According to a fourth aspect of the present invention, in the image processing apparatus according to any one of the first to third aspects, the luminance value of the input image and the blur are determined based on the luminance value of the edge blurred image for each pixel. A luminance value calculating unit that calculates a new luminance value using the luminance value of the image, and the image generating unit is configured to generate a color component of the input image and a color of the blurred image based on the calculated new luminance value. An image processing apparatus characterized by generating a new image using at least one of the color components.
According to a fifth aspect of the present invention, in the image processing device according to the fourth aspect of the invention, the image generation unit is configured to output either the color component of the input image or the color component of the blurred image based on the calculated threshold value of the new luminance value. An image processing apparatus is characterized in that one is selected and a new image is generated by adding a color component of the selected pixel to the new luminance value.
A sixth invention is a program for causing a computer to function as any one of the image processing apparatuses from the first invention to the fifth invention.
According to a seventh aspect of the present invention, a blurring process is performed on an input image to generate a blurred image, an edge extraction is performed on the input image to generate an edge extraction image, and a blurring process is performed on the edge extracted image. An image processing method for generating an edge blurred image and generating a new image by combining the input image and the generated blurred image based on a pixel value of the generated edge blurred image .
本発明によれば、画像のノイズを低減し、より自然な画像を生成可能な画像処理装置、プログラム及び画像処理方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the noise of an image can be reduced and the image processing apparatus, program, and image processing method which can produce | generate a more natural image can be provided.
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
(実施形態)
<画像処理装置1>
図1は、本実施形態に係る画像処理装置1の機能ブロック図である。
図2は、本実施形態に係る画像処理装置1で生成される各画像の関係を説明するための図である。
画像処理装置1は、入力画像からノイズを除去した新たな画像を生成する装置である。
DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.
(Embodiment)
<Image processing apparatus 1>
FIG. 1 is a functional block diagram of an image processing apparatus 1 according to the present embodiment.
FIG. 2 is a diagram for explaining the relationship between the images generated by the image processing apparatus 1 according to the present embodiment.
The image processing apparatus 1 is an apparatus that generates a new image from which noise has been removed from an input image.
画像処理装置1は、例えば、パーソナルコンピュータ(PC)である。画像処理装置1は、タブレット端末やスマートフォン等に代表されるコンピュータの機能を併せ持った携帯型の装置であってもよい。また、画像処理装置1は、撮像部を有するカメラ等の装置であってもよい。
図1に示すように、画像処理装置1は、制御部10と、記憶部20と、入力部30と、表示部32と、通信部39とを備える。
制御部10は、画像処理装置1の全体を制御する中央処理装置(CPU)である。制御部10は、記憶部20に記憶されているオペレーティングシステム(OS)やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
The image processing apparatus 1 is, for example, a personal computer (PC). The image processing apparatus 1 may be a portable apparatus that has the functions of a computer represented by a tablet terminal, a smartphone, and the like. The image processing device 1 may be a device such as a camera having an imaging unit.
As shown in FIG. 1, the image processing apparatus 1 includes a control unit 10, a storage unit 20, an input unit 30, a display unit 32, and a communication unit 39.
The control unit 10 is a central processing unit (CPU) that controls the entire image processing apparatus 1. The controller 10 executes various functions in cooperation with the hardware described above by appropriately reading and executing an operating system (OS) and application programs stored in the storage unit 20.
制御部10は、ぼかし画像生成部11(ぼかし画像生成手段)と、プロセス画像生成部12(プロセス画像生成手段)と、ノイズ除去画像生成部13(ノイズ除去画像生成手段)と、輝度値算出部14(輝度値算出手段)と、画像生成部15(画像生成手段)とを備える。
ぼかし画像生成部11は、入力画像に対してぼかし処理を行ってぼかし画像を生成する。
プロセス画像生成部12は、入力画像に対してエッジ抽出を行ってエッジ抽出画像を生成後に、エッジ抽出画像に対してぼかし処理を行って、エッジぼかし画像を生成する。
ノイズ除去画像生成部13は、入力画像に対してノイズを除去した処理元画像(ノイズ除去画像)を生成する。
輝度値算出部14は、各画素に対してエッジぼかし画像のエッジ信号強度に基づいて、処理元画像の画素の輝度値と、ぼかし画像の画素の輝度値とから新たな輝度値を算出する。
画像生成部15は、エッジぼかし画像のエッジ信号強度に基づいて、処理元画像とぼかし画像とを合成して、新たな画像を生成する。
なお、各処理の詳細については、後述する。
The control unit 10 includes a blurred image generation unit 11 (blurred image generation unit), a process image generation unit 12 (process image generation unit), a noise removal image generation unit 13 (noise removal image generation unit), and a luminance value calculation unit. 14 (luminance value calculation means) and an image generation unit 15 (image generation means).
The blurred image generation unit 11 performs a blurring process on the input image to generate a blurred image.
The process image generating unit 12 performs edge extraction on the input image to generate an edge extracted image, and then performs blurring processing on the edge extracted image to generate an edge blurred image.
The noise-removed image generation unit 13 generates a processing source image (noise-removed image) obtained by removing noise from the input image.
The luminance value calculation unit 14 calculates a new luminance value for each pixel from the luminance value of the pixel of the processing source image and the luminance value of the pixel of the blurred image based on the edge signal strength of the edge blurred image.
The image generation unit 15 combines the processing source image and the blurred image based on the edge signal strength of the edge blurred image to generate a new image.
Details of each process will be described later.
記憶部20は、制御部10が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部20は、プログラム記憶部21と、画像記憶部22とを備える。
プログラム記憶部21は、画像処理プログラム21aを記憶する記憶領域である。
画像処理プログラム21aは、画像処理装置1の制御部10が実行する各種機能を行うためのプログラムである。この例では、画像処理プログラム21aは、予め画像処理装置1にインストールされている。
画像記憶部22は、画像処理装置1で用いる各種画像を記憶する記憶領域である。画像記憶部22は、入力画像記憶部23と、中間画像記憶部24と、生成画像記憶部25とを備える。
The storage unit 20 is a storage area such as a hard disk or a semiconductor memory element for storing programs, data, and the like necessary for the control unit 10 to execute various processes.
The storage unit 20 includes a program storage unit 21 and an image storage unit 22.
The program storage unit 21 is a storage area for storing the image processing program 21a.
The image processing program 21a is a program for performing various functions executed by the control unit 10 of the image processing apparatus 1. In this example, the image processing program 21a is installed in the image processing apparatus 1 in advance.
The image storage unit 22 is a storage area for storing various images used in the image processing apparatus 1. The image storage unit 22 includes an input image storage unit 23, an intermediate image storage unit 24, and a generated image storage unit 25.
図2に示すように、入力画像記憶部23は、入力画像40を記憶する記憶領域である。画像処理装置1は、入力画像40を、例えば、通信部39を介して外部装置(例えば、カメラ)から受け付けて記憶する。
中間画像記憶部24は、画像生成処理の途中で生成されたプロセス画像を記憶する記憶領域である。中間画像記憶部24は、ぼかし画像50と、エッジぼかし画像52と、処理元画像54とを記憶する。詳細は後述するが、ぼかし画像50と、エッジぼかし画像52と、処理元画像54とは、入力画像40に対して各々異なる処理を行って生成された画像である。
生成画像記憶部25は、出力画像60を記憶する記憶領域である。詳細は後述するが、出力画像60は、エッジぼかし画像52を参照し、ぼかし画像50と、処理元画像54とを合成して生成された画像である。
As shown in FIG. 2, the input image storage unit 23 is a storage area for storing the input image 40. The image processing apparatus 1 receives and stores the input image 40 from, for example, an external device (for example, a camera) via the communication unit 39.
The intermediate image storage unit 24 is a storage area for storing a process image generated during the image generation process. The intermediate image storage unit 24 stores a blurred image 50, an edge blurred image 52, and a processing source image 54. Although details will be described later, the blurred image 50, the edge blurred image 52, and the processing source image 54 are images generated by performing different processes on the input image 40, respectively.
The generated image storage unit 25 is a storage area for storing the output image 60. Although details will be described later, the output image 60 is an image generated by combining the blurred image 50 and the processing source image 54 with reference to the edge blurred image 52.
図1に戻り、入力部30は、マウスやキーボード等で構成される入力装置である。
表示部32は、液晶パネル等で構成されるディスプレイである。
なお、入力部30と、表示部32とは、一体の装置であってよく、ディスプレイの機能と、画像処理装置1を操作するユーザからの指等によるタッチ入力を検出する機能とを有するタッチパネルディスプレイであってもよい。
通信部39は、通信ネットワークを介して外部装置(カメラ等、図示せず)との間で通信を行うためのインタフェース部である。
Returning to FIG. 1, the input unit 30 is an input device including a mouse, a keyboard, and the like.
The display unit 32 is a display composed of a liquid crystal panel or the like.
The input unit 30 and the display unit 32 may be an integrated device, and have a display function and a touch panel display having a function of detecting a touch input by a finger or the like from a user who operates the image processing apparatus 1. It may be.
The communication unit 39 is an interface unit for performing communication with an external device (a camera or the like, not shown) via a communication network.
<画像処理装置1の処理>
次に、画像処理装置1の処理について説明する。
図3は、本実施形態に係る画像処理装置1での画像生成処理を示すフローチャートである。
図4は、本実施形態に係る画像処理装置1での生成画像例を示す図である。
図5は、本実施形態に係る画像処理装置1での前段ノイズ除去処理を示すフローチャートである。
図6は、本実施形態に係る画像処理装置1の入力画像40の画素Pを説明するための図である。
図7は、本実施形態に係る画像処理装置1での画像合成処理を示すフローチャートである。
<Processing of Image Processing Device 1>
Next, processing of the image processing apparatus 1 will be described.
FIG. 3 is a flowchart showing image generation processing in the image processing apparatus 1 according to the present embodiment.
FIG. 4 is a diagram illustrating an example of a generated image in the image processing apparatus 1 according to the present embodiment.
FIG. 5 is a flowchart showing the pre-stage noise removal processing in the image processing apparatus 1 according to the present embodiment.
FIG. 6 is a diagram for explaining the pixel P of the input image 40 of the image processing apparatus 1 according to the present embodiment.
FIG. 7 is a flowchart showing image composition processing in the image processing apparatus 1 according to the present embodiment.
図3に示す画像生成処理は、入力画像40のノイズを低減し、より自然な出力画像60を生成する処理である。画像生成処理は、画像処理プログラム21aを実行中に、画像処理装置1の入力画像記憶部23に記憶された1つの入力画像40を、例えば、ユーザが選択して、処理開始を指示することで、開始される。
ここで、図4(A)は、入力画像40の一例である。入力画像40は、この例では、バラの花を被写体とした画像であるが、どのような画像であってもよい。
図3のステップS(以下、「S」という。)10において、制御部10(ぼかし画像生成部11)は、入力画像40を用いてぼかし画像50を生成する。制御部10は、例えば、平滑化フィルタの1つである公知の移動平均フィルタを使用して、ぼかし画像50を生成する。ここで行う移動平均フィルタを使用した処理は、注目画素の周辺の画素値の平均値を、注目画素に割り当てる処理であり、画像の濃淡値の変化を滑らかにすることができる。
図4(B)は、図4(A)に示す入力画像40に対してぼかし処理を行ったぼかし画像50を示す。ぼかし画像50は、ぼかし処理を行うことで、入力画像40にノイズがある場合には、ノイズが平滑化される。そのため、ぼかし画像50は、ノイズが消えたような効果を奏する画像になる。
The image generation process shown in FIG. 3 is a process for reducing noise in the input image 40 and generating a more natural output image 60. In the image generation process, for example, the user selects one input image 40 stored in the input image storage unit 23 of the image processing apparatus 1 while executing the image processing program 21a, and instructs the start of the process. To be started.
Here, FIG. 4A is an example of the input image 40. In this example, the input image 40 is an image with a rose flower as a subject, but may be any image.
In step S (hereinafter referred to as “S”) 10 in FIG. 3, the control unit 10 (blurred image generation unit 11) generates a blurred image 50 using the input image 40. The control unit 10 generates the blurred image 50 using, for example, a known moving average filter that is one of smoothing filters. The process using the moving average filter performed here is a process of assigning the average value of the pixel values around the target pixel to the target pixel, and can smooth the change in the gray value of the image.
FIG. 4B shows a blurred image 50 obtained by performing a blurring process on the input image 40 shown in FIG. The blurred image 50 is subjected to a blurring process, and when the input image 40 has noise, the noise is smoothed. Therefore, the blurred image 50 is an image that has the effect of eliminating noise.
図3に戻り、S11において、制御部10(プロセス画像生成部12)は、入力画像40を用いてエッジぼかし画像52を生成する。具体的には、まず、制御部10(プロセス画像生成部12)は、入力画像40に対してエッジ抽出を行って、エッジ抽出画像(図示せず)を生成する。制御部10は、例えば、公知のソーベルフィルタを使用して、エッジ抽出画像を生成する。ここで行うエッジ抽出処理は、画像中の濃淡値が急に変化する部分を、エッジとして取り出す処理である。
次に、制御部10(プロセス画像生成部12)は、生成したエッジ抽出画像に対してぼかし処理を行ってエッジぼかし画像52を生成する。ぼかし処理は、上述のS10と同じ処理である。制御部10は、例えば、公知の移動平均フィルタを使用して、エッジ抽出画像からエッジぼかし画像52を生成する。
Returning to FIG. 3, in S <b> 11, the control unit 10 (process image generation unit 12) generates an edge blurred image 52 using the input image 40. Specifically, first, the control unit 10 (process image generation unit 12) performs edge extraction on the input image 40 to generate an edge extraction image (not shown). The control unit 10 generates an edge extraction image using, for example, a known Sobel filter. The edge extraction processing performed here is processing for extracting, as an edge, a portion where the gray value in the image changes abruptly.
Next, the control unit 10 (process image generation unit 12) performs a blurring process on the generated edge extracted image to generate an edge blurred image 52. The blurring process is the same process as S10 described above. The control unit 10 generates the edge blurred image 52 from the edge extracted image using, for example, a known moving average filter.
なお、ここで生成したエッジぼかし画像52は、出力画像60を生成する際に参照するものである。制御部10は、例えば、入力画像40をダウンサンプリングして、その画像に対して、エッジ抽出処理及びぼかし処理を行い、さらに入力画像40のサイズに復元することで、エッジぼかし画像52を生成してもよい。そのようにすることで、制御部10は、入力画像40に対して直接処理をするよりも、処理効率を向上できる。
図4(C)は、図4(A)に示す入力画像40に対してエッジ抽出処理及びぼかし処理を行ったエッジぼかし画像52を示す。エッジぼかし画像52は、エッジ抽出画像をぼかした画像であるので、エッジとして抽出された領域と、その領域に接した領域との間をなめらかなものにできる。
The edge blurred image 52 generated here is referred to when the output image 60 is generated. For example, the control unit 10 downsamples the input image 40, performs edge extraction processing and blurring processing on the image, and further restores the size of the input image 40 to generate the edge blurring image 52. May be. By doing so, the control unit 10 can improve the processing efficiency rather than directly processing the input image 40.
FIG. 4C shows an edge blurred image 52 obtained by performing edge extraction processing and blurring processing on the input image 40 shown in FIG. Since the edge blurred image 52 is an image obtained by blurring the edge extracted image, the area between the area extracted as the edge and the area in contact with the area can be made smooth.
図3に戻り、S13において、制御部10(ノイズ除去画像生成部13)は、前段ノイズ除去処理を行う。
ここで、前段ノイズ除去処理について、図5に基づき説明する。この前段ノイズ除去処理は、インパルス性ノイズを除去するための処理である。
図5のS20において、制御部10は、入力画像40を構成する画素Pのうち、1つを取得して、注目画素Pa(i,j)にする。
図6に示すように、入力画像40は、左上を画素P(1,1)として、右方向にx個、下方向にy個の画素が配列されたものとして表すことができる。
Returning to FIG. 3, in S <b> 13, the control unit 10 (noise-removed image generation unit 13) performs a pre-stage noise removal process.
Here, the pre-stage noise removal processing will be described with reference to FIG. This pre-stage noise removal process is a process for removing impulsive noise.
In S <b> 20 of FIG. 5, the control unit 10 acquires one of the pixels P constituting the input image 40 and sets it as a target pixel Pa (i, j).
As shown in FIG. 6, the input image 40 can be represented as an array of x pixels in the right direction and y pixels in the downward direction with the pixel P (1, 1) in the upper left.
図5に戻り、S21において、制御部10は、注目画素Pa(i,j)の左右に画素Pがあるか否かを判断する。言い換えると、制御部10は、入力画像40に、画素P(i−1,j)と、画素P(i+1,j)とがあるか否かを判断する。注目画素Pa(i,j)の左右に画素Pがある場合(S21:YES)には、制御部10は、処理をS22に移す。他方、注目画素Pa(i,j)の左右に画素Pがない場合(S21:NO)には、制御部10は、処理をS23に移す。 Returning to FIG. 5, in S <b> 21, the control unit 10 determines whether or not there is a pixel P on the left and right of the pixel of interest Pa (i, j). In other words, the control unit 10 determines whether or not the input image 40 includes the pixel P (i−1, j) and the pixel P (i + 1, j). If there is a pixel P on the left and right of the pixel of interest Pa (i, j) (S21: YES), the control unit 10 moves the process to S22. On the other hand, when there is no pixel P on the left and right of the target pixel Pa (i, j) (S21: NO), the control unit 10 moves the process to S23.
S22において、制御部10は、注目画素Pa(i,j)の信号値算出処理を行う。具体的には、制御部10は、注目画素Pa(i,j)と、注目画素Pa(i,j)の左右の画素P(i−1,j)及び画素P(i+1,j)とを、RGB信号値ごとに比較する。そして、制御部10は、画素P(i−1,j)の信号値M(i−1,j)と、注目画素Pa(i,j)の信号値Ma(i,j)と、画素P(i+1,j)の信号値M(i+1,j)の強度が、凹凸のいずれかの関係になる場合、つまり、注目画素Pa(i,j)の信号値Ma(i,j)が左右の画素Pの信号値Mと比較して共に低いか又は高い場合に、注目画素Pa(i.j)の信号値Ma(i,j)を、左右の画素Pの信号値Mの平均値にする。 In S22, the control unit 10 performs a signal value calculation process for the pixel of interest Pa (i, j). Specifically, the control unit 10 determines the target pixel Pa (i, j), the left and right pixels P (i−1, j) and the pixel P (i + 1, j) of the target pixel Pa (i, j). Compare for each RGB signal value. Then, the control unit 10 determines the signal value M (i−1, j) of the pixel P (i−1, j), the signal value Ma (i, j) of the target pixel Pa (i, j), and the pixel P. In the case where the intensity of the signal value M (i + 1, j) of (i + 1, j) is in any of the unevenness, that is, the signal value Ma (i, j) of the target pixel Pa (i, j) When both are lower or higher than the signal value M of the pixel P, the signal value Ma (i, j) of the target pixel Pa (ij) is set to the average value of the signal values M of the left and right pixels P. .
具体的には、以下の式で、注目画素Pa(i,j)の新たな信号値Ma(i,j)を算出する。
これにより、制御部10は、入力画像40に含まれるインパルス性ノイズを除去できる。ここで、インパルス性ノイズとは、ごま塩ノイズ(salt−and−pepper noise)とも呼ばれる。例えば、デジタルカメラによって撮影されて取得した入力画像40には、撮影時のノイズが入ってしまう場合がある。カメラの撮像素子には、それ以前に撮影した際の残熱(熱雑音)が残る場合があるためである。そのような場合に、入力画像40には、ランダムなノイズが発生する。ランダムなノイズにより、入力画像40には、画素単位で異常な数値を示すものを含む。上述の処理によって、画素単位で異常な数値を示した画素を、平準化できる。そのため、制御部10は、インパルス性ノイズを除去でき、入力画像40に存在したまだらな感じを与えるものが消えた画像にできる。 Thereby, the control unit 10 can remove the impulsive noise included in the input image 40. Here, the impulsive noise is also called salt-and-pepper noise. For example, the input image 40 captured and acquired by a digital camera may contain noise during shooting. This is because residual heat (thermal noise) from previous shooting may remain in the image sensor of the camera. In such a case, random noise is generated in the input image 40. Due to random noise, the input image 40 includes an image that shows an abnormal numerical value in pixel units. Through the above-described processing, pixels that show abnormal numerical values in units of pixels can be leveled. Therefore, the control unit 10 can remove the impulsive noise, and can create an image in which the moist feeling that exists in the input image 40 disappears.
S23において、制御部10は、入力画像40の全ての画素Pについて、注目画素Pa(i,j)にしたか否かを判断する。入力画像40の全ての画素Pについて注目画素Pa(i,j)にした場合(S23:YES)には、制御部10は、処理をS24に移す。他方、入力画像40の全ての画素Pについて注目画素Pa(i,j)にしていない場合(S23:NO)には、処理をS20に戻し、未だ処理をしていない画素Pを注目画素Pa(i,j)にして、以降の処理を繰り返す。
S24において、制御部10は、算出された信号値Maを入力画像40の各画素Pに適用して、処理元画像54を生成し、中間画像記憶部24に記憶させる。その後、制御部10は、本処理を終了し、処理を図3に戻す。
In S <b> 23, the control unit 10 determines whether or not all the pixels P of the input image 40 are the target pixel Pa (i, j). When all the pixels P of the input image 40 are the target pixel Pa (i, j) (S23: YES), the control unit 10 moves the process to S24. On the other hand, when not all the pixels P of the input image 40 are set as the target pixel Pa (i, j) (S23: NO), the process returns to S20, and the pixel P that has not been processed yet is set as the target pixel Pa ( i, j), and the subsequent processing is repeated.
In S <b> 24, the control unit 10 applies the calculated signal value Ma to each pixel P of the input image 40, generates a processing source image 54, and stores it in the intermediate image storage unit 24. Then, the control part 10 complete | finishes this process and returns a process to FIG.
図3に戻り、S13において、制御部10(輝度値算出部14、画像生成部15)は、画像合成処理を行う。
ここで、画像合成処理について、図7に基づき説明する。この画像合成処理は、輝度ムラを除去した画像を生成するための処理である。
図7のS30において、制御部10は、処理元画像54の1つの画素Pを取得し、注目画素Pb(i,j)にする。
Returning to FIG. 3, in S <b> 13, the control unit 10 (the luminance value calculation unit 14 and the image generation unit 15) performs image synthesis processing.
Here, the image composition processing will be described with reference to FIG. This image composition processing is processing for generating an image from which luminance unevenness is removed.
In S30 of FIG. 7, the control unit 10 acquires one pixel P of the processing source image 54 and sets it as the target pixel Pb (i, j).
S31において、制御部10(輝度値算出部14)は、注目画素Pb(i,j)の輝度値Br(i,j)を算出する。
注目画素Pb(i,j)の輝度値Br(i,j)は、例えば、以下の式で算出する。
For example, the luminance value Br (i, j) of the target pixel Pb (i, j) is calculated by the following equation.
この式は、RGB信号値のうちGの輝度値の重み付けを大きくしている。これは、人間の視覚特性を考慮したものである。なお、輝度値Br(i,j)の算出は、上述の式に限定するものではなく、例えば、RGB信号値の各輝度値を平均した値にしてもよい。 This formula increases the weighting of the G luminance value among the RGB signal values. This takes into account human visual characteristics. Note that the calculation of the luminance value Br (i, j) is not limited to the above formula, and may be a value obtained by averaging the luminance values of the RGB signal values, for example.
S32において、制御部10(輝度値算出部14)は、ぼかし画像50のうち、注目画素Pb(i,j)と同位置の画素Pc(i,j)の輝度値BlBr(i,j)を算出する。
画素Pc(i,j)の輝度値BlBr(i,j)は、輝度値Br(i,j)と同様の式で算出する。
S33において、制御部10(輝度値算出部14)は、エッジぼかし画像52のうち、注目画素Pb(i,j)と同位置の画素Pd(i,j)の輝度値Mask(i,j)を抽出し、エッジ信号強度にする。なお、輝度値Mask(i,j)は、0〜255の数値で表される。
In S <b> 32, the control unit 10 (luminance value calculation unit 14) calculates the luminance value BlBr (i, j) of the pixel Pc (i, j) at the same position as the target pixel Pb (i, j) in the blurred image 50. calculate.
The luminance value BlBr (i, j) of the pixel Pc (i, j) is calculated by the same formula as the luminance value Br (i, j).
In S <b> 33, the control unit 10 (luminance value calculation unit 14) determines the luminance value Mask (i, j) of the pixel Pd (i, j) at the same position as the target pixel Pb (i, j) in the edge blurred image 52. Are extracted to obtain edge signal strength. The luminance value Mask (i, j) is represented by a numerical value from 0 to 255.
S34において、制御部10(輝度値算出部14)は、エッジ信号強度を参照して新たな輝度値NBr(i,j)を算出する。
輝度値NBr(i,j)は、例えば、以下の式で算出する。
The luminance value NBr (i, j) is calculated by the following equation, for example.
この式は、エッジぼかし画像52の画素Pdのエッジ信号強度が強ければ、処理元画像54の輝度値が強く反映され、エッジぼかし画像52の画素Pdのエッジ信号強度が弱ければ、ぼかし画像50の輝度値が強く反映されることを示す。なお、図4(C)において、白色の部分は、エッジ信号強度が強く、黒色の部分は、エッジ信号強度が弱い。 This expression reflects the luminance value of the processing source image 54 strongly if the edge signal intensity of the pixel Pd of the edge blurred image 52 is strong, and if the edge signal intensity of the pixel Pd of the edge blurred image 52 is weak, Indicates that the luminance value is strongly reflected. In FIG. 4C, the white portion has a high edge signal intensity, and the black portion has a low edge signal intensity.
S35において、制御部10(画像生成部15)は、新たな輝度値NBr(i,j)に色成分を加えて新たな画素Pn(i,j)を生成する。その際、制御部10は、輝度値NBr(i,j)が、閾値k以上か否かによって、加える色成分を変える。閾値kは、例えば、パラメータにより0〜255までの任意の値にできる。画素Pn(i,j)は、以下の式で算出できる。なお、色成分とは、注目画素Pb(i,j)(又は画素Pc(i,j))のRGB各信号値から輝度値Br(i,j)(又は輝度値BlBr(i,j))を減算したRGB信号値を指す。
この式は、新たな輝度値NBr(i,j)が閾値k以上であれば、新たな輝度値NBr(i,j)に処理元画像54の色成分を加えたものにし、閾値k未満であれば、新たな輝度値NBr(i,j)にぼかし画像50の色成分を加えたものにすることを示す。 This expression is obtained by adding the color component of the processing source image 54 to the new luminance value NBr (i, j) if the new luminance value NBr (i, j) is greater than or equal to the threshold k, and less than the threshold k. If there is, it indicates that the new luminance value NBr (i, j) is added with the color component of the blurred image 50.
S36において、制御部10は、処理元画像54の全ての画素Pについて注目画素Pb(i,j)にしたか否かを判断する。処理元画像54の全ての画素Pについて注目画素Pb(i,j)にした場合(S36:YES)には、制御部10は、処理をS37に移す。他方、処理元画像54の全ての画素Pについて注目画素Pb(i,j)にしていない場合(S36:NO)には、処理をS30に戻し、未だ処理をしていない処理元画像54の画素Pを注目画素Pb(i,j)にして、以降の処理を繰り返す。
S37において、制御部10(画像生成部15)は、生成された新たな画素Pnからなる画像を、出力画像60として生成し、生成画像記憶部25に記憶させる。その後、制御部10は、処理を図3に戻し、その後、本処理を終了する。
In S <b> 36, the control unit 10 determines whether or not all the pixels P of the processing source image 54 have been set as the target pixel Pb (i, j). When the target pixel Pb (i, j) is selected for all the pixels P in the processing source image 54 (S36: YES), the control unit 10 moves the process to S37. On the other hand, when not all the pixels P of the processing source image 54 are set as the target pixel Pb (i, j) (S36: NO), the process returns to S30, and the pixels of the processing source image 54 that have not been processed yet. Subsequent processing is repeated with P as the target pixel Pb (i, j).
In S <b> 37, the control unit 10 (image generation unit 15) generates an image including the generated new pixel Pn as the output image 60 and stores the generated image in the generated image storage unit 25. Then, the control part 10 returns a process to FIG. 3, and complete | finishes this process after that.
このように、本実施形態の画像処理装置1によれば、以下のような効果がある。
(1)エッジぼかし画像52のエッジ信号強度の強い部分に対しては、主に入力画像40(実際は、処理元画像54)の情報を、エッジ信号強度の弱い部分に対しては、主に輝度ムラ(ノイズ)が除去されたぼかし画像50の情報を使うため、その結果として、ノイズ除去と画像の鮮明さを両立させた画像を得ることができる。
また、エッジぼかし画像52は、エッジ抽出画像をぼかした画像であり、エッジ信号強度は0〜255の値が存在し、エッジ信号強度が高ければ、入力画像40(実際は、処理元画像54)の画素値の割合を大きくし、エッジ信号強度が低ければ、ぼかし画像50の画素値の割合を大きくするといったように、エッジ信号強度の値に基づいて画素値の合成割合を可変させながら新たな画素を生成する。そのため、入力画像とぼかし画像の択一選択合成処理と比べ、より自然な風合いの画像を生成できる。
(2)処理元画像54を、入力画像40からインパルス性ノイズを除去した画像にし、これを合成に用いることで、(1)の効果をより高くすることができる。
Thus, according to the image processing apparatus 1 of the present embodiment, the following effects are obtained.
(1) The information of the input image 40 (actually, the processing source image 54) is mainly used for the portion of the edge blurred image 52 where the edge signal strength is strong, and the luminance is mainly used for the portion where the edge signal strength is weak. Since the information of the blurred image 50 from which the unevenness (noise) is removed is used, as a result, it is possible to obtain an image that achieves both noise removal and image clarity.
Further, the edge blurred image 52 is an image obtained by blurring the edge extracted image. If the edge signal intensity has a value of 0 to 255 and the edge signal intensity is high, the input image 40 (actually, the processing source image 54) If the ratio of pixel values is increased and the edge signal intensity is low, the pixel value of the blurred image 50 is increased, so that a new pixel is obtained while varying the composition ratio of the pixel values based on the value of the edge signal intensity. Is generated. Therefore, it is possible to generate an image with a more natural texture as compared with the alternative selection / combination processing of the input image and the blurred image.
(2) The effect of (1) can be further enhanced by making the processing source image 54 an image obtained by removing impulsive noise from the input image 40 and using it for synthesis.
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。 As mentioned above, although embodiment of this invention was described, this invention is not limited to embodiment mentioned above. In addition, the effects described in the embodiments are merely a list of the most preferable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the embodiments. In addition, although embodiment mentioned above and the deformation | transformation form mentioned later can also be used in combination suitably, detailed description is abbreviate | omitted.
(変形形態)
(1)本実施形態では、ぼかし処理については、公知の移動平均フィルタを用い、エッジ抽出処理については、公知のソーベルフィルタを用いるものを説明したが、これに限定されない。ぼかし画像及びエッジ抽出画像を生成できれば、どのような画像処理技術を用いてもよく、例えば、エッジ検出処理については、ラプラシアンフィルタであってもよい。
(2)本実施形態では、新たな輝度値を算出して、算出した新たな輝度値に対して、処理元画像又はぼかし画像の色成分を加えたものを新たな画素にする例を説明したが、これに限定されない。例えば、新たな輝度値をα値として、処理元画像とぼかし画像とのアルファブレンドを行ってもよい。そのようにしても、画像のノイズを除去し、かつ、輝度ムラのない自然な風合いの画像を生成できる。
(Deformation)
(1) In the present embodiment, a known moving average filter is used for the blurring process and a known Sobel filter is used for the edge extraction process. However, the present invention is not limited to this. Any image processing technique may be used as long as the blurred image and the edge extracted image can be generated. For example, the edge detection process may be a Laplacian filter.
(2) In the present embodiment, an example has been described in which a new luminance value is calculated and a new pixel obtained by adding the color component of the processing source image or the blurred image to the calculated new luminance value. However, it is not limited to this. For example, alpha blending of the processing source image and the blurred image may be performed with the new luminance value as the α value. Even if it does in that way, the noise of an image can be removed and the image of the natural texture without a brightness nonuniformity can be produced | generated.
1 画像処理装置
10 制御部
11 ぼかし画像生成部
12 プロセス画像生成部
13 ノイズ除去画像生成部
14 輝度値算出部
15 画像生成部
20 記憶部
21a 画像処理プログラム
40 入力画像
50 ぼかし画像
52 エッジぼかし画像
54 処理元画像
60 出力画像
Br 輝度値
BlBr 輝度値
k 閾値
M,Ma 信号値
Mask 輝度値
NBr 輝度値
P,Pc、Pd 画素
Pa,Pb 注目画素
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 10 Control part 11 Blur image generation part 12 Process image generation part 13 Noise removal image generation part 14 Luminance value calculation part 15 Image generation part 20 Storage part 21a Image processing program 40 Input image 50 Blur image 52 Edge blur image 54 Source image 60 Output image Br Luminance value BlBr Luminance value k Threshold value M, Ma Signal value Mask Luminance value NBr Luminance value P, Pc, Pd Pixel Pa, Pb Target pixel
Claims (7)
前記入力画像に対してエッジ抽出を行ってエッジ抽出画像を生成後に、前記エッジ抽出画像に対してぼかし処理を行ってエッジぼかし画像を生成するプロセス画像生成手段と、
前記プロセス画像生成手段により生成された前記エッジぼかし画像の画素値に基づいて、前記入力画像と前記ぼかし画像とを合成して、新たな画像を生成する画像生成手段と、
を備えた画像処理装置。 A blurred image generation means for performing a blurring process on the input image to generate a blurred image;
Process image generation means for performing edge extraction on the input image to generate an edge extraction image, and then performing blur processing on the edge extraction image to generate an edge blur image;
Based on the pixel value of the edge blurred image generated by the process image generating unit, the input image and the blurred image are combined to generate a new image, and
An image processing apparatus.
前記入力画像に対してノイズを除去したノイズ除去画像を生成するノイズ除去画像生成手段を備え、
前記画像生成手段は、前記ノイズ除去画像と前記ぼかし画像とを合成して、新たな画像を生成すること、
を特徴とする画像処理装置。 The image processing apparatus according to claim 1.
A noise-removed image generating means for generating a noise-removed image obtained by removing noise from the input image;
The image generation means combines the noise-removed image and the blurred image to generate a new image;
An image processing apparatus.
前記画像生成手段は、前記エッジぼかし画像の輝度値に基づいて、新たな画像を生成すること、
を特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The image generation means generates a new image based on a luminance value of the edge blurred image;
An image processing apparatus.
各画素に対して前記エッジぼかし画像の輝度値に基づいて、前記入力画像の輝度値と前記ぼかし画像の輝度値とを用いた新たな輝度値を算出する輝度値算出手段を備え、
前記画像生成手段は、算出した新たな輝度値に基づいて、前記入力画像の色成分及び前記ぼかし画像の色成分の少なくとも一方の色成分を用いた新たな画像を生成すること、
を特徴とする画像処理装置。 In the image processing device according to any one of claims 1 to 3,
Luminance value calculation means for calculating a new luminance value using the luminance value of the input image and the luminance value of the blurred image based on the luminance value of the edge blurred image for each pixel,
The image generating means generates a new image using at least one of the color component of the input image and the color component of the blurred image based on the calculated new luminance value;
An image processing apparatus.
前記画像生成手段は、算出した新たな輝度値の閾値に基づいて、前記入力画像の色成分又は前記ぼかし画像の色成分のいずれか一方を選択し、前記新たな輝度値に、選択した画素の色成分を付与することで、新たな画像を生成すること、
を特徴とする画像処理装置。 The image processing apparatus according to claim 4.
The image generation unit selects either the color component of the input image or the color component of the blurred image based on the calculated threshold value of the new brightness value, and sets the new brightness value of the selected pixel. Creating new images by adding color components,
An image processing apparatus.
前記入力画像に対してエッジ抽出を行ってエッジ抽出画像を生成後に、前記エッジ抽出画像に対してぼかし処理を行ってエッジぼかし画像を生成し、
生成された前記エッジぼかし画像の画素値に基づいて、前記入力画像と生成された前記ぼかし画像とを合成して新たな画像を生成する、
画像処理方法。 Blur the input image to generate a blurred image,
After performing edge extraction on the input image to generate an edge extracted image, blur processing is performed on the edge extracted image to generate an edge blurred image,
Based on the pixel value of the generated edge blurred image, the input image and the generated blurred image are combined to generate a new image.
Image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155188A JP6631076B2 (en) | 2015-08-05 | 2015-08-05 | Image processing apparatus, program, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155188A JP6631076B2 (en) | 2015-08-05 | 2015-08-05 | Image processing apparatus, program, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017033448A true JP2017033448A (en) | 2017-02-09 |
JP6631076B2 JP6631076B2 (en) | 2020-01-15 |
Family
ID=57988286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015155188A Active JP6631076B2 (en) | 2015-08-05 | 2015-08-05 | Image processing apparatus, program, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6631076B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023026543A1 (en) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112188178B (en) * | 2020-09-30 | 2022-02-22 | Tcl华星光电技术有限公司 | Image display method and image display device |
-
2015
- 2015-08-05 JP JP2015155188A patent/JP6631076B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023026543A1 (en) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6631076B2 (en) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014169579A1 (en) | Color enhancement method and device | |
JP5609080B2 (en) | Image processing apparatus, image display apparatus, image processing program, and image processing method | |
JP5095638B2 (en) | Method and apparatus for diffusion-based image relighting | |
JP6259062B2 (en) | Image processing apparatus, image processing method, and program | |
WO2023030139A1 (en) | Image fusion method, electronic device, and storage medium | |
JPWO2017169039A1 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
CN107564085B (en) | Image warping processing method and device, computing equipment and computer storage medium | |
JP6737108B2 (en) | IMAGE CORRECTION DEVICE, IMAGE CORRECTION METHOD, AND IMAGE CORRECTION COMPUTER PROGRAM | |
JP2019079114A (en) | Image processing device, image processing method, and program | |
JP6631076B2 (en) | Image processing apparatus, program, and image processing method | |
CN110689486A (en) | Image processing method, device, equipment and computer storage medium | |
JP2017111595A (en) | Image processing device, image processing method, image processing program and image processing system | |
WO2017175452A1 (en) | Image processing device, image pickup device, image processing method, and program | |
JP2010016470A (en) | Image restoration method, image restoration program and image restoration apparatus | |
JP5302158B2 (en) | Image signal processing apparatus, image signal processing program, and image signal processing method | |
JPWO2015146240A1 (en) | Image processing device | |
JPWO2016084253A1 (en) | Image processing apparatus and image processing method | |
JP7365206B2 (en) | Image processing device, image processing method, and program | |
JP2015075794A (en) | Image processor and program | |
JP2015076676A (en) | Image processing apparatus, image processing method, and program | |
JP5863236B2 (en) | Image processing apparatus and image processing method | |
JP2020181399A (en) | Image processor and control method thereof and program | |
JP2021082211A (en) | Image processing system, image processing method, and program | |
JP2010009468A (en) | Image quality enhancing device, method and program | |
JP7458857B2 (en) | Image processing device, image processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6631076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |