JP6906576B2 - Image processing equipment, image processing methods and in-vehicle equipment - Google Patents
Image processing equipment, image processing methods and in-vehicle equipment Download PDFInfo
- Publication number
- JP6906576B2 JP6906576B2 JP2019160583A JP2019160583A JP6906576B2 JP 6906576 B2 JP6906576 B2 JP 6906576B2 JP 2019160583 A JP2019160583 A JP 2019160583A JP 2019160583 A JP2019160583 A JP 2019160583A JP 6906576 B2 JP6906576 B2 JP 6906576B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- viewpoint
- unit
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 239000002131 composite material Substances 0.000 claims description 99
- 238000000034 method Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 238000007726 management method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000002194 synthesizing effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000013144 data compression Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、画像処理装置、画像処理方法および車載装置に関する。 The present invention relates to an image processing device, an image processing method, and an in-vehicle device.
従来、車両の所定位置に設置された撮像手段によって撮像した車両の周辺画像に基づいて仮想視点から見た画像である仮想視点画像を生成し、かかる仮想視点画像を表示手段に表示する技術が知られている(例えば、特許文献1参照)。 Conventionally, there is a technique known for generating a virtual viewpoint image which is an image viewed from a virtual viewpoint based on a peripheral image of the vehicle captured by an imaging means installed at a predetermined position of the vehicle and displaying the virtual viewpoint image on the display means. (See, for example, Patent Document 1).
しかしながら、従来技術においては仮想視点画像のみを表示するものであり、仮想視点画像を用いた表示をより適切に行うことができれば、より利便性が増し望ましいと考えられる。 However, in the prior art, only the virtual viewpoint image is displayed, and it is considered desirable to increase the convenience if the display using the virtual viewpoint image can be performed more appropriately.
本発明は、上記に鑑みてなされたものであって、仮想視点画像を用いた表示をより適切に行うことができる画像処理装置、画像処理方法および車載装置を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an image processing device, an image processing method, and an in-vehicle device capable of more appropriately displaying a virtual viewpoint image.
上記課題を解決し、目的を達成するために、本発明は、画像処理装置において、撮像部の撮像画像に基づき、仮想視点の画像を生成する画像生成部と、前記仮想視点の画像上に合成用画像を表示した画像を生成する画像処理部とを備え、前記画像処理部は、前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記合成用画像の透明度を高めた前記仮想視点の画像を表示部に出力することを特徴とする。 In order to solve the above problems and achieve the object, the present invention synthesizes an image generating unit that generates an image of a virtual viewpoint based on an image captured by the imaging unit and an image of the virtual viewpoint in an image processing apparatus. The image processing unit includes an image processing unit that generates an image displaying the image for use, and when the image of the virtual viewpoint is an image of the viewpoint position during movement of the virtual viewpoint, the image processing unit determines the transparency of the composite image. It is characterized in that the enhanced image of the virtual viewpoint is output to the display unit.
本発明によれば、仮想視点画像を用いた表示をより適切に行うことができる画像処理装置、画像処理方法および車載装置を提供することができる。 According to the present invention, it is possible to provide an image processing device, an image processing method, and an in-vehicle device capable of more appropriately displaying a virtual viewpoint image.
以下に、本発明に係る画像処理装置、画像処理方法および車載装置の実施形態を図面に基づいて詳細に説明する。 Hereinafter, embodiments of an image processing device, an image processing method, and an in-vehicle device according to the present invention will be described in detail with reference to the drawings.
[1.画像処理方法]
図1は、本発明の実施形態に係る画像処理方法を示す説明図であり、かかる画像処理方法は、例えば、車両に搭載される車両用画像処理装置(以下、画像処理装置と記載する)によって実行される。
[1. Image processing method]
FIG. 1 is an explanatory diagram showing an image processing method according to an embodiment of the present invention, and the image processing method is, for example, by a vehicle image processing device (hereinafter, referred to as an image processing device) mounted on a vehicle. Will be executed.
本実施形態に係る画像処理装置は、車両の所定位置に設置され車両の周辺を撮像する不図示の撮像装置(撮像部の一例)によって撮像された画像(以下、撮像画像と記載する)に基づき、図1(a)に示すように、仮想視点から見た画像(以下、仮想視点画像と記載する)を生成する。 The image processing device according to the present embodiment is based on an image (hereinafter referred to as an captured image) captured by an imaging device (an example of an imaging unit) (not shown) that is installed at a predetermined position of the vehicle and images the periphery of the vehicle. , As shown in FIG. 1A, an image viewed from a virtual viewpoint (hereinafter referred to as a virtual viewpoint image) is generated.
さらに、画像処理装置は、仮想視点画像に合成用画像を合成した合成画像を生成し、かかる合成画像を表示装置(表示部の一例)へ出力することによって、仮想視点画像上に合成用画像を表示した画像を表示装置へ表示する。 Further, the image processing device generates a composite image in which the composite image is combined with the virtual viewpoint image, and outputs the composite image to the display device (an example of the display unit) to display the composite image on the virtual viewpoint image. The displayed image is displayed on the display device.
合成用画像は、運転を支援するための指標となる画像であり、例えば、ガイド線の画像、警告画像および駐車スペースを示す画像などである。かかる合成用画像は、例えば、画像生成装置(図示せず)によって生成され、画像処理装置へ出力される。 The composite image is an image that serves as an index for supporting driving, and is, for example, a guide line image, a warning image, an image showing a parking space, and the like. Such a composite image is generated by, for example, an image generation device (not shown) and output to an image processing device.
ガイド線は、例えば、車両に設けられた舵角センサ(図示せず)によって検出された舵角などに基づいて予測された車両の走行軌跡を示すガイド線の画像である。警告画像は、例えば、車両の後方に障害物が存在する場合にかかる障害物の位置を報知するための画像であり、例えば、障害物を囲む囲い線の画像である。なお、仮想視点に応じてガイド線、障害物および駐車スペースの位置が変わることから、画像生成装置は、仮想視点に応じた合成用画像を生成する。 The guide line is, for example, an image of a guide line showing a traveling locus of the vehicle predicted based on a steering angle detected by a steering angle sensor (not shown) provided in the vehicle. The warning image is, for example, an image for notifying the position of an obstacle when an obstacle is present behind the vehicle, and is, for example, an image of an enclosure line surrounding the obstacle. Since the positions of the guide line, the obstacle, and the parking space change according to the virtual viewpoint, the image generation device generates a composite image according to the virtual viewpoint.
画像処理装置は、仮想視点の視点位置が移動中の仮想視点画像に合成用画像を合成する場合、仮想視点画像と合成用画像とが共に視点位置が連続して変化しながら表示されることになる。そのため、車両の乗員は、仮想視点画像および合成用画像の変化をそれぞれ視認しなければならず、画像の把握が難しくなるおそれがあり、また、距離感などの把握も難しくなるおそれがある。 When the image processing device synthesizes a composite image with a virtual viewpoint image in which the viewpoint position of the virtual viewpoint is moving, both the virtual viewpoint image and the composite image are displayed while the viewpoint position continuously changes. Become. Therefore, the occupant of the vehicle must visually recognize the changes in the virtual viewpoint image and the composite image, which may make it difficult to grasp the images, and may also make it difficult to grasp the sense of distance.
そこで、画像処理装置は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成用画像の視認性を低下させる処理を行うようにしている。これにより、車両の乗員は、画像や距離感などの把握を容易に行うことができる。 Therefore, when the virtual viewpoint image is an image of the viewpoint position during movement of the virtual viewpoint, the image processing device performs a process of reducing the visibility of the composite image. As a result, the occupant of the vehicle can easily grasp the image, the sense of distance, and the like.
例えば、画像処理装置は、図1(b)に示すように、仮想視点画像が仮想視点の移動前後の視点位置A、Bの画像である場合、仮想視点画像上に合成用画像が表示された画像を表示装置に出力する一方で、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、仮想視点画像上に合成用画像が表示されていない画像を表示装置に出力する。 For example, in the image processing device, as shown in FIG. 1B, when the virtual viewpoint image is an image of the viewpoint positions A and B before and after the movement of the virtual viewpoint, the composite image is displayed on the virtual viewpoint image. While the image is output to the display device, when the virtual viewpoint image is an image of the viewpoint position during movement of the virtual viewpoint, an image in which the composite image is not displayed on the virtual viewpoint image is output to the display device.
なお、合成用画像の視認性を低下させる処理は、合成用画像を合成せずに仮想視点画像を表示装置へ出力して合成用画像の視認性をゼロにする処理に限定されない。例えば、合成用画像の視認性を低下させる処理には、合成用画像の透過度を高めて仮想視点画像に合成した画像を表示装置へ出力する処理などがある。なお、以下においては、合成用画像を合成せずに仮想視点画像を表示装置へ出力する処理の例について詳細に説明する。 The process of reducing the visibility of the composite image is not limited to the process of outputting the virtual viewpoint image to the display device without synthesizing the composite image to make the visibility of the composite image zero. For example, as a process of reducing the visibility of the composite image, there is a process of increasing the transparency of the composite image and outputting the composite image to the virtual viewpoint image to the display device. In the following, an example of a process of outputting a virtual viewpoint image to a display device without synthesizing a composite image will be described in detail.
[2.車載装置の構成]
図2は、本発明の実施形態に係る車載装置の構成例を示す図である。図2に示すように、車載装置100は、撮像装置1(撮像部の一例)と、画像制御装置2と、画像処理装置3と、表示装置4(表示部の一例)とを備える。なお、画像処理装置3は、例えば、画像制御装置2および表示装置4の少なくとも一つを含む構成であってもよい。
[2. In-vehicle device configuration]
FIG. 2 is a diagram showing a configuration example of an in-vehicle device according to an embodiment of the present invention. As shown in FIG. 2, the in-
撮像装置1は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備え、かかる撮像素子によって撮像した動画像である撮像画像を画像処理装置3へ出力する。かかる撮像装置1は、例えば、図3に示すように、車両5の後方部に配置され、車両5の後方を撮像する。図3は、撮像装置1の配置例を示す図である。なお、撮像装置1の配置および撮像装置1の数は、図3に示す例に限定されない。
The
画像制御装置2は、合成用画像生成部6と、画像制御部7と、操作部8とを備える。合成用画像生成部6は、仮想視点画像にクロマキー合成を行うための合成用画像を生成して出力する。かかる合成用画像は、運転を支援するための指標となる画像であり、例えば、ガイド線の画像や警告画像である。
The image control device 2 includes a composition
合成用画像生成部6は、例えば、ガイド線の画像を生成する場合、車両に設けられた舵角センサ(図示せず)によって検出された舵角の情報などを取得し、かかる舵角などに基づいて車両の走行軌跡を予測する。合成用画像生成部6は、予測した走行軌跡を示すガイド線の画像を生成する。
For example, when generating an image of a guide line, the composite
また、合成用画像生成部6は、例えば、警告画像を生成する場合、撮像装置1の撮像画像を解析し、車両の後方に存在する障害物を検出する。合成用画像生成部6は、車両の乗員に対し障害物の存在を報知するための警告画像を生成する。かかる警告画像は、例えば、障害物の位置を報知する画像であり、障害物を囲む囲い線の画像である。
Further, for example, when generating a warning image, the composite
画像制御部7は、例えば、操作部8への入力操作などに基づき、画像処理装置3や合成用画像生成部6を制御する。画像制御部7は、操作部8への入力操作などにより仮想視点の変更要求がある場合、仮想視点の変更処理を行う。
The image control unit 7 controls the
例えば、画像制御部7は、現在の仮想視点の視点位置(以下、視点位置Aと記載する)から変更先の視点位置(以下、視点位置Bと記載する)への変更要求がある場合、視点位置Bの情報を合成用画像生成部6や画像処理装置3へ出力する。
For example, when the image control unit 7 requests a change from the viewpoint position of the current virtual viewpoint (hereinafter referred to as the viewpoint position A) to the change destination viewpoint position (hereinafter referred to as the viewpoint position B), the viewpoint The information of the position B is output to the
合成用画像生成部6は、画像制御部7から出力される視点位置Bの情報に基づき、視点位置Bに応じた合成用画像を生成し、画像処理装置3へ出力する。また、画像処理装置3は、画像制御装置2から出力される視点位置Bの情報に基づき、かかる視点位置Bまでの連続する視点位置から見た画像である仮想視点画像を生成する。
The compositing
画像処理装置3は、撮像装置1から撮像画像を取得すると共に、画像制御装置2から合成用画像を取得する。画像処理装置3は、取得した撮像画像に基づき、仮想視点の画像(以下、仮想視点画像と記載する)を生成し、かかる仮想視点画像と合成用画像とをクロマキー合成し、生成した合成画像を表示装置4へ出力する。
The
表示装置4は、LCD(Liquid Crystal Display)を備え、画像処理装置3から取得した合成画像や仮想視点画像のデータに基づき、合成画像や仮想視点画像を表示する。
The display device 4 includes an LCD (Liquid Crystal Display) and displays a composite image or a virtual viewpoint image based on the data of the composite image or the virtual viewpoint image acquired from the
[3.画像処理装置3の構成]
画像処理装置3は、図2に示すように、画像生成部11と、画像処理部12と、動作管理部13とを備える。なお、動作管理部13は、画像生成部11や画像処理部12にそれぞれ設けられてもよい。
[3. Configuration of image processing device 3]
As shown in FIG. 2, the
画像生成部11は、撮像装置1から出力される撮像画像に対して座標変換処理を行って仮想視点から見た画像である仮想視点画像を生成し、画像処理部12へ出力する。画像処理部12は、画像制御装置2から出力される合成用画像を取得し、かかる合成用画像を仮想視点画像に合成して表示装置4へ出力する。動作管理部13は、画像生成部11および画像処理部12の動作を管理する。
The
かかる画像処理装置3は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されるデバイスである。また、画像処理装置3は、CPUやMPU等のプロセッサと、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子などの記憶部を備え、プロセッサが記憶部に記憶されたプログラムを実行することにより上述した各部位の機能を実現する構成であってもよい。
The
画像生成部11は、撮像画像取得部21と、仮想視点画像生成部22とを備える。撮像画像取得部21は、撮像装置1から出力される撮像画像を取得する。撮像装置1は、例えば、RGB信号やコンポーネント信号などの映像信号により撮像画像のデータ(以下、撮像画像データと記載する)を画像処理装置3へ出力する。
The
撮像画像取得部21は、撮像装置1から撮像画像データを取得すると、取得した撮像画像データを仮想視点画像生成部22へ出力する。撮像画像データは、撮像装置1によって撮像される動画像の各フレームの画像に対応するデータであり、撮像画像取得部21から撮像動画像のフレーム単位で順次仮想視点画像生成部22へ出力される。
When the captured
仮想視点画像生成部22は、撮像画像に対して座標変換処理を行って仮想視点から見た画像である仮想視点画像を生成し、かかる仮想視点画像のデータ(以下、仮想視点画像データと記載する)を合成部35へ出力する。
The virtual viewpoint
かかる座標変換処理において、仮想視点画像生成部22は、例えば、撮像画像を所定の投影面に投影(マッピング)し、所定の投影面に投影された撮像画像のうち仮想視点から見て所定の視野角に含まれる領域の画像を仮想視点画像とする。
In such a coordinate conversion process, the virtual viewpoint
なお、所定の投影面は、例えば、仮想的な3次元空間における立体的な曲面であってもよく、図1(a)に示す路面であってもよい。また、所定の投影面への撮像画像の投影は、例えば、撮像装置1を原点座標とする撮像画像の座標を、投影面を基準とする座標系へ変換することによって行うことができる。
The predetermined projection surface may be, for example, a three-dimensional curved surface in a virtual three-dimensional space, or the road surface shown in FIG. 1A. Further, the projection of the captured image on the predetermined projection surface can be performed, for example, by converting the coordinates of the captured image with the
画像処理部12は、合成用画像取得部31と、圧縮部32と、記憶部33と、伸張部34と、合成部35と、画質調整処理部36と、画像出力部37とを備える。
The
合成用画像取得部31は、画像制御装置2から出力される合成用画像を取得する。画像制御装置2は、例えば、RGB信号やコンポーネント信号などの映像信号により合成用画像のデータ(以下、合成用画像データと記載する)を画像処理装置3へ出力する。合成用画像取得部31は、画像制御装置2から合成用画像データを取得すると、取得した合成用画像データを圧縮部32へ出力する。
The compositing
圧縮部32は、所定の圧縮処理によって合成用画像データを圧縮し、圧縮した合成用画像データ(以下、圧縮画像データと記載する)を記憶部33に記憶する。例えば、圧縮部32は、合成用画像データが予め指定された色が使用されている場合、CLUT(Color Look-Up Table)を用いることでデータ圧縮を行うことができ、また、このように圧縮したデータをランレングス法によってさらに圧縮することができる。なお、CLUTおよびランレングス法は一例であり、その他の圧縮処理を行ってもよい。
The
伸張部34は、記憶部33に記憶された圧縮画像データを合成用画像データへ伸張する処理を行う。例えば、伸張部34は、記憶部33に記憶された圧縮画像データをランレングス法によって逆変換を行い、さらに、CLUTによって逆変換を行うことによって圧縮画像データを合成用画像データへ伸張する処理を行う。
The stretching
合成部35は、画像生成部11から取得した仮想視点画像データと伸張部34から取得した合成用画像データとに基づき、仮想視点画像上に合成用画像をクロマキー合成した合成画像のデータ(以下、合成画像データと記載する)を生成する。合成部35は、例えば、合成用画像を構成する複数の画素のうち予め指定された色(例えば、青色)の画素の色を透過色にした後、かかる合成用画像を仮想視点画像上に合成する。
The
かかる合成部35は、例えば、動作管理部13からの要求に応じて、仮想視点画像と合成用画像とを合成する合成機能をONにしたり、合成機能をOFFしたりする。合成部35は、合成機能がONである場合、仮想視点画像に合成用画像を合成し、合成機能がOFFである場合、仮想視点画像と合成用画像との合成を行わずに、画像生成部11から取得した仮想視点画像データを画質調整処理部36へ出力する。
The
図4は、合成用画像をガイド線の画像とした場合の合成部35によって行われる合成処理の説明図である。図4に示す例では、合成部35は、仮想視点画像にガイド線の画像を合成した合成画像を生成する。かかる合成画像によって、車両の乗員は、ガイド線が重畳された仮想視点画像を見ることができ、運転をより適切に行うことが可能となる。
FIG. 4 is an explanatory diagram of the compositing process performed by the
画質調整処理部36は、合成部35から出力される画像の画質を調整する処理を行い、かかる画質調整処理後の画像のデータを画像出力部37へ出力する。画像出力部37は、画質調整処理部36からの画像のデータを表示装置4によって受信可能な映像信号のフォーマットへ変換して表示装置4へ出力する。
The image quality
動作管理部13は、画像制御装置2から出力される移動先の視点位置Bの情報に基づいて、移動後の視点位置Bまでの連続する視点位置(以下、C1〜Cnと記載する。nは自然数)を画像生成部11へ出力する。これにより、画像生成部11は、移動前の視点位置Aから移動後の視点位置Bまでの間で連続する視点位置C1〜Cn(以下、視点位置Cと総称する場合がある)の仮想視点画像を順次生成して出力する。
The operation management unit 13 describes continuous viewpoint positions (hereinafter, C 1 to C n) up to the viewpoint position B after movement based on the information of the viewpoint position B of the movement destination output from the image control device 2. n is a natural number) is output to the
図5は、視点位置Aから視点位置Bにかけて視点位置が連続的に移動する場合の各視点位置A、C1〜Cn、Bの説明図であり、視点位置C1〜CnのうちCn/3、C2n/3のみを便宜的に示している。また、図5に示す例では、視点位置Aから視点位置Bへ向かうほど視点位置の高さが高くなる。 FIG. 5 is an explanatory diagram of the viewpoint positions A, C 1 to C n , and B when the viewpoint position continuously moves from the viewpoint position A to the viewpoint position B, and C of the viewpoint positions C 1 to C n . Only n / 3 and C 2n / 3 are shown for convenience. Further, in the example shown in FIG. 5, the height of the viewpoint position increases from the viewpoint position A toward the viewpoint position B.
なお、視点位置A、B間の視点位置Cの数は、視点位置A、B間で連続して移動する視点位置の仮想視点画像を車両の乗員が例えばシームレスに視認できるような数であるが、コマ送り的に視認されるような数であってもよい。 The number of viewpoint positions C between the viewpoint positions A and B is such that the occupant of the vehicle can seamlessly visually recognize the virtual viewpoint image of the viewpoint position that continuously moves between the viewpoint positions A and B, for example. , The number may be such that it can be visually recognized frame by frame.
図2に戻って、動作管理部13の説明を続ける。動作管理部13は、画像処理部12から仮想視点画像上に合成用画像が表示された画像を表示装置4へ出力させるか画像処理部12から合成用画像が非表示の仮想視点画像を表示装置4へ出力させるかを制御することができる。
Returning to FIG. 2, the description of the
動作管理部13は、画像生成部11から視点位置A、Bの仮想視点画像が出力される場合、かかる仮想視点画像に合成用画像を合成した画像を画像処理部12に生成させて出力させる。一方、動作管理部13は、画像生成部11から視点位置Cの仮想視点画像が出力される場合には、合成用画像を合成していない仮想視点画像を画像処理部12から表示装置4へ出力させる。
When the virtual viewpoint images of the viewpoint positions A and B are output from the
図6は、仮想視点が視点位置Aから視点位置Bまで移動する場合における画像処理部12による処理内容を示す説明図であり、垂直同期信号、仮想視点画像の視点位置、および、合成部35による合成機能のON/OFFの対応が示されている。
FIG. 6 is an explanatory diagram showing the processing contents by the
なお、図6においては、時刻t2よりも前に、画像制御装置2から移動先の視点位置Bの情報を取得し、かかる情報に基づき、動作管理部13が時刻t2から視点位置を変更する例を示している。また、図6に示す垂直同期信号は、画像のフレーム単位の区切りを示すために便宜的に示されるものである。
In FIG. 6, an example in which the information of the viewpoint position B of the movement destination is acquired from the image control device 2 before the time t2, and the
図6に示すように、動作管理部13は、時刻t2までは、移動前の視点位置Aの仮想視点画像を画像生成部11に生成させ、視点位置Aの仮想視点画像に視点位置Aに対応する合成用画像を合成した合成画像を画像処理部12に生成させ出力させる。
As shown in FIG. 6, the
その後、動作管理部13は、時刻t2からt8まで、移動中の視点位置C1〜C6の仮想視点画像を画像生成部11に生成させ、合成用画像と合成しない視点位置C1〜C6の仮想視点画像を画像処理部12から出力させる。なお、図6に示す例では、1フレーム毎に視点が変わる例を示しているが、複数フレーム単位で視点が変わるようにしてもよい。
Then, the
画像処理部12は、動作管理部13からの制御に基づき、時刻t2からt8までの間、伸張部34による伸張処理および合成部35による合成処理を停止させ、視点位置C1〜C6の仮想視点画像を合成部35からそのまま画質調整処理部36へ出力させる。これにより、合成用画像と非合成の視点位置C1〜C6の仮想視点画像が画像処理部12から出力される。
The
その後、動作管理部13は、時刻t8になると、移動停止後の視点位置Bの仮想視点画像を画像生成部11に生成させて画像処理部12へ出力させ、視点位置Bの仮想視点画像に視点位置Bに応じた合成用画像を合成した合成画像を画像処理部12に生成させて表示装置4へ出力させる。
After that, at time t8, the
視点位置Bに応じた合成用画像は、時刻t8よりも前(例えば、時刻t2の前または時刻t3の前)に、画像制御装置2によって生成され画像処理装置3へ出力される。動作管理部13は、画像処理部12を制御し、画像制御装置2から出力される視点位置Bに応じた合成用画像のデータ圧縮後に記憶部33に記憶させておく。
The composite image corresponding to the viewpoint position B is generated by the image control device 2 and output to the
そして、動作管理部13は、伸張部34によって記憶部33に記憶された圧縮画像データを伸張させ伸張部34から合成部35へ出力させ、時刻t8において、視点位置Bの仮想視点画像に視点位置Bに応じた合成用画像を合成部35に合成させる。これにより、視点位置Bの仮想視点画像に視点位置Bに応じた合成用画像を合成した合成画像を画像処理部12から出力させることができる。
Then, the
なお、画像処理部12は、各視点位置に応じた合成用画像を予め画像制御装置2から取得し記憶部33に記憶することもできる。この場合、動作管理部13は、仮想視点画像の視点位置に応じた合成用画像を記憶部33から取得し伸張部34に伸張させて合成部35へ出力させることができる。
The
このように、画像処理部12は、仮想視点画像が仮想視点の移動前後の視点位置の画像である場合、合成画像を表示装置4に表示し、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成画像に代えて仮想視点画像を表示装置4に表示する。これにより、車両の乗員は、仮想視点が移動中である場合の仮想視点画像および合成用画像をそれぞれ視認しなくてよいため、表示装置4に表示される仮想視点画像に基づいて距離感などの把握を容易に行うことができる。
As described above, when the virtual viewpoint image is an image of the viewpoint position before and after the movement of the virtual viewpoint, the
また、画像処理部12は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、仮想視点画像と合成用画像との合成を停止することから、処理負荷を軽減することができる。
Further, when the virtual viewpoint image is an image of the viewpoint position during movement of the virtual viewpoint, the
また、画像処理部12は、合成用画像として仮想視点に応じた画像を仮想視点の画像に合成する。そのため、共に視点位置が連続して変化する仮想視点画像と合成用画像とを同時に視認しなくてよいため、例えば、仮想視点画像から距離感などの把握しやすくなる。
Further, the
なお、上述した例では、合成用画像は、仮想視点の視点位置に応じた画像であるものとして説明したが、仮想視点の視点位置に応じて合成用画像が連続して変化しなくてもよい。このような場合であっても、視点位置が連続して変化する仮想視点画像に合成用画像を合成しないことによって、視認性が向上することから、仮想視点画像を用いた表示をより適切に行うことができる。 In the above-mentioned example, the composite image is described as an image corresponding to the viewpoint position of the virtual viewpoint, but the composite image does not have to be continuously changed according to the viewpoint position of the virtual viewpoint. .. Even in such a case, the visibility is improved by not synthesizing the composite image with the virtual viewpoint image whose viewpoint position changes continuously, so that the display using the virtual viewpoint image is performed more appropriately. be able to.
[4.画像処理装置3の画像処理]
次に、図7を参照して画像処理装置3によって実行される画像処理について説明する。図7は、画像処理装置3が実行する画像処理手順を示すフローチャートである。
[4. Image processing of image processing device 3]
Next, the image processing executed by the
図7に示すように、画像処理装置3の画像生成部11および画像処理部12は、画像取得処理を行う(ステップS1)。かかる処理において、画像生成部11は、撮像装置1から撮像画像を取得し、画像処理部12は、画像制御装置2から合成用画像を取得して記憶する。
As shown in FIG. 7, the
次に、画像生成部11は、ステップS1において取得した撮像画像を座標変換処理によって仮想視点画像へ変換する(ステップS2)。また、動作管理部13は、仮想視点の視点位置が移動中であるか否かを判定する(ステップS3)。
Next, the
ステップS3において、仮想視点の視点位置が移動中でないと判定された場合(ステップS3;No)、画像処理部12は、ステップS1において記憶した合成用画像を取得し(ステップS4)、合成処理を行う(ステップS5)。かかる合成処理は、ステップS2において生成した仮想視点画像にステップS4で取得した合成用画像を合成することによって行う。
When it is determined in step S3 that the viewpoint position of the virtual viewpoint is not moving (step S3; No), the
ステップS3において、仮想視点の視点位置が移動中であると判定した場合(ステップS3;Yes)、または、ステップS5の処理が終了した場合、画像処理部12は、表示装置4に出力する画像の画質調整を行い(ステップS6)、画質調整後の画像を出力し(ステップS7)、処理を終了する。
When it is determined in step S3 that the viewpoint position of the virtual viewpoint is moving (step S3; Yes), or when the processing of step S5 is completed, the
以上のように、実施形態に係る画像処理装置3は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成画像に代えて仮想視点画像を表示装置4に出力するため、合成用画像の視認性を低下させることができ、仮想視点画像を用いた表示をより適切に行うことができる。
As described above, when the virtual viewpoint image is an image of the viewpoint position during movement of the virtual viewpoint, the
なお、上述した実施形態では、画像処理装置3は、合成用画像を非表示にすることで、合成用画像の視認性をゼロにするが、合成用画像の透過度を高めたり色を薄くしたりすることによって、合成用画像の視認性を低下させることもできる。
In the above-described embodiment, the
例えば、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、合成部35は、移動中の視点位置に応じた合成用画像の透過度を高めたり色を薄くしたりする処理を行った後、仮想視点画像に合成用画像を合成することができる。また、画像処理装置3は、合成用画像上に仮想視点画像を合成することによって、合成用画像の視認性をゼロにすることもできる。
For example, when the virtual viewpoint image is an image of the moving viewpoint position of the virtual viewpoint, the
また、上述した実施形態では、撮像装置1を車両後方に配置し、撮像装置1によって車両後方を撮像するものとして説明したが、例えば、運転を支援するために車両周辺を撮像するものであれば撮像装置1はどのような配置および撮像方向であってもよい。また、撮像装置1を複数の箇所に配置し、画像処理装置3は、複数の撮像装置1から出力される撮像画像に基づいて仮想視点画像を生成することもできる。
Further, in the above-described embodiment, the
また、上述した実施形態では、車両に搭載される車載装置100を構成する画像処理装置3を一例として説明したが、画像処理装置3は、例えば、スマートフォンなどに内蔵される画像処理装置であってもよい。
Further, in the above-described embodiment, the
また、上述した実施形態では、合成用画像は、運転を支援するための指標となる画像を例に挙げて説明したが、例えば、利用者の利便性を高めるための合成用画像などであればよい。 Further, in the above-described embodiment, the composite image has been described by taking an image as an index for supporting driving as an example, but for example, if it is a composite image for enhancing user convenience, etc. good.
また、上述した実施形態では、仮想視点を移動する際に仮想視点の始点と終点の視点位置で合成画像を出力し、始点と終点との間の視点位置では合成画像を出力しない例を説明したが、かかる例に限定されない。 Further, in the above-described embodiment, an example has been described in which a composite image is output at the viewpoint positions of the start point and the end point of the virtual viewpoint when the virtual viewpoint is moved, and the composite image is not output at the viewpoint position between the start point and the end point. However, it is not limited to such an example.
例えば、画像処理部12は、仮想視点の始点と終点との間にある1以上の視点位置で合成画像を出力することもできる。この場合、合成用画像の変化が断片的に把握できるため、仮想視点画像に基づいて距離感などの把握を容易に行いつつも、合成用画像の位置変化を容易に把握することができる。
For example, the
また、上述した実施形態では、一つの合成用画像を仮想視点画像に合成する例を説明したが、種類が異なる複数の合成用画像を仮想視点画像に合成することもできる。この場合、画像処理部12は、仮想視点画像が仮想視点の移動中の視点位置の画像である場合、種類が異なる複数の合成用画像のうち少なくとも一つの合成用画像を仮想視点画像に合成しない等によって視認性を低下させる。このような場合であっても、仮想視点画像を用いた表示をより適切に行うことができる。
Further, in the above-described embodiment, an example of synthesizing one composite image with a virtual viewpoint image has been described, but a plurality of different types of composite images can be combined with a virtual viewpoint image. In this case, when the virtual viewpoint image is an image of the viewpoint position during movement of the virtual viewpoint, the
この場合、画像処理部12は、例えば、仮想視点画像に合成する合成用画像の色などを薄くする等、合成用画像を目立たないようにして仮想視点画像との合成処理を行うことができる。
In this case, the
また、上述した実施形態では、画像処理装置3は、移動先の視点位置Bの情報を取得した場合に視点位置C1〜Cnの情報を生成するものとして説明したが、視点位置C1〜Cnは、画像制御装置2によって生成されて画像処理装置3へ出力することもできる。
Further, in the above embodiment, the
また、上述した実施形態では、画像処理装置3は、データ圧縮を行った合成用画像を記憶するものとして説明したが、画像処理装置3は、データ圧縮を行わずに合成用画像を記憶することもできる。
Further, in the above-described embodiment, the
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and variations can be easily derived by those skilled in the art. For this reason, the broader aspects of the invention are not limited to the particular details and representative embodiments expressed and described as described above. Therefore, various modifications can be made without departing from the spirit or scope of the general concept of the invention as defined by the appended claims and their equivalents.
1 撮像装置(撮像部の一例)
2 画像制御装置
3 画像処理装置
4 表示装置(表示部の一例)
5 車両
6 合成用画像生成部
7 画像制御部
8 操作部
10 撮像画像取得部
11 画像生成部
12 画像処理部
13 動作管理部
21 撮像画像取得部
22 仮想視点画像生成部
31 合成用画像取得部
32 圧縮部
33 記憶部
34 伸張部
35 合成部
36 画質調整処理部
37 画像出力部
1 Imaging device (an example of imaging unit)
2
5
Claims (7)
前記仮想視点の画像上に合成用画像を表示した画像を生成する画像処理部と、を備え、
前記画像処理部は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の透過度に比べて、前記合成用画像の視認性が低下するように透明度を高めた前記仮想視点の画像を表示部に出力する
ことを特徴とする画像処理装置。 An image generation unit that generates a virtual viewpoint image based on the image captured by the image pickup unit,
It is provided with an image processing unit that generates an image in which a composite image is displayed on the virtual viewpoint image.
The image processing unit
When the image of the virtual viewpoint is an image of the viewpoint position while the virtual viewpoint is moving, the composite image displayed when the image of the virtual viewpoint is an image of the viewpoint position where the virtual viewpoint is not moving. An image processing device characterized in that an image of the virtual viewpoint whose transparency is increased so that the visibility of the composite image is lowered as compared with the transparency is output to a display unit.
前記仮想視点の画像上に合成用画像を表示した画像を生成する画像処理部と、を備え、
前記画像処理部は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の色に比べて、前記合成用画像の視認性が低下するように色を薄くした前記仮想視点の画像を表示部に出力する
ことを特徴とする画像処理装置。 An image generation unit that generates a virtual viewpoint image based on the image captured by the image pickup unit,
It is provided with an image processing unit that generates an image in which a composite image is displayed on the virtual viewpoint image.
The image processing unit
When the image of the virtual viewpoint is an image of the viewpoint position while the virtual viewpoint is moving, the composite image displayed when the image of the virtual viewpoint is an image of the viewpoint position where the virtual viewpoint is not moving. compared to the color image processing apparatus characterized by visibility of the synthesis image is output to the display unit an image of the virtual viewpoint with a reduced color to decrease.
前記画像処理部は、予測される前記車両の走行軌跡を示すガイド線の画像を前記合成用画像として前記仮想視点の画像に合成する
ことを特徴とする請求項1または2に記載の画像処理装置。 The imaging unit is arranged in the vehicle and
The image processing apparatus according to claim 1 or 2, wherein the image processing unit synthesizes an image of a guide line showing a predicted traveling locus of the vehicle as an image for compositing with an image of the virtual viewpoint. ..
前記仮想視点の画像上に合成用画像を表示した画像を生成する処理工程と、を備え、
前記処理工程は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の透過度に比べて、前記合成用画像の視認性が低下するように透明度を高めた前記仮想視点の画像を表示部に出力する
ことを特徴とする画像処理方法。 A generation process for generating a virtual viewpoint image, which is an image viewed from a virtual viewpoint, based on the captured image of the imaging unit, and
A processing step of generating an image in which a composite image is displayed on the virtual viewpoint image is provided.
The processing step is
When the image of the virtual viewpoint is an image of the viewpoint position while the virtual viewpoint is moving, the composite image displayed when the image of the virtual viewpoint is an image of the viewpoint position where the virtual viewpoint is not moving. An image processing method characterized in that an image of the virtual viewpoint whose transparency is increased so that the visibility of the composite image is lowered as compared with the transparency is output to a display unit.
前記仮想視点の画像上に合成用画像を表示した画像を生成する処理工程と、を備え、
前記処理工程は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の色に比べて、前記合成用画像の視認性が低下するように色を薄くした前記仮想視点の画像を表示部に出力する
ことを特徴とする画像処理方法。 A generation process for generating a virtual viewpoint image, which is an image viewed from a virtual viewpoint, based on the captured image of the imaging unit, and
A processing step of generating an image in which a composite image is displayed on the virtual viewpoint image is provided.
The processing step is
When the image of the virtual viewpoint is an image of the viewpoint position while the virtual viewpoint is moving, the composite image displayed when the image of the virtual viewpoint is an image of the viewpoint position where the virtual viewpoint is not moving. compared to the color image processing method characterized in that visibility of the synthesis image is output to the display unit an image of the virtual viewpoint with a reduced color to decrease.
車両の周辺の画像を撮像し、当該撮像画像を出力する撮像部と、
前記撮像部の撮像画像に基づき、仮想視点の画像を生成する仮想視点画像生成部と、
合成用画像を生成する合成用画像生成部と、
前記仮想視点の画像上に合成用画像を表示した画像を生成して前記表示部に出力する画像処理部と、を備え、
前記画像処理部は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の透過度に比べて、前記合成用画像の視認性が低下するように透明度を高めた前記仮想視点の画像を前記表示部に出力する
ことを特徴とする車載装置。 A display unit that displays images and
An imaging unit that captures an image of the surroundings of the vehicle and outputs the captured image,
A virtual viewpoint image generation unit that generates a virtual viewpoint image based on the captured image of the imaging unit, and a virtual viewpoint image generation unit.
An image generator for compositing that generates an image for compositing,
An image processing unit that generates an image displaying a composite image on the virtual viewpoint image and outputs the image to the display unit is provided.
The image processing unit
When the image of the virtual viewpoint is an image of the viewpoint position while the virtual viewpoint is moving, the composite image displayed when the image of the virtual viewpoint is an image of the viewpoint position where the virtual viewpoint is not moving. An in-vehicle device characterized in that an image of the virtual viewpoint whose transparency is increased so that the visibility of the composite image is lowered as compared with the transparency is output to the display unit.
車両の周辺の画像を撮像し、当該撮像画像を出力する撮像部と、
前記撮像部の撮像画像に基づき、仮想視点の画像を生成する仮想視点画像生成部と、
合成用画像を生成する合成用画像生成部と、
前記仮想視点の画像上に合成用画像を表示した画像を生成して前記表示部に出力する画像処理部と、を備え、
前記画像処理部は、
前記仮想視点の画像が前記仮想視点の移動中の視点位置の画像である場合、前記仮想視点の画像が前記仮想視点の移動中でない視点位置の画像であるときに表示される前記合成用画像の色に比べて、前記合成用画像の視認性が低下するように色を薄くした前記仮想視点の画像を前記表示部に出力する
ことを特徴とする車載装置。 A display unit that displays images and
An imaging unit that captures an image of the surroundings of the vehicle and outputs the captured image,
A virtual viewpoint image generation unit that generates a virtual viewpoint image based on the captured image of the imaging unit, and a virtual viewpoint image generation unit.
An image generator for compositing that generates an image for compositing,
An image processing unit that generates an image displaying a composite image on the virtual viewpoint image and outputs the image to the display unit is provided.
The image processing unit
When the image of the virtual viewpoint is an image of the viewpoint position while the virtual viewpoint is moving, the composite image displayed when the image of the virtual viewpoint is an image of the viewpoint position where the virtual viewpoint is not moving. compared to the color, vehicle and wherein the visibility of the composite image to output an image of the virtual viewpoint with a reduced color to decrease on the display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160583A JP6906576B2 (en) | 2015-04-24 | 2019-09-03 | Image processing equipment, image processing methods and in-vehicle equipment |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015089738A JP6585371B2 (en) | 2015-04-24 | 2015-04-24 | Image processing apparatus, image processing method, and in-vehicle apparatus |
JP2019160583A JP6906576B2 (en) | 2015-04-24 | 2019-09-03 | Image processing equipment, image processing methods and in-vehicle equipment |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015089738A Division JP6585371B2 (en) | 2015-04-24 | 2015-04-24 | Image processing apparatus, image processing method, and in-vehicle apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020074503A JP2020074503A (en) | 2020-05-14 |
JP6906576B2 true JP6906576B2 (en) | 2021-07-21 |
Family
ID=70610299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019160583A Active JP6906576B2 (en) | 2015-04-24 | 2019-09-03 | Image processing equipment, image processing methods and in-vehicle equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6906576B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7067851B1 (en) | 2021-03-29 | 2022-05-16 | ウィンボンド エレクトロニクス コーポレーション | Semiconductor device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0870398A (en) * | 1994-08-26 | 1996-03-12 | Canon Inc | Image input device |
JP4569285B2 (en) * | 2004-12-13 | 2010-10-27 | 日産自動車株式会社 | Image processing device |
WO2009144893A1 (en) * | 2008-05-30 | 2009-12-03 | 三洋電機株式会社 | Vehicle drive support device |
JP2010219576A (en) * | 2009-03-12 | 2010-09-30 | Victor Co Of Japan Ltd | Monitoring camera management system, management device, monitoring camera and monitoring camera management method |
JP2014198104A (en) * | 2013-03-29 | 2014-10-23 | 株式会社コナミデジタルエンタテインメント | Game control device, game system, game control method, and program |
JP2014225836A (en) * | 2013-05-17 | 2014-12-04 | キヤノン株式会社 | Imaging device and control method of imaging device |
-
2019
- 2019-09-03 JP JP2019160583A patent/JP6906576B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020074503A (en) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10462372B2 (en) | Imaging device, imaging system, and imaging method | |
JP4765649B2 (en) | VEHICLE VIDEO PROCESSING DEVICE, VEHICLE PERIPHERAL MONITORING SYSTEM, AND VIDEO PROCESSING METHOD | |
JP2003102000A (en) | Vehicle rear part monitoring method, vehicle rear part monitoring device, and signal processor | |
WO2018221209A1 (en) | Image processing device, image processing method, and program | |
JP2007141098A (en) | Image-processing device and image-processing method | |
US10647255B2 (en) | Image processing device, image processing method, and on-vehicle apparatus | |
TWI505203B (en) | Image processing method and image processing apparatus for generating vehicular image | |
JP5020792B2 (en) | Composite image generation apparatus and composite image generation method | |
JP6906576B2 (en) | Image processing equipment, image processing methods and in-vehicle equipment | |
JP4791222B2 (en) | Display control device | |
JP6155674B2 (en) | Vehicle visual recognition device | |
JP2012001101A (en) | Parking assist system | |
KR102300651B1 (en) | vehicle and control method thereof | |
WO2006132112A1 (en) | Curve plotting device, curve plotting method, parking support device, and vehicle | |
JP2020135206A (en) | Image processing device, on-vehicle camera system, and image processing method | |
US20210170946A1 (en) | Vehicle surrounding image display device | |
JP2010130413A (en) | Peripheral state display device | |
JP6421566B2 (en) | Display device | |
JP2016207040A (en) | Image processor, image processing method and on-vehicle apparatus | |
JPWO2016060268A1 (en) | Image display system for vehicles | |
JP2007048071A (en) | Image processor and image processing method | |
JP6229272B2 (en) | Vehicle visual recognition device | |
JP2008312102A (en) | Imaging data transmission method, imaging data transmission system, and in-vehicle display system | |
JP2004147210A (en) | Driving support device | |
JP2009255608A (en) | Vehicular display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6906576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |