JP2017050592A - 画像符号化装置、画像復号化装置および画像伝送装置 - Google Patents

画像符号化装置、画像復号化装置および画像伝送装置 Download PDF

Info

Publication number
JP2017050592A
JP2017050592A JP2015170138A JP2015170138A JP2017050592A JP 2017050592 A JP2017050592 A JP 2017050592A JP 2015170138 A JP2015170138 A JP 2015170138A JP 2015170138 A JP2015170138 A JP 2015170138A JP 2017050592 A JP2017050592 A JP 2017050592A
Authority
JP
Japan
Prior art keywords
image
data
bit
unit
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015170138A
Other languages
English (en)
Other versions
JP2017050592A5 (ja
Inventor
智浩 宇根
Tomohiro Une
智浩 宇根
貴彦 杉本
Takahiko Sugimoto
貴彦 杉本
光樹 朴
Kansu Paku
光樹 朴
俊之 加谷
Toshiyuki Kaya
俊之 加谷
哲也 柴山
Tetsuya Shibayama
哲也 柴山
誠二 望月
Seiji Mochizuki
誠二 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2015170138A priority Critical patent/JP2017050592A/ja
Priority to US15/206,248 priority patent/US10225563B2/en
Priority to CN201610674139.3A priority patent/CN106488244A/zh
Publication of JP2017050592A publication Critical patent/JP2017050592A/ja
Publication of JP2017050592A5 publication Critical patent/JP2017050592A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】汎用の標準的なビット深度のカラー画像を対象とする画像符号化復号装置を有効活用しながら、それよりも高ビット深度のモノクロ画像を送受信可能な画像伝送システムを構築する。
【解決手段】画像伝送システムは、高ビット深度モノクロ画像を符号化して符号化データを出力する画像符号化装置と、伝送路を介して伝送される前記符号化データを復号して、高ビット深度モノクロ画像を生成する画像復号装置を備える。画像符号化装置は、入力された高ビット深度の画像データを標準的なビット深度のカラー画像データに対応する複数のビットプレーンに分解した後、標準的なビット深度のカラー画像データに対する画像符号化処理を行なう。画像復号装置は、標準的な同じビット深度のカラー画像データの画像復号処理を行なった後、復号された標準的なビット深度のカラー画像データから、高ビット深度のモノクロ画像を合成する。
【選択図】図1

Description

本発明は、画像符号化装置、画像復号化装置および画像伝送装置に関し、特に高ビット深度のモノクロ画像を符号化、復号化する画像伝送に好適に利用できるものである。
一般に広く普及している画像の符号化装置、復号化装置、および、それらによる画像伝送システムにおいて扱われる画像データは、1画素当たり8ビット精度である場合が多い。これに対して、医療用途、監視カメラ、車載距離センサー等で扱われる画像情報には、モノクロながらより高いビット精度が求められる場合がある。このような画像を高ビット深度のモノクロ画像という。
特許文献1には、簡単な構成で高階調数を有する画像データ(高ビット深度の画像データ)を処理する画像符号化装置及び画像復号化装置が開示されている。8ビットの画像データを対象とする、基本画像符号化手段や基本画像復号化手段を用いて、高階調数を有する画像データを処理する。同文献に開示される画像符号化装置について説明する。高階調数を有する原画像から上位8ビットのビットプレーンを基本画像として、基本画像符号化手段による符号化を行う。画像符号化装置の内部で基本画像復号化手段を用いて、その出力を復号化する。内部での復号化によって得られた画像データを必要ビット数だけ左シフトして、原画像との差分をとり、その差分に対して再度基本画像符号化手段による符号化を行う。これにより、8ビットの画像データを対象とする、基本画像符号化手段や基本画像復号化手段を用いて、高階調数を有する画像データを処理することができる。
特開2004−15226号公報
特許文献1について本発明者が検討した結果、以下のような新たな課題があることがわかった。
原画像を符号化するために、8ビットの画像データを対象とする、基本画像符号化手段や基本画像復号化手段によって、符号化処理と復号化処理とさらに再度の符号化処理を順次実行する必要があることから、画像1枚当たりの処理に要する遅延量が大きく、また装置の消費電力が大きいという問題がある。
このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
一実施の形態によれば、下記の通りである。
すなわち、高ビット深度のモノクロ画像による入力データを符号化して符号化データを出力する画像符号化装置と、伝送路を介して伝送される前記符号化データを復号化して高ビット深度のモノクロ画像による出力データを生成する画像復号化装置を備える画像伝送装置であって、以下のように構成される。
画像符号化装置は、前記高ビット深度よりも少ないビット数の標準的なビット深度のカラー画像データに対する画像符号化処理を行なう符号化部と、前記入力データから前記標準的なビット深度のカラー画像データに対応するビットプレーンを生成するデータ分解部とを有する。
画像復号化装置は、符号化部による画像符号化処理に対応する、標準的な同じビット深度のカラー画像データを復号するための画像復号化処理を行なう復号化部と、復号された標準的なビット深度のカラー画像データから、高ビット深度のモノクロ画像による出力データを生成するデータ合成部とを有する。
前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。
すなわち、汎用の標準的なビット深度のカラー画像を対象とする画像符号化復号化装置を有効活用しながら、高ビット深度のモノクロ画像を送受信可能な画像伝送システムを構築することが出来る。
図1は、実施形態1に係る画像符号化装置と画像復号化装置による画像伝送システムの構成例を示すブロック図である。 図2は、12ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第1の方法を示す説明図である。 図3は、12ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第2の方法を示す説明図である。 図4は、12ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第3の方法を示す説明図である。 図5は、16ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第1の方法を示す説明図である。 図6は、16ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第2の方法を示す説明図である。 図7は、16ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第3の方法を示す説明図である。 図8は、12ビット階調のモノクロ画像データを、各8ビット階調の輝度Yと一方の色差U(Cb)によるカラー画像成分に分解する方法を示す説明図である。 図9は、12ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、別の(輝度Yの上位側にゼロ詰めをする)方法を示す説明図である。 図10は、12ビット階調のモノクロ画像データを、YUV422フォーマットのカラー画像成分に分解する方法を示す説明図である。 図11は、12ビット階調のモノクロ画像データを、YUV420フォーマットのカラー画像成分に分解する方法を示す説明図である。 図12は、各8ビット階調のYUV444フォーマットのカラー画像成分から、12ビット階調のモノクロ画像データを合成する、第1の方法を示す説明図である。 図13は、各8ビット階調のYUV444フォーマットのカラー画像成分から、12ビット階調のモノクロ画像データを合成する、第2の方法を示す説明図である。 図14は、各8ビット階調のYUV444フォーマットのカラー画像成分から、12ビット階調のモノクロ画像データを合成する、第3の方法を示す説明図である。 図15は、各8ビット階調のYUV444フォーマットのカラー画像成分から、16ビット階調のモノクロ画像データを合成する、第1の方法を示す説明図である。 図16は、各8ビット階調のYUV444フォーマットのカラー画像成分から、16ビット階調のモノクロ画像データを合成する、第2の方法を示す説明図である。 図17は、各8ビット階調のYUV444フォーマットのカラー画像成分から、16ビット階調のモノクロ画像データを合成する、第3の方法を示す説明図である。 図18は、各8ビット階調の輝度Yと一方の色差U(Cb)によるカラー画像成分から、12ビット階調のモノクロ画像データを合成する方法を示す説明図である。 図19は、各8ビット階調のYUV444フォーマットで輝度Yの上位側がゼロ詰めされたカラー画像成分から、12ビット階調のモノクロ画像データを合成する方法を示す説明図である。 図20は、実施形態2に係る車載用のトップビューシステムの構成例を示すブロック図である。
実施の形態について詳述する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。
〔実施形態1〕
図1は、本実施形態1に係る画像符号化装置110と画像復号化装置120による画像伝送システム10の構成例を示すブロック図である。画像伝送システム10は、高ビット深度の画像データで構成されるモノクロ画像入力100が入力される画像符号化装置110と、画像復号化装置120とを含んで構成される。画像符号化装置110と画像復号化装置120は、伝送路130によって接続される。
画像符号化装置110は、モノクロ画像データ分解部111と符号化部112と送信部113とを含んで構成される。符号化部112は、汎用の標準的なビット深度のカラー画像を対象とする画像符号化機能を有する。この時の標準的なビット深度は例えば8ビットであり、符号化部112に入力されるカラー画像は、例えば8ビットの輝度信号Yとそれぞれが8ビットの色差信号CbCr(UV)で構成される。モノクロ画像入力100は、これよりもビット数の多い、高ビット深度の画像データで構成される。例えば10ビット、12ビット、16ビットなどである。
モノクロ画像データ分解部111は、上記標準的なビット深度よりも多ビットのモノクロ画像入力100を、符号化部112の入力に合わせて、上記標準的なビット数の複数のビットプレーンに分解する。分解された複数のビットプレーンは、符号化部112によりカラー画像として符号化される。符号化されたデータは、送信部113から送出され、伝送路130を経由して画像復号化装置120へ伝送される。
画像復号化装置120は、受信部121と復号化部122とモノクロ画像データ合成部123とを含んで構成される。復号化部122は、汎用の標準的なビット深度のカラー画像を対象とする画像復号化機能を有する。この時の標準的なビット深度も上記符号化部112に入力されるカラー画像のビット深度と同じであり、例えば8ビットである。復号化部122は、画像符号化装置110内の符号化部112と対応しており、符号化部112の出力する符号化データを復号化することができる仕様とされる。
画像復号化装置120は、受信部121で伝送路130から入力される符号化されたデータを受信して、復号化部122に供給する。復号化部122は入力されたデータをカラー画像の符号化データとして復号化し、輝度信号データと色差信号データを得る。モノクロ画像データ合成部123は、復号化部123から出力される輝度信号データと色差信号データとを、それぞれモノクロ画像データ分解部111によって分解された複数のビットプレーンと対応付け、分解とは逆の処理によって、高ビット深度のモノクロ画像データとして合成し、モノクロ画像出力124を生成する。
以上説明したように、画像符号化装置110内の符号化部112と画像復号化装置120内の復号化部122とは互いに対応する符号化・復号化アルゴリズムが実装されている。同様に、モノクロ画像データ分解部111における、高ビット深度のモノクロ画像データから複数のビットプレーンへの分解方法と、モノクロ画像データ合成部123における、複数のビットプレーンから高ビット深度のモノクロ画像データへの合成方法とは、互いに対応している必要がある。即ち、画像復号化装置120は画像符号化装置110内でモノクロデータを分割した方法を知らなければ、正しい高ビット深度のモノクロ画像を合成することが出来ない。あらかじめ決められた方法によりモノクロ画像を分解する方法を採る。もしくは、モノクロ画像の画像分割情報を画像符号化装置110の送信部113により画像復号化装置120に送ることで、画像復号化装置120が任意のモノクロ画像データの分解方法に対応する事も可能である。これにより、画像符号化装置110と画像復号化装置120とが接続された後で、データ分解方法とデータ合成方法の整合をとることができる。
モノクロ画像分解部111やモノクロ画像合成部123、及び符号化部112や復号化部122はハードウェア、ソフトウェアどちらでも実現可能である。また、伝送路130は、有線か無線かを問わない任意のネットワークであってよい。例えば、車載ネットワークであるCAN(Controller Area Network)やFlexRay(登録商標)であっても良いし、USB(Universal Serial Bus)やイーサネット(登録商標)、無線LAN(Local Area Network)等であってもよい。或いは、伝送路130は、放送系と同様の単一方向の伝送路であってもよいし、DVD(Digital Versatile Disc)やBlu−Ray(登録商標)ディスクなどの記録媒体を介した伝送であってもよい。
これにより、汎用の標準的なビット深度のカラー画像を対象とする画像符号化復号化装置を有効活用しながら、高ビット深度のモノクロ画像を送受信可能な画像伝送システムを構築することが出来る。すなわち、広く普及している8ビットのカラー画像符号化・復号化装置(エンコーダー及びデコーダ)の現実の資産またはそれらの設計資産を有効に活用することができる。また、従来技術に比べ、消費電力を低減することができ、さらに低遅延を実現することができる。
〔モノクロ画像データの分解方法〕
モノクロ画像分解部111にて行われる、高ビット深度のモノクロ画像データを複数のビットプレーンに分割しカラー画像成分として扱う方法について説明する。
図2は、12ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第1の方法を示す説明図である。モノクロ画像データ200の上位8ビットのビットプレーン2011を輝度成分Yとして扱う。モノクロ画像データ200を2ビット左シフトした上位8ビットのビットプレーン2012と、モノクロ画像200のデータを4ビット左シフトした上位8ビットのビットプレーン2013をそれぞれ色差成分CbCr(UV)として扱う。
図3は、12ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第2の方法を示す説明図である。図2と同様に、モノクロ画像データ200の上位8ビットのビットプレーン2021を輝度成分Yとして扱う。モノクロ画像データ200を6ビット左シフトした上位8ビットのビットプレーン2022と、モノクロ画像データ200を9ビット左シフトした上位8ビットのビットプレーン2023をそれぞれ色差成分CbCr(UV)として扱う。
図4は、12ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第3の方法を示す説明図である。図2と同様に、モノクロ画像データ200の上位8ビットのビットプレーン2031を輝度成分Yとして扱う。モノクロ画像データ200を6ビット左シフトした後、偶数ビットと奇数ビットに分割したビットプレーン2032,2033をそれぞれ色差成分CbCr(UV)として扱う。
図2,図3,図4で示した分解方法においては、すべてモノクロ画像データの上位8ビットを輝度値成分Yとして抜き出している。また、色差成分CbCr(UV)は輝度値成分Yで抜き出すことができなかった範囲のビットデータを格納することができるように、任意の異なるビット数を左ビットシフト、もしくは任意の異なるビット数を左ビットシフトした後偶数ビットと奇数ビットに分割し、上位又は下位の8ビットを抜き出す方法を採用すれば良い。すなわち、ビットプレーンはモノクロ画像データの任意のビットから構成することができる。一方、図2,図3,図4に示したように、モノクロ画像データの上位8ビットを輝度値成分Yとして抜き出すことにより、符号化・復号化アルゴリズムが非可逆であって何らかの誤差が発生する場合に、画像復号化装置120で合成されるモノクロ画像出力124における誤差を小さく抑えることができる。
高ビット深度のモノクロ画像入力100は、上述の12ビット階調以外の場合にも適用可能である。16ビット階調モノクロ画像データ210を入力とし8ビット階調のカラー画像成分(YUV444フォーマット)に分割する方法を、以下の図5,図6,図7に示す。
図5は、16ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第1の方法を示す説明図である。16ビット階調のモノクロ画像データ210の上位8ビットのビットプレーン2111を輝度成分Yとして扱う。モノクロ画像データ210を4ビット左シフトした上位8ビットのビットプレーン2112と、モノクロ画像210のデータを8ビット左シフトした上位8ビットのビットプレーン2113をそれぞれ色差成分CbCr(UV)として扱う。
図6は、16ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第2の方法を示す説明図である。図5と同様に、モノクロ画像データ210の上位8ビットのビットプレーン2121を輝度成分Yとして扱う。モノクロ画像データ210を6ビット左シフトした上位8ビットのビットプレーン2122と、モノクロ画像データ210を11ビット左シフトした上位8ビットのビットプレーン2123をそれぞれ色差成分CbCr(UV)として扱う。
図7は、16ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、第3の方法を示す説明図である。図5と同様に、モノクロ画像データ210の上位8ビットのビットプレーン2131を輝度成分Yとして扱う。モノクロ画像データ210を6ビット左シフトした後、偶数ビットと奇数ビットに分割したビットプレーン2132,2133をそれぞれ色差成分CbCr(UV)として扱う。
上述のように、ビットプレーンはモノクロ画像データの任意のビットから構成することができる。他の変形例についてさらに以下に説明するが、これらも一例に過ぎない。
図8は、12ビット階調のモノクロ画像データを、各8ビット階調の輝度Yと一方の色差U(Cb)によるカラー画像成分に分解する方法を示す説明図である。色差成分は一般にU(Cb)とV(Cr)であるが、このうちの一方のみを使用する例である。図2、図3、図4と同様に、モノクロ画像データ200の上位8ビットのビットプレーン2031を輝度成分Yとして扱う。モノクロ画像データ200を4ビット左シフトした後、ビットプレーン2041を一方の色差成分Cb(U)として扱い、他方の色差成分Cr(V)は使用しない。
図9は、12ビット階調のモノクロ画像データを、各8ビット階調のYUV444フォーマットのカラー画像成分に分解する、別の(輝度Yの上位側にゼロ詰めをする)方法を示す説明図である。図2、図3、図4とは異なり、モノクロ画像データ200を2ビット右シフトした後、上位6ビットにさらに上位2ビットに0詰めをした8ビットのビットプレーン2051を、輝度成分Yとして扱う。モノクロ画像データ200を1ビット左シフトした上位8ビットのビットプレーン2152を、色差成分Cb(U)として扱うが、もう一方の色差成分Cr(V)には、ビットプレーンを割り当てない。
本実施形態において対応できる高ビット深度のモノクロ画像のビット深度は、YUV444フォーマットであればコーデックの扱うことのできるビット深度の3倍、YUV422フォーマットであればコーデックの扱うことのできるビット深度の2倍、YUV420フォーマットであればコーデックの扱うことのできるビット深度の1.5倍となる。12ビット階調モノクロ画像データを入力とし8ビット階調のカラー画像成分(YUV422フォーマット)に分割する方法を、下の図10に示す。また、12ビット階調モノクロ画像データを入力とし8ビット階調のカラー画像成分(YUV420フォーマット)に分割する方法を、さらに下の図11に示す。
図10は、12ビット階調のモノクロ画像データを、YUV422フォーマットのカラー画像成分に分解する方法を示す説明図である。YUV422フォーマットでは2ピクセルあたり色差成分CbCrが1つずつしか無いため、1ピクセルの高ビット深度のモノクロ画像は1つの8ビット階調の輝度データと1つの8ビット階調の色差データに分割される。図10に示すように、あるピクセルの12ビット階調のモノクロ画像データ(Y1)200の上位8ビットのビットプレーン2061を輝度成分Y1として扱い、モノクロ画像データ(Y1)200を4ビット左シフトした後、下位8ビットのビットプレーン2062を色差成分Cb(U)として扱う。次のピクセルの12ビット階調のモノクロ画像データ(Y2)201の上位8ビットのビットプレーン2063を輝度成分Y2として扱い、モノクロ画像データ(Y2)201を4ビット左シフトした後、下位8ビットのビットプレーン2064を色差成分Cr(V)として扱う。
図11は、12ビット階調のモノクロ画像データを、YUV420フォーマットのカラー画像成分に分解する方法を示す説明図である。YUV420フォーマットでは4ピクセルあたり色差成分CbCrが1つずつしか無い。そのため、色差成分として扱うビットプレーンは、高ビット深度のモノクロ画像の上位ビットを輝度成分として扱うビットプレーンとして抜き出した後の下位ビットの組合せによって構成される。それぞれが12ビット階調である4ピクセルのモノクロ画像データ(Y1〜Y4)200〜203の上位8ビットのビットプレーン2071,2072,2074,2075を、8ビット階調の輝度成分Y1〜Y4として扱う。4ピクセルのモノクロ画像データ(Y1〜Y4)200〜203の下位4ビットL1〜L4のうち、L1を上位4ビット、L2を下位4ビットとして構成した8ビットのビットプレーン2073を、色差成分Cbとして扱い、L3を上位4ビット、L4を下位4ビットとして構成した8ビットのビットプレーン2076を、色差成分Crとして扱う。ここで示したのは一例に過ぎず、色差成分CbCrとして扱うビットプレーンの構成方法は任意である。例えば、L1とL2の関係、L3とL4の関係は、上下逆であってもよいし、L1〜L4の組合せも任意に変更可能であり、さらに、奇数ビットと偶数ビットに分割して格納しても良い。
〔モノクロ画像データの合成方法〕
モノクロ画像データ合成部123によるモノクロ画像データの合成方法について説明する。モノクロ画像データ合成部123には、カラー画像として復号化されたカラー画像成分が入力される。入力されるカラー画像成分から複数のビットプレーンを再構成し、それらから高ビット深度のモノクロ画像データを合成する。復号化部122で得られたビットプレーンにおけるどのビットが合成に使用されるかは、あらかじめ取り決めてモノクロ画像データ分解部111とモノクロ画像データ合成部123とに実装しておくか、何らかの通信手段を使用するなどして、動作前に設定される。
図12は、各8ビット階調のYUV444フォーマットのカラー画像成分から、12ビット階調のモノクロ画像データを合成する、第1の方法を示す説明図である。画像符号化装置110でのモノクロ画像データの分割方法は図2に対応する。輝度Y成分の下位4ビットをマスクし4ビット左シフトしたビットプレーン3011を生成する。色差Cb成分の下位2ビット上位2ビットをマスクし2ビット左シフトしたビットプレーン3012を生成する。色差Cr成分の上位4ビットをマスクしたビットプレーン3013を生成する。ここで得られたビットプレーン3011とビットプレーン3012とビットプレーン3013とを加算することにより、12ビット階調のモノクロ画像300を生成する。
図13は、各8ビット階調のYUV444フォーマットのカラー画像成分から、12ビット階調のモノクロ画像データを合成する、第2の方法を示す説明図である。画像符号化装置110でのモノクロ画像データの分割方法は図3に対応する。Y成分の下位4ビットをマスクし4ビット左シフトしたビットプレーン3021を生成する。Cb成分の下位5ビットをマスクし2ビット右シフトしたビットプレーン3022を生成する。Cr成分の下位5ビットをマスクし5ビット右シフトしたビットプレーン3023を生成する。ここで得られたビットプレーン3021とビットプレーン3022とビットプレーン3023とを加算することにより、12ビット階調のモノクロ画像301を生成する。
図14は、各8ビット階調のYUV444フォーマットのカラー画像成分から、12ビット階調のモノクロ画像データを合成する、第3の方法を示す説明図である。画像符号化装置110でのモノクロ画像データの分割方法は図4に対応する。Y成分の下位4ビットをマスクし4ビット左シフトしたビットプレーン3031を生成する。Cb成分の下位5ビットをマスクし上位3ビットを1ビット左シフトした後、上位2ビットを1ビット左シフトしさらに最上位ビットを1ビット左シフトしたビットプレーン3032を生成する。Cr成分の下位5ビットをマスクし上位2ビットを1ビット左シフトした後、最上位ビットを1ビット左シフトしたビットプレーン3033を生成する。ここで得られたビットプレーン3031とビットプレーン3032とビットプレーン3033とを加算することにより、12ビット階調のモノクロ画像302を生成する。
図15は、各8ビット階調のYUV444フォーマットのカラー画像成分から、16ビット階調のモノクロ画像データを合成する、第1の方法を示す説明図である。画像符号化装置110でのモノクロ画像データの分割方法は図5に対応する。Y成分の下位2ビット上位1ビットをマスクし4ビット左シフトしたビットプレーン3111を生成する。Cb成分の下位1ビットをマスクし2ビット右シフトしたビットプレーン3112を生成する。Cr成分の上位3ビットをマスクしたビットプレーン3113を生成する。ここで得られたビットプレーン3111とビットプレーン3112とビットプレーン3113とを加算することにより、16ビット階調のモノクロ画像310を生成する。
図16は、各8ビット階調のYUV444フォーマットのカラー画像成分から、16ビット階調のモノクロ画像データを合成する、第2の方法を示す説明図である。画像符号化装置110でのモノクロ画像データの分割方法は図6に対応する。Y成分の下位2ビットをマスクし8ビット左シフトしたビットプレーン3121を生成する。Cb成分の下位3ビットをマスクし2ビット右シフトしたビットプレーン3122を生成する。Cr成分を3ビット右シフトしたビットプレーン3123を生成する。ここで得られたビットプレーン3121とビットプレーン3122とビットプレーン3123とを加算することにより、16ビット階調のモノクロ画像311を生成する。
図17は、各8ビット階調のYUV444フォーマットのカラー画像成分から、16ビット階調のモノクロ画像データを合成する、第3の方法を示す説明図である。画像符号化装置110でのモノクロ画像データの分割方法は図7に対応する。Y成分の下位2ビットをマスクしたビットプレーン3131を生成する。Cb成分の下位3ビットをマスクし上位5ビットを1ビット左シフトした後、上位4ビットを1ビット左シフトし、上位3ビットを1ビット左シフト、上位2ビットを1ビット左シフト、最後に最上位ビットを1ビット左シフトしたビットプレーン3132を生成する。Cr成分の下位5ビットをマスクし上位4ビットを1ビット左シフトし、上位3ビットを1ビット左シフト、上位2ビットを1ビット左シフト、最後に最上位ビットを1ビット左シフトしたビットプレーン3133を生成する。ここで得られたビットプレーン3131とビットプレーン3132とビットプレーン3133とを加算することにより、16ビット階調のモノクロ画像312を生成する。
図18は、各8ビット階調の輝度Yと一方の色差U(Cb)によるカラー画像成分から、12ビット階調のモノクロ画像データを合成する方法を示す説明図である。画像符号化装置110でのモノクロ画像データの分割方法は図8に対応する。Y成分の下位2ビットをマスクし5ビット左シフトしたビットプレーン3041を生成する。Cb成分の上位2ビットをマスクしたビットプレーン3042を生成する。ここで得られたビットプレーン3041とビットプレーン3042とを加算することにより、12ビット階調のモノクロ画像304を生成する。
図19は、各8ビット階調のYUV444フォーマットで輝度Yの上位側がゼロ詰めされたカラー画像成分から、12ビット階調のモノクロ画像データを合成する方法を示す説明図である。画像符号化装置110でのモノクロ画像データの分割方法は図9に対応する。Y成分の上位2ビットをマスクし6ビット左シフトしたビットプレーン3051を生成する。Cb成分の上位5ビットをマスクし3ビット左シフトしたビットプレーン3052を生成する。Cr成分の上位5ビットをマスクしたビットプレーン3053を生成する。ここで得られたビットプレーン3051とビットプレーン3052とビットプレーン3053とを加算することにより、12ビット階調のモノクロ画像305を生成する。
図面を参照しての説明は省略するが、YUV422フォーマットやYUV420フォーマットを使用した場合も同様にして高ビット深度のモノクロ画像を生成することができる。
以上説明したように、高ビット深度のモノクロ画像データを複数のビットプレーンに任意の方法で分割し、カラー画像成分として扱うことにより、汎用の標準的なビット深度のカラー画像を対象とする画像符号化復号化装置を有効活用しながら、高ビット深度のモノクロ画像を符号化し復号化して伝送することが可能となる。ここで、汎用の標準的なビット深度のカラー画像を対象とする画像符号化復号化装置とは、例えば高ビット深度に対応していない既存の8ビットエンコーダー、デコーダーである。任意の分割方法を採用することが出来るため、エンコーダーの特性に適する、劣化の少ない分割方法を選択することができる。また、任意の分割方法が可能であるということはエンコーダー、デコーダーがYUV444フォーマットに対応していない場合でもYUV422フォーマットやYUV420フォーマットを使用して高ビット深度のモノクロ画像を符号化し復号化して伝送することができる。
上述した従来技術では符号化した後に内部で復号化を行い、原画像のデータとの差分を取得し再度符号化するという方法を採用するのに対して、本実施形態ではビットプレーンへの分解と並列に実行可能な符号化によって遅延量が規定されるため、低遅延の画像符号化・復号化及び伝送が可能となる。
〔実施形態2〕
図20は、実施形態2に係る車載用のトップビューシステム20の構成例を示すブロック図である。車載用のトップビューシステム20は、実施形態1に示したような画像符号化装置110と画像復号装置120を、それぞれ複数台用いて構成される。例示される車載用トップビューシステム20は、3台の画像符号化装置110_1〜110_3と3台の画像復号装置120_1〜120_3とがスイッチングハブ131を介して接続されることにより、符号化されたデータを伝送することができる。3台の画像符号化装置110_1〜110_3には、それぞれ高ビット深度のモノクロ画像入力100_1〜100_3が入力される。3台の画像復号化装置120_1〜120_3からは、それぞれ高ビット深度のモノクロ画像出力124_1〜124_3が出力される。画像符号化装置110_1〜110_3と画像復号化装置120_1〜120_3の動作は、実施形態1において説明した通りであるので、重複した説明は省略する。
入力される高ビット深度のモノクロ画像入力100_1〜100_3は、例えば、車両の前方及び左右方向等の障害物(対象物)までの2次元の距離情報である。符号化され、伝送され、復号化されて出力される、モノクロ画像出力124_1〜124_3は、例えば車両を上方から俯瞰したときの、当該車両と障害物との位置関係を示す情報に再構成される。
このように、本実施形態1及び2等において取り扱われる高ビット深度のモノクロ画像は、必ずしも視覚的に可視化可能な画像に限られない。2次元の画像と同様のフレーム内において、画素に対応する位置に数値を持つデータであれば良い。
本実施形態2では、それぞれ3台の画像符号化装置110_1〜110_3と画像復号化装置120_1〜120_3を搭載する例を示したが、台数は任意である。また、それぞれ1台の画像符号化装置110_と画像復号化装置120とを搭載して、複数のモノクロ画像入力100_1〜100_xに対して順次符号化、伝送、復号化の処理を行なうように構成してもよい。
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、汎用の標準的なビット深度として8ビットの場合についてのみ説明したが、それとは異なるビット数のカラー画像を対象とする画像符号化復号化装置を利用することもできる。また、高ビット深度のモノクロ画像として12ビットと16ビットの場合についてのみ説明したが、各実施形態は、それとは異なるビット数のモノクロ画像にも変更可能である。また、本明細書では「画像」の語を使用しているが、必ずしも視覚的に映像化可能な画像に限定されるものではなく、各実施形態は、画素ごとに値を持つことによって画像として取り扱うことができるデータについて広く適用可能である。
10 画像伝送システム
20 車載用トップビューシステム
100 モノクロ画像入力
110 画像符号化装置
111 モノクロ画像データ分解部
112 符号化部
113 送信部
120 画像復号化装置
121 受信部
122 復号化部
123 モノクロ画像データ合成部
124 モノクロ画像出力
130 伝送路(ネットワーク)
131 スイッチングハブ
200〜203 12ビット階調のモノクロ画像データ(分割前)
210 16ビット階調のモノクロ画像データ(分割前)
300〜305 12ビット階調のモノクロ画像データ(合成後)
310〜312 16ビット階調のモノクロ画像データ(合成後)
2011〜2076,2111〜2133 ビットプレーン(分割後)
3011〜3053,3111〜3133 ビットプレーン(合成前)

Claims (16)

  1. 任意の自然数であるNビット階調のモノクロ画像による入力データを符号化して符号化データを出力する画像符号化装置と、伝送路を介して伝送される前記符号化データを復号化してNビット階調のモノクロ画像による出力データを生成する画像復号化装置を備える、画像伝送装置であって、
    前記画像符号化装置は、データ分解部と符号化部とを有し、
    前記符号化部は、前記Nビットよりも小さい任意の自然数であるMビットのカラー画像データに対する画像符号化処理が可能であり、
    前記データ分解部は、前記入力データから前記Mビットのカラー画像データに対応するビットプレーンを生成可能であり、
    前記画像復号化装置は、復号化部とデータ合成部とを有し、
    前記復号化部は、前記符号化部による前記画像符号化処理に対応する、前記Mビットのカラー画像データを復号するための画像復号化処理が可能であり、
    前記データ合成部は、前記復号化部によって復号された前記Mビットのカラー画像データから、前記Nビット階調のモノクロ画像による前記出力データを生成可能である、
    画像伝送装置。
  2. 請求項1において、前記カラー画像データは、前記Mビットを8ビットとする輝度成分を含む、
    画像伝送装置。
  3. 請求項2において、
    前記データ分解部は、前記入力データの上位8ビットを前記カラー画像データの前記輝度成分に対応するビットプレーンとして生成し、
    前記データ合成部は、前記復号化部によって復号された前記カラー画像データの前記輝度成分から、前記出力データの上位8ビットを生成する、
    画像伝送装置。
  4. 請求項1において、前記データ分解部における、前記入力データから生成される前記ビットプレーンと前記符号化部の前記カラー画像データとの対応関係は、前記データ合成部における、前記出力データを構成するビットプレーンと前記復号化部の前記カラー画像データとの対応関係とは、互いに整合する、
    画像伝送装置。
  5. 請求項4において、前記データ分解部における、前記入力データから生成される前記ビットプレーンと前記符号化部の前記カラー画像データとの対応関係についての情報は、前記画像符号化装置から前記画像復号化装置へ伝送され、
    前記画像復号化装置において、伝送された前記情報に基づいて、前記データ合成部における、前記出力データを構成するビットプレーンと前記復号化部の前記カラー画像データとの対応関係が設定される、
    画像伝送装置。
  6. 請求項1において、前記モノクロ画像は、観測者の視点から対象物までの2次元の距離情報である、
    画像伝送装置。
  7. 任意の自然数であるNビット階調のモノクロ画像による入力データを符号化して符号化データを出力する画像符号化装置であって、データ分解部と符号化部とを有し、
    前記符号化部は、前記Nビットよりも小さい任意の自然数であるMビットのカラー画像データに対する画像符号化処理が可能であり、
    前記データ分解部は、前記入力データから前記Mビットのカラー画像データに対応するビットプレーンを生成可能である、
    画像符号化装置。
  8. 請求項7において、前記カラー画像データは、前記Mビットを8ビットとする輝度成分を含む、
    画像符号化装置。
  9. 請求項8において、
    前記データ分解部は、前記入力データの上位8ビットを前記カラー画像データの前記輝度成分に対応するビットプレーンとして生成する、
    画像符号化装置。
  10. 請求項7において、前記データ分解部における、前記入力データから生成される前記ビットプレーンと前記符号化部の前記カラー画像データとの対応関係についての情報を送出する、
    画像符号化装置。
  11. 請求項7において、前記モノクロ画像は、観測者の視点から対象物までの2次元の距離情報である、
    画像符号化装置。
  12. 任意の自然数であるNビット階調のモノクロ画像による入力データを符号化され、伝送路を介して伝送された符号化データを復号化してNビット階調のモノクロ画像による出力データを生成する画像復号化装置であって、
    前記符号化データは、前記入力データが前記Nビットよりも小さい任意の自然数であるMビットのカラー画像データに対応する複数のビットプレーンに分割された後に、前記Mビットのカラー画像データに対する画像符号化処理によって出力され、
    前記画像復号化装置は、復号化部とデータ合成部とを有し、
    前記復号化部は、前記画像符号化処理に対応する、前記Mビットのカラー画像データを復号するための画像復号化処理が可能であり、
    前記データ合成部は、前記復号化部によって復号された前記Mビットのカラー画像データから、前記Nビット階調のモノクロ画像による前記出力データを生成可能である、
    画像復号化装置。
  13. 請求項12において、前記カラー画像データは、前記Mビットを8ビットとする輝度成分を含む、
    画像復号化装置。
  14. 請求項13において、
    前記符号化データの生成に際して、前記入力データの上位8ビットは前記カラー画像データの前記輝度成分に対応するビットプレーンとして生成され、
    前記データ合成部は、前記復号化部によって復号された前記カラー画像データの前記輝度成分から、前記出力データの上位8ビットを生成する、
    画像復号化装置。
  15. 請求項12において、前記符号化データを生成する際の、前記入力データから生成される前記ビットプレーンと前記画像符号化処理の前記カラー画像データとの対応関係についての情報が入力され、
    伝送された前記情報に基づいて、前記データ合成部における、前記出力データを構成するビットプレーンと前記復号化部の前記カラー画像データとの対応関係が設定される、
    画像復号化装置。
  16. 請求項12において、前記モノクロ画像は、観測者の視点から対象物までの2次元の距離情報である、
    画像復号化装置。
JP2015170138A 2015-08-31 2015-08-31 画像符号化装置、画像復号化装置および画像伝送装置 Pending JP2017050592A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015170138A JP2017050592A (ja) 2015-08-31 2015-08-31 画像符号化装置、画像復号化装置および画像伝送装置
US15/206,248 US10225563B2 (en) 2015-08-31 2016-07-09 Image encoder, image decoder, and image transmission device
CN201610674139.3A CN106488244A (zh) 2015-08-31 2016-08-16 图像编码器、图像解码器和图像传输装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015170138A JP2017050592A (ja) 2015-08-31 2015-08-31 画像符号化装置、画像復号化装置および画像伝送装置

Publications (2)

Publication Number Publication Date
JP2017050592A true JP2017050592A (ja) 2017-03-09
JP2017050592A5 JP2017050592A5 (ja) 2018-08-16

Family

ID=58096451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015170138A Pending JP2017050592A (ja) 2015-08-31 2015-08-31 画像符号化装置、画像復号化装置および画像伝送装置

Country Status (3)

Country Link
US (1) US10225563B2 (ja)
JP (1) JP2017050592A (ja)
CN (1) CN106488244A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017050592A (ja) * 2015-08-31 2017-03-09 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号化装置および画像伝送装置
KR102640968B1 (ko) * 2018-05-29 2024-02-27 삼성전자주식회사 인쇄 회로 기판, 스토리지 장치, 및 인쇄 회로 기판을 포함하는 스토리지 장치
CN110085185A (zh) * 2019-04-29 2019-08-02 肇庆市金鹏实业有限公司 一种兼容单色屏的彩色液晶屏显示电路及方法
CN111060923B (zh) * 2019-11-26 2022-05-13 武汉乐庭软件技术有限公司 一种多激光雷达的汽车驾驶障碍物检测方法及***

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5444461A (en) * 1992-03-19 1995-08-22 Optibase Advanced Systems (1990) Ltd. Bi-dimensional visual model
US5450098A (en) * 1992-09-19 1995-09-12 Optibase Advanced Systems (1990) Ltd. Tri-dimensional visual model
US6208761B1 (en) * 1995-07-11 2001-03-27 Telefonaktiebolaget Lm Ericsson (Publ) Video coding
JP3620521B2 (ja) * 2001-09-14 2005-02-16 日本電気株式会社 画像処理装置、画像伝送装置、画像受信装置及び画像処理方法
US6993199B2 (en) * 2001-09-18 2006-01-31 Nokia Mobile Phones Ltd. Method and system for improving coding efficiency in image codecs
JP4593060B2 (ja) 2002-06-04 2010-12-08 三菱電機株式会社 画像符号化装置
EP1478189A3 (en) * 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
EP1591963B1 (en) * 2004-04-29 2008-07-09 Mitsubishi Electric Information Technology Centre Europe B.V. Adaptive quantisation of a depth map
US20080137732A1 (en) * 2005-09-20 2008-06-12 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20080130740A1 (en) * 2005-09-20 2008-06-05 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300694B2 (en) * 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20080123737A1 (en) * 2005-09-20 2008-05-29 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300700B2 (en) * 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
EP1928184B1 (en) * 2005-09-20 2017-09-27 Mitsubishi Electric Corporation Image encoding apparatus, image encoding method
US8306112B2 (en) * 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
CN101138248A (zh) * 2005-12-07 2008-03-05 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
CN101133649B (zh) * 2005-12-07 2010-08-25 索尼株式会社 编码装置、编码方法以及解码装置、解码方法
DE102007025504B4 (de) * 2007-06-01 2014-06-12 Eizo Gmbh Verfahren und Anordnung zur Verbesserung der Graustufenauflösung eines Monochrom-Bildwiedergabegerätes
JP2009044289A (ja) * 2007-08-07 2009-02-26 Seiko Epson Corp 画像処理装置
JP5660361B2 (ja) * 2010-03-26 2015-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
AU2011203169C1 (en) * 2011-06-29 2014-07-17 Canon Kabushiki Kaisha Compression of high bit-depth images
US20150124863A1 (en) * 2013-05-29 2015-05-07 ClearOne Inc. Chroma-based video converter
JP6272689B2 (ja) * 2013-12-24 2018-01-31 日本放送協会 ビット深度分解割当装置、ビット深度結合復元装置、画像符号化装置、画像復号装置、及びこれらのプログラム
JP2017050592A (ja) * 2015-08-31 2017-03-09 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号化装置および画像伝送装置

Also Published As

Publication number Publication date
US10225563B2 (en) 2019-03-05
CN106488244A (zh) 2017-03-08
US20170064312A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
JP7233501B2 (ja) ルックアップ・テーブルを符号化する方法および復号する方法、並びに対応する装置
US20160187850A1 (en) Data format for hologram, and apparatus and method for holographic video system
JP2017050592A (ja) 画像符号化装置、画像復号化装置および画像伝送装置
EP2916543A1 (en) Method for coding/decoding depth image and coding/decoding device
JP2009010954A (ja) 高速な画像処理方法およびシステム
JP2012510737A5 (ja)
CN107431822B (zh) 图像编解码方法和设备
EP3178224B1 (en) Apparatus and method for compressing color index map
JP2017526252A (ja) エンコーダ、デコーダ、および方法
JP6293118B2 (ja) 三次元映像シーケンス補助情報のデコーディング方法、エンコーディング方法および装置
CN116112688A (zh) 点云编码方法和解码方法、编码器、解码器、及存储介质
JP2012235407A (ja) 画像処理装置および画像処理方法
CN107155364B (zh) 使用几何图元处理基于图的信号的方法和装置
JP2017050592A5 (ja)
CN113228665A (zh) 用于处理配置数据的方法、设备、计算机程序和计算机可读介质
JP4906902B2 (ja) 画像処理装置及び方法
JP2014143655A (ja) 画像符号化装置及び画像復号化装置並びにプログラム
CN110971913B (zh) 一种基于填充Y通道的Bayer图像压缩方法
KR20130084227A (ko) 화상 처리 장치 및 화상 처리 방법
JP6272689B2 (ja) ビット深度分解割当装置、ビット深度結合復元装置、画像符号化装置、画像復号装置、及びこれらのプログラム
CN112204971A (zh) 视频图像编码方法、设备及可移动平台
JP2003023629A (ja) 画像処理装置及び画像処理方法
JP2009005355A (ja) 映像データ処理装置
JP2018050143A (ja) 画像処理装置およびプログラム
JP5806790B1 (ja) 復号装置、撮像システム、復号方法、符号化復号方法、及び復号プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160203

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191015