JP2002152776A - 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置 - Google Patents
距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置Info
- Publication number
- JP2002152776A JP2002152776A JP2000342688A JP2000342688A JP2002152776A JP 2002152776 A JP2002152776 A JP 2002152776A JP 2000342688 A JP2000342688 A JP 2000342688A JP 2000342688 A JP2000342688 A JP 2000342688A JP 2002152776 A JP2002152776 A JP 2002152776A
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- image
- distance
- encoded
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 距離画像の測定分解能が物体表面各点におい
て異なることを利用して、実質的な距離情報を保持した
まま、符号化効率に優れる距離画像符号化を実現する。 【解決手段】 距離画像符号化側では、距離画像センサ
で測定された物体表面各点までの距離情報を各ピクセル
値として持つ距離画像を標本化した後、距離画像の各部
分ごとに、当該部分に対する距離画像センサの分解能に
基づいて量子化幅を設定して、距離画像を量子化し、符
号化する。例えば、各部分の量子化幅は、その部分とセ
ンサとの距離に対して２乗に比例して設定する。距離画
像復号化側では、符号化データを復号し、各部分の量子
化幅に基づいて逆量子化して距離画像を復元する。
て異なることを利用して、実質的な距離情報を保持した
まま、符号化効率に優れる距離画像符号化を実現する。 【解決手段】 距離画像符号化側では、距離画像センサ
で測定された物体表面各点までの距離情報を各ピクセル
値として持つ距離画像を標本化した後、距離画像の各部
分ごとに、当該部分に対する距離画像センサの分解能に
基づいて量子化幅を設定して、距離画像を量子化し、符
号化する。例えば、各部分の量子化幅は、その部分とセ
ンサとの距離に対して２乗に比例して設定する。距離画
像復号化側では、符号化データを復号し、各部分の量子
化幅に基づいて逆量子化して距離画像を復元する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像の符号化およ
び復号化技術に係り、詳しくは距離画像を高摩率で圧縮
する符号化技術およびその復号化技術に関する。
び復号化技術に係り、詳しくは距離画像を高摩率で圧縮
する符号化技術およびその復号化技術に関する。
【０００２】
【従来の技術】３次元世界の見え方を記録したり伝送す
るには、ある視点から対象表面の色・輝度・距離の２次
元情報、すなわちカラー画像もしくは輝度画像と色差画
像、および、カメラから物体表面各点までの絶対的な距
離を各ピクセルの値として持つ距離画像が必要になる。
より完全に近い３次元世界の情報を保存・伝送しようと
するならば、複数視点でのカラー画像と距離画像が必要
である。さらに再生側で任意視点からの見え方を再現す
るためには、より多くの視点からの情報を演算処理し再
統合する必要がある。そのためには、膨大なカラー画像
と距離画像を効率的に圧縮する必要がある。
るには、ある視点から対象表面の色・輝度・距離の２次
元情報、すなわちカラー画像もしくは輝度画像と色差画
像、および、カメラから物体表面各点までの絶対的な距
離を各ピクセルの値として持つ距離画像が必要になる。
より完全に近い３次元世界の情報を保存・伝送しようと
するならば、複数視点でのカラー画像と距離画像が必要
である。さらに再生側で任意視点からの見え方を再現す
るためには、より多くの視点からの情報を演算処理し再
統合する必要がある。そのためには、膨大なカラー画像
と距離画像を効率的に圧縮する必要がある。
【０００３】一般に距離画像センサから入力されたアナ
ログ距離画像は、標本化によって離散時間信号に変換さ
れ、量子化によって離散値信号に変換される。従来技術
においては、距離画像信号の振幅軸全体を、一様の幅で
均等に量子化する線形量子化が行われていた。
ログ距離画像は、標本化によって離散時間信号に変換さ
れ、量子化によって離散値信号に変換される。従来技術
においては、距離画像信号の振幅軸全体を、一様の幅で
均等に量子化する線形量子化が行われていた。
【０００４】一方、距離画像を効率的に符号化する手法
として、距離画像を予測符号化する手法が考えられる。
予測符号化法は、隣接するピクセル間の相関が高い性質
に注目して、現在のピクセル値を直前に符号化したピク
セル値から予測し、残差信号を符号化するものであり、
これを距離画像の符号化にも利用するものである。さら
に距離画像を効率的に符号化する手法として、本出願人
は、特願２０００−２３９９１３号において、距離画像
と輝度画像の相関を利用して、距離画像のピクセルを、
距離画像の隣接ピクセルと対応する輝度画像のピクセル
から予測するモデルをもちいることで、距離画像を可逆
的に高能率で符号化する方法と、これにより符号化され
た距離画像を復号化する方法を提案している。しかし、
量子化について特に具体的には記述されていない。
として、距離画像を予測符号化する手法が考えられる。
予測符号化法は、隣接するピクセル間の相関が高い性質
に注目して、現在のピクセル値を直前に符号化したピク
セル値から予測し、残差信号を符号化するものであり、
これを距離画像の符号化にも利用するものである。さら
に距離画像を効率的に符号化する手法として、本出願人
は、特願２０００−２３９９１３号において、距離画像
と輝度画像の相関を利用して、距離画像のピクセルを、
距離画像の隣接ピクセルと対応する輝度画像のピクセル
から予測するモデルをもちいることで、距離画像を可逆
的に高能率で符号化する方法と、これにより符号化され
た距離画像を復号化する方法を提案している。しかし、
量子化について特に具体的には記述されていない。
【０００５】
【発明が解決しようとする課題】距離画像の測定分解能
は物体表面各点において異なることが知られている。こ
こで、測定分解能とは、センサから物体表面までの距離
を正確に計測する能力のことを示す。分解能が高い場
合、センサから物体表面までの距離の測定誤差（真値と
測定値との差）は小さい。逆に、分解能が低い場合、セ
ンサから物体表面までの距離の測定誤差は大きい。通常
の距離画像の測定においては、分解能が高いか低いかに
かかわらず、同じビット数（例えば、各画素１６ビッ
ト）でデータが保存される。このことは、測定分解能が
低い部分の距離情報には、実質的に多くのビット数が割
り当てられていることを意味する。したがって、従来技
術の線形量子化では、距離画像の圧縮に限界があった。
は物体表面各点において異なることが知られている。こ
こで、測定分解能とは、センサから物体表面までの距離
を正確に計測する能力のことを示す。分解能が高い場
合、センサから物体表面までの距離の測定誤差（真値と
測定値との差）は小さい。逆に、分解能が低い場合、セ
ンサから物体表面までの距離の測定誤差は大きい。通常
の距離画像の測定においては、分解能が高いか低いかに
かかわらず、同じビット数（例えば、各画素１６ビッ
ト）でデータが保存される。このことは、測定分解能が
低い部分の距離情報には、実質的に多くのビット数が割
り当てられていることを意味する。したがって、従来技
術の線形量子化では、距離画像の圧縮に限界があった。
【０００６】本発明の目的は、距離画像の測定分解能が
物体表面各点において異なることを利用して、視覚的に
ほぼ可逆符号化と同じ推定精度を保持したまま、距離画
像を高能率で圧縮する符号化法及び装置、並びに、この
符号化された距離画像を復号化する方法及び装置を提供
することにある。
物体表面各点において異なることを利用して、視覚的に
ほぼ可逆符号化と同じ推定精度を保持したまま、距離画
像を高能率で圧縮する符号化法及び装置、並びに、この
符号化された距離画像を復号化する方法及び装置を提供
することにある。
【０００７】
【課題を解決するための手段】本発明は、距離画像を符
号化するにあたり、距離画像の測定分解能が物体表面各
点において異なることを利用して、距離画像を、その各
部分ごとに、当該部分に対応する距離画像センサの分解
能に基づいて量子化幅を設定することを主要な特徴とす
る。すなわち、各部分の量子化幅は、分解能の高さに対
して単調減少するように、分解能が高い部分の量子化幅
を小さく、低い部分の量子化幅を大きく設定する。具体
例では、距離画像センサの分解能は、センサからの距離
の２乗に比例することを利用して、距離画像の各部分の
量子化幅は、物体表面の当該部分と距離画像センサとの
距離に対して２乗に比例して設定する。これにより、実
質的な距離情報を保持したまま、保存するデータ量を削
除することができ、符号化効率に優れる距離画像の符号
化が実現する。
号化するにあたり、距離画像の測定分解能が物体表面各
点において異なることを利用して、距離画像を、その各
部分ごとに、当該部分に対応する距離画像センサの分解
能に基づいて量子化幅を設定することを主要な特徴とす
る。すなわち、各部分の量子化幅は、分解能の高さに対
して単調減少するように、分解能が高い部分の量子化幅
を小さく、低い部分の量子化幅を大きく設定する。具体
例では、距離画像センサの分解能は、センサからの距離
の２乗に比例することを利用して、距離画像の各部分の
量子化幅は、物体表面の当該部分と距離画像センサとの
距離に対して２乗に比例して設定する。これにより、実
質的な距離情報を保持したまま、保存するデータ量を削
除することができ、符号化効率に優れる距離画像の符号
化が実現する。
【０００８】以下に、本発明で利用する距離画像の測定
分解能について説明する。実世界にある物体の３次元形
状を得る方法は、「受動的手法」と「能動的手法」に大
別される。「受動的手法」は、対象に対して何らかの意
味を持つエネルギーを投影することなく対象の３次元形
状を測定する手法であり、ステレオビジョンなどが含ま
れる。それに対して、「能動的手法」は計測対象物体に
対して光、音波などを投影し、その挙動を計測すること
により３次元形状を得る。一般的に、「受動的手法」お
よび「能動的手法」いずれの手法も三角測量の原理に基
づいてカメラから物体表面各点までの距離を計測して記
録する。
分解能について説明する。実世界にある物体の３次元形
状を得る方法は、「受動的手法」と「能動的手法」に大
別される。「受動的手法」は、対象に対して何らかの意
味を持つエネルギーを投影することなく対象の３次元形
状を測定する手法であり、ステレオビジョンなどが含ま
れる。それに対して、「能動的手法」は計測対象物体に
対して光、音波などを投影し、その挙動を計測すること
により３次元形状を得る。一般的に、「受動的手法」お
よび「能動的手法」いずれの手法も三角測量の原理に基
づいてカメラから物体表面各点までの距離を計測して記
録する。
【０００９】能動的手法によって対象物体の３次元形状
を得るセンサは「レンジファインダ」と呼ばれる。レン
ジファインダでは、相対的な位置関係が既知のカメラと
プロジェクタを用いて対象物体までの距離を計測する。
この方法では、プロジェクタから対応が一意に決定され
るような光パターンを対象物体に投影し、これをカメラ
で観察し３次元座標を求める。
を得るセンサは「レンジファインダ」と呼ばれる。レン
ジファインダでは、相対的な位置関係が既知のカメラと
プロジェクタを用いて対象物体までの距離を計測する。
この方法では、プロジェクタから対応が一意に決定され
るような光パターンを対象物体に投影し、これをカメラ
で観察し３次元座標を求める。
【００１０】これらのレンジファインダでは、基本的に
は図１７の関係から３次元座標値を計算する。カメラ中
心を原点とし、ｘ−ｙ平面が画像面に平行な座標系を、
カメラ座標系と呼ぶことにする。プロジェクタ中心は、
カメラ座標系で（Ｄ，０，０）Ｔにあるとする。プロジ
ェクタから投影された光パターンの像から、画像内の点
（ｕ，ｖ）Ｔのカメラ座標系での３次元座標（ｘ，ｙ，
ｚ）Ｔを計算する。このとき、次式が成立する。
は図１７の関係から３次元座標値を計算する。カメラ中
心を原点とし、ｘ−ｙ平面が画像面に平行な座標系を、
カメラ座標系と呼ぶことにする。プロジェクタ中心は、
カメラ座標系で（Ｄ，０，０）Ｔにあるとする。プロジ
ェクタから投影された光パターンの像から、画像内の点
（ｕ，ｖ）Ｔのカメラ座標系での３次元座標（ｘ，ｙ，
ｚ）Ｔを計算する。このとき、次式が成立する。
【数１】 但し、θは光パターンの投影方向と、ｙ軸を含みｘ軸に
直交する面のなす角である。
直交する面のなす角である。
【００１１】ここで、三角測量を用いて距離を測定する
場合に発生する誤差について検討する。そのために、ま
ずステレオビジョンを例に、測定対象点までの距離と測
定誤差の関係を分析する。
場合に発生する誤差について検討する。そのために、ま
ずステレオビジョンを例に、測定対象点までの距離と測
定誤差の関係を分析する。
【００１２】図１６のように、間隔Ｄで設置された２台
のカメラにより奥行ｚのところにある対象点を測定し、
視差すなわち２枚の画像間で対応する点の位置ずれ量ｂ
が検出されたとする。カメラの焦点距離をＦとすると、
奥行ｚは次式により求まる。
のカメラにより奥行ｚのところにある対象点を測定し、
視差すなわち２枚の画像間で対応する点の位置ずれ量ｂ
が検出されたとする。カメラの焦点距離をＦとすると、
奥行ｚは次式により求まる。
【数２】
【００１３】画像から視差を求めるときに１ピクセル分
の誤差がのったときの影響を調べる。式（２）にｂにつ
いて微分したのち、式（２）の関係を用いてｂを消去す
ると、
の誤差がのったときの影響を調べる。式（２）にｂにつ
いて微分したのち、式（２）の関係を用いてｂを消去す
ると、
【数３】 となる。よって、測定点の奥行ｚと測定誤差Δｚの間に
は
は
【数４】 の関係が成立する。
【００１４】レーザーレンジファインダでは、２台のカ
メラの代わりに、１台のスリット光投影装置と１台のカ
メラを用いる。この２台の装置の設置間隔をＤとすれ
ば、式（４）と同様の関係が成立している。
メラの代わりに、１台のスリット光投影装置と１台のカ
メラを用いる。この２台の装置の設置間隔をＤとすれ
ば、式（４）と同様の関係が成立している。
【００１５】本発明においては、この解析結果をもとに
センサからの距離が大きな距離画像の量子化幅を距離の
２乗に比例した大きさで設定する非一様量子化を行うの
である。一般には、分解能の高さに対して単調減少する
ように設定する非一様量子化を行うのである。
センサからの距離が大きな距離画像の量子化幅を距離の
２乗に比例した大きさで設定する非一様量子化を行うの
である。一般には、分解能の高さに対して単調減少する
ように設定する非一様量子化を行うのである。
【００１６】
【発明の実施の形態】以下、本発明の二、三の実施の形
態について図面を参照して説明する。なお、以下の各実
施例では、距離画像の測定誤差が距離画像センサからの
距離の２乗に比例することを利用して、量子化幅を距離
の２乗に比例した大きさで設定することとする。
態について図面を参照して説明する。なお、以下の各実
施例では、距離画像の測定誤差が距離画像センサからの
距離の２乗に比例することを利用して、量子化幅を距離
の２乗に比例した大きさで設定することとする。
【００１７】［第１実施例］これは、アナログ距離画像
をデジタル距離画像に量子化する場合の実施例である。
図１に、本発明の第１の一実施例の全体的構成図を示
す。図１において、１００は距離画像符号化装置であ
り、２００は距離画像復号化装置である。距離画像符号
化装置１００では、距離画像センサによって測定された
アナログ距離画像を入力して、標本化部１１０によって
離散時間信号に標本化し、量子化部１２０によって離散
値信号に変換する。すなわち、アナログ距離画像をデジ
タル距離画像データに変換する。一般に量子化は、画像
信号の振幅軸全体を一様の幅で均等に量子化する線形量
子化が行われるが、本量子化部１２０においては、物体
表面を各部分においてそれぞれ量子化幅を設定すること
として、距離画像を各部分ごとに、その距離情報をもと
に、距離画像センサからの距離の２乗に比例して量子化
幅を設定する非一様量子化を行う。この量子化した距離
画像を、符号化部１３０において符号化し、保存・伝送
する。距離画像復号化装置２００では、復号部２１０に
て符号化データを復号した後、逆量子化部２２０におい
て、各部分の量子化幅に基づいて逆量子化し、距離画像
を再生する。
をデジタル距離画像に量子化する場合の実施例である。
図１に、本発明の第１の一実施例の全体的構成図を示
す。図１において、１００は距離画像符号化装置であ
り、２００は距離画像復号化装置である。距離画像符号
化装置１００では、距離画像センサによって測定された
アナログ距離画像を入力して、標本化部１１０によって
離散時間信号に標本化し、量子化部１２０によって離散
値信号に変換する。すなわち、アナログ距離画像をデジ
タル距離画像データに変換する。一般に量子化は、画像
信号の振幅軸全体を一様の幅で均等に量子化する線形量
子化が行われるが、本量子化部１２０においては、物体
表面を各部分においてそれぞれ量子化幅を設定すること
として、距離画像を各部分ごとに、その距離情報をもと
に、距離画像センサからの距離の２乗に比例して量子化
幅を設定する非一様量子化を行う。この量子化した距離
画像を、符号化部１３０において符号化し、保存・伝送
する。距離画像復号化装置２００では、復号部２１０に
て符号化データを復号した後、逆量子化部２２０におい
て、各部分の量子化幅に基づいて逆量子化し、距離画像
を再生する。
【００１８】［第２実施例］これは、距離画像の各ピク
セル値を隣接するピクセル値から予測し、その残差信号
を符号化する予測符号化法に適用する実施例である。こ
こで距離画像は、図２に示すように、距離画像センサに
よって測定されたアナログ距離画像を標本化部１５１に
よって離散時間信号に変換し、量子化部１５２によって
離散値信号（デジタル距離画像）に変換して得られたも
のとする。図２に示すＡ／Ｄ変換部１５０の構成は、図
１の標本化部１１０と量子化部１２０の構成と基本的に
同じであるが、量子部１５２が画像信号の量子化に一般
に用いられている一様量子化器を用いている点が異な
る。なお、これ以降の各実施例の距離画像は図２に示す
Ａ／Ｄ変換部１５０により得られていると仮定する。な
お、通常の距離画像は図２のようにしてデジタル化して
与えられるものである。
セル値を隣接するピクセル値から予測し、その残差信号
を符号化する予測符号化法に適用する実施例である。こ
こで距離画像は、図２に示すように、距離画像センサに
よって測定されたアナログ距離画像を標本化部１５１に
よって離散時間信号に変換し、量子化部１５２によって
離散値信号（デジタル距離画像）に変換して得られたも
のとする。図２に示すＡ／Ｄ変換部１５０の構成は、図
１の標本化部１１０と量子化部１２０の構成と基本的に
同じであるが、量子部１５２が画像信号の量子化に一般
に用いられている一様量子化器を用いている点が異な
る。なお、これ以降の各実施例の距離画像は図２に示す
Ａ／Ｄ変換部１５０により得られていると仮定する。な
お、通常の距離画像は図２のようにしてデジタル化して
与えられるものである。
【００１９】図３に、本発明の第２の実施例における距
離画像符号化装置３００の構成図を示す。距離画像を効
率的に符号化する手法として、距離画像を予測符号化す
る手法が考えられる。予測符号化は、隣接するピクセル
間の相関が高い性質に注目し、符号化効率を高める符号
化法の一つである。
離画像符号化装置３００の構成図を示す。距離画像を効
率的に符号化する手法として、距離画像を予測符号化す
る手法が考えられる。予測符号化は、隣接するピクセル
間の相関が高い性質に注目し、符号化効率を高める符号
化法の一つである。
【００２０】図３において、予測部３１０は、入力され
た距離画像（デジタル距離画像データ）を、局所復号距
離画像を用いて予測する。例えば、距離画像ｚ（ｘ，
ｙ）は、次式により予測される。
た距離画像（デジタル距離画像データ）を、局所復号距
離画像を用いて予測する。例えば、距離画像ｚ（ｘ，
ｙ）は、次式により予測される。
【数５】 なお、予測に用いる局所復号距離画像の数は増やすこと
も可能である。すなわち、次数は増やすことができる。
最適な次数は、対象とする距離画像および輝度画像の統
計的性質によって決定される。
も可能である。すなわち、次数は増やすことができる。
最適な次数は、対象とする距離画像および輝度画像の統
計的性質によって決定される。
【００２１】差分検出部３２０は、入力された距離画像
と予測信号（予測値）との残差信号すなわち予測誤差を
検出する。ここで、残差信号は次式で表される。
と予測信号（予測値）との残差信号すなわち予測誤差を
検出する。ここで、残差信号は次式で表される。
【数６】 量子化部３３０は、残差信号を、例えば、次式により量
子化する。
子化する。
【数７】 但し、
【数８】 予測符号化の場合、残差信号の量子化誤差は再生画像の
誤差に相当することから、残差信号の量子化誤差を決定
するδを、次式のように、距離ｚの２乗に比例するよう
に設定する。
誤差に相当することから、残差信号の量子化誤差を決定
するδを、次式のように、距離ｚの２乗に比例するよう
に設定する。
【数９】 但し、ｚmax距離画像の最大値で、１６ビット画像の場
合ｚmax＝２16−１＝６５５３５となる。ＱＳＦ（Ｑｕ
ａｎｔｉｚａｔｉｏｎ Ｓｃａｌｅ Ｆａｃｔｏｒ）
は、符号化品質を制御するパラメータであり、ＱＳＦが
小さいほど高品質な画像が保存できる。ＱＳＦが０の場
合、常にδ＝０より可逆符号化となり、ＱＳＦが“ｎ”
の場合、最大“ｎ”の誤差を許容する準可逆符号化とな
る。
合ｚmax＝２16−１＝６５５３５となる。ＱＳＦ（Ｑｕ
ａｎｔｉｚａｔｉｏｎ Ｓｃａｌｅ Ｆａｃｔｏｒ）
は、符号化品質を制御するパラメータであり、ＱＳＦが
小さいほど高品質な画像が保存できる。ＱＳＦが０の場
合、常にδ＝０より可逆符号化となり、ＱＳＦが“ｎ”
の場合、最大“ｎ”の誤差を許容する準可逆符号化とな
る。
【００２２】可変長符号化部３４０は、量子化された残
差信号を、可変長符号化によりエントロピー符号化し保
存・伝送する。
差信号を、可変長符号化によりエントロピー符号化し保
存・伝送する。
【００２３】一方、逆量子化部３５０は、量子化された
残差信号を逆量子化し、加算部３６０は、逆量子化され
た残差信号と予測部３１０で予測された予測信号を加算
する。この加算部３６０の出力が予測部３０１にフィー
ドバックされて、次の予測のための局所復号距離画像に
用いられる。
残差信号を逆量子化し、加算部３６０は、逆量子化され
た残差信号と予測部３１０で予測された予測信号を加算
する。この加算部３６０の出力が予測部３０１にフィー
ドバックされて、次の予測のための局所復号距離画像に
用いられる。
【００２４】図４に、本発明の第２の実施例における距
離画像復号化装置４００の構成図を示す。エントロピー
符号化された符号化データを、可変長復号化部４１０に
おいて復号した後、逆量子化部４２０において逆量子化
を行い、距離画像の残差信号を復元する。逆量子化は
離画像復号化装置４００の構成図を示す。エントロピー
符号化された符号化データを、可変長復号化部４１０に
おいて復号した後、逆量子化部４２０において逆量子化
を行い、距離画像の残差信号を復元する。逆量子化は
【数１０】 により計算される。ここで、量子化幅δは式（９）によ
り計算する。
り計算する。
【００２５】逆量子化後の信号ｅ'(ｘ，ｙ）と残差信号
ｅ（ｘ，ｙ）には
ｅ（ｘ，ｙ）には
【数１１】 の関係が成立し、量子化誤差は±δ以内となる。
【００２６】予測信号復号化部４３０は、得られた残差
信号、予測信号近傍の復号済み距離画像の性質を用いて
距離画像を再生する。再生画像ｚ'(ｘ，ｙ）は、次式で
求められる。
信号、予測信号近傍の復号済み距離画像の性質を用いて
距離画像を再生する。再生画像ｚ'(ｘ，ｙ）は、次式で
求められる。
【数１２】 ここで、予測信号は符号化および復号化において同じ演
算処理であり、再生画像ｚ'(ｘ，ｙ）に含まれる推定誤
差は残差信号の量子化誤差そのものとなることがわか
る。
算処理であり、再生画像ｚ'(ｘ，ｙ）に含まれる推定誤
差は残差信号の量子化誤差そのものとなることがわか
る。
【００２７】［第３実施例］これは、距離画像と輝度画
像の相関を利用して、距離画像を予測符号化する方式に
適用する実施例である。図５に、本発明の第３の実施例
の全体的構成図を示す。図５において、５００は距離画
像符号化装置であり、６００は距離画像符号化装置であ
る。
像の相関を利用して、距離画像を予測符号化する方式に
適用する実施例である。図５に、本発明の第３の実施例
の全体的構成図を示す。図５において、５００は距離画
像符号化装置であり、６００は距離画像符号化装置であ
る。
【００２８】距離画像符号化装置５００では、入力され
たカラー画像を、カラー画像符号化部１にて符号化する
と同時に、輝度画像抽出部５２０にて輝度画像に変換す
る。入力カラー画像が例えばＲＧＢ画像データならば、
輝度画像抽出部５２０は、各画素のＲ，Ｇ，Ｂ成分より
輝度成分を算出して輝度画像データを生成する。入力カ
ラー画像が例えばＹＣｒＣｂ画像データのような輝度プ
レーンを含むものならば、輝度画像抽出部５２０は、そ
の輝度プレーンすなわち各画素のＹ成分のみを抽出する
ことによって輝度画像データを生成する。距離画像符号
化部５３０は、距離画像と輝度画像を入力して、距離画
像の残差信号を距離画像センサからの距離の２乗に比例
して量子化し、符号化する。多重化部５４０は、カラー
画像の符号化データと距離画像の符号化データを多重化
し、通信網もしくは記録媒体を経由して情報を伝送す
る。
たカラー画像を、カラー画像符号化部１にて符号化する
と同時に、輝度画像抽出部５２０にて輝度画像に変換す
る。入力カラー画像が例えばＲＧＢ画像データならば、
輝度画像抽出部５２０は、各画素のＲ，Ｇ，Ｂ成分より
輝度成分を算出して輝度画像データを生成する。入力カ
ラー画像が例えばＹＣｒＣｂ画像データのような輝度プ
レーンを含むものならば、輝度画像抽出部５２０は、そ
の輝度プレーンすなわち各画素のＹ成分のみを抽出する
ことによって輝度画像データを生成する。距離画像符号
化部５３０は、距離画像と輝度画像を入力して、距離画
像の残差信号を距離画像センサからの距離の２乗に比例
して量子化し、符号化する。多重化部５４０は、カラー
画像の符号化データと距離画像の符号化データを多重化
し、通信網もしくは記録媒体を経由して情報を伝送す
る。
【００２９】距離画像符号化装置６００では、分離部６
１０によりカラー画像と距離画像の各符号化データを分
離する。カラー画像の符号化データはカラー画像復号化
部６２０によりカラー画像と輝度画像に復号される。距
離画像復号化部６３０では、距離画像の符号データと輝
度画像とから距離画像を復号化する。
１０によりカラー画像と距離画像の各符号化データを分
離する。カラー画像の符号化データはカラー画像復号化
部６２０によりカラー画像と輝度画像に復号される。距
離画像復号化部６３０では、距離画像の符号データと輝
度画像とから距離画像を復号化する。
【００３０】距離画像と輝度画像は高い相関を持つこと
が知られている。先に本出願人が提案した特願２０００
−２３９９１３号によれば、距離画像ｚ（ｘ，ｙ）は、
その近傍の信号と輝度画像Ｉ（ｘ，ｙ）を用いて、例え
ば次式により予測できる。
が知られている。先に本出願人が提案した特願２０００
−２３９９１３号によれば、距離画像ｚ（ｘ，ｙ）は、
その近傍の信号と輝度画像Ｉ（ｘ，ｙ）を用いて、例え
ば次式により予測できる。
【数１３】 なお、予測に用いる距離画像および輝度画像の数は、増
やすことも可能である。すなわち、次数は増やすことが
できる。最適な次数は、対象とする距離画像および輝度
画像の統計的性質によって決定される。
やすことも可能である。すなわち、次数は増やすことが
できる。最適な次数は、対象とする距離画像および輝度
画像の統計的性質によって決定される。
【００３１】残差信号は次式で表される。
【数１４】 これは、先の式（６）と同様である。この残差信号を量
子化し、エントロピー符号化する。ここで、量子化は式
（７）、（８）により行われ、量子化幅δは式（９）に
より計算する。
子化し、エントロピー符号化する。ここで、量子化は式
（７）、（８）により行われ、量子化幅δは式（９）に
より計算する。
【００３２】再生画像ｚ'(ｘ，ｙ）は、
【数１５】 により計算される。ここで、予測信号は符号化および復
号化において同じ演算処理であり、式（１３）によって
計算される。したがって、再生画像ｚ'(ｘ，ｙ）に含ま
れる推定誤差は残差信号の量子化誤差そのものとなるこ
とがわかる。
号化において同じ演算処理であり、式（１３）によって
計算される。したがって、再生画像ｚ'(ｘ，ｙ）に含ま
れる推定誤差は残差信号の量子化誤差そのものとなるこ
とがわかる。
【００３３】図６乃至図９に、図５の距離画像符号化装
置５００における距離画像符号化部５３０の第１の構成
例を示す。これは、符号化対象である距離画像をブロッ
クに分割し、ブロックごとに予測器および量子化幅を切
り換えて予測処理する実施形態である。
置５００における距離画像符号化部５３０の第１の構成
例を示す。これは、符号化対象である距離画像をブロッ
クに分割し、ブロックごとに予測器および量子化幅を切
り換えて予測処理する実施形態である。
【００３４】図６は距離画像予測符号化部５３０の全体
的構成図であり、距離画像のブロック分割部５３１、輝
度画像のブロック分割部５３２及び予測符号化処理部５
３３からなる。図６において、距離画像と輝度画像はブ
ロック分割部５３１，５３２にてそれぞれ一定の大きさ
のブロックに分割される。予測符号化処理部５３３は、
このブロック毎に予測処理を行い、残差信号をエントロ
ピー符号化する。
的構成図であり、距離画像のブロック分割部５３１、輝
度画像のブロック分割部５３２及び予測符号化処理部５
３３からなる。図６において、距離画像と輝度画像はブ
ロック分割部５３１，５３２にてそれぞれ一定の大きさ
のブロックに分割される。予測符号化処理部５３３は、
このブロック毎に予測処理を行い、残差信号をエントロ
ピー符号化する。
【００３５】図７は予測符号処理部５３３の全体的構成
図であり、前処理部５３３０と符号化データ生成部５３
４０からなる。図８に前処理部５３３０の具体的構成例
を示し、図９に符号化データ生成部５３４０の具体的構
成例を示す。図９の符号化データ生成部５３４０は図３
と基本的には同様の構成である。
図であり、前処理部５３３０と符号化データ生成部５３
４０からなる。図８に前処理部５３３０の具体的構成例
を示し、図９に符号化データ生成部５３４０の具体的構
成例を示す。図９の符号化データ生成部５３４０は図３
と基本的には同様の構成である。
【００３６】予測符号化処理部５３３では、まず、前処
理部５３３０において、予測係数演算部５３３１はブロ
ック内距離画像と輝度画像の値を用いて予測係数を計算
し、量子化ステップサイズ演算部５３３２はブロック内
距離画像の値を用いて量子化ステップサイズ（量子化
幅）を計算する。
理部５３３０において、予測係数演算部５３３１はブロ
ック内距離画像と輝度画像の値を用いて予測係数を計算
し、量子化ステップサイズ演算部５３３２はブロック内
距離画像の値を用いて量子化ステップサイズ（量子化
幅）を計算する。
【００３７】ここで、予測係数演算は、予測誤差の分散
を最小にする予測係数を最小自乗法により求めるもので
あり、ここでは、式（１３）の右辺と距離画像ｚ（ｘ，
ｙ）の差の分散が最小となる予測係数ｃ１，ｃ２，ｃ
３，ｃ４を算出する。量子化幅は、ここでは式（９）に
より計算する。式（９）において、距離ｚは、ブロック
内距離画像を用いて、距離画像センサからの距離の平均
値
を最小にする予測係数を最小自乗法により求めるもので
あり、ここでは、式（１３）の右辺と距離画像ｚ（ｘ，
ｙ）の差の分散が最小となる予測係数ｃ１，ｃ２，ｃ
３，ｃ４を算出する。量子化幅は、ここでは式（９）に
より計算する。式（９）において、距離ｚは、ブロック
内距離画像を用いて、距離画像センサからの距離の平均
値
【数１６】 で与える。
【００３８】次に、符号化データ生成部５３４０におい
て、予測部５３４１は、得られた予測係数を用いて式
（１３）により予測信号を生成し、差分検出部５３４２
は式（１４）により残差信号を生成し、量子化部５３４
３は、式（７），（８）により残差信号を量子化する。
具体的には、得られた量子化ステップサイズを用いて量
子化幅を切り換えて量子化する。可変長符号化部５３４
４は、量子化された残差信号をエントロビー符号化す
る。このエントロビー符号化された残差信号（符号化デ
ータ）、及び、その付加情報として予測係数と量子化幅
（量子化ステップサイズ）が復号側に伝送される。一
方、逆量子化部５３４５は、量子化された残差信号を逆
量子化し、加算部５３４６は、逆量子化された残差信号
と予測部５３４１で予測された予測信号を加算して予測
部５３４１にフィードバックする。
て、予測部５３４１は、得られた予測係数を用いて式
（１３）により予測信号を生成し、差分検出部５３４２
は式（１４）により残差信号を生成し、量子化部５３４
３は、式（７），（８）により残差信号を量子化する。
具体的には、得られた量子化ステップサイズを用いて量
子化幅を切り換えて量子化する。可変長符号化部５３４
４は、量子化された残差信号をエントロビー符号化す
る。このエントロビー符号化された残差信号（符号化デ
ータ）、及び、その付加情報として予測係数と量子化幅
（量子化ステップサイズ）が復号側に伝送される。一
方、逆量子化部５３４５は、量子化された残差信号を逆
量子化し、加算部５３４６は、逆量子化された残差信号
と予測部５３４１で予測された予測信号を加算して予測
部５３４１にフィードバックする。
【００３９】このように、予測処理の対象をブロック単
位にすることで、予測モデルの精度が向上するため、よ
り高い圧縮率の符号化が可能となる。
位にすることで、予測モデルの精度が向上するため、よ
り高い圧縮率の符号化が可能となる。
【００４０】図１０に、図５の距離画像復号化装置６０
０における距離画像復号化部６３０として、上述したブ
ロックごとに予測器および量子化幅を切り換えて予測処
理する実施形態に対応する構成例を示す。図１０におい
て、ブロックごとにエントロピー符号化された符号化デ
ータを、可変長復号化部６３１において復号し、逆量子
化部６３２において量子化幅（量子化ステップサイズ）
を用いて逆量子化を行い、距離画像の残差信号を復元す
る。予測信号復号部６３３では、残差信号とブロック輝
度画像および付加情報の予測係数を用いてブロック距離
画像を復号化する。
０における距離画像復号化部６３０として、上述したブ
ロックごとに予測器および量子化幅を切り換えて予測処
理する実施形態に対応する構成例を示す。図１０におい
て、ブロックごとにエントロピー符号化された符号化デ
ータを、可変長復号化部６３１において復号し、逆量子
化部６３２において量子化幅（量子化ステップサイズ）
を用いて逆量子化を行い、距離画像の残差信号を復元す
る。予測信号復号部６３３では、残差信号とブロック輝
度画像および付加情報の予測係数を用いてブロック距離
画像を復号化する。
【００４１】次に、図１１に、図５の距離画像符号化装
置５００における距離画像予測符号化部５０３の第２の
構成例を示す。これは、符号化対象である距離画像を各
画素毎に予測器および量子化幅を切り換えて予測処理す
る実施形態である。
置５００における距離画像予測符号化部５０３の第２の
構成例を示す。これは、符号化対象である距離画像を各
画素毎に予測器および量子化幅を切り換えて予測処理す
る実施形態である。
【００４２】図１１において、距離画像符号化部５３０
は、距離画像と輝度画像を入力して、距離画像を画素ご
とに予測処理を行い、残差信号をエントロピー符号化す
る。全体の動作は、図９と基本的に同様であるので説明
を省略する。予測係数選択部７７０では、あらかじめ用
意された数種類の予測器を、予測信号近傍の復号済み距
離画像の性質を用いて選択する。残差信号の量子化は式
（８）により行われ、量子化幅δは式（９）により計算
する。量子化ステップサイズ演算部７８０では、式
（９）における距離ｚを、式（１７）のように、予測信
号近傍の復号済み距離画像を用いて推定された距離画像
センサからの距離を用いて決定する。
は、距離画像と輝度画像を入力して、距離画像を画素ご
とに予測処理を行い、残差信号をエントロピー符号化す
る。全体の動作は、図９と基本的に同様であるので説明
を省略する。予測係数選択部７７０では、あらかじめ用
意された数種類の予測器を、予測信号近傍の復号済み距
離画像の性質を用いて選択する。残差信号の量子化は式
（８）により行われ、量子化幅δは式（９）により計算
する。量子化ステップサイズ演算部７８０では、式
（９）における距離ｚを、式（１７）のように、予測信
号近傍の復号済み距離画像を用いて推定された距離画像
センサからの距離を用いて決定する。
【数１７】
【００４３】このモデルでは、予測信号近傍の復号済み
距離画像を用いているため予測係数および量子化幅の付
加情報の伝送を必要としない。画素ごとに適応処理する
ことで、ブロック処理よりもさらなる符号化効率の向上
が期待できる。
距離画像を用いているため予測係数および量子化幅の付
加情報の伝送を必要としない。画素ごとに適応処理する
ことで、ブロック処理よりもさらなる符号化効率の向上
が期待できる。
【００４４】図１２に、図５の距離画像復号化装置６０
０における距離画像復号化部６３０として、上述した各
画素毎に予測器および量子化幅を切り換えて予測処理す
る実施形態に対応する構成例を示す。図１２において、
画像ごとにエントロピー符号化された符号化データを、
可変長符号化部８１０において復号し、逆量子化部８２
０において、予測信号近傍の復号済み距離画像の性質を
用いて選択された予測器および予測信号近傍の復号済み
距離画像を用いて推定された量子化幅を用いて逆量子化
を行い、距離画像の残差信号を復元する。予測信号復号
化部８３０では、得られた残差信号と輝度画像を用いて
距離画像を復号化する。
０における距離画像復号化部６３０として、上述した各
画素毎に予測器および量子化幅を切り換えて予測処理す
る実施形態に対応する構成例を示す。図１２において、
画像ごとにエントロピー符号化された符号化データを、
可変長符号化部８１０において復号し、逆量子化部８２
０において、予測信号近傍の復号済み距離画像の性質を
用いて選択された予測器および予測信号近傍の復号済み
距離画像を用いて推定された量子化幅を用いて逆量子化
を行い、距離画像の残差信号を復元する。予測信号復号
化部８３０では、得られた残差信号と輝度画像を用いて
距離画像を復号化する。
【００４５】［第４実施例］これは、ブロックごとに距
離画像を予測符号化する符号化法において、ブロック内
の信号が定常である場合には統計的手法により予測計測
を推定し、非定常の場合には固定予測器を用いて予測符
号化するものである。
離画像を予測符号化する符号化法において、ブロック内
の信号が定常である場合には統計的手法により予測計測
を推定し、非定常の場合には固定予測器を用いて予測符
号化するものである。
【００４６】図１３に、本実施例の説明図を示す。ま
ず、入力されたブロック内の距離信号が定常であるか非
定常であるかを判断する。定常である場合、最小二乗法
などの統計的手法を用いて予測係数を推定し、非定常性
が強い場合には最小二乗法などの統計的手法では適切な
予測係数を推定できない固定予測器を用いる。決定され
た予測係数を用いて符号化を行う。これは、例えば図８
の前処理部で行うようにする。この前処理により、さら
に符号化効率が上昇する。
ず、入力されたブロック内の距離信号が定常であるか非
定常であるかを判断する。定常である場合、最小二乗法
などの統計的手法を用いて予測係数を推定し、非定常性
が強い場合には最小二乗法などの統計的手法では適切な
予測係数を推定できない固定予測器を用いる。決定され
た予測係数を用いて符号化を行う。これは、例えば図８
の前処理部で行うようにする。この前処理により、さら
に符号化効率が上昇する。
【００４７】次に、本発明によるシミュレーション結果
を示す。具体的には、画像サイズが１９２×１９２の距
離画像に対して、本発明による符号化特性を検証した。
まず、距離画像に対する予測符号化法の有効性を検証す
るために、可逆予測符号化を行った。図１４に演算結果
を示す。ここで、固定予測は、予測に固定予測器
を示す。具体的には、画像サイズが１９２×１９２の距
離画像に対して、本発明による符号化特性を検証した。
まず、距離画像に対する予測符号化法の有効性を検証す
るために、可逆予測符号化を行った。図１４に演算結果
を示す。ここで、固定予測は、予測に固定予測器
【数１８】 を用いたものである。また、ブロック処理は、ブロック
ごとに最小二乗法により予測係数を推定したモデルであ
る。
ごとに最小二乗法により予測係数を推定したモデルであ
る。
【００４８】なお、ブロック内信号の非定常性が強い場
合には、予測器は式（１８）を適用した。小ブロックの
大きさは８×８とした。エントロピーは、０．８８８２
＝０．７６９２（残差信号）＋０．１０５８（予測係
数）＋０．０１３２（予測方法）となっており、予測係
数等の付加情報量込みの値である。ここで、０．０１３
２（予測方法）は、予測器として最小二乗法により予測
係数を推定したモデルを使用したか、式（１８）を使用
したかを識別するための付加情報量である。
合には、予測器は式（１８）を適用した。小ブロックの
大きさは８×８とした。エントロピーは、０．８８８２
＝０．７６９２（残差信号）＋０．１０５８（予測係
数）＋０．０１３２（予測方法）となっており、予測係
数等の付加情報量込みの値である。ここで、０．０１３
２（予測方法）は、予測器として最小二乗法により予測
係数を推定したモデルを使用したか、式（１８）を使用
したかを識別するための付加情報量である。
【００４９】図１４より、いずれの手法を用いた場合に
おいても、エントロピーが原画像の１／３以下に減少し
ていることがわかり、距離画像に対しても予測符号が有
効であることがわかる。
おいても、エントロピーが原画像の１／３以下に減少し
ていることがわかり、距離画像に対しても予測符号が有
効であることがわかる。
【００５０】次に、同じ距離画像に対して、画素適応処
理により準可逆符号化を施した結果を図１５に示す。横
軸はＱＳＦであり、縦軸はエントロピーを示している。
なお、予測器は可逆符号化の場合と等しく数（１８）を
用いた。図１５より、許容誤差すなわちＱＳＦが増加す
るにつれて、エントロピーが減少することがわかる。Ｑ
ＳＦ＝４まで誤差を許容すると、可逆符号化（ＱＳＦ＝
０）と比較して約１／２程度まで情報量が削減できる。
理により準可逆符号化を施した結果を図１５に示す。横
軸はＱＳＦであり、縦軸はエントロピーを示している。
なお、予測器は可逆符号化の場合と等しく数（１８）を
用いた。図１５より、許容誤差すなわちＱＳＦが増加す
るにつれて、エントロピーが減少することがわかる。Ｑ
ＳＦ＝４まで誤差を許容すると、可逆符号化（ＱＳＦ＝
０）と比較して約１／２程度まで情報量が削減できる。
【００５１】
【発明の効果】以上説明したように、本発明によれば、
距離画像の測定分解能が物体表面各点において異なるこ
とを利用して、距離画像の各部分をそれぞれ異なる量子
化幅で量子化することで、実質的な距離情報を保持した
まま高い符号化効率が実現できる。
距離画像の測定分解能が物体表面各点において異なるこ
とを利用して、距離画像の各部分をそれぞれ異なる量子
化幅で量子化することで、実質的な距離情報を保持した
まま高い符号化効率が実現できる。
【図１】本発明の第１の実施例の全体的構成図である。
【図２】一般的な距離画像を得るための説明図である。
【図３】本発明の第２の実施例の距離画像符号化装置の
構成図である。
構成図である。
【図４】本発明の第２の実施例の距離画像復号化装置の
構成図である。
構成図である。
【図５】本発明の第３の実施例の全体的構成図である。
【図６】本発明の第３の実施例の距離画像予測符号化部
の全体的構成図である。
の全体的構成図である。
【図７】図６中の予測符号化処理部の概略構成図であ
る。
る。
【図８】図７中の前処理部の具体的構成図である。
【図９】図７中の符号化データ生成部の具体的構成図で
ある。
ある。
【図１０】図９に対応する距離画像復号化部の具体的構
成図である。
成図である。
【図１１】本発明の第３の実施例の距離画像予測符号化
部の他の実施形態の構成図である。
部の他の実施形態の構成図である。
【図１２】図１１に対応する距離画像復号化部の具体的
構成図である。
構成図である。
【図１３】本発明の第４の実施例を説明する図である。
【図１４】本発明の具体的シミュレーション結果を示す
表である。
表である。
【図１５】本発明の具体的シミュレーション結果を示す
グラフである。
グラフである。
【図１６】距離画像の測定原理を示す図である。
【図１７】同じく距離画像の測定原理を示す図である。
１００ 距離画像符号化装置 １１０ 標本化部 １２０ 量子化部 １３０ 符号化部 ２００ 距離画像復号化装置 ２１０ 復号部 ２２０ 逆量子化部 ５００ 距離画像符号化装置 ５１０ カラー画像符号化部 ５２０ 輝度画像抽出部 ５３０ 距離画像予測符号化部 ５４０ 多重化部 ６００ 距離画像復号化装置 ６１０ 分離部 ６２０ カラー画像復号化部 ６３０ 距離画像復号化部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK08 LB01 MA04 MA19 MA45 MD03 ME01 PP01 PP13 SS06 SS11 TA53 TB08 TB10 TC31 TC47 TD20 UA02 UA05 5C061 AA21 AA25 AB04 AB08 AB12
Claims (14)
- 【請求項１】 距離画像センサで測定された物体表面各
点までの距離情報を各ピクセル値として持つ距離画像の
符号化方法であって、 距離画像の各部分ごとに、当該部分に対する距離画像セ
ンサの分解能に基づいて量子化幅を設定して、距離画像
を量子化し、符号化すること特徴とする距離画像符号化
方法。 - 【請求項２】 請求項１記載の距離画像符号化方法にお
いて、距離画像の各部分の量子化幅は、当該部分に対す
る距離画像センサの分解能の高さに対して単調減少して
設定することを特徴とする距離画像符号化方法。 - 【請求項３】 請求項１記載の距離画像符号化方法にお
いて、距離画像の各部分の量子化幅は、当該部分と距離
画像センサとの距離に対して２乗に比例して設定するこ
とを特徴とする距離画像符号化方法。 - 【請求項４】 請求項１乃至３記載の距離画像符号化方
法において、距離画像の各ピクセル値を隣接するピクセ
ル値から予測し、その残差信号を量子化・符号化する予
測符号化法に適用することを特徴とする距離画像符号化
方法。 - 【請求項５】 請求項４記載の距離画像符号化方法にお
いて、符号化対象である距離画像を各画素毎ごとに予測
器および量子化幅を切り換えて予測処理することを特徴
とする距離画像符号化方法。 - 【請求項６】 請求項１乃至３記載の距離画像符号化方
法において、距離画像の各ピクセル値を、隣接するピク
セル値と輝度画像の対応ピクセル値から予測し、その残
差信号を量子化・符号化する予測符号化法に適用するこ
とを特徴とする距離画像符号化方法。 - 【請求項７】 請求項４、６記載の距離画像符号化方法
において、符号化対象である距離画像をブロックに分割
し、ブロックごとに予測器および量子化幅を切り換えて
予測処理することを特徴とする距離画像符号化方法。 - 【請求項８】 請求項７記載の距離画像符号化方法にお
いて、ブロック内の信号が定常である場合には統計的に
予測計測を推定し、非定常の場合には固定予測器で予測
符号化することを特徴とする距離画像符号化方法。 - 【請求項９】 距離画像符号化データを復号化する距離
画像復号化方法であって、請求項１乃至４記載の距離画
像符号化方法で符号化された符号化データを、各部分の
量子化幅に基づいて逆量子化することを特徴とする距離
画像復号化方法。 - 【請求項１０】 距離画像符号化データを復号化する距
離画像復号化方法であって、請求項５記載の距離画像符
号化方法で符号化された符号化データを、各画素ごとに
符号化された距離画像の残差信号を用いて逆量子化する
ことを特徴とする距離画像復号化方法。 - 【請求項１１】 距離画像符号化データを復号化する距
離画像復号化方法であって、請求項６記載の距離画像符
号化方法で符号化された符号化データを、各部分の量子
化幅に基づき、符号化された距離画像の残差信号と輝度
信号の値を用いて逆量子化することを特徴とする距離画
像復号化方法。 - 【請求項１２】 距離画像符号化データを復号化する距
離画像復号化方法であって、請求項７記載の距離画像符
号化方法で符号化された符号化データを、ブロック毎に
予測処理された距離画像の残差信号及び距離画像を用い
て逆量子化するすることを特徴とする距離画像復号化方
法。 - 【請求項１３】 請求項１乃至８記載の距離画像符号化
方法を実現する機能を具備してなる距離画像符号化装
置。 - 【請求項１４】 請求項９乃至１２記載の距離画像復号
化方法を実現する機能を具備してなる距離画像復号化装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000342688A JP2002152776A (ja) | 2000-11-09 | 2000-11-09 | 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000342688A JP2002152776A (ja) | 2000-11-09 | 2000-11-09 | 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002152776A true JP2002152776A (ja) | 2002-05-24 |
Family
ID=18817188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000342688A Pending JP2002152776A (ja) | 2000-11-09 | 2000-11-09 | 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002152776A (ja) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004227231A (ja) * | 2003-01-22 | 2004-08-12 | Nippon Telegr & Teleph Corp <Ntt> | 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体 |
| JP2008141666A (ja) * | 2006-12-05 | 2008-06-19 | Fujifilm Corp | 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 |
| US7403201B2 (en) | 2003-01-20 | 2008-07-22 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
| JP2009010557A (ja) * | 2007-06-27 | 2009-01-15 | National Institute Of Information & Communication Technology | 奥行データ出力装置及び奥行データ受信装置 |
| JP2009212664A (ja) * | 2008-03-03 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JPWO2008053649A1 (ja) * | 2006-11-02 | 2010-02-25 | コニカミノルタホールディングス株式会社 | 広角画像取得方法及び広角ステレオカメラ装置 |
| JP2011095858A (ja) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | ３次元デジタイザ |
| WO2011118435A1 (ja) * | 2010-03-26 | 2011-09-29 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| JP2011211739A (ja) * | 2011-06-01 | 2011-10-20 | Fujifilm Corp | 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 |
| JP2011527790A (ja) * | 2008-07-09 | 2011-11-04 | プライムセンス リミテッド | ３次元マッピング用集積処理装置 |
| US8374397B2 (en) | 2005-10-11 | 2013-02-12 | Primesense Ltd | Depth-varying light fields for three dimensional sensing |
| US8390821B2 (en) | 2005-10-11 | 2013-03-05 | Primesense Ltd. | Three-dimensional sensing using speckle patterns |
| US8400494B2 (en) | 2005-10-11 | 2013-03-19 | Primesense Ltd. | Method and system for object reconstruction |
| US8462207B2 (en) | 2009-02-12 | 2013-06-11 | Primesense Ltd. | Depth ranging with Moiré patterns |
| US8493496B2 (en) | 2007-04-02 | 2013-07-23 | Primesense Ltd. | Depth mapping using projected patterns |
| US8494252B2 (en) | 2007-06-19 | 2013-07-23 | Primesense Ltd. | Depth mapping using optical elements having non-uniform focal characteristics |
| JP2013157950A (ja) * | 2012-01-31 | 2013-08-15 | Nippon Telegr & Teleph Corp <Ntt> | 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム |
| JP2013544449A (ja) * | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | 構造化光および立体視に基づく深度カメラ |
| JP2014502443A (ja) * | 2010-11-04 | 2014-01-30 | コーニンクレッカ フィリップス エヌ ヴェ | 深さ表示マップの生成 |
| US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
| US8786682B2 (en) | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
| US8830227B2 (en) | 2009-12-06 | 2014-09-09 | Primesense Ltd. | Depth-based gain control |
| US8982182B2 (en) | 2010-03-01 | 2015-03-17 | Apple Inc. | Non-uniform spatial resource allocation for depth mapping |
| JP2015510288A (ja) * | 2011-12-29 | 2015-04-02 | インテル コーポレイション | 可変の深さ圧縮 |
| US9030528B2 (en) | 2011-04-04 | 2015-05-12 | Apple Inc. | Multi-zone imaging sensor and lens array |
| US9066087B2 (en) | 2010-11-19 | 2015-06-23 | Apple Inc. | Depth mapping using time-coded illumination |
| US9098931B2 (en) | 2010-08-11 | 2015-08-04 | Apple Inc. | Scanning projectors and image capture modules for 3D mapping |
| US9131136B2 (en) | 2010-12-06 | 2015-09-08 | Apple Inc. | Lens arrays for pattern projection and imaging |
| US9157790B2 (en) | 2012-02-15 | 2015-10-13 | Apple Inc. | Integrated optoelectronic modules with transmitter, receiver and beam-combining optics for aligning a beam axis with a collection axis |
| US9330324B2 (en) | 2005-10-11 | 2016-05-03 | Apple Inc. | Error compensation in three-dimensional mapping |
| US9582889B2 (en) | 2009-07-30 | 2017-02-28 | Apple Inc. | Depth mapping based on pattern matching and stereoscopic information |
| JP2017073755A (ja) * | 2015-10-09 | 2017-04-13 | キヤノン株式会社 | 符号化装置及びその制御方法、プログラム並びに記憶媒体 |
| JP2020120322A (ja) * | 2019-01-25 | 2020-08-06 | 日本放送協会 | 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム |
| GB2600527B (en) * | 2020-08-27 | 2023-03-01 | Extend Robotics Ltd | Remote operation of robotic systems |
-
2000
- 2000-11-09 JP JP2000342688A patent/JP2002152776A/ja active Pending
Cited By (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7403201B2 (en) | 2003-01-20 | 2008-07-22 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
| JP2004227231A (ja) * | 2003-01-22 | 2004-08-12 | Nippon Telegr & Teleph Corp <Ntt> | 画像データへの立体情報埋め込み方法、装置、プログラム、および記録媒体 |
| US8400494B2 (en) | 2005-10-11 | 2013-03-19 | Primesense Ltd. | Method and system for object reconstruction |
| US8374397B2 (en) | 2005-10-11 | 2013-02-12 | Primesense Ltd | Depth-varying light fields for three dimensional sensing |
| US9330324B2 (en) | 2005-10-11 | 2016-05-03 | Apple Inc. | Error compensation in three-dimensional mapping |
| US9066084B2 (en) | 2005-10-11 | 2015-06-23 | Apple Inc. | Method and system for object reconstruction |
| US8390821B2 (en) | 2005-10-11 | 2013-03-05 | Primesense Ltd. | Three-dimensional sensing using speckle patterns |
| JPWO2008053649A1 (ja) * | 2006-11-02 | 2010-02-25 | コニカミノルタホールディングス株式会社 | 広角画像取得方法及び広角ステレオカメラ装置 |
| US8269820B2 (en) | 2006-11-02 | 2012-09-18 | Konica Minolta Holdings, Inc. | Wide-angle image acquiring method and wide-angle stereo camera device |
| JP2008141666A (ja) * | 2006-12-05 | 2008-06-19 | Fujifilm Corp | 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 |
| US8493496B2 (en) | 2007-04-02 | 2013-07-23 | Primesense Ltd. | Depth mapping using projected patterns |
| US8494252B2 (en) | 2007-06-19 | 2013-07-23 | Primesense Ltd. | Depth mapping using optical elements having non-uniform focal characteristics |
| JP2009010557A (ja) * | 2007-06-27 | 2009-01-15 | National Institute Of Information & Communication Technology | 奥行データ出力装置及び奥行データ受信装置 |
| JP2009212664A (ja) * | 2008-03-03 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP2011527790A (ja) * | 2008-07-09 | 2011-11-04 | プライムセンス リミテッド | ３次元マッピング用集積処理装置 |
| US8456517B2 (en) | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
| JP2014209375A (ja) * | 2008-07-09 | 2014-11-06 | プライムセンス リミテッド | ３次元マッピング用集積処理装置 |
| US8462207B2 (en) | 2009-02-12 | 2013-06-11 | Primesense Ltd. | Depth ranging with Moiré patterns |
| US8786682B2 (en) | 2009-03-05 | 2014-07-22 | Primesense Ltd. | Reference image techniques for three-dimensional sensing |
| US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
| US9582889B2 (en) | 2009-07-30 | 2017-02-28 | Apple Inc. | Depth mapping based on pattern matching and stereoscopic information |
| JP2011095858A (ja) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | ３次元デジタイザ |
| US8830227B2 (en) | 2009-12-06 | 2014-09-09 | Primesense Ltd. | Depth-based gain control |
| US8982182B2 (en) | 2010-03-01 | 2015-03-17 | Apple Inc. | Non-uniform spatial resource allocation for depth mapping |
| WO2011118435A1 (ja) * | 2010-03-26 | 2011-09-29 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US8879840B2 (en) | 2010-03-26 | 2014-11-04 | Sony Corporation | Image processor, image processing method, and program for shift-changing depth data of an image |
| JP2011205529A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| US9098931B2 (en) | 2010-08-11 | 2015-08-04 | Apple Inc. | Scanning projectors and image capture modules for 3D mapping |
| JP2013544449A (ja) * | 2010-09-08 | 2013-12-12 | マイクロソフト コーポレーション | 構造化光および立体視に基づく深度カメラ |
| JP2014502443A (ja) * | 2010-11-04 | 2014-01-30 | コーニンクレッカ フィリップス エヌ ヴェ | 深さ表示マップの生成 |
| US9066087B2 (en) | 2010-11-19 | 2015-06-23 | Apple Inc. | Depth mapping using time-coded illumination |
| US9131136B2 (en) | 2010-12-06 | 2015-09-08 | Apple Inc. | Lens arrays for pattern projection and imaging |
| US9167138B2 (en) | 2010-12-06 | 2015-10-20 | Apple Inc. | Pattern projection and imaging using lens arrays |
| US9030528B2 (en) | 2011-04-04 | 2015-05-12 | Apple Inc. | Multi-zone imaging sensor and lens array |
| JP2011211739A (ja) * | 2011-06-01 | 2011-10-20 | Fujifilm Corp | 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法 |
| US9626793B2 (en) | 2011-12-29 | 2017-04-18 | Intel Corporation | Variable depth compression |
| JP2015510288A (ja) * | 2011-12-29 | 2015-04-02 | インテル コーポレイション | 可変の深さ圧縮 |
| JP2013157950A (ja) * | 2012-01-31 | 2013-08-15 | Nippon Telegr & Teleph Corp <Ntt> | 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム |
| US9157790B2 (en) | 2012-02-15 | 2015-10-13 | Apple Inc. | Integrated optoelectronic modules with transmitter, receiver and beam-combining optics for aligning a beam axis with a collection axis |
| US9651417B2 (en) | 2012-02-15 | 2017-05-16 | Apple Inc. | Scanning depth engine |
| JP2017073755A (ja) * | 2015-10-09 | 2017-04-13 | キヤノン株式会社 | 符号化装置及びその制御方法、プログラム並びに記憶媒体 |
| JP2020120322A (ja) * | 2019-01-25 | 2020-08-06 | 日本放送協会 | 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム |
| JP7257152B2 (ja) | 2019-01-25 | 2023-04-13 | 日本放送協会 | 距離画像符号化装置およびそのプログラム、ならびに、距離画像復号装置およびそのプログラム |
| GB2600527B (en) * | 2020-08-27 | 2023-03-01 | Extend Robotics Ltd | Remote operation of robotic systems |
| GB2613967A (en) * | 2020-08-27 | 2023-06-21 | Extend Robotics Ltd | Remote operation of robotic systems |
| GB2613967B (en) * | 2020-08-27 | 2024-01-03 | Extend Robotics Ltd | Remote operation of robotic systems |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002152776A (ja) | 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置 | |
| US11134263B2 (en) | Moving picture decoding method and moving picture encoding method | |
| KR101267178B1 (ko) | 비디오에 대하여 색 인핸스먼트 계층을 인코딩 및 디코딩하기 위한 방법 및 디바이스 | |
| US6738423B1 (en) | Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder | |
| US7016544B2 (en) | Digital image encoding and decoding method and digital image encoding and decoding device using the same | |
| JP2783534B2 (ja) | 符号化装置 | |
| EP0734165A2 (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| US6785333B2 (en) | Motion vector coding method | |
| US11134242B2 (en) | Adaptive prediction of coefficients of a video block | |
| CN1177258A (zh) | 用于对目标轮廓的视频信号进行编码的方法和装置 | |
| EP1158806A1 (en) | Motion vector coding | |
| Ribas-Corbera et al. | Optimizing block size in motion-compensated video coding | |
| JP2007143176A (ja) | 動きベクトルの圧縮方法 | |
| JP2002058031A (ja) | 画像符号化方法及び装置、並びに、画像復号化方法及び装置 | |
| US5706366A (en) | Apparatus for encoding an image signal having a still object using an image warping technique | |
| KR100442844B1 (ko) | 중심점을이용한객체의외곽선부호화방법및이를이용한부호화장치 | |
| JPH11112992A (ja) | 動き補償画像符号化装置 | |
| JP2001061149A (ja) | フレーム構造／フィールド構造切替式画像符号化装置 | |
| JP3497664B2 (ja) | 立体画像符号化装置 | |
| JP3032213B2 (ja) | 画像符号化装置及び画像復号化装置 | |
| JPH09231377A (ja) | 輪郭線近似化方法及び輪郭線符号化装置 | |
| JP2002152049A (ja) | データ処理装置及びデータ処理方法 | |
| JPS6221389A (ja) | ブロツク符号化装置 | |
| JP4857152B2 (ja) | 直交変換・量子化装置 | |
| JP5254565B2 (ja) | 動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラム |