JP2016513320A - 少なくとも1つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 - Google Patents
少なくとも1つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 Download PDFInfo
- Publication number
- JP2016513320A JP2016513320A JP2015557994A JP2015557994A JP2016513320A JP 2016513320 A JP2016513320 A JP 2016513320A JP 2015557994 A JP2015557994 A JP 2015557994A JP 2015557994 A JP2015557994 A JP 2015557994A JP 2016513320 A JP2016513320 A JP 2016513320A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- image
- images
- mask
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000012795 verification Methods 0.000 title description 6
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000003708 edge detection Methods 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 230000008439 repair process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本イメージ処理システムは、第1及び第2のイメージに第1及び第2のエッジ検出操作をそれぞれ実行して第1及び第2のエッジイメージをそれぞれ取得し、該第1及び第2のエッジイメージからのエッジを使用して結合エッジ重み付け操作を適用し、該結合エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第3のエッジイメージを取得し、及び該第3のエッジイメージに基づいて第3のイメージを生成するよう構成されている。一例として所与の実施形態では第1のイメージはデプス撮像装置により生成された第1のデプスイメージからなり、第2のイメージは該第1のイメージと実質的に同じシーンの2次元イメージからなり、第3のイメージは第1のデプスイメージと比べて改善されたエッジ品質を有する改善されたデプスイメージからなる。【選択図】図2
Description
本発明は、一般にイメージ処理に関し、特にデプスマップ及びその他の種類のデプスイメージ等のイメージの処理に関するものである。
イメージ内のエッジを検出するための多種多様な技術が知られている。かかる技術は、一般に、高解像度イメージ(例えば、ディジタルカメラにより生成された写真又はその他の2次元(2D)イメージ)に適用される場合には許容可能な結果を生成する。しかし、数多くの重要なマシンビジョン用途は、デプス撮像装置(depth imager)(例えば、ストラクチャード・ライト(SL)カメラ又はTOF(time of flight)カメラ)により生成された3次元(3D)イメージを使用する。かかるデプスイメージは、低解像度イメージである場合が多く、典型的には非常にノイズが多くてはっきりしないエッジを有するものとなる。
従来のエッジ検出技術は一般に、デプスイメージに適用した場合には良好に機能しない。例えば、かかる従来の技術は、所与のデプスイメージ内の重要なエッジを検出し損ない、又は重要なエッジと共に多数のスプリアス(偽りの)エッジを見出す可能性がある。その結果として検出されたエッジは、品質の低いものとなり、それ故、後続のイメージ処理(例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡)の有効性を損ねるものとなる。
一実施形態では、イメージ処理システムは、イメージプロセッサを備えており、該イメージプロセッサは、第1及び第2のエッジ検出操作を第1及び第2のイメージにそれぞれ実行して第1及び第2のエッジイメージをそれぞれ取得し、該第1及び第2のエッジイメージからのエッジを用いた結合エッジ重み付け操作(joint edge weighting operation)を適用し、該エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第3のエッジイメージを取得し、及び該第3のエッジイメージに基づいて第3のイメージを生成するよう構成されたものである。
例えば、所与の実施形態では、前記第1のイメージは、デプス撮像装置により生成されたデプスイメージからなることが可能であり、前記第2のイメージは、該第1のイメージと実質的に同じシーンの2次元イメージからなることが可能であり、前記第3のイメージは、前記第1のデプスイメージと比較して改善されたエッジ品質を有する改善されたデプスイメージからなることが可能である。
本発明の別の実施形態は、方法、装置、システム、処理装置、集積回路、及び本書で実施されるコンピュータプログラムコードを有するコンピュータ読み取り可能媒体を含む(但し、これらには限定されない)。
本書では、イメージプロセッサ又はその他のタイプの処理装置を含み、及び信頼できるエッジを有する改善されたデプスイメージを生成するための技術を実施する、例示的なイメージ処理システムに関して、本発明の実施形態を説明することとする。しかし、本発明の実施形態は、1つ以上の追加イメージを使用することにより1つのイメージのエッジ品質を改善することを伴うあらゆるイメージ処理システム又はそれに関連する装置又は技術に広く適用可能なものである、ということが理解されよう。
図1は、本発明の一実施形態におけるイメージ処理システム100を示している。該イメージ処理システム100は、1つ以上のイメージソース105からイメージを受信し、及び処理済みのイメージを1つ以上のイメージ宛先107へ提供する、イメージプロセッサ102を含む。該イメージプロセッサ102はまた、ネットワーク104を介して複数の処理装置106と通信する。
図1では、処理装置106とは別個のものとして1つ以上のイメージソース105及び1つ以上のイメージ宛先107を示したが、かかるソース及び宛先の少なくとも一部を、複数の処理装置106のうちの1つ以上を少なくとも部分的に使用して実施することが可能である。したがって、イメージは、その処理のために、複数の処理装置106のうちの1つ以上からネットワーク104を介してイメージプロセッサ102へ提供することが可能である。同様に、処理済みのイメージは、イメージプロセッサ102によりネットワーク104を介して複数の処理装置106のうちの1つ以上へ供給することが可能である。よって、かかる処理装置は、イメージソース又はイメージ宛先の一例とみなすことが可能である。
所与のイメージソースは、例えば、デプスイメージを生成するよう構成されたSLカメラ又はTOFカメラ等の3D撮像装置、又はグレスケールイメージ、カラーイメージ、赤外線イメージ、又はその他の種類の2Dイメージを生成するよう構成された2D撮像装置からなることが可能である。単一の撮像装置又はその他のイメージソースが、デプスイメージと、それに対応する2Dイメージ(例えば、グレースケールイメージ、カラーイメージ、又は赤外線イメージ)とを両方とも提供することが可能である。例えば、特定の種類の既存の3Dカメラは、所与のシーンのデプスマップ並びに同シーンの2Dイメージを生成することが可能である。代替的に、所与のシーンのデプスマップを提供する3D撮像装置を、実質的に同じシーンの2Dイメージを提供する別個の高解像度ビデオカメラ又はその他の2D撮像装置に近接して配置することが可能である。
イメージソースの別の実例として、イメージをその処理のためにイメージプロセッサ102へ提供する記憶装置又はサーバが挙げられる。
所与のイメージ宛先は、例えば、コンピュータ又は携帯電話のヒューマン・マシン・インタフェイスの1つ以上の表示画面、又は処理済みのイメージをイメージプロセッサ102から受信する少なくとも1つの記憶装置又はサーバからなることが可能である。
また、図1では、1つ以上のイメージソース105及び1つ以上のイメージ宛先107は、イメージプロセッサ102とは別個のものとして示されているが、該イメージプロセッサ102は、1つの共通の処理装置において、1つ以上のイメージソース及び1つ以上のイメージ宛先の少なくとも一部と少なくとも部分的に組み合わせることが可能である。このため、例えば、所与のイメージソースとイメージプロセッサ102とを1つの処理装置上で包括的に実施することが可能である。同様に、所与のイメージ宛先とイメージプロセッサ102とを同一の処理装置上で包括的に実施することが可能である。
本実施形態では、イメージプロセッサ102は、第1及び第2のイメージについてそれぞれ第1及び第2のエッジ検出操作を実行して第1及び第2のエッジイメージをそれぞれ取得し、該第1及び第2のエッジイメージの複数のエッジを使用して結合エッジ重み付け操作を適用して、該エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第3のエッジイメージを取得し、及び該第3のエッジイメージに基づいて第3のイメージを生成するよう構成される。
図1に示すイメージプロセッサ102は、前処理モジュール110、エッジ検出モジュール112、結合エッジ重み付けモジュール114、エッジマスキングモジュール115、エッジ修復(inpainting)モジュール116、及び後処理モジュール118を含む。
上記の第1、第2、及び第3のイメージの考え得る一例として、所与の実施形態における第1のイメージは、SLカメラ又はTOFカメラ等のデプス撮像装置により生成されたデプスイメージからなることが可能であり、第2のイメージは、前記第1のイメージと実質的に同じシーンの2Dイメージからなることが可能であり、第3のイメージは、前記第1のデプスイメージと比べて改善されたエッジ品質を有する改善されたデプスイメージからなることが可能である。上記では、単一の撮像装置又はその他のイメージソースが、デプスイメージとそれに対応する2Dイメージ(グレースケールイメージ、カラーイメージ、又は赤外線イメージ等)とを両方とも提供することが可能であることを示した。代替的に、第1及び第2のイメージは、それぞれ別個の3D及び2Dカメラにより提供することが可能である。また、実施形態によっては、第2のイメージのみを使用するのではなく、複数の更なるイメージを使用して第1のイメージを改善することが可能である。別の実施形態では、別の種類及び構成のイメージを受信し、処理し、及び生成することが可能である。
図1の実施形態でイメージプロセッサ102内に示されている複数のモジュールの特定の個数及び構成は、別の実施形態では変更することが可能である。例えば、別の実施形態では、それらモジュールのうちの2つ以上を一層少数のモジュール内に組み込むことが可能である。本書で開示する操作を実行するよう適当に修正された他の従来のイメージ処理集積回路又はその他の種類のイメージ処理回路を使用して、イメージプロセッサ102のモジュール110,112,114,115,116,118のうちの1つ以上の少なくとも一部を実施することが可能である。本発明の1つ以上の実施形態で使用することが可能なイメージ処理回路の考え得る一例として、モジュール110,112,114,115,116,118のうちの1つ以上に関する機能を実行するよう適当に再構成された他の従来のグラフィクスプロセッサが挙げられる。
イメージプロセッサ102の動作を図2のフローチャートに関して以下で一層詳細に説明する。このフローチャートは、少なくとも1つの追加イメージを使用したイメージ改善及びエッジ検証のための例示的なプロセスを示しており、この場合、上述の第2のイメージは、入力デプスイメージと実質的に同じシーンの2Dイメージからなる。
イメージプロセッサ102により生成される第3のイメージは、入力デプスイメージと比較して改善されたエッジ品質を有する改善されたデプスイメージをからなる。このイメージプロセッサ102により生成される改善されたデプスイメージは、イメージプロセッサ102において更なる処理操作(例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡)を受けることが可能である。
代替的に、イメージプロセッサ102により生成された改善されたデプスイメージは、ネットワーク104を介して1つ以上の処理装置106へ提供することが可能である。1つ以上のかかる処理装置は、上述した後続の操作(特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡など)を実行するよう構成されたイメージプロセッサをそれぞれ備えることが可能である。
処理装置106は、例えば、コンピュータ、携帯電話、サーバ、又は記憶装置を、任意の組み合わせで備えることが可能である。1つ以上のかかる処理装置はまた、例えば、イメージプロセッサ102により生成されたイメージを提示するために使用される表示画面その他のユーザインタフェイスを含むことが可能である。よって、処理装置106は、ネットワーク104を介してイメージプロセッサ102から処理済みのイメージストリームを受信する多種多様な異なる宛先装置(例えば、イメージプロセッサ102から1つ以上の処理済みのイメージストリームを受信する少なくとも1つのサーバ又は記憶装置)からなることが可能である。
本実施形態では処理装置106とは別個のものとして示したが、イメージプロセッサ102は、少なくとも部分的に、複数の処理装置106のうちの1つ以上と少なくとも部分的に組み合わせることが可能である。このため、例えば、複数の処理装置106のうちの所与の1つを使用してイメージプロセッサ102を少なくとも部分的に実施することが可能である。例えば、イメージプロセッサ102及びおそらくは所与のイメージソースを含むようにコンピュータ又は携帯電話を構成することが可能である。それ故、1つ以上のイメージソース105は、コンピュータ、携帯電話、又はその他の処理装置に付随するカメラその他の撮像装置からなることが可能である。既述のように、イメージプロセッサ102は、共通の処理装置において1つ以上のイメージソース又はイメージ宛先と少なくとも部分的に組み合わせることが可能である。
本発明におけるイメージプロセッサ102は、少なくとも1つの処理装置を使用して実施することを想定したものであり、メモリ122に接続されたプロセッサ120を備えたものである。該プロセッサ120は、イメージ処理操作の実行を制御するために該メモリ122内に格納されているソフトウェアコードを実行する。イメージプロセッサ102はまた、ネットワーク104を介した通信をサポートするネットワークインタフェイス124を備えている。
プロセッサ120は、例えば、マイクロプロセッサ、特定用途向け集積回路(ASIC)、FPGA(field-programmable gate array)、中央処理装置(CPU)、ALU(arithmetic logic unit)、ディジタル信号プロセッサ(DSU)、又はその他の同様の処理装置要素、並びにその他の種類及び構成のイメージ処理回路を、任意の組み合わせで備えることが可能である。
メモリ122は、イメージプロセッサ102の機能の各部(例えば、モジュール110,112,114,115,116,118の各部)を実施するためにプロセッサ120により実行されるソフトウェアコードを格納する。対応するプロセッサにより実行されるソフトウェアコードを格納する所与のかかるメモリは、本書で実施されるコンピュータプログラムコードを有するコンピュータ読み取り可能媒体又はその他の種類のコンピュータプログラム製品として本書で一層広範に称されるものの一例であり、例えば、ランダムアクセスメモリ(RAM)又はリードオンリーメモリ(ROM)等の電子的なメモリ、磁気メモリ、光メモリ、又はその他の種類の記憶装置を任意の組み合わせで備えることが可能である。上述のように、プロセッサは、マイクロプロセッサ、ASIC、FPGA、CPU、ALU、DSP、又はその他のイメージ処理回路の一部又はそれらの任意の組み合わせからなることが可能である。
また、本発明の実施形態は集積回路という形で実施することが可能であることが理解されよう。所与のかかる集積回路による実施形態では、典型的には、半導体ウェハの一表面上に同一のダイが繰り返しのパターンで形成される。各ダイは、本書で説明するイメージプロセッサ又はその他のイメージ処理回路を含み、その他の構造又は回路を含むことも可能である。個々のダイは、該ウェハから切断され又はダイス状に切断され、次いで集積回路としてパッケージ化される。ウェハをダイス状に切断しダイをパッケージ化して集積回路を作製するための方法については当業者には周知のところである。このように作製された集積回路は、本発明の一実施形態とみなされるものである。
図1に示すイメージ処理システム100の特定の構成は、例示のみを目的としたものであり、該システム100は、別の実施形態では、同図に特に示したもの(かかるシステムの従来の実施態様に一般に見られる種類の1つ以上の構成要素を含む)に加えて又はそれに代えて別の構成要素を含むことが可能である。
例えば、実施形態によっては、イメージ処理システム100は、ユーザのジェスチャを認識するためにイメージストリームを処理するビデオゲームシステム又はその他の種類のジェスチャベースのシステムとして実施される。本開示の技術は、ジェスチャベースのヒューマン・マシン・インタフェイスを必要とする多種多様な他のシステムで使用するために同様に適用することが可能であり、また、ジェスチャ認識以外の用途(例えば、ロボット工学その他の工業用途におけるマシンビジョンシステム)に適用することも可能である。
図2を参照すると、図1のイメージ処理システム100におけるイメージ改善及びエッジ検証のための例示的なプロセスが示されている。図2のプロセスは、イメージプロセッサ102により、その前処理モジュール110、エッジ検出モジュール112、結合エッジ重み付けモジュール114、エッジマスキングモジュール115、エッジ修復モジュール116、及び後処理モジュール118を使用して実施されることを想定したものである。本実施形態のプロセスは、ステップ200-214を含む。
この実施形態では、イメージプロセッサ102において1つ以上のイメージソース105から受信される前記第1及び第2のイメージが、それぞれ入力デプスマップ及びグレースケールイメージからなり、及び、該第1及び第2のイメージを使用して生成される前記第3のイメージが、改善されたデプスマップからなることが想定されている。
以下で説明するプロセスは、入力デプスマップとグレースケールイメージとの両方において、該入力デプスマップからではなく該グレースケールイメージから互いに十分に近接しているエッジを取得することによりデプスマップの品質を改善する。これは、グレースケールイメージが一般に入力デプスマップよりも一層明確に画定されたものであるからである。また、グレースケールイメージ内に存在するが入力デプスマップ内に存在しないエッジは、改善されたデプスマップから除去され、入力デプスマップ内に存在する十分に強い(strong)エッジであってグレースケールイメージ内に存在しないエッジは、改善されたデプスマップ内に含められる。
ステップ200で、第1及び第2のイメージが位置合わせされる(それらイメージは共通のイメージセンサを出所とするものではないものとする)。また、別の実施形態では、この位置合わせステップ200は完全に省略することが可能である。
かかるステップを含む本実施形態におけるステップ200の考え得る一例として、別個のデプス撮像装置及び2D撮像装置を使用して第1及び第2のイメージをそれぞれ生成する場合には、様々な種類の位置合わせ操作(例えば、アフィン変換(affine transforms)又はその他の種類の変換)を適用することが可能である。
より詳細には、デプス撮像装置及び2D撮像装置が実質的に同じ位置に配置される場合には、解像度に適合する1つのスケール係数を用いた単純な線形変換を使用することが可能である。デプス撮像装置及び2D撮像装置が異なる位置に配置され及び両方ともラスタ歪みを有さない場合には、6つの係数を用いた2Dアフィン変換を使用することが可能である。デプス撮像装置及び2D撮像装置が異なる位置に配置され、及び3D撮像装置がz軸に沿った値に応じて線形ラスタ歪みを有する場合には、8つの係数を用いた3D-2D線形変換を使用することが可能である。デプス撮像装置及び2D撮像装置が異なる位置に配置され、及びその少なくとも一方が非線形ラスタ歪みを有する場合には、非線形補正を(おそらくは線形変換と共に)使用することが可能である。多数の他の種類及び組み合わせの変換又はその他の位置合わせ技術を使用することが可能である。
例えば、入力デプスマップの解像度が(dx,dy)であり、及び入力グレースケールイメージの解像度が (gx, gy)であるものとし、更に、該デプスマップ及び該グレースケールイメージが同じアスペクト比(例えば、dx/gx = dy/gy=k(k:定数))を有しているものとする。該デプスマップ及び該グレースケールイメージが同じアスペクト比を有していない場合には、それらイメージの一方をカットし、又はそれらイメージの他方を1つの次元に沿って延長させることが可能である。
本実施形態では、通常はk≦1となり、これは、SL又はTOFカメラ等のデプス撮像装置が典型的には写真又はビデオカメラ等の2D撮像装置よりも大幅に低い解像度を有するからである。ステップ200の出力における位置合わせされた第1及び第2のイメージは、同じ座標系を有し且つ実質的に同じ解像度(fx, fy)(fx/fy=k 及び dx≦fx≦gx)を有していなければならない。したがって、ステップ200における位置合わせは、例えば、2Dイメージのスケール変更((gx, gy)→(fx, fy))を伴うことが可能である。既述のように、該位置合わせは、例えば、デプスマップとグレースケールイメージが同じイメージセンサにより提供される場合、又は1つ以上のイメージソース105からイメージプロセッサ102へ供給された際に既に実質的に位置合わせされている場合には、省略することが可能である。
ステップ202で、該位置合わせされたデプスマップに前処理が適用される。該前処理は、例えば、ノイズ除去や等化(equalization)といった操作を含むことが可能である。別の実施形態では、該前処理は、位置合わせステップ200に先立って適用することが可能である。また、前処理は、入力グレースケールイメージに追加的又は代替的に適用することが可能であり、又は完全になくすことが可能である。
ステップ204-1で、第1のエッジイメージE1を取得するためにデプスマップについてエッジ検出操作が実行される。
ステップ204-2で、第2のエッジイメージE2を取得するためにグレースケールイメージにおいてエッジ検出操作が実行される。
ステップ204-1,204-2で多種多様な既知のエッジ検出技術を適用してエッジイメージE1,E2を生成することが可能である。かかるエッジ検出技術の実例が、例えば、J. Canny の「A computational approach to edge detection」(IEEE Transactions on Pattern Analysis and Machine Inteligence, Vol. PAMI-8, Issue 6, pp. 679-698, November 1986)、R. Kimmel 及び A.M. Bruckstein の「On regularized Laplacian zero crossing and other optimal edge integrators」(International Journal of Computer Vision, 53(3):225-243, 2003)、及び W.K. Pratt の「Digital Image Processing」(3rd Edition, John Wiley & Sons, 2001)に開示されている。ステップ204-1,204-2で所与のエッジ検出操作を適用する場合、重要なエッジが確実に保持されるように、あらゆる関連するエッジ検出しきい値を十分に低く設定すべきであり、これは、以下で説明する後続の処理が信頼できるエッジを確実に保持するからである。また、ステップ204-1,204-2で、異なる種類のエッジ検出操作を(おそらくは異なるエッジ検出しきい値又はその他のパラメータを用いて)使用することが可能である。
本書で用いる用語「イメージ」は、広い意味で解釈されることを意図したものであり、エッジイメージE1,E2との関連では、例えば、検出されたエッジを特徴付けるエッジマップ又はその他の一組のピクセル情報からなることが可能である、ということに留意されたい。用語「エッジ」もまた、広い意味で解釈されることを意図したものであり、例えば、所与のイメージ中のオブジェクトの周辺部分と該イメージの他の部分との間の遷移に関わる該イメージ内の一組のピクセルを含むものである。
エッジイメージE1,E2の所与の一方において、エッジピクセルを特定の二値ピクセル値で示すことが可能である。このため、エッジの一部をなすエッジイメージピクセルは、エッジイメージ内で二値「1」を有し、エッジの一部をなしていない他のエッジイメージピクセルはエッジイメージ内で二値「0」を有する。エッジイメージのエッジピクセル及び非エッジピクセルをそれぞれ示すために、本書では、用語「白」及び「黒」もまた使用する場合がある。
ステップ204-1,204-2で適用されるエッジ検出技術は、望ましくないエッジの除去並びに様々な種類のエッジセグメント化といった技術を伴うことが可能である。例えば、エッジセグメント化を使用して複数の異なるエッジセグメントESn(n=1,…,N)を識別することが可能である。ここで、所与のエッジセグメントの各ピクセルはエッジイメージE1,E2の一方の特定のピクセルに対応し、全てのエッジは1ピクセルの厚さを有するものとする。かかるエッジセグメントの各々は、開始ピクセルsn及び終了ピクセルenを有しており、及び充填された隅位置又は充填されていない隅位置又はそれらの組み合わせを含むことが可能である。多くの他の種類のエッジセグメントをステップ204-1,204-2で生成することが可能である。例えば、他の実施形態におけるエッジセグメントは、2ピクセル以上の厚さとすることが可能である。
ステップ206で、第1及び第2のエッジイメージE1,E2からのエッジを使用して結合エッジ重み付け操作が適用される。本実施形態における結合エッジ重み付け操作は、一般に、第1のエッジイメージE1内のエッジと第2のエッジイメージE2内のエッジとの間の近さ(closeness)の測度を決定することを伴う。
例えば、本実施形態における結合エッジ重み付け操作は、より詳細には、ピクセル近辺を定義することからなり、第1及び第2のエッジイメージE1,E2の一方における複数のエッジピクセルの各々毎に、該エッジピクセルから定義された近辺内にある、第1及び第2のエッジイメージE1,E2の他方のエッジピクセルの個数を判定する。第1及び第2のエッジイメージの一方における複数のエッジピクセルの現在の1つについての定義された近辺は、以下で一生詳細に説明するように、現在のエッジピクセルの特定の半径距離内にある全てのピクセルからなることが可能である。他の種類の距離の測度を使用して、結合エッジ重み付け操作のための所与の近辺を定義することが可能である。
典型的には、入力グレースケールイメージから導出された第2のエッジイメージE2は、入力デプスマップから導出された第1のエッジイメージE1よりも遙かに信頼でき且つ明確に画定された(well-defined)エッジを有するものとなる。したがって、本実施形態では、上述のエッジピクセルの個数の判定は、第2のエッジイメージE2の複数のエッジピクセルの各々毎に、該第2のエッジイメージE2の該エッジピクセルの特定の近辺内にある、第1のエッジイメージE1のエッジピクセルの個数を判定することからなる。しかし、他の実施形態では、この例示的な結合エッジ重み付け操作における第1及び第2のエッジイメージE1,E2の役割を逆にすることが可能である。
本実施形態では、マンハッタン距離測度を使用して近辺を定義しており、その実例が図3に示されている。ここで、所与の1ピクセルの周囲の例示的な複数の近辺は、異なる値の近辺半径r(rは所与のピクセルから該近辺の周囲までの最大マンハッタン距離を示す)を示している。同図では、3つの異なる値の近辺半径rについての近辺が示されており、r=0の場合、近辺は所与の1ピクセルのみからなり、r=1の場合、近辺は該所与の1ピクセルを取り囲む8ピクセルからなり、r=2の場合、近辺は所与の1ピクセルを取り囲む24ピクセルからなる。この例における近辺のサイズは、近辺半径rと共に指数関数的に増大する。この結合エッジ重み付け操作に関し、別の近辺半径rの値を使用して近辺を定義することが可能である。また、上述のように、ユークリッド距離やチェス盤距離といった他の距離測度を使用することが可能である。
第1のエッジイメージE1内のエッジピクセルは、E1(i,j)=1であるピクセルであり、該第1のエッジイメージE1の他の全てのピクセルは0に等しい。同様に、第2のエッジイメージE2内のエッジピクセルは、E2(i,j)=1であるピクセルであり、該第2のエッジイメージE2の他の全てのピクセルは0に等しい。
第1の実例では、ステップ206における結合エッジ重み付け操作は、第2のエッジイメージE2内の各エッジピクセルについて以下の擬似コードの実行を伴う。
第2の実例では、ステップ206における結合エッジ重み付け操作は、以下の擬似コードの実行を伴う。
上記の第2の実例は、距離変換(distance transform)を使用してE2内の各ピクセル毎にE1内の最も近いエッジピクセルまでの距離を決定するものである(逆もまた同様)。
第3の実例では、ステップ206における結合エッジ重み付け操作は、以下の擬似コードの実行を伴う。
値thresholddは、結合エッジ重み付け操作のパラメータとして設定される整数定数である。
上記擬似コード中の値vote(i,j)は、1つのエッジイメージ内の特定の種類のピクセルであって他のエッジイメージ内の特定のピクセルの近辺内にあるピクセルの「個数」と本書でより一般的に称するものの一例である。既述のように、近辺は、これら実例では、第2のエッジイメージE2内のピクセルに関して定義されるが、他の実施形態では、E2及びE1の役割を逆にすることが可能であり、例えば、第1のエッジイメージE1に関して近辺を定義することが可能である。
ステップ210で、ステップ206で実行されたエッジ重み付け操作の結果に基づいてエッジマスクが生成される。該エッジマスクは、個々のピクセル近辺にわたって決定された上記個数を使用することに少なくとも部分的に基づいて生成され、該エッジマスクが適用されて第3のエッジイメージE3が生成される。例えば、該第3のエッジイメージは、次式に従って前記第2のエッジイメージE2に前記エッジマスクをピクセル単位で適用することによりステップ210で取得することが可能である。
ここで、E3(i,j)は第3のエッジイメージの1ピクセルを示し、E2(i,j)は第2のエッジイメージの1ピクセルを示し、「and」は論理積演算子を示し、mask(i,j)はエッジマスクの1ピクセルを示している。
この実例では、mask(i,j)は、vote(i,j)で示す対応する個数が所定のしきい値よりも大きいか否かに基づいて決定される二値であり、ここで、既述の結合エッジ重み付け操作の複数の実例のうちの1つによれば、該個数vote(i,j)は、第2のエッジイメージE2のピクセルE2(i,j)の所定の近辺内にある第1のエッジイメージE1のエッジピクセルの個数を示している。
これらの個数は、E1内のエッジに対するE2内のエッジの近さ(closeness)を示している。E1内に十分に近い対応部分を有さないE2内のエッジは、実際のオブジェクト境界に関係する可能性の低い信頼できないエッジとみなされ、それ故、エッジマスクの適用により排除される。このエッジマスク処理は、次式により一層詳細に表現することが可能である。
ここで、thresholdvは正定数であり、vraiは二値出力 vrai(true)=1 及び vrai(false)=0 を提供する真理関数である。thresholdvの値が小さいほど、E1内に近い隣接エッジを有さない可能性のあるE2内のエッジを一層多く保存する傾向となり、thresholdvの値が大きいほど、E1内のエッジを用いたE2内のエッジの検証が一層厳密に行われることになる。別の実施形態では、ステップ206における結合エッジ重み付け操作からの個数に基づく他の種類のエッジマスク処理を使用することが可能である。
エッジマスクステップ210の出力である第3のエッジイメージE3は、図示のように、一組の改善されたエッジを表すものである。かかるエッジの各々は、イメージプロセッサ102による後続の処理操作で使用することができるそれぞれに関する信頼性推定値を有することが可能である。かかる信頼性推定値の生成は、本書で広い意味で用いる「エッジ検出」の一種であるとみなされる。また、所与のエッジイメージ内に実質的に所定の信頼性レベルを有するエッジのみを含めることは、本書で用いる用語「エッジ検出」の別の一例である。
ステップ212で、デプスマップフィルタリングを使用してエッジ統合操作が実行される。該デプスマップフィルタリングは、図中では例示的に、修正された第3のエッジイメージE3'を生成するために第3のエッジイメージE3に適用されるものとして示されている。このステップ212におけるデプスマップフィルタリングを伴う操作は、結果的に得られる修正された第3のエッジイメージE3'が、E2内に対応部分を有さないE1からの強力な(strong)エッジ(入力グレースケールイメージが、等しいグレースケール輝度を有する複数のオブジェクトであって撮像装置から異なる距離に配置されたものを含む場合に生じ得るもの)を含むことを確実にするために使用することが可能である。一例として、エッジ統合操作は、次式のように第3のエッジイメージE3に適用することが可能である。
ここで、D(i,j)は、位置合わせされ及び前処理された入力デプスマップの1ピクセルを示し、「or」は、論理和(disjunction)演算子を示し、thresholdcは、二重エッジが生じないことを確実にする比較的小さなしきい値であり、thresholdiは、E1からの強力なエッジがE3'内に含まれることを保証する比較的大きなしきい値である。
上記の関数edge_importance(エッジの重要性)は、様々な異なる態様で定義することが可能である。例えば、この関数は、次式のように、2DガウシアンローパスフィルタLPF(・) を用いて平滑化された勾配大きさ(gradient magnitude)として定義することが可能である。
ここで、関数thinning(・)はエッジを1ピクセルの厚さにするものである。多数の他の関数を使用して、ステップ212のデプスマップフィルタリングによるエッジ統合で使用するための入力デプスマップD内の特定のエッジの重要性を定義することが可能である。ステップ204-1でのエッジ検出操作のエッジイメージ出力は、図示のようにデプスマップフィルタリングステップ212で使用することが可能である。
ステップ214で、入力デプスマップと比較して改善されたエッジ品質を有する改善されたデプスマップを生成するために、第3のエッジイメージE3又は修正された第3のエッジイメージE3'からのエッジを使用してエッジ修復(inpainting)操作が実行される。該エッジイメージE3及びエッジイメージE3'は何れも、本書で広い意味で称する「第3のエッジイメージ」の実例とみなされるものである。以下の実例では、エッジ修復は、E3からのエッジを使用して適用されるが、代替的にE3'からのエッジを使用して適用することが可能である。
E3の信頼できるエッジを境界とする領域の内部では、位置(x,y)の関数としてデプスが突然変化しないことが想定されている 。したがって、ステップ214は、例えば、位置合わせされ前処理された入力デプスマップのうちE3のエッジにより画定される境界の内部に位置する部分に対する2D平滑化フィルタの適用を伴うことが可能である。ステップ214で提供される上述その他の種類のエッジ修復を使用して、デプスマップ内の撮像されたオブジェクトの内部におけるスペックル(speckle)ノイズ等のノイズを抑制すること、その他の特異点を除去すること、及びエッジの近くの不明確に画定された(ill-defined)領域を一様に充填することが可能である。
計算上のコストが低い例示的なエッジ修復操作は次の各ステップを含む。
1.E3内のエッジの近くの信頼できないデプス値を有するデプスマップピクセルを除去し、例えば、次式(distance_transform:距離変換)を満たす全てのデプスマップピクセルを排除する。
1.E3内のエッジの近くの信頼できないデプス値を有するデプスマップピクセルを除去し、例えば、次式(distance_transform:距離変換)を満たす全てのデプスマップピクセルを排除する。
ここで、reliability_threshold(信頼性しきい値)は、デプスマップピクセルを信頼できるものとみなすために該デプスマップピクセルがE3内のエッジに対してどのくらい近くに位置していなければならないかを決定する定数である。このパラメータは、シーンに比較的依存しないものであり、及び所与の種類のデプス撮像装置について最適化することが可能なものである。
2.前記ステップ1により生成された空きを、所与のエッジの同じ側の隣接する信頼できるピクセルからのデプス値を使用して修復する。例えば、メジアンフィルタリング法を使用することが可能であり、この場合には、対応するエッジの同じ側の複数の隣接する信頼できるピクセルのメジアンデプス値により与えられるデプス値が、ステップ1で排除された各ピクセルに割り当てられる。
3.修復された領域に平滑化フィルタを適用する。例えば、一度にM2個のピクセルをカバーする滑動2D矩形短期支持(sliding 2D square-shaped short-support)メジアンフィルタを使用することが可能である。M2個のピクセルのフィルタリング後の領域の一部がエッジと重なる場合には、該フィルタリングでは対応するデプス値は使用されない。
2.前記ステップ1により生成された空きを、所与のエッジの同じ側の隣接する信頼できるピクセルからのデプス値を使用して修復する。例えば、メジアンフィルタリング法を使用することが可能であり、この場合には、対応するエッジの同じ側の複数の隣接する信頼できるピクセルのメジアンデプス値により与えられるデプス値が、ステップ1で排除された各ピクセルに割り当てられる。
3.修復された領域に平滑化フィルタを適用する。例えば、一度にM2個のピクセルをカバーする滑動2D矩形短期支持(sliding 2D square-shaped short-support)メジアンフィルタを使用することが可能である。M2個のピクセルのフィルタリング後の領域の一部がエッジと重なる場合には、該フィルタリングでは対応するデプス値は使用されない。
上記のエッジ修復プロセスは、指定されたデプス値を有さない残りのあらゆるエッジピクセルに対処するために、必要に応じて反復することが可能である。例えば、そのためにローカライズされた3×3 2Dメジアンフィルタを使用することが可能である。空きのエッジピクセルが問題とならないジェスチャ認識等の特定の用途では、このエッジ修復プロセスの追加の反復をなくすことが可能である。また、他の実施形態では、他の種類のエッジ修復操作を使用することが可能であり、又はエッジ修復を完全になくすことが可能である。
図2のプロセスは、直接的な態様でパイプライン化することが可能である。例えば、その各ステップの少なくとも一部を並列に実行することが可能であり、これにより所与の入力デプスマップについての該プロセスの全体的なレイテンシが短縮され、及び上記技術のリアルタイムイメージ処理用途での実施が促進される。
ステップ214の出力で生成される改善されたデプスマップは、イメージプロセッサ102において更に処理することが可能であり、又は既述のような別の処理装置106又はイメージ宛先107へ供給することが可能である。
図2の実施形態で使用した特定のプロセスステップは、例示のみを目的としたものであり、他の実施形態では、異なる種類及び構成のイメージ処理操作を使用することが可能である、ということが理解されよう。例えば、所与のイメージのエッジが改善され及び該改善されたエッジからなる修正されたイメージが生成される特定の態様は、別の実施形態では異ならせることが可能である。また、上述のように、図中で直接に実行されるものとして示した各ステップは、他の実施形態では、少なくとも部分的に、1つ以上の他のステップと並列に実行することが可能である。よって、図2に示した特定のステップ及びそれらの相互接続は、一実施形態におけるプロセスステップの考え得る一構成とみなされるべきであり、他の実施形態は、異なる処理順で構成された追加的又は代替的なプロセスステップを含むことが可能である。
本発明の実施形態は、1つ以上の追加イメージを用いたイメージ改善及びエッジ検証のための特に効率的な技術を提供するものである。例えば、本開示の技術は、SLもしくはTOFカメラ又はその他の種類のデプス撮像装置からのデプスイメージといった特定の種類のイメージについて特に低品質の検出エッジを一般に生成する従来のエッジ検出技術と比較して、大幅に改善されたエッジイメージを提供することが可能である。更に、従来のエッジ検出操作に多々必要とされた過度のパラメータ調整のためのコスト及び複雑さを伴うことなく、本書で開示する技術を使用して信頼できるエッジを有するイメージが提供される。
したがって、本発明の実施形態で生成される信頼できるエッジを有する改善されたイメージマップ及びその他の種類のイメージは、かかるエッジを使用する後続のイメージ処理操作(例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡)の有効性を大幅に向上させるものとなる。
本書で説明した本発明の実施形態はその例示のみを目的としたものである、ということを再び強調すべきである。例えば、本発明の他の実施形態は、本書で説明した特定の実施形態で使用したものとは異なる多種多様な種類及び構成のイメージ処理回路、モジュール、及び処理操作を使用して実施することが可能である。更に、特定の実施形態を説明する上で本書で行った特定の想定は、別の実施形態では適用する必要がない。特許請求の範囲内に含まれるこれらの及び多数の他の代替的な実施形態は、当業者には自明のものである。
Claims (20)
- 第1及び第2のイメージに第1及び第2のエッジ検出操作をそれぞれ実行して第1及び第2のエッジイメージをそれぞれ取得し、
該第1及び第2のエッジイメージからのエッジを使用して結合エッジ重み付け操作を適用し、
該結合エッジ重み付け操作の結果に基づいてエッジマスクを生成し、
該エッジマスクを使用して第3のエッジイメージを取得し、及び、
該第3のエッジイメージに基づいて第3のイメージを生成する、
という各ステップからなる方法であって、
前記第1及び第2のエッジ検出操作を実行する前記ステップ、前記結合エッジ重み付け操作を適用する前記ステップ、前記エッジマスクを生成する前記ステップ、該エッジマスクを使用する前記ステップ、及び前記第3のイメージを生成する前記ステップが、メモリに接続されたプロセッサを備えた少なくとも1つの処理装置で実施される、方法。 - 前記第1のイメージが、デプス撮像装置により生成された第1のデプスイメージからなる、請求項1に記載の方法。
- 前記第2のイメージが、前記第1のイメージと実質的に同じシーンの2次元イメージからなる、請求項2に記載の方法。
- 前記第3のイメージが、前記第1のデプスイメージと比べて改善されたエッジ品質を有する改善されたデプスイメージからなる、請求項3に記載の方法。
- 前記第3のエッジイメージが、
前記第1及び第2のエッジイメージの両方においてそれぞれ十分近くに現れるが、それらのエッジイメージのうちの特定の1つのみから取得される、1つ以上のエッジと、
前記第1のエッジイメージ内に現れるが前記第2のエッジイメージ内には現れない1つ以上のエッジとからなり、
該第3のエッジイメージが、前記第2のエッジイメージ内に現れるが前記第1のエッジイメージ内には現れない1つ以上のエッジを含まない、
請求項1に記載の方法。 - 前記結合エッジ重み付け操作が、前記第1のエッジイメージ内のエッジと前記第2のエッジイメージ内のエッジとの間の近さの測度を決定する、請求項1に記載の方法。
- 前記結合エッジ重み付け操作が、
ピクセル近辺を定義し、及び、
前記第1及び第2のエッジイメージの一方における複数のエッジピクセルの各々毎に、該第1及び第2のエッジイメージの他方のエッジピクセルであって前記一方のエッジピクセルの所定の近辺内にあるエッジピクセルの個数を決定する、
という各ステップからなり、
前記エッジマスクが、前記複数のエッジピクセルの各々毎に決定されたエッジピクセルの前記個数に少なくとも部分的に基づいて生成される、
、請求項1に記載の方法。 - 前記第1及び第2のエッジイメージの一方における前記複数のエッジピクセルのうちの現在の1つについて定義された近辺が、該現在のエッジピクセルの所定の半径距離内にある全てのピクセルからなる、請求項7に記載の方法。
- 前記エッジピクセルの個数を決定する前記ステップが、前記第2のエッジイメージの複数のエッジピクセルの各々毎に、前記第1のエッジイメージのエッジピクセルであって前記第2のエッジイメージのエッジピクセルの所定の近辺内にあるエッジピクセルの個数を決定するステップからなる、請求項7に記載の方法。
- mask(i,j)が、個数を示すvote(i,j)が所定のしきい値よりも大きいか否かに基づいて決定される二値であり、ここで、該個数vote(i,j)は、前記第2のエッジイメージのピクセルE2(i,j)の所定の近辺内にある前記第1のエッジイメージのエッジピクセルの個数を示している、請求項10に記載の方法。
- 前記第3のエッジイメージにエッジ統合操作を実行するステップを更に含む、請求項1に記載の方法。
- 前記第3のイメージを生成する前記ステップが、前記第1のイメージのうち前記第3のエッジイメージにより境界が形成される部分にエッジ修復操作を実行するステップを更に含む、請求項1に記載の方法。
- コンピュータプログラムコードを有するコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムコードが、前記処理装置で実行された際に、該処理装置に請求項1に記載の方法を実行させるものである、コンピュータ読み取り可能記憶媒体。
- メモリに接続されたプロセッサを備えた少なくとも1つの処理装置からなる装置であって、
該少なくとも1つの処理装置が、第1及び第2のイメージに第1及び第2のエッジ検出操作をそれぞれ実行して第1及び第2のエッジイメージをそれぞれ取得し、該第1及び第2のエッジイメージからのエッジを使用して結合エッジ重み付け操作を適用し、該結合エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第3のエッジイメージを取得し、及び該第3のエッジイメージに基づいて第3のイメージを生成するよう構成されている、
装置。 - 前記処理装置がイメージプロセッサからなり、該イメージプロセッサが、
前記第1及び第2のエッジ検出操作を実行するよう構成されたエッジ検出モジュールと、
前記結合エッジ重み付け操作を実行するよう構成された結合エッジ重み付けモジュールと、
該結合エッジ重み付け操作の結果に基づいて前記エッジマスクを生成するよう構成されたエッジマスキングモジュールとを備えており、
前記各モジュールが、前記イメージプロセッサの少なくとも1つのグラフィクスプロセッサからなるイメージ処理回路を使用して実施される、
請求項15に記載の装置。 - 前記イメージプロセッサが、前記第3のイメージの生成に併せて前記第3のエッジイメージのエッジについてエッジ修復操作を実行するよう構成されたエッジ修復モジュールを更に備えている、請求項15に記載の装置。
- 請求項15の装置を構成する集積回路。
- 第1及び第2のイメージを提供する1つ以上のイメージソースと、
1つ以上のイメージ宛先と、
前記1つ以上のイメージソースと前記1つ以上のイメージ宛先との間に接続されたイメージプロセッサとからなるイメージ処理システムであって、
前記イメージプロセッサが、前記第1及び第2のイメージに第1及び第2のエッジ検出操作をそれぞれ実行して第1及び第2のエッジイメージをそれぞれ取得し、該第1及び第2のエッジイメージからのエッジを使用して結合エッジ重み付け操作を適用し、該結合エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第3のエッジイメージを取得し、及び該第3のエッジイメージに基づいて第3のイメージを生成するよう構成されている、
イメージ処理システム。 - 前記1つ以上のイメージソースの少なくとも1つがデプス撮像装置からなる、請求項19に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2013106513 | 2013-02-14 | ||
RU2013106513/08A RU2013106513A (ru) | 2013-02-14 | 2013-02-14 | Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения |
PCT/US2013/057048 WO2014126613A1 (en) | 2013-02-14 | 2013-08-28 | Method and apparatus for image enhancement and edge verification using at least one additional image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016513320A true JP2016513320A (ja) | 2016-05-12 |
Family
ID=51354463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015557994A Pending JP2016513320A (ja) | 2013-02-14 | 2013-08-28 | 少なくとも1つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9305360B2 (ja) |
JP (1) | JP2016513320A (ja) |
KR (1) | KR20150117646A (ja) |
CN (1) | CN104272323A (ja) |
CA (1) | CA2848829A1 (ja) |
RU (1) | RU2013106513A (ja) |
TW (1) | TW201432621A (ja) |
WO (1) | WO2014126613A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2013106513A (ru) | 2013-02-14 | 2014-08-20 | ЭлЭсАй Корпорейшн | Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения |
WO2016112019A1 (en) * | 2015-01-06 | 2016-07-14 | Oculus Vr, Llc | Method and system for providing depth mapping using patterned light |
WO2016154366A1 (en) * | 2015-03-23 | 2016-09-29 | Arris Enterprises, Inc. | System and method for selectively compressing images |
CN107534764B (zh) * | 2015-04-30 | 2020-03-17 | 深圳市大疆创新科技有限公司 | 增强图像分辨率的***及方法 |
TWI595449B (zh) * | 2015-12-30 | 2017-08-11 | 國立中正大學 | 影像增強方法 |
WO2018005359A1 (en) * | 2016-06-27 | 2018-01-04 | Robert Bosch Gmbh | Systems and methods for dynamic occlusion handling |
CN106228138A (zh) * | 2016-07-26 | 2016-12-14 | 国网重庆市电力公司电力科学研究院 | 一种融合区域和边缘信息的道路检测算法 |
US9906717B1 (en) * | 2016-09-01 | 2018-02-27 | Infineon Technologies Ag | Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image |
US10445861B2 (en) * | 2017-02-14 | 2019-10-15 | Qualcomm Incorporated | Refinement of structured light depth maps using RGB color data |
US10127631B1 (en) * | 2017-03-02 | 2018-11-13 | Snap Inc. | Automatic image inpainting using local patch statistics |
TWI618031B (zh) * | 2017-04-12 | 2018-03-11 | 和碩聯合科技股份有限公司 | 影像邊緣偵測方法 |
DE112018004891T5 (de) * | 2017-09-01 | 2020-06-10 | Sony Corporation | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper |
US11393114B1 (en) * | 2017-11-08 | 2022-07-19 | AI Incorporated | Method and system for collaborative construction of a map |
US10706505B2 (en) * | 2018-01-24 | 2020-07-07 | GM Global Technology Operations LLC | Method and system for generating a range image using sparse depth data |
CN108320265B (zh) * | 2018-01-31 | 2021-09-21 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
CN108986156B (zh) * | 2018-06-07 | 2021-05-14 | 成都通甲优博科技有限责任公司 | 深度图处理方法及装置 |
CN108830873B (zh) * | 2018-06-29 | 2022-02-01 | 京东方科技集团股份有限公司 | 深度图像物体边缘提取方法、装置、介质及计算机设备 |
EP3621031B1 (en) * | 2018-09-06 | 2021-06-30 | Tata Consultancy Services Limited | Systems and methods for performing hand segmentation |
CN109527773A (zh) * | 2018-12-03 | 2019-03-29 | 宁波锦觅网络科技有限公司 | 香体自适应选择式散香器 |
KR102669938B1 (ko) * | 2019-01-09 | 2024-05-27 | 삼성전자주식회사 | 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법 |
US10735436B1 (en) * | 2020-02-05 | 2020-08-04 | Cyberark Software Ltd. | Dynamic display capture to verify encoded visual codes and network address information |
DE102020104704A1 (de) * | 2020-02-21 | 2021-08-26 | Carl Zeiss Microscopy Gmbh | Verfahren zur Verarbeitung von Bildern, Computerprogrammprodukt, Bildbearbeitungsvorrichtung und Strahlvorrichtung zum Ausführen des Verfahrens |
WO2021174506A1 (zh) * | 2020-03-05 | 2021-09-10 | 深圳市大疆创新科技有限公司 | 图像边缘检测方法、装置以及图像信号处理器 |
US11555703B2 (en) | 2020-04-22 | 2023-01-17 | Honeywell International Inc. | Adaptive gaussian derivative sigma systems and methods |
US11650057B2 (en) | 2020-04-22 | 2023-05-16 | Honeywell International Inc. | Edge detection via window grid normalization |
US20220156896A1 (en) * | 2020-11-18 | 2022-05-19 | Samsung Electronics Co., Ltd. | System and method for image inpainting based on layout-guided pre-processing attention mechanism |
CN112927154B (zh) * | 2021-03-05 | 2023-06-02 | 上海炬佑智能科技有限公司 | ToF装置、深度相机以及灰度图像增强方法 |
US20230094651A1 (en) * | 2021-09-30 | 2023-03-30 | Konica Minolta Business Solutions U.S.A., Inc. | Extracting text from an image |
CN116957990B (zh) * | 2023-09-19 | 2023-12-08 | 东莞市华复实业有限公司 | 一种户外水表数据视觉采集方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8120679B2 (en) * | 2008-08-01 | 2012-02-21 | Nikon Corporation | Image processing method |
JP4743553B2 (ja) * | 2008-09-29 | 2011-08-10 | 京セラ株式会社 | レンズユニット、撮像装置、および電子機器 |
US8400468B2 (en) * | 2009-08-27 | 2013-03-19 | Seiko Epson Corporation | Projector masks for calibrating projector-based display systems |
JP5909187B2 (ja) * | 2009-10-14 | 2016-04-26 | トムソン ライセンシングThomson Licensing | フィルタ処理およびエッジ符号化 |
US8610758B2 (en) | 2009-12-15 | 2013-12-17 | Himax Technologies Limited | Depth map generation for a video conversion system |
US9047681B2 (en) * | 2011-07-07 | 2015-06-02 | Samsung Electronics Co., Ltd. | Depth image conversion apparatus and method |
JP5842441B2 (ja) | 2011-07-29 | 2016-01-13 | ブラザー工業株式会社 | 画像処理装置およびプログラム |
RU2013106513A (ru) | 2013-02-14 | 2014-08-20 | ЭлЭсАй Корпорейшн | Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения |
-
2013
- 2013-02-14 RU RU2013106513/08A patent/RU2013106513A/ru not_active Application Discontinuation
- 2013-08-28 CN CN201380003939.7A patent/CN104272323A/zh active Pending
- 2013-08-28 KR KR1020157019155A patent/KR20150117646A/ko not_active Application Discontinuation
- 2013-08-28 CA CA2848829A patent/CA2848829A1/en not_active Abandoned
- 2013-08-28 US US14/238,327 patent/US9305360B2/en active Active
- 2013-08-28 WO PCT/US2013/057048 patent/WO2014126613A1/en active Application Filing
- 2013-08-28 JP JP2015557994A patent/JP2016513320A/ja active Pending
- 2013-09-24 TW TW102134369A patent/TW201432621A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
RU2013106513A (ru) | 2014-08-20 |
TW201432621A (zh) | 2014-08-16 |
CA2848829A1 (en) | 2014-08-14 |
WO2014126613A1 (en) | 2014-08-21 |
US20150206318A1 (en) | 2015-07-23 |
KR20150117646A (ko) | 2015-10-20 |
CN104272323A (zh) | 2015-01-07 |
US9305360B2 (en) | 2016-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016513320A (ja) | 少なくとも1つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 | |
US10699476B2 (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
US9245200B2 (en) | Method for detecting a straight line in a digital image | |
US9384411B2 (en) | Image processor with edge-preserving noise suppression functionality | |
JP2016502704A (ja) | 奥行きアーチファクトを除去するための画像処理方法および装置 | |
CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
US20170358061A1 (en) | Image processing apparatus and method for performing preprocessing to obtain image with improved sharpness | |
JP4480958B2 (ja) | デジタル画像作成方法 | |
JP5972498B2 (ja) | エッジ検出装置、エッジ検出方法およびプログラム | |
JP2006066478A (ja) | パターンマッチング装置及びそれを用いた走査型電子顕微鏡 | |
JP5908844B2 (ja) | 画像処理装置および画像処理方法 | |
CN103679680B (zh) | 立体匹配方法和*** | |
TW201432620A (zh) | 具有邊緣選擇功能性之影像處理器 | |
US20160247284A1 (en) | Image processor with multi-channel interface between preprocessing layer and one or more higher layers | |
CN113822942A (zh) | 一种基于二维码的单目摄像头测量物体尺寸的方法 | |
JP6138706B2 (ja) | 電子透かし埋め込み方法または電子透かし検出方法 | |
JP5906696B2 (ja) | 車両周辺撮影装置および車両周辺画像の処理方法 | |
KR101526465B1 (ko) | 그래픽 프로세서 기반 깊이 영상 화질 개선 방법 | |
CN115034988A (zh) | 一种基于rgbd相机的两阶段主体点云滤波方法 | |
CN115147389A (zh) | 图像处理方法、设备以及计算机可读存储介质 | |
JP2021051530A (ja) | 画像処理プログラム及び画像処理装置 | |
Chakravathi et al. | FPGA based architecture for realtime edge detection | |
JP6481375B2 (ja) | 情報処理システム、情報処理方法、プログラム、および情報処理装置 | |
JP2022186523A (ja) | 3次元点群処理装置、3次元点群処理方法、及び3次元点群処理プログラム | |
CN117593179A (zh) | 图像处理方法及装置、计算机可读存储介质 |