JP2016513320A - 少なくとも１つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 - Google Patents

少なくとも１つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 Download PDF

Info

Publication number
JP2016513320A
JP2016513320A JP2015557994A JP2015557994A JP2016513320A JP 2016513320 A JP2016513320 A JP 2016513320A JP 2015557994 A JP2015557994 A JP 2015557994A JP 2015557994 A JP2015557994 A JP 2015557994A JP 2016513320 A JP2016513320 A JP 2016513320A
Authority
JP
Japan
Prior art keywords
edge
image
images
mask
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015557994A
Other languages
English (en)
Inventor
パルフェノフ，デニス，ブイ
パルコメンコ，デニス，ブイ
マツレンコ，イワン，エル
ザイツェフ，デニス，ブイ
バビン，ドミトリー，エヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LSI Corp
Original Assignee
LSI Logic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LSI Logic Corp filed Critical LSI Logic Corp
Publication of JP2016513320A publication Critical patent/JP2016513320A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本イメージ処理システムは、第１及び第２のイメージに第１及び第２のエッジ検出操作をそれぞれ実行して第１及び第２のエッジイメージをそれぞれ取得し、該第１及び第２のエッジイメージからのエッジを使用して結合エッジ重み付け操作を適用し、該結合エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第３のエッジイメージを取得し、及び該第３のエッジイメージに基づいて第３のイメージを生成するよう構成されている。一例として所与の実施形態では第１のイメージはデプス撮像装置により生成された第１のデプスイメージからなり、第２のイメージは該第１のイメージと実質的に同じシーンの２次元イメージからなり、第３のイメージは第１のデプスイメージと比べて改善されたエッジ品質を有する改善されたデプスイメージからなる。【選択図】図２

Description

本発明は、一般にイメージ処理に関し、特にデプスマップ及びその他の種類のデプスイメージ等のイメージの処理に関するものである。
イメージ内のエッジを検出するための多種多様な技術が知られている。かかる技術は、一般に、高解像度イメージ（例えば、ディジタルカメラにより生成された写真又はその他の２次元（2D）イメージ）に適用される場合には許容可能な結果を生成する。しかし、数多くの重要なマシンビジョン用途は、デプス撮像装置（depth imager）（例えば、ストラクチャード・ライト（SL）カメラ又はTOF（time of flight）カメラ）により生成された３次元（3D）イメージを使用する。かかるデプスイメージは、低解像度イメージである場合が多く、典型的には非常にノイズが多くてはっきりしないエッジを有するものとなる。
従来のエッジ検出技術は一般に、デプスイメージに適用した場合には良好に機能しない。例えば、かかる従来の技術は、所与のデプスイメージ内の重要なエッジを検出し損ない、又は重要なエッジと共に多数のスプリアス（偽りの）エッジを見出す可能性がある。その結果として検出されたエッジは、品質の低いものとなり、それ故、後続のイメージ処理（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡）の有効性を損ねるものとなる。
一実施形態では、イメージ処理システムは、イメージプロセッサを備えており、該イメージプロセッサは、第１及び第２のエッジ検出操作を第１及び第２のイメージにそれぞれ実行して第１及び第２のエッジイメージをそれぞれ取得し、該第１及び第２のエッジイメージからのエッジを用いた結合エッジ重み付け操作（joint edge weighting operation）を適用し、該エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第３のエッジイメージを取得し、及び該第３のエッジイメージに基づいて第３のイメージを生成するよう構成されたものである。
例えば、所与の実施形態では、前記第１のイメージは、デプス撮像装置により生成されたデプスイメージからなることが可能であり、前記第２のイメージは、該第１のイメージと実質的に同じシーンの２次元イメージからなることが可能であり、前記第３のイメージは、前記第１のデプスイメージと比較して改善されたエッジ品質を有する改善されたデプスイメージからなることが可能である。
本発明の別の実施形態は、方法、装置、システム、処理装置、集積回路、及び本書で実施されるコンピュータプログラムコードを有するコンピュータ読み取り可能媒体を含む（但し、これらには限定されない）。
一実施形態によるイメージ改善及びエッジ検証のために構成されたイメージプロセッサを備えたイメージ処理システムのブロック図である。 図１のシステムのイメージプロセッサにおいてグレースケールイメージを使用して改善されたデプスイメージを生成するための例示的なプロセスのフローチャートである。 図２のプロセスの結合エッジ重み付け操作で使用することが可能な様々なピクセル近辺（pixel vicinities）を示している。
本書では、イメージプロセッサ又はその他のタイプの処理装置を含み、及び信頼できるエッジを有する改善されたデプスイメージを生成するための技術を実施する、例示的なイメージ処理システムに関して、本発明の実施形態を説明することとする。しかし、本発明の実施形態は、１つ以上の追加イメージを使用することにより１つのイメージのエッジ品質を改善することを伴うあらゆるイメージ処理システム又はそれに関連する装置又は技術に広く適用可能なものである、ということが理解されよう。
図１は、本発明の一実施形態におけるイメージ処理システム100を示している。該イメージ処理システム100は、１つ以上のイメージソース105からイメージを受信し、及び処理済みのイメージを１つ以上のイメージ宛先107へ提供する、イメージプロセッサ102を含む。該イメージプロセッサ102はまた、ネットワーク104を介して複数の処理装置106と通信する。
図１では、処理装置106とは別個のものとして１つ以上のイメージソース105及び１つ以上のイメージ宛先107を示したが、かかるソース及び宛先の少なくとも一部を、複数の処理装置106のうちの１つ以上を少なくとも部分的に使用して実施することが可能である。したがって、イメージは、その処理のために、複数の処理装置106のうちの１つ以上からネットワーク104を介してイメージプロセッサ102へ提供することが可能である。同様に、処理済みのイメージは、イメージプロセッサ102によりネットワーク104を介して複数の処理装置106のうちの１つ以上へ供給することが可能である。よって、かかる処理装置は、イメージソース又はイメージ宛先の一例とみなすことが可能である。
所与のイメージソースは、例えば、デプスイメージを生成するよう構成されたSLカメラ又はTOFカメラ等の3D撮像装置、又はグレスケールイメージ、カラーイメージ、赤外線イメージ、又はその他の種類の2Dイメージを生成するよう構成された2D撮像装置からなることが可能である。単一の撮像装置又はその他のイメージソースが、デプスイメージと、それに対応する2Dイメージ（例えば、グレースケールイメージ、カラーイメージ、又は赤外線イメージ）とを両方とも提供することが可能である。例えば、特定の種類の既存の3Dカメラは、所与のシーンのデプスマップ並びに同シーンの2Dイメージを生成することが可能である。代替的に、所与のシーンのデプスマップを提供する3D撮像装置を、実質的に同じシーンの2Dイメージを提供する別個の高解像度ビデオカメラ又はその他の2D撮像装置に近接して配置することが可能である。
イメージソースの別の実例として、イメージをその処理のためにイメージプロセッサ102へ提供する記憶装置又はサーバが挙げられる。
所与のイメージ宛先は、例えば、コンピュータ又は携帯電話のヒューマン・マシン・インタフェイスの１つ以上の表示画面、又は処理済みのイメージをイメージプロセッサ102から受信する少なくとも１つの記憶装置又はサーバからなることが可能である。
また、図１では、１つ以上のイメージソース105及び１つ以上のイメージ宛先107は、イメージプロセッサ102とは別個のものとして示されているが、該イメージプロセッサ102は、１つの共通の処理装置において、１つ以上のイメージソース及び１つ以上のイメージ宛先の少なくとも一部と少なくとも部分的に組み合わせることが可能である。このため、例えば、所与のイメージソースとイメージプロセッサ102とを１つの処理装置上で包括的に実施することが可能である。同様に、所与のイメージ宛先とイメージプロセッサ102とを同一の処理装置上で包括的に実施することが可能である。
本実施形態では、イメージプロセッサ102は、第１及び第２のイメージについてそれぞれ第１及び第２のエッジ検出操作を実行して第１及び第２のエッジイメージをそれぞれ取得し、該第１及び第２のエッジイメージの複数のエッジを使用して結合エッジ重み付け操作を適用して、該エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第３のエッジイメージを取得し、及び該第３のエッジイメージに基づいて第３のイメージを生成するよう構成される。
図１に示すイメージプロセッサ102は、前処理モジュール110、エッジ検出モジュール112、結合エッジ重み付けモジュール114、エッジマスキングモジュール115、エッジ修復（inpainting）モジュール116、及び後処理モジュール118を含む。
上記の第１、第２、及び第３のイメージの考え得る一例として、所与の実施形態における第１のイメージは、SLカメラ又はTOFカメラ等のデプス撮像装置により生成されたデプスイメージからなることが可能であり、第２のイメージは、前記第１のイメージと実質的に同じシーンの2Dイメージからなることが可能であり、第３のイメージは、前記第１のデプスイメージと比べて改善されたエッジ品質を有する改善されたデプスイメージからなることが可能である。上記では、単一の撮像装置又はその他のイメージソースが、デプスイメージとそれに対応する2Dイメージ（グレースケールイメージ、カラーイメージ、又は赤外線イメージ等）とを両方とも提供することが可能であることを示した。代替的に、第１及び第２のイメージは、それぞれ別個の3D及び2Dカメラにより提供することが可能である。また、実施形態によっては、第２のイメージのみを使用するのではなく、複数の更なるイメージを使用して第１のイメージを改善することが可能である。別の実施形態では、別の種類及び構成のイメージを受信し、処理し、及び生成することが可能である。
図１の実施形態でイメージプロセッサ102内に示されている複数のモジュールの特定の個数及び構成は、別の実施形態では変更することが可能である。例えば、別の実施形態では、それらモジュールのうちの２つ以上を一層少数のモジュール内に組み込むことが可能である。本書で開示する操作を実行するよう適当に修正された他の従来のイメージ処理集積回路又はその他の種類のイメージ処理回路を使用して、イメージプロセッサ102のモジュール110,112,114,115,116,118のうちの１つ以上の少なくとも一部を実施することが可能である。本発明の１つ以上の実施形態で使用することが可能なイメージ処理回路の考え得る一例として、モジュール110,112,114,115,116,118のうちの１つ以上に関する機能を実行するよう適当に再構成された他の従来のグラフィクスプロセッサが挙げられる。
イメージプロセッサ102の動作を図２のフローチャートに関して以下で一層詳細に説明する。このフローチャートは、少なくとも１つの追加イメージを使用したイメージ改善及びエッジ検証のための例示的なプロセスを示しており、この場合、上述の第２のイメージは、入力デプスイメージと実質的に同じシーンの2Dイメージからなる。
イメージプロセッサ102により生成される第３のイメージは、入力デプスイメージと比較して改善されたエッジ品質を有する改善されたデプスイメージをからなる。このイメージプロセッサ102により生成される改善されたデプスイメージは、イメージプロセッサ102において更なる処理操作（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡）を受けることが可能である。
代替的に、イメージプロセッサ102により生成された改善されたデプスイメージは、ネットワーク104を介して１つ以上の処理装置106へ提供することが可能である。１つ以上のかかる処理装置は、上述した後続の操作（特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡など）を実行するよう構成されたイメージプロセッサをそれぞれ備えることが可能である。
処理装置106は、例えば、コンピュータ、携帯電話、サーバ、又は記憶装置を、任意の組み合わせで備えることが可能である。１つ以上のかかる処理装置はまた、例えば、イメージプロセッサ102により生成されたイメージを提示するために使用される表示画面その他のユーザインタフェイスを含むことが可能である。よって、処理装置106は、ネットワーク104を介してイメージプロセッサ102から処理済みのイメージストリームを受信する多種多様な異なる宛先装置（例えば、イメージプロセッサ102から１つ以上の処理済みのイメージストリームを受信する少なくとも１つのサーバ又は記憶装置）からなることが可能である。
本実施形態では処理装置106とは別個のものとして示したが、イメージプロセッサ102は、少なくとも部分的に、複数の処理装置106のうちの１つ以上と少なくとも部分的に組み合わせることが可能である。このため、例えば、複数の処理装置106のうちの所与の１つを使用してイメージプロセッサ102を少なくとも部分的に実施することが可能である。例えば、イメージプロセッサ102及びおそらくは所与のイメージソースを含むようにコンピュータ又は携帯電話を構成することが可能である。それ故、１つ以上のイメージソース105は、コンピュータ、携帯電話、又はその他の処理装置に付随するカメラその他の撮像装置からなることが可能である。既述のように、イメージプロセッサ102は、共通の処理装置において１つ以上のイメージソース又はイメージ宛先と少なくとも部分的に組み合わせることが可能である。
本発明におけるイメージプロセッサ102は、少なくとも１つの処理装置を使用して実施することを想定したものであり、メモリ122に接続されたプロセッサ120を備えたものである。該プロセッサ120は、イメージ処理操作の実行を制御するために該メモリ122内に格納されているソフトウェアコードを実行する。イメージプロセッサ102はまた、ネットワーク104を介した通信をサポートするネットワークインタフェイス124を備えている。
プロセッサ120は、例えば、マイクロプロセッサ、特定用途向け集積回路（ASIC）、FPGA（field-programmable gate array）、中央処理装置（CPU）、ALU（arithmetic logic unit）、ディジタル信号プロセッサ（DSU）、又はその他の同様の処理装置要素、並びにその他の種類及び構成のイメージ処理回路を、任意の組み合わせで備えることが可能である。
メモリ122は、イメージプロセッサ102の機能の各部（例えば、モジュール110,112,114,115,116,118の各部）を実施するためにプロセッサ120により実行されるソフトウェアコードを格納する。対応するプロセッサにより実行されるソフトウェアコードを格納する所与のかかるメモリは、本書で実施されるコンピュータプログラムコードを有するコンピュータ読み取り可能媒体又はその他の種類のコンピュータプログラム製品として本書で一層広範に称されるものの一例であり、例えば、ランダムアクセスメモリ（RAM）又はリードオンリーメモリ（ROM）等の電子的なメモリ、磁気メモリ、光メモリ、又はその他の種類の記憶装置を任意の組み合わせで備えることが可能である。上述のように、プロセッサは、マイクロプロセッサ、ASIC、FPGA、CPU、ALU、DSP、又はその他のイメージ処理回路の一部又はそれらの任意の組み合わせからなることが可能である。
また、本発明の実施形態は集積回路という形で実施することが可能であることが理解されよう。所与のかかる集積回路による実施形態では、典型的には、半導体ウェハの一表面上に同一のダイが繰り返しのパターンで形成される。各ダイは、本書で説明するイメージプロセッサ又はその他のイメージ処理回路を含み、その他の構造又は回路を含むことも可能である。個々のダイは、該ウェハから切断され又はダイス状に切断され、次いで集積回路としてパッケージ化される。ウェハをダイス状に切断しダイをパッケージ化して集積回路を作製するための方法については当業者には周知のところである。このように作製された集積回路は、本発明の一実施形態とみなされるものである。
図１に示すイメージ処理システム100の特定の構成は、例示のみを目的としたものであり、該システム100は、別の実施形態では、同図に特に示したもの（かかるシステムの従来の実施態様に一般に見られる種類の１つ以上の構成要素を含む）に加えて又はそれに代えて別の構成要素を含むことが可能である。
例えば、実施形態によっては、イメージ処理システム100は、ユーザのジェスチャを認識するためにイメージストリームを処理するビデオゲームシステム又はその他の種類のジェスチャベースのシステムとして実施される。本開示の技術は、ジェスチャベースのヒューマン・マシン・インタフェイスを必要とする多種多様な他のシステムで使用するために同様に適用することが可能であり、また、ジェスチャ認識以外の用途（例えば、ロボット工学その他の工業用途におけるマシンビジョンシステム）に適用することも可能である。
図２を参照すると、図１のイメージ処理システム100におけるイメージ改善及びエッジ検証のための例示的なプロセスが示されている。図２のプロセスは、イメージプロセッサ102により、その前処理モジュール110、エッジ検出モジュール112、結合エッジ重み付けモジュール114、エッジマスキングモジュール115、エッジ修復モジュール116、及び後処理モジュール118を使用して実施されることを想定したものである。本実施形態のプロセスは、ステップ200-214を含む。
この実施形態では、イメージプロセッサ102において１つ以上のイメージソース105から受信される前記第１及び第２のイメージが、それぞれ入力デプスマップ及びグレースケールイメージからなり、及び、該第１及び第２のイメージを使用して生成される前記第３のイメージが、改善されたデプスマップからなることが想定されている。
以下で説明するプロセスは、入力デプスマップとグレースケールイメージとの両方において、該入力デプスマップからではなく該グレースケールイメージから互いに十分に近接しているエッジを取得することによりデプスマップの品質を改善する。これは、グレースケールイメージが一般に入力デプスマップよりも一層明確に画定されたものであるからである。また、グレースケールイメージ内に存在するが入力デプスマップ内に存在しないエッジは、改善されたデプスマップから除去され、入力デプスマップ内に存在する十分に強い（strong）エッジであってグレースケールイメージ内に存在しないエッジは、改善されたデプスマップ内に含められる。
ステップ200で、第１及び第２のイメージが位置合わせされる（それらイメージは共通のイメージセンサを出所とするものではないものとする）。また、別の実施形態では、この位置合わせステップ200は完全に省略することが可能である。
かかるステップを含む本実施形態におけるステップ200の考え得る一例として、別個のデプス撮像装置及び2D撮像装置を使用して第１及び第２のイメージをそれぞれ生成する場合には、様々な種類の位置合わせ操作（例えば、アフィン変換（affine transforms）又はその他の種類の変換）を適用することが可能である。
より詳細には、デプス撮像装置及び2D撮像装置が実質的に同じ位置に配置される場合には、解像度に適合する１つのスケール係数を用いた単純な線形変換を使用することが可能である。デプス撮像装置及び2D撮像装置が異なる位置に配置され及び両方ともラスタ歪みを有さない場合には、６つの係数を用いた2Dアフィン変換を使用することが可能である。デプス撮像装置及び2D撮像装置が異なる位置に配置され、及び3D撮像装置がz軸に沿った値に応じて線形ラスタ歪みを有する場合には、８つの係数を用いた3D-2D線形変換を使用することが可能である。デプス撮像装置及び2D撮像装置が異なる位置に配置され、及びその少なくとも一方が非線形ラスタ歪みを有する場合には、非線形補正を（おそらくは線形変換と共に）使用することが可能である。多数の他の種類及び組み合わせの変換又はその他の位置合わせ技術を使用することが可能である。
例えば、入力デプスマップの解像度が(dx,dy)であり、及び入力グレースケールイメージの解像度が (gx, gy)であるものとし、更に、該デプスマップ及び該グレースケールイメージが同じアスペクト比（例えば、dx/gx = dy/gy=k（k：定数））を有しているものとする。該デプスマップ及び該グレースケールイメージが同じアスペクト比を有していない場合には、それらイメージの一方をカットし、又はそれらイメージの他方を１つの次元に沿って延長させることが可能である。
本実施形態では、通常はk≦1となり、これは、SL又はTOFカメラ等のデプス撮像装置が典型的には写真又はビデオカメラ等の2D撮像装置よりも大幅に低い解像度を有するからである。ステップ200の出力における位置合わせされた第１及び第２のイメージは、同じ座標系を有し且つ実質的に同じ解像度(fx, fy)（fx/fy=k 及び dx≦fx≦gx）を有していなければならない。したがって、ステップ200における位置合わせは、例えば、2Dイメージのスケール変更（(gx, gy)→(fx, fy)）を伴うことが可能である。既述のように、該位置合わせは、例えば、デプスマップとグレースケールイメージが同じイメージセンサにより提供される場合、又は１つ以上のイメージソース105からイメージプロセッサ102へ供給された際に既に実質的に位置合わせされている場合には、省略することが可能である。
ステップ202で、該位置合わせされたデプスマップに前処理が適用される。該前処理は、例えば、ノイズ除去や等化（equalization）といった操作を含むことが可能である。別の実施形態では、該前処理は、位置合わせステップ200に先立って適用することが可能である。また、前処理は、入力グレースケールイメージに追加的又は代替的に適用することが可能であり、又は完全になくすことが可能である。
ステップ204-1で、第１のエッジイメージE1を取得するためにデプスマップについてエッジ検出操作が実行される。
ステップ204-2で、第２のエッジイメージE2を取得するためにグレースケールイメージにおいてエッジ検出操作が実行される。
ステップ204-1,204-2で多種多様な既知のエッジ検出技術を適用してエッジイメージE1,E2を生成することが可能である。かかるエッジ検出技術の実例が、例えば、J. Canny の「A computational approach to edge detection」（IEEE Transactions on Pattern Analysis and Machine Inteligence, Vol. PAMI-8, Issue 6, pp. 679-698, November 1986）、R. Kimmel 及び A.M. Bruckstein の「On regularized Laplacian zero crossing and other optimal edge integrators」（International Journal of Computer Vision, 53(3):225-243, 2003）、及び W.K. Pratt の「Digital Image Processing」（3rd Edition, John Wiley & Sons, 2001）に開示されている。ステップ204-1,204-2で所与のエッジ検出操作を適用する場合、重要なエッジが確実に保持されるように、あらゆる関連するエッジ検出しきい値を十分に低く設定すべきであり、これは、以下で説明する後続の処理が信頼できるエッジを確実に保持するからである。また、ステップ204-1,204-2で、異なる種類のエッジ検出操作を（おそらくは異なるエッジ検出しきい値又はその他のパラメータを用いて）使用することが可能である。
本書で用いる用語「イメージ」は、広い意味で解釈されることを意図したものであり、エッジイメージE1,E2との関連では、例えば、検出されたエッジを特徴付けるエッジマップ又はその他の一組のピクセル情報からなることが可能である、ということに留意されたい。用語「エッジ」もまた、広い意味で解釈されることを意図したものであり、例えば、所与のイメージ中のオブジェクトの周辺部分と該イメージの他の部分との間の遷移に関わる該イメージ内の一組のピクセルを含むものである。
エッジイメージE1,E2の所与の一方において、エッジピクセルを特定の二値ピクセル値で示すことが可能である。このため、エッジの一部をなすエッジイメージピクセルは、エッジイメージ内で二値「１」を有し、エッジの一部をなしていない他のエッジイメージピクセルはエッジイメージ内で二値「０」を有する。エッジイメージのエッジピクセル及び非エッジピクセルをそれぞれ示すために、本書では、用語「白」及び「黒」もまた使用する場合がある。
ステップ204-1,204-2で適用されるエッジ検出技術は、望ましくないエッジの除去並びに様々な種類のエッジセグメント化といった技術を伴うことが可能である。例えば、エッジセグメント化を使用して複数の異なるエッジセグメントESn（n=1,…,N）を識別することが可能である。ここで、所与のエッジセグメントの各ピクセルはエッジイメージE1,E2の一方の特定のピクセルに対応し、全てのエッジは１ピクセルの厚さを有するものとする。かかるエッジセグメントの各々は、開始ピクセルsn及び終了ピクセルenを有しており、及び充填された隅位置又は充填されていない隅位置又はそれらの組み合わせを含むことが可能である。多くの他の種類のエッジセグメントをステップ204-1,204-2で生成することが可能である。例えば、他の実施形態におけるエッジセグメントは、２ピクセル以上の厚さとすることが可能である。
ステップ206で、第１及び第２のエッジイメージE1,E2からのエッジを使用して結合エッジ重み付け操作が適用される。本実施形態における結合エッジ重み付け操作は、一般に、第１のエッジイメージE1内のエッジと第２のエッジイメージE2内のエッジとの間の近さ（closeness）の測度を決定することを伴う。
例えば、本実施形態における結合エッジ重み付け操作は、より詳細には、ピクセル近辺を定義することからなり、第１及び第２のエッジイメージE1,E2の一方における複数のエッジピクセルの各々毎に、該エッジピクセルから定義された近辺内にある、第１及び第２のエッジイメージE1,E2の他方のエッジピクセルの個数を判定する。第１及び第２のエッジイメージの一方における複数のエッジピクセルの現在の１つについての定義された近辺は、以下で一生詳細に説明するように、現在のエッジピクセルの特定の半径距離内にある全てのピクセルからなることが可能である。他の種類の距離の測度を使用して、結合エッジ重み付け操作のための所与の近辺を定義することが可能である。
典型的には、入力グレースケールイメージから導出された第２のエッジイメージE2は、入力デプスマップから導出された第１のエッジイメージE1よりも遙かに信頼でき且つ明確に画定された（well-defined）エッジを有するものとなる。したがって、本実施形態では、上述のエッジピクセルの個数の判定は、第２のエッジイメージE2の複数のエッジピクセルの各々毎に、該第２のエッジイメージE2の該エッジピクセルの特定の近辺内にある、第１のエッジイメージE1のエッジピクセルの個数を判定することからなる。しかし、他の実施形態では、この例示的な結合エッジ重み付け操作における第１及び第２のエッジイメージE1,E2の役割を逆にすることが可能である。
本実施形態では、マンハッタン距離測度を使用して近辺を定義しており、その実例が図３に示されている。ここで、所与の１ピクセルの周囲の例示的な複数の近辺は、異なる値の近辺半径r（rは所与のピクセルから該近辺の周囲までの最大マンハッタン距離を示す）を示している。同図では、３つの異なる値の近辺半径rについての近辺が示されており、r=0の場合、近辺は所与の１ピクセルのみからなり、r=1の場合、近辺は該所与の１ピクセルを取り囲む８ピクセルからなり、r=2の場合、近辺は所与の１ピクセルを取り囲む24ピクセルからなる。この例における近辺のサイズは、近辺半径rと共に指数関数的に増大する。この結合エッジ重み付け操作に関し、別の近辺半径rの値を使用して近辺を定義することが可能である。また、上述のように、ユークリッド距離やチェス盤距離といった他の距離測度を使用することが可能である。
第１のエッジイメージE1内のエッジピクセルは、E1(i,j)=1であるピクセルであり、該第１のエッジイメージE1の他の全てのピクセルは0に等しい。同様に、第２のエッジイメージE2内のエッジピクセルは、E2(i,j)=1であるピクセルであり、該第２のエッジイメージE2の他の全てのピクセルは0に等しい。
第１の実例では、ステップ206における結合エッジ重み付け操作は、第２のエッジイメージE2内の各エッジピクセルについて以下の擬似コードの実行を伴う。
Figure 2016513320
第２の実例では、ステップ206における結合エッジ重み付け操作は、以下の擬似コードの実行を伴う。
Figure 2016513320
上記の第２の実例は、距離変換（distance transform）を使用してE2内の各ピクセル毎にE1内の最も近いエッジピクセルまでの距離を決定するものである（逆もまた同様）。
第３の実例では、ステップ206における結合エッジ重み付け操作は、以下の擬似コードの実行を伴う。
Figure 2016513320
値thresholddは、結合エッジ重み付け操作のパラメータとして設定される整数定数である。
上記擬似コード中の値vote(i,j)は、１つのエッジイメージ内の特定の種類のピクセルであって他のエッジイメージ内の特定のピクセルの近辺内にあるピクセルの「個数」と本書でより一般的に称するものの一例である。既述のように、近辺は、これら実例では、第２のエッジイメージE2内のピクセルに関して定義されるが、他の実施形態では、E2及びE1の役割を逆にすることが可能であり、例えば、第１のエッジイメージE1に関して近辺を定義することが可能である。
ステップ210で、ステップ206で実行されたエッジ重み付け操作の結果に基づいてエッジマスクが生成される。該エッジマスクは、個々のピクセル近辺にわたって決定された上記個数を使用することに少なくとも部分的に基づいて生成され、該エッジマスクが適用されて第３のエッジイメージE3が生成される。例えば、該第３のエッジイメージは、次式に従って前記第２のエッジイメージE2に前記エッジマスクをピクセル単位で適用することによりステップ210で取得することが可能である。
Figure 2016513320
ここで、E3(i,j)は第３のエッジイメージの１ピクセルを示し、E2(i,j)は第２のエッジイメージの１ピクセルを示し、「and」は論理積演算子を示し、mask(i,j)はエッジマスクの１ピクセルを示している。
この実例では、mask(i,j)は、vote(i,j)で示す対応する個数が所定のしきい値よりも大きいか否かに基づいて決定される二値であり、ここで、既述の結合エッジ重み付け操作の複数の実例のうちの１つによれば、該個数vote(i,j)は、第２のエッジイメージE2のピクセルE2(i,j)の所定の近辺内にある第１のエッジイメージE1のエッジピクセルの個数を示している。
これらの個数は、E1内のエッジに対するE2内のエッジの近さ（closeness）を示している。E1内に十分に近い対応部分を有さないE2内のエッジは、実際のオブジェクト境界に関係する可能性の低い信頼できないエッジとみなされ、それ故、エッジマスクの適用により排除される。このエッジマスク処理は、次式により一層詳細に表現することが可能である。
Figure 2016513320
ここで、thresholdvは正定数であり、vraiは二値出力 vrai(true)=1 及び vrai(false)=0 を提供する真理関数である。thresholdvの値が小さいほど、E1内に近い隣接エッジを有さない可能性のあるE2内のエッジを一層多く保存する傾向となり、thresholdvの値が大きいほど、E1内のエッジを用いたE2内のエッジの検証が一層厳密に行われることになる。別の実施形態では、ステップ206における結合エッジ重み付け操作からの個数に基づく他の種類のエッジマスク処理を使用することが可能である。
エッジマスクステップ210の出力である第３のエッジイメージE3は、図示のように、一組の改善されたエッジを表すものである。かかるエッジの各々は、イメージプロセッサ102による後続の処理操作で使用することができるそれぞれに関する信頼性推定値を有することが可能である。かかる信頼性推定値の生成は、本書で広い意味で用いる「エッジ検出」の一種であるとみなされる。また、所与のエッジイメージ内に実質的に所定の信頼性レベルを有するエッジのみを含めることは、本書で用いる用語「エッジ検出」の別の一例である。
ステップ212で、デプスマップフィルタリングを使用してエッジ統合操作が実行される。該デプスマップフィルタリングは、図中では例示的に、修正された第３のエッジイメージE3'を生成するために第３のエッジイメージE3に適用されるものとして示されている。このステップ212におけるデプスマップフィルタリングを伴う操作は、結果的に得られる修正された第３のエッジイメージE3'が、E2内に対応部分を有さないE1からの強力な（strong）エッジ（入力グレースケールイメージが、等しいグレースケール輝度を有する複数のオブジェクトであって撮像装置から異なる距離に配置されたものを含む場合に生じ得るもの）を含むことを確実にするために使用することが可能である。一例として、エッジ統合操作は、次式のように第３のエッジイメージE3に適用することが可能である。
Figure 2016513320
ここで、D(i,j)は、位置合わせされ及び前処理された入力デプスマップの１ピクセルを示し、「or」は、論理和（disjunction）演算子を示し、thresholdcは、二重エッジが生じないことを確実にする比較的小さなしきい値であり、thresholdiは、E1からの強力なエッジがE3'内に含まれることを保証する比較的大きなしきい値である。
上記の関数edge_importance（エッジの重要性）は、様々な異なる態様で定義することが可能である。例えば、この関数は、次式のように、2DガウシアンローパスフィルタLPF(・) を用いて平滑化された勾配大きさ（gradient magnitude）として定義することが可能である。
Figure 2016513320
ここで、関数thinning（・）はエッジを１ピクセルの厚さにするものである。多数の他の関数を使用して、ステップ212のデプスマップフィルタリングによるエッジ統合で使用するための入力デプスマップD内の特定のエッジの重要性を定義することが可能である。ステップ204-1でのエッジ検出操作のエッジイメージ出力は、図示のようにデプスマップフィルタリングステップ212で使用することが可能である。
ステップ214で、入力デプスマップと比較して改善されたエッジ品質を有する改善されたデプスマップを生成するために、第３のエッジイメージE3又は修正された第３のエッジイメージE3'からのエッジを使用してエッジ修復（inpainting）操作が実行される。該エッジイメージE3及びエッジイメージE3'は何れも、本書で広い意味で称する「第３のエッジイメージ」の実例とみなされるものである。以下の実例では、エッジ修復は、E3からのエッジを使用して適用されるが、代替的にE3'からのエッジを使用して適用することが可能である。
E3の信頼できるエッジを境界とする領域の内部では、位置(x,y)の関数としてデプスが突然変化しないことが想定されている 。したがって、ステップ214は、例えば、位置合わせされ前処理された入力デプスマップのうちE3のエッジにより画定される境界の内部に位置する部分に対する2D平滑化フィルタの適用を伴うことが可能である。ステップ214で提供される上述その他の種類のエッジ修復を使用して、デプスマップ内の撮像されたオブジェクトの内部におけるスペックル（speckle）ノイズ等のノイズを抑制すること、その他の特異点を除去すること、及びエッジの近くの不明確に画定された（ill-defined）領域を一様に充填することが可能である。
計算上のコストが低い例示的なエッジ修復操作は次の各ステップを含む。
１．E3内のエッジの近くの信頼できないデプス値を有するデプスマップピクセルを除去し、例えば、次式（distance_transform：距離変換）を満たす全てのデプスマップピクセルを排除する。
Figure 2016513320
ここで、reliability_threshold（信頼性しきい値）は、デプスマップピクセルを信頼できるものとみなすために該デプスマップピクセルがE3内のエッジに対してどのくらい近くに位置していなければならないかを決定する定数である。このパラメータは、シーンに比較的依存しないものであり、及び所与の種類のデプス撮像装置について最適化することが可能なものである。
２．前記ステップ１により生成された空きを、所与のエッジの同じ側の隣接する信頼できるピクセルからのデプス値を使用して修復する。例えば、メジアンフィルタリング法を使用することが可能であり、この場合には、対応するエッジの同じ側の複数の隣接する信頼できるピクセルのメジアンデプス値により与えられるデプス値が、ステップ１で排除された各ピクセルに割り当てられる。
３．修復された領域に平滑化フィルタを適用する。例えば、一度にM2個のピクセルをカバーする滑動2D矩形短期支持（sliding 2D square-shaped short-support）メジアンフィルタを使用することが可能である。M2個のピクセルのフィルタリング後の領域の一部がエッジと重なる場合には、該フィルタリングでは対応するデプス値は使用されない。
上記のエッジ修復プロセスは、指定されたデプス値を有さない残りのあらゆるエッジピクセルに対処するために、必要に応じて反復することが可能である。例えば、そのためにローカライズされた3×3 2Dメジアンフィルタを使用することが可能である。空きのエッジピクセルが問題とならないジェスチャ認識等の特定の用途では、このエッジ修復プロセスの追加の反復をなくすことが可能である。また、他の実施形態では、他の種類のエッジ修復操作を使用することが可能であり、又はエッジ修復を完全になくすことが可能である。
図２のプロセスは、直接的な態様でパイプライン化することが可能である。例えば、その各ステップの少なくとも一部を並列に実行することが可能であり、これにより所与の入力デプスマップについての該プロセスの全体的なレイテンシが短縮され、及び上記技術のリアルタイムイメージ処理用途での実施が促進される。
ステップ214の出力で生成される改善されたデプスマップは、イメージプロセッサ102において更に処理することが可能であり、又は既述のような別の処理装置106又はイメージ宛先107へ供給することが可能である。
図２の実施形態で使用した特定のプロセスステップは、例示のみを目的としたものであり、他の実施形態では、異なる種類及び構成のイメージ処理操作を使用することが可能である、ということが理解されよう。例えば、所与のイメージのエッジが改善され及び該改善されたエッジからなる修正されたイメージが生成される特定の態様は、別の実施形態では異ならせることが可能である。また、上述のように、図中で直接に実行されるものとして示した各ステップは、他の実施形態では、少なくとも部分的に、１つ以上の他のステップと並列に実行することが可能である。よって、図２に示した特定のステップ及びそれらの相互接続は、一実施形態におけるプロセスステップの考え得る一構成とみなされるべきであり、他の実施形態は、異なる処理順で構成された追加的又は代替的なプロセスステップを含むことが可能である。
本発明の実施形態は、１つ以上の追加イメージを用いたイメージ改善及びエッジ検証のための特に効率的な技術を提供するものである。例えば、本開示の技術は、SLもしくはTOFカメラ又はその他の種類のデプス撮像装置からのデプスイメージといった特定の種類のイメージについて特に低品質の検出エッジを一般に生成する従来のエッジ検出技術と比較して、大幅に改善されたエッジイメージを提供することが可能である。更に、従来のエッジ検出操作に多々必要とされた過度のパラメータ調整のためのコスト及び複雑さを伴うことなく、本書で開示する技術を使用して信頼できるエッジを有するイメージが提供される。
したがって、本発明の実施形態で生成される信頼できるエッジを有する改善されたイメージマップ及びその他の種類のイメージは、かかるエッジを使用する後続のイメージ処理操作（例えば、特徴抽出、パターン識別、ジェスチャ認識、オブジェクト認識及び追跡）の有効性を大幅に向上させるものとなる。
本書で説明した本発明の実施形態はその例示のみを目的としたものである、ということを再び強調すべきである。例えば、本発明の他の実施形態は、本書で説明した特定の実施形態で使用したものとは異なる多種多様な種類及び構成のイメージ処理回路、モジュール、及び処理操作を使用して実施することが可能である。更に、特定の実施形態を説明する上で本書で行った特定の想定は、別の実施形態では適用する必要がない。特許請求の範囲内に含まれるこれらの及び多数の他の代替的な実施形態は、当業者には自明のものである。

Claims (20)

  1. 第１及び第２のイメージに第１及び第２のエッジ検出操作をそれぞれ実行して第１及び第２のエッジイメージをそれぞれ取得し、
    該第１及び第２のエッジイメージからのエッジを使用して結合エッジ重み付け操作を適用し、
    該結合エッジ重み付け操作の結果に基づいてエッジマスクを生成し、
    該エッジマスクを使用して第３のエッジイメージを取得し、及び、
    該第３のエッジイメージに基づいて第３のイメージを生成する、
    という各ステップからなる方法であって、
    前記第１及び第２のエッジ検出操作を実行する前記ステップ、前記結合エッジ重み付け操作を適用する前記ステップ、前記エッジマスクを生成する前記ステップ、該エッジマスクを使用する前記ステップ、及び前記第３のイメージを生成する前記ステップが、メモリに接続されたプロセッサを備えた少なくとも１つの処理装置で実施される、方法。
  2. 前記第１のイメージが、デプス撮像装置により生成された第１のデプスイメージからなる、請求項１に記載の方法。
  3. 前記第２のイメージが、前記第１のイメージと実質的に同じシーンの２次元イメージからなる、請求項２に記載の方法。
  4. 前記第３のイメージが、前記第１のデプスイメージと比べて改善されたエッジ品質を有する改善されたデプスイメージからなる、請求項３に記載の方法。
  5. 前記第３のエッジイメージが、
    前記第１及び第２のエッジイメージの両方においてそれぞれ十分近くに現れるが、それらのエッジイメージのうちの特定の１つのみから取得される、１つ以上のエッジと、
    前記第１のエッジイメージ内に現れるが前記第２のエッジイメージ内には現れない１つ以上のエッジとからなり、
    該第３のエッジイメージが、前記第２のエッジイメージ内に現れるが前記第１のエッジイメージ内には現れない１つ以上のエッジを含まない、
    請求項１に記載の方法。
  6. 前記結合エッジ重み付け操作が、前記第１のエッジイメージ内のエッジと前記第２のエッジイメージ内のエッジとの間の近さの測度を決定する、請求項１に記載の方法。
  7. 前記結合エッジ重み付け操作が、
    ピクセル近辺を定義し、及び、
    前記第１及び第２のエッジイメージの一方における複数のエッジピクセルの各々毎に、該第１及び第２のエッジイメージの他方のエッジピクセルであって前記一方のエッジピクセルの所定の近辺内にあるエッジピクセルの個数を決定する、
    という各ステップからなり、
    前記エッジマスクが、前記複数のエッジピクセルの各々毎に決定されたエッジピクセルの前記個数に少なくとも部分的に基づいて生成される、
    、請求項１に記載の方法。
  8. 前記第１及び第２のエッジイメージの一方における前記複数のエッジピクセルのうちの現在の１つについて定義された近辺が、該現在のエッジピクセルの所定の半径距離内にある全てのピクセルからなる、請求項７に記載の方法。
  9. 前記エッジピクセルの個数を決定する前記ステップが、前記第２のエッジイメージの複数のエッジピクセルの各々毎に、前記第１のエッジイメージのエッジピクセルであって前記第２のエッジイメージのエッジピクセルの所定の近辺内にあるエッジピクセルの個数を決定するステップからなる、請求項７に記載の方法。
  10. 前記エッジマスクを使用して第３のエッジイメージを取得する前記ステップが、次式：
    Figure 2016513320
     に従って前記第２のエッジイメージに前記エッジマスクをピクセル単位で適用するステップからなり、ここで、E3(i,j)は前記第３のエッジイメージの１ピクセルを示し、E2(i,j)は前記第２のエッジイメージの１ピクセルを示し、「and」は論理演算子を示し、mask(i,j)は前記エッジマスクの１ピクセルを示している、請求項１に記載の方法。
  11. mask(i,j)が、個数を示すvote(i,j)が所定のしきい値よりも大きいか否かに基づいて決定される二値であり、ここで、該個数vote(i,j)は、前記第２のエッジイメージのピクセルE2(i,j)の所定の近辺内にある前記第１のエッジイメージのエッジピクセルの個数を示している、請求項１０に記載の方法。
  12. 前記第３のエッジイメージにエッジ統合操作を実行するステップを更に含む、請求項１に記載の方法。
  13. 前記第３のイメージを生成する前記ステップが、前記第１のイメージのうち前記第３のエッジイメージにより境界が形成される部分にエッジ修復操作を実行するステップを更に含む、請求項１に記載の方法。
  14. コンピュータプログラムコードを有するコンピュータ読み取り可能記憶媒体であって、該コンピュータプログラムコードが、前記処理装置で実行された際に、該処理装置に請求項１に記載の方法を実行させるものである、コンピュータ読み取り可能記憶媒体。
  15. メモリに接続されたプロセッサを備えた少なくとも１つの処理装置からなる装置であって、
    該少なくとも１つの処理装置が、第１及び第２のイメージに第１及び第２のエッジ検出操作をそれぞれ実行して第１及び第２のエッジイメージをそれぞれ取得し、該第１及び第２のエッジイメージからのエッジを使用して結合エッジ重み付け操作を適用し、該結合エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第３のエッジイメージを取得し、及び該第３のエッジイメージに基づいて第３のイメージを生成するよう構成されている、
    装置。
  16. 前記処理装置がイメージプロセッサからなり、該イメージプロセッサが、
    前記第１及び第２のエッジ検出操作を実行するよう構成されたエッジ検出モジュールと、
    前記結合エッジ重み付け操作を実行するよう構成された結合エッジ重み付けモジュールと、
    該結合エッジ重み付け操作の結果に基づいて前記エッジマスクを生成するよう構成されたエッジマスキングモジュールとを備えており、
    前記各モジュールが、前記イメージプロセッサの少なくとも１つのグラフィクスプロセッサからなるイメージ処理回路を使用して実施される、
    請求項１５に記載の装置。
  17. 前記イメージプロセッサが、前記第３のイメージの生成に併せて前記第３のエッジイメージのエッジについてエッジ修復操作を実行するよう構成されたエッジ修復モジュールを更に備えている、請求項１５に記載の装置。
  18. 請求項１５の装置を構成する集積回路。
  19. 第１及び第２のイメージを提供する１つ以上のイメージソースと、
    １つ以上のイメージ宛先と、
    前記１つ以上のイメージソースと前記１つ以上のイメージ宛先との間に接続されたイメージプロセッサとからなるイメージ処理システムであって、
    前記イメージプロセッサが、前記第１及び第２のイメージに第１及び第２のエッジ検出操作をそれぞれ実行して第１及び第２のエッジイメージをそれぞれ取得し、該第１及び第２のエッジイメージからのエッジを使用して結合エッジ重み付け操作を適用し、該結合エッジ重み付け操作の結果に基づいてエッジマスクを生成し、該エッジマスクを使用して第３のエッジイメージを取得し、及び該第３のエッジイメージに基づいて第３のイメージを生成するよう構成されている、
    イメージ処理システム。
  20. 前記１つ以上のイメージソースの少なくとも１つがデプス撮像装置からなる、請求項１９に記載のシステム。
JP2015557994A 2013-02-14 2013-08-28 少なくとも１つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置 Pending JP2016513320A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2013106513 2013-02-14
RU2013106513/08A RU2013106513A (ru) 2013-02-14 2013-02-14 Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
PCT/US2013/057048 WO2014126613A1 (en) 2013-02-14 2013-08-28 Method and apparatus for image enhancement and edge verification using at least one additional image

Publications (1)

Publication Number Publication Date
JP2016513320A true JP2016513320A (ja) 2016-05-12

Family

ID=51354463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015557994A Pending JP2016513320A (ja) 2013-02-14 2013-08-28 少なくとも１つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置

Country Status (8)

Country Link
US (1) US9305360B2 (ja)
JP (1) JP2016513320A (ja)
KR (1) KR20150117646A (ja)
CN (1) CN104272323A (ja)
CA (1) CA2848829A1 (ja)
RU (1) RU2013106513A (ja)
TW (1) TW201432621A (ja)
WO (1) WO2014126613A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013106513A (ru) 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
WO2016112019A1 (en) * 2015-01-06 2016-07-14 Oculus Vr, Llc Method and system for providing depth mapping using patterned light
WO2016154366A1 (en) * 2015-03-23 2016-09-29 Arris Enterprises, Inc. System and method for selectively compressing images
CN107534764B (zh) * 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的***及方法
TWI595449B (zh) * 2015-12-30 2017-08-11 國立中正大學 影像增強方法
WO2018005359A1 (en) * 2016-06-27 2018-01-04 Robert Bosch Gmbh Systems and methods for dynamic occlusion handling
CN106228138A (zh) * 2016-07-26 2016-12-14 国网重庆市电力公司电力科学研究院 一种融合区域和边缘信息的道路检测算法
US9906717B1 (en) * 2016-09-01 2018-02-27 Infineon Technologies Ag Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
US10127631B1 (en) * 2017-03-02 2018-11-13 Snap Inc. Automatic image inpainting using local patch statistics
TWI618031B (zh) * 2017-04-12 2018-03-11 和碩聯合科技股份有限公司 影像邊緣偵測方法
DE112018004891T5 (de) * 2017-09-01 2020-06-10 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
CN108320265B (zh) * 2018-01-31 2021-09-21 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN108986156B (zh) * 2018-06-07 2021-05-14 成都通甲优博科技有限责任公司 深度图处理方法及装置
CN108830873B (zh) * 2018-06-29 2022-02-01 京东方科技集团股份有限公司 深度图像物体边缘提取方法、装置、介质及计算机设备
EP3621031B1 (en) * 2018-09-06 2021-06-30 Tata Consultancy Services Limited Systems and methods for performing hand segmentation
CN109527773A (zh) * 2018-12-03 2019-03-29 宁波锦觅网络科技有限公司 香体自适应选择式散香器
KR102669938B1 (ko) * 2019-01-09 2024-05-27 삼성전자주식회사 이미지 처리 프로세서, 이미지 처리 시스템 및 이미지 처리 프로세서의 동작 방법
US10735436B1 (en) * 2020-02-05 2020-08-04 Cyberark Software Ltd. Dynamic display capture to verify encoded visual codes and network address information
DE102020104704A1 (de) * 2020-02-21 2021-08-26 Carl Zeiss Microscopy Gmbh Verfahren zur Verarbeitung von Bildern, Computerprogrammprodukt, Bildbearbeitungsvorrichtung und Strahlvorrichtung zum Ausführen des Verfahrens
WO2021174506A1 (zh) * 2020-03-05 2021-09-10 深圳市大疆创新科技有限公司 图像边缘检测方法、装置以及图像信号处理器
US11555703B2 (en) 2020-04-22 2023-01-17 Honeywell International Inc. Adaptive gaussian derivative sigma systems and methods
US11650057B2 (en) 2020-04-22 2023-05-16 Honeywell International Inc. Edge detection via window grid normalization
US20220156896A1 (en) * 2020-11-18 2022-05-19 Samsung Electronics Co., Ltd. System and method for image inpainting based on layout-guided pre-processing attention mechanism
CN112927154B (zh) * 2021-03-05 2023-06-02 上海炬佑智能科技有限公司 ToF装置、深度相机以及灰度图像增强方法
US20230094651A1 (en) * 2021-09-30 2023-03-30 Konica Minolta Business Solutions U.S.A., Inc. Extracting text from an image
CN116957990B (zh) * 2023-09-19 2023-12-08 东莞市华复实业有限公司 一种户外水表数据视觉采集方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120679B2 (en) * 2008-08-01 2012-02-21 Nikon Corporation Image processing method
JP4743553B2 (ja) * 2008-09-29 2011-08-10 京セラ株式会社 レンズユニット、撮像装置、および電子機器
US8400468B2 (en) * 2009-08-27 2013-03-19 Seiko Epson Corporation Projector masks for calibrating projector-based display systems
JP5909187B2 (ja) * 2009-10-14 2016-04-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ フィルタ処理およびエッジ符号化
US8610758B2 (en) 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
US9047681B2 (en) * 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
JP5842441B2 (ja) 2011-07-29 2016-01-13 ブラザー工業株式会社 画像処理装置およびプログラム
RU2013106513A (ru) 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения

Also Published As

Publication number Publication date
RU2013106513A (ru) 2014-08-20
TW201432621A (zh) 2014-08-16
CA2848829A1 (en) 2014-08-14
WO2014126613A1 (en) 2014-08-21
US20150206318A1 (en) 2015-07-23
KR20150117646A (ko) 2015-10-20
CN104272323A (zh) 2015-01-07
US9305360B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
JP2016513320A (ja) 少なくとも１つの追加イメージを用いたイメージ改善及びエッジ検証のための方法及び装置
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US9245200B2 (en) Method for detecting a straight line in a digital image
US9384411B2 (en) Image processor with edge-preserving noise suppression functionality
JP2016502704A (ja) 奥行きアーチファクトを除去するための画像処理方法および装置
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
US20170358061A1 (en) Image processing apparatus and method for performing preprocessing to obtain image with improved sharpness
JP4480958B2 (ja) デジタル画像作成方法
JP5972498B2 (ja) エッジ検出装置、エッジ検出方法およびプログラム
JP2006066478A (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
JP5908844B2 (ja) 画像処理装置および画像処理方法
CN103679680B (zh) 立体匹配方法和***
TW201432620A (zh) 具有邊緣選擇功能性之影像處理器
US20160247284A1 (en) Image processor with multi-channel interface between preprocessing layer and one or more higher layers
CN113822942A (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
JP6138706B2 (ja) 電子透かし埋め込み方法または電子透かし検出方法
JP5906696B2 (ja) 車両周辺撮影装置および車両周辺画像の処理方法
KR101526465B1 (ko) 그래픽 프로세서 기반 깊이 영상 화질 개선 방법
CN115034988A (zh) 一种基于rgbd相机的两阶段主体点云滤波方法
CN115147389A (zh) 图像处理方法、设备以及计算机可读存储介质
JP2021051530A (ja) 画像処理プログラム及び画像処理装置
Chakravathi et al. FPGA based architecture for realtime edge detection
JP6481375B2 (ja) 情報処理システム、情報処理方法、プログラム、および情報処理装置
JP2022186523A (ja) ３次元点群処理装置、３次元点群処理方法、及び３次元点群処理プログラム
CN117593179A (zh) 图像处理方法及装置、计算机可读存储介质