JP7099538B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP7099538B2
JP7099538B2 JP2020549880A JP2020549880A JP7099538B2 JP 7099538 B2 JP7099538 B2 JP 7099538B2 JP 2020549880 A JP2020549880 A JP 2020549880A JP 2020549880 A JP2020549880 A JP 2020549880A JP 7099538 B2 JP7099538 B2 JP 7099538B2
Authority
JP
Japan
Prior art keywords
difference
image
degree
image processing
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020549880A
Other languages
English (en)
Other versions
JPWO2020075237A1 (ja
Inventor
剛志 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020075237A1 publication Critical patent/JPWO2020075237A1/ja
Application granted granted Critical
Publication of JP7099538B2 publication Critical patent/JP7099538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、複数種類の画像の類似度を判定する画像処理装置および画像処理方法に関する。
複数の様式の情報を入力し、入力された情報に基づいて情報処理を行うマルチモーダル情報処理方式がある。
画像処理分野において、単一モーダル（例えば、可視画像）の情報のみを用いるよりも複数のモーダル（例えば、可視画像と遠赤外画像）の情報を併用する方が、より多様なシーンに対応でき、画像処理の精度が向上することが知られている。例えば、一般的なカメラで撮影された可視画像と遠赤外線カメラなどで撮影された非可視画像とが合成されることによって、それぞれの画像単独では捉えにくい対象物などの視認性が向上する。
以下、可視画像とは別の画像として、遠赤外画像を例にする。一般に、遠赤外画像を出力するカメラ（別モーダルとする。）は、可視画像を出力するカメラとは独立して設置されている。したがって、別モーダルが出力する画像と可視画像との間で、視差が生ずる。すなわち、ある対象物の可視画像における位置と遠赤外画像における位置とがずれる。
非特許文献１には、特殊な装置による視差が除去されたデータを用いることによって、位置ずれの問題を回避する方法が記載されている。
非特許文献２には、ある画像とｘ方向に平行移動した他の画像とのペア（画像ペア）の類似度を算出する処理によって、また、高品位化のためのフィルタ処理や最適化処理を併用して、視差や変形量を求める方法が開示されている。類似度として、画素値の差分絶対値和、相互情報量、正規相互相関などが用いられる。
また、非特許文献２には、画素単位でコストボリュームを生成し、コストボリュームに対してフィルタリングを行い、最小コストを与える視差を採用する手法が記載されている。視差に着目した場合には、コストボリュームは、基準画像と参照画像とで対応する画素についての画素値がどの程度相違しているかを表すコストが水平方向、垂直方向、視差方向に分布した集合である。
Soonmin Hwang, et al., "Multispectral Pedestrian Detection:Benchmark Dataset and Baseline", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015 Asmaa Hosni, et al., "Fast cost-volume filtering for visual correspondence and beyond", IEEE Transactions on Pattern Analysis and Machine Intelligence, 35.2, 2013, pp.504-511 Marshall F. Tappen, William T. Freeman, "Comparison of graph cuts with belief propagation for stereo, using identical MRF parameters", Proceedings Ninth IEEE International Conference on Computer Vision, 2003
非特許文献１に記載された方法を実施する画像処理装置を実現しようとすると、特殊な装置が必要である。すると、画像処理装置が高価になる。
上述したように、非特許文献２に記載された方法を実施する場合、類似度として、画素値の絶対値和、相互情報量、正規相互相関などの指標が用いられるが、類似度の検出対象の画像に応じて最適な手法は異なる。例えば、画像ペアが２つの可視画像で構成されるときには、画素値の絶対値和は有効な指標である。しかし、画像ペアが可視画像と遠赤外画像とで構成されるときには、画素値の絶対値和は有効な指標であるとはいいがたい。なぜなら、一般に、可視画像の値域と遠赤外画像の値域とは異なるので、可視画像の画素値と遠赤外画像の画素値との差分絶対値和は、大きな値になるからである。
本発明は、類似度の評価対象の画像群を構成する画像の種類によらず、類似度を高精度で検出できる画像処理装置および画像処理方法を提供することを目的とする。
本発明による画像処理装置は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、各々の類似度評価のための手法による相違度を正規化する正規化手段と、正規化された各々の相違度を統合する相違度統合手段とを含む。
本発明による画像処理方法は、コンピュータが、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出し、各々の類似度評価のための手法による相違度を正規化し、正規化された各々の相違度を統合する方法である。
本発明による画像処理プログラムは、コンピュータに、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、各々の類似度評価のための手法による相違度を正規化する正規化処理と、正規化された各々の相違度を統合する相違度統合処理とを実行させる。
本発明によれば、類似度の評価対象の画像群を構成する画像の種類によらず、類似度が高精度で検出される。
画像処理装置の構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 正規化部の機能を説明するための説明図である。 画像処理方法の概略を示す説明図である。 ＣＰＵを有するコンピュータの一例を示すブロック図である。 画像処理装置の主要部を示すブロック図である。 他の態様の画像処理装置の主要部を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。
図１は、画像処理装置の構成例を示すブロック図である。画像処理装置１００は、画像入力部１０１と、相違度算出部２０１と、正規化部２０２と、相違度平滑化部２０３と、相違度統合部２０４と、統合相違度平滑化部２０５と、変形量算出部２０６と、出力部３０１とを備えている。
画像入力部１０１は、１台以上のカメラ（図示せず）またはセンサ（図示せず）で取得された複数の画像を入力する。複数の画像は、視差や変形量を求める対象である画像群を構成する。画像入力部１０１には、カメラや測定用のセンサなどによって得られた１枚以上の画像や測定値が入力される。入力される画像は、可視光カメラや可視光センサからの可視画像や測定値に限定されない。例えば、可視光カメラや可視光センサから以外のカメラやセンサで取得された画像が入力されてもよい。一例として、温度画像や深度画像が入力されてもよい
なお、画像入力部１０１は、入力された画像に対して、ノイズ除去等を目的として、トーンマッピング処理、超解像処理、ぼけ除去処理、画像融合処理などの画像処理を施してもよい
相違度算出部２０１は、画像入力部１０１に入力された画像群のうちのいずれかを１つ以上の変形の仕方で変形する。相違度算出部２０１は、さらに、変形した画像とそれ以外の画像との類似度を評価する。一例として、相違度算出部２０１は、画像群のうち、一の画像以外の画像をずらした後、画像間の正規化相互相関、差分絶対値和、位相限定相関などの複数の類似度算出方法（類似度評価のための手法）を使用して画像の相違度（または、類似度）を算出する。そして、本実施形態では、相違度算出部２０１は、相違度に対応する値であるコストボリュームを算出する。
正規化部２０２は、各々の類似度算出方法で算出された相違度に基づくコストボリュームを、投票方式で正規化する。
相違度平滑化部２０３は、正規化された各々のコストボリュームを平滑化する。
相違度統合部２０４は、相違度平滑化部２０３で平滑化されたコストボリュームを統合する。
統合相違度平滑化部２０５は、統合された相違度（統合相違度）を平滑化する。
変形量算出部２０６は、平滑化された相違度から、画素ごとに最小値を探索することによって、視差や変形量を求める。
出力部３０１は、変形量算出部２０６で求められた画像間の視差や変形量を出力する。
次に、図２のフローチャートを参照して画像処理装置１００の動作を説明する。
画像入力部１０１は、複数の画像または測定値を入力する（ステップＳ１０１）。画像入力部１０１は、入力された画像または測定値をメモリ（図示せず）等に保存する。なお、画像入力部１０１が入力する画像は、カメラからの画像に限定されない。例えば、深層学習の途中の処理結果が、多チャンネルの画像（複数の画像）として入力されてもよい。また、数値シミュレーションなどによって算出されたベクトルデータ（速度場、密度場など）が、多チャンネルの画像（複数の画像）として入力されてもよい。
相違度算出部２０１は、画像入力部１０１に入力された複数の画像のうちのいずれかを１つ以上の変形方法で変形する。ここでは、画像群に２つの画像が含まれる場合を例にする。すなわち、画像ペアが画像入力部１０１に入力される。相違度算出部２０１は、画像ペアを構成する一方の画像を変形する。相違度算出部２０１は、変形した画像とそれ以外の画像との相違度を算出する（ステップＳ１０２）。
画像の変形と相違度の算出の具体例を説明する。
画像ペアのうちの変形されない画像を基準画像という。変形される画像を参照画像という。以下、基準画像をI(j)とする。j は画素（具体的には、画素位置）を示す。また、参照画像をJ(j)とする。
相違度算出部２０１は、参照画像J(j)に、平行移動などの幾何変形を施す。例えば、平行移動が施される場合には、相違度算出部２０１は、平行移動量として、「右に１画素」、「右に２画素」、「右に３画素」、「変形なし」（移動させない。）、「左に１画素」、「左に２画素」、「左に３画素」などを使用する。この場合には、１つの参照画像について、変形によって、７種類の変形の仕方（「変形なし」も含まれる。）で変形された複数種類の画像が生成される。相違度算出部２０１は、生成した変形画像をメモリ（図示せず）に保存する。
以下、変形された参照画像を変形画像という。変形画像をK(j, n) と表す。n は、変形の仕方（具体的には、変形量）を識別するための値である。上記の例では、「右に１画素」、「右に２画素」、「右に３画素」、「変形なし」、「左に１画素」、「左に２画素」、「左に３画素」の各々に対応して、n は、１～７のいずれかの値になる。
なお、相違度算出部２０１が実行する変形は、平行移動に限定されない。例えば、相違度算出部２０１は、参照画像を、ホモグラフィ変換、アフィン変換、またはヘルマート変換を用いて変形してもよい。また、相違度算出部２０１は、各変換を特徴づけるパラメータを複数種類（例えば、ホモグラフィ変換の場合には８つのパラメータ）用意し、パラメータごとに画像を変形させることによって、複数種類の変形画像を生成してもよい。
また、相違度算出部２０１は、例えば、画素ごとに複数種類の位置ずれ量を個別に与え、複数種類の位置ずれ量毎に画像を変形させることによって変換画像を生成してもよい。
また、相違度算出部２０１は、設置されているカメラの特性に応じて、変形の仕方を選択してもよい。一例として、カメラが横に整列して並んでいる場合、これらのカメラ配置に対応するエピポーラ線の周辺に各画素が平行移動した変形画像を使用してもよい。
相違度算出部２０１は、生成した各変形画像と基準画像との間の相違度（または、類似度）を算出する。
相違度算出部２０１は、例えば、基準画像I(j)と変形画像K(j,k) との正規化相互相関、差分絶対値和、位相限定相関など複数の類似度算出方法を使用して画像の相違度（または、類似度）を算出する。相違度算出部２０１は、相違度に対応する値であるコストボリュームを算出する。
相違度算出部２０１は、例えば、以下のようにコストボリュームC(j, k) を算出する。k は、変形量（例えば、ずれ量すなわちシフト量）を示す。
（１）式は、コストボリュームC(j, k)の表現の一例を示す式である。（１）式において、(x, y)は、画素j の２次元表現に相当する。I は一方の画像（基準画像）を示し、J は他方の画像（参照画像）を示す。αは、右辺の第１項と第２項とのバランスを調整するためのパラメータである。gradx は、画素値のｘ方向の勾配を示す。T1，T2は、コストの打ち切り値を示す。
Figure 0007099538000001
類似度算出方法に応じたコストボリュームをC(j, k, l)とする。なお、l は、類似度算出方法を識別するための値である。例えば、類似度算出方法として、正規化相互相関、差分絶対値和および位相限定相関の３種類が用いられる場合には、l は１～３のいずれかの値になる。
正規化部２０２は、例えば、以下のような手順で、投票方式でコストボリュームC(j, k, l)を正規化する（ステップＳ１０３）。
図３は、正規化部２０２の機能を説明するための説明図である。
まず、正規化部２０２は、コストボリュームC(j, k, l)の各々（上記の例では、３つ）について、（２）式に示すように、画素j ごとに、ｋ （変形量）の方向での最小コストを算出する。なお、図３には、相違度算出部２０１が正規化相互相関を用いて相違度に対応するコストボリュームC(j, k, l)５０１を算出した例が示されている。
Figure 0007099538000002
そして、正規化部２０２は、投票によって、正規化されたコストボリュームを生成する。
本実施形態では、画素j の周辺領域の画素j'に着目する。そして、正規化部２０２は、画素j の周辺領域をROI(j)としたきに、（３）式で表される値を正規化されたコストボリュームとする。すなわち、正規化部２０２は、画素j ごとに、周辺領域における最小コストになる要素の数を数え、すなわち、最小コストになる要素が投票され、その個数（投票数）を投票による正規化されたコストボリューム（図３における正規化されたコストボリューム５１１参照）とする。
Figure 0007099538000003
（３）式において、δ（）は、ディラックのデルタ関数である。（３）式を用いる場合には、正規化されたコストボリュームは、周辺領域ROI(j)においてδ(kmin(j' , l))がk に等しい個数で表される。
相違度平滑化部２０３は、正規化された各々の相違度を平滑化する（ステップＳ１０４）。なお、本実施形態では、相違度はコストボリュームC(j, k, l)に反映されている。したがって、相違度平滑化部２０３は、具体的には、正規化された各々のコストボリュームを平滑化する。
なお、相違度平滑化部２０３は、正規化されたコストボリュームを画像空間上で（j 方向に）平滑化する。
相違度平滑化部２０３は、平滑化のために種々の手法を用いることができる。一例として、相違度平滑化部２０３は、非特許文献２に記載されたような画像空間における平滑化フィルタ（非特許文献２では、具体的には、guided filter ）を使用することができる。相違度平滑化部２０３は、非特許文献３に記載されているようなグラフカットなどの最適化手法を用いて、正規化されたコストボリュームを空間的に平滑化してもよい。
平滑化されたコストボリュームをD(j, k, l)とする。
なお、本実施形態では、相違度平滑化部２０３が、正規化されたコストボリュームを平滑化した後、相違度統合部２０４に出力するが、処理速度の向上等を目的として、相違度算出部２０１が算出したコストボリュームがそのまま相違度統合部２０４に入力されるようにしてもよい。
相違度統合部２０４は、平滑化された相違度を統合する（ステップＳ１０５）。なお、本実施形態では、相違度はコストボリュームC(j, k, l)に反映されている。したがって、相違度統合部２０４は、具体的には、平滑化されたコストボリュームD(j, k, l)を統合する。統合されたコストボリューム（統合コストボリューム）をE(j, k) とする。相違度統合部２０４は、例えば下記の（４）式に示すような重み付き線形和などを用いる。（４）式において、重みwlは、それぞれのコストボリュームに対応して設定される。
Figure 0007099538000004
重みwlは、例えば、画像処理装置の利用者によってあらかじめ設定される。しかし、重みwlは、あらかじめ導出された実験データなどを用いて、機械学習などによって設定されてもよい。
相違度統合部２０４は、重み付き線形和以外の手法で、平滑化されたコストボリュームD(j, k, l)を統合してもよい。例えば、ソフトマックス関数などを用いて、平滑化されたコストボリュームD(j, k, l)を統合してもよい。具体的には、相違度統合部２０４は、平滑化されたコストボリュームD(j, k, l)の値が大きいほど、統合コストボリュームをE(j, k) の値が大きくなるような手法を用いて統合を行えばよい。
統合相違度平滑化部２０５は、統合された相違度（統合相違度）を画像空間で平滑化する（ステップＳ１０６）。なお、本実施形態では、相違度はコストボリュームに反映されている。したがって、統合相違度平滑化部２０５は、具体的には、統合コストボリュームE(j, k) を平滑化する。
なお、統合相違度平滑化部２０５は、統合コストボリュームE(j, k) を画像空間上で（j 方向に）平滑化する。平滑化された統合コストボリュームE(j, k) を、コストボリュームF(j, k) とする。
統合相違度平滑化部２０５は、平滑化のために種々の手法を用いることができる。一例として、統合相違度平滑化部２０５は、非特許文献２に記載されたような画像空間における平滑化フィルタを使用することができる。統合相違度平滑化部２０５は、非特許文献３に記載されているようなグラフカットなどの最適化手法を用いて、統合コストボリュームE(j, k) を空間的に平滑化してもよい。
なお、本実施形態では、統合相違度平滑化部２０５が、統合コストボリュームE(j, k) を平滑化した後、変形量算出部２０６に出力するが、処理速度の向上等を目的として、相違度統合部２０４が算出した統合コストボリュームE(j, k) がそのまま変形量算出部２０６に入力されるようにしてもよい。
変形量算出部２０６は、平滑化された相違度から、画素j ごとに最小値を探索することによって、視差や変形量を求める（ステップＳ１０７）。
変形量算出部２０６は、例えば、各画素j において、統合コストボリュームE(j, k) を最小にするk を算出し、そのk に対応する変形量や視差を、画像間の変形量や視差として算出する。一例として、変形量算出部２０６は、（５）式によって、統合コストボリュームE(j, k) を最小にするk を算出する。
Figure 0007099538000005
参照画像に対して、「右に１画素」（k =1）、「右に２画素」（k =2）、「右に３画素」（k =3）、「変形なし」（k =4）、「左に１画素」（k =5）、「左に２画素」（k =6）、「左に３画素」（k =7）の７種類の変形が施されている場合を想定する。そして、統合コストボリュームE(j, k) を最小にするk としてkmin=3が得られたときには、変形量算出部２０６は、「右に３画素」を、画像間の視差や変形量とする。
出力部３０１は、変形量算出部２０６で求められた画像間の視差や変形量を出力する（ステップＳ１０８）。
次に、図４の説明図を参照して、画像処理方法の概略を説明する。
図４には、相違度算出部２０１は、ステップＳ１０２の処理で、相違度（コストボリュームC(j, k, l)）を算出するために、正規化相互相関、差分二乗和、および相互情報量を用いる例が示されている。すなわち、相違度算出部２０１は、正規化相互相関によるコストボリューム５０１、差分二乗和によるコストボリューム５０２、および相互情報量によるコストボリューム５０３を算出する。
正規化部２０２は、上述したように、ステップＳ１０３の処理で、コストボリューム５０１，５０２，５０３を投票によって正規化し、正規化されたコストボリューム５１１，５１２，５１３を生成する。
相違度統合部２０４は、ステップＳ１０５の処理で、正規化されたコストボリューム５１１，５１２，５１３を統合し、統合コストボリューム５２０を生成する。図４には、重みwlとして、a1，a2，a3が例示されている。
なお、上述したように、正規化されたコストボリューム５１１，５１２，５１３は、相違度平滑化部２０３によって平滑化されてもよい。
統合相違度平滑化部２０５は、ステップＳ１０６の処理で、統合コストボリューム５２０を平滑化して、最終的なコストボリューム５３０とする。
以上に説明したように、本実施形態では、相違度算出部２０１は、複数の手法で、画像ペアを構成する画像の相違度を評価する。上記の例では、相違度算出部２０１は、各々の手法による相違度に基づくコストボリュームを算出する。また、正規化部２０２が、各々の相違度（上記の例では、コストボリューム）を正規化する。上記の例では、正規化部２０２は、投票によってコストボリュームを正規化する。
画像処理装置は複数種類の相違度を併用し、正規化された複数の相違度が相違度統合部２０４において線形和などで統合される。その際に、正規化部２０２が投票によって各相違度を正規化するので、各相違度の値域が揃えられ、平等に統合される。その結果、画像ペアを構成する画像の種類によらず、高精度で画像の類似度が判定される。また、画像ペアを構成する画像の種類によらないので、画像処理装置の汎用性が向上する。すなわち、画像ペアが２つの可視画像で構成される場合でも、可視画像と遠赤外画像で構成される場合でも、その他の種類の画像の組み合わせで構成される場合でも、画像処理装置は、高精度で画像の類似度を判定できる。
なお、上記の実施形態では、主に、画像処理装置が、２種類の画像で構成される画像ペアを対象として視差や変形量を算出して画像の類似度を判定する場合について説明したが、画像処理装置が、３つ以上の画像を対象として、視差や変形量を算出して画像の類似度を判定することもできる。
また、上記の実施形態における各構成要素は、１つのハードウェアで構成可能であるが、１つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
上記の実施形態における各機能（各処理）を、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することによって実現してもよい。
図５は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、画像処理装置に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１に示された画像処理装置１００における、相違度算出部２０１、正規化部２０２、相違度平滑化部２０３、相違度統合部２０４、統合相違度平滑化部２０５、および変形量算出部２０６の機能を実現する。
記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。
図６は、画像処理装置の主要部を示すブロック図である。図６に示す画像処理装置１０は、画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し（例えば、各画素を複数種類の所定量だけずらし）、複数種類の類似度評価のための手法（例えば、正規化相互相関、差分絶対値和、差分二乗和、位相限定相関、相互情報量などのうちの２種類以上）を用いて、変形された画像と画像群における他の画像との相違度を画素ごとに算出する相違度算出手段１１（実施形態では、相違度算出部２０１で実現される。）と、各々の類似度評価のための手法による相違度を正規化する正規化手段１２（実施形態では、正規化部２０２で実現される。）と、正規化された各々の相違度を統合する相違度統合手段１５（実施形態では、相違度統合部２０４で実現される。）とを備えている。
図７に示すように、画像処理装置１０は、さらに、統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段１６（実施形態では、変形量算出部２０６で実現される。）を備えていてもよい。
画像処理装置１０は、さらに、統合された相違度を平滑化して変形量算出手段１６に出力する統合相違度平滑化手段（実施形態では、統合相違度平滑化部２０５で実現される。）を備えていてもよい。
画像処理装置１０は、さらに、正規化された各々の相違度を平滑化して相違度統合手段１５に出力する相違度平滑化手段（実施形態では、相違度平滑化部２０３で実現される。）を備えていてもよい。
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、
各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段と、
正規化された各々の前記相違度を統合する相違度統合手段と
を備えた画像処理装置。
（付記２）前記正規化手段は、投票方式で前記相違度を正規化する
付記１の画像処理装置。
（付記３）統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段をさらに備えた
付記１または付記２の画像処理装置。
（付記４）統合された相違度を平滑化して前記変形量算出手段に出力する統合相違度平滑化手段をさらに備えた
付記３の画像処理装置。
（付記５）正規化された各々の前記相違度を平滑化して前記相違度統合手段に出力する相違度平滑化手段をさらに備えた
付記１から付記４のうちのいずれかの画像処理装置。
（付記６）画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出し、
各々の前記類似度評価のための手法による前記相違度を正規化し、
正規化された各々の前記相違度を統合する
画像処理方法。
（付記７）投票方式で前記相違度を正規化する
付記６の画像処理方法。
（付記８）統合された相違度を最小にする変形量を画像の変形量とする
付記６または付記７の画像処理方法。
（付記９）前記画像の変形量を導出する前に、統合された相違度を平滑化する
付記８の画像処理方法。
（付記１０）正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する
付記６から付記９のうちのいずれかの画像処理方法。
（付記１１）コンピュータに、
画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、
各々の前記類似度評価のための手法による前記相違度を正規化する正規化処理と、
正規化された各々の前記相違度を統合する相違度統合処理と
を実行させるための画像処理プログラム。
（付記１２）コンピュータに、
投票方式で前記相違度を正規化させる
付記１１の画像処理プログラム。
（付記１３）コンピュータに、
統合された相違度を最小にする変形量を画像の変形量とする処理を実行させるための
付記１１または付記１２の画像処理プログラム。
（付記１４）コンピュータに、
前記画像の変形量を導出する前に、統合された相違度を平滑化する処理を実行させるための
付記１３の画像処理プログラム。
（付記１５）コンピュータに、
正規化された各々の前記相違度を統合する前に、正規化された各々の前記相違度を平滑化する処理を実行させるための
付記１１から付記１４のうちのいずれかの画像処理プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
１０ 画像処理装置
１１ 相違度算出手段
１２ 正規化手段
１５ 相違度統合手段
１６ 変形量算出手段
１００ 画像処理装置
１０１ 画像入力部
２０１ 相違度算出部
２０２ 正規化部
２０３ 相違度平滑化部
２０４ 相違度統合部
２０５ 統合相違度平滑化部
２０６ 変形量算出部
３０１ 出力部
１０００ ＣＰＵ
１００１ 記憶装置
１００２ メモリ

Claims (10)

  1. 画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出手段と、
    各々の前記類似度評価のための手法による前記相違度を正規化する正規化手段と、
    正規化された各々の前記相違度を統合する相違度統合手段と
    を備えた画像処理装置。
  2. 前記正規化手段は、投票方式で前記相違度を正規化する
    請求項１記載の画像処理装置。
  3. 統合された相違度を最小にする変形量を画像の変形量とする変形量算出手段をさらに備えた
    請求項１または請求項２記載の画像処理装置。
  4. 統合された相違度を平滑化して前記変形量算出手段に出力する統合相違度平滑化手段をさらに備えた
    請求項３記載の画像処理装置。
  5. 正規化された各々の前記相違度を平滑化して前記相違度統合手段に出力する相違度平滑化手段をさらに備えた
    請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
  6. コンピュータが、
    画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出し、
    各々の前記類似度評価のための手法による前記相違度を正規化し、
    正規化された各々の前記相違度を統合する
    画像処理方法。
  7. コンピュータが、
    投票方式で前記相違度を正規化する
    請求項６記載の画像処理方法。
  8. コンピュータが、
    統合された相違度を最小にする変形量を画像の変形量とする
    請求項６または請求項７記載の画像処理方法。
  9. コンピュータが、
    前記画像の変形量を導出する前に、統合された相違度を平滑化する
    請求項８記載の画像処理方法。
  10. コンピュータに、
    画像群を構成する２つ以上の画像のうちのいずれかを１つ以上の変形の仕方で変形し、複数種類の類似度評価のための手法を用いて、変形された画像と前記画像群における他の画像との相違度を画素ごとに算出する相違度算出処理と、
    各々の前記類似度評価のための手法による前記相違度を正規化する正規化処理と、
    正規化された各々の前記相違度を統合する相違度統合処理と
    を実行させるための画像処理プログラム。
JP2020549880A 2018-10-10 2018-10-10 画像処理装置および画像処理方法 Active JP7099538B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/037717 WO2020075237A1 (ja) 2018-10-10 2018-10-10 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2020075237A1 JPWO2020075237A1 (ja) 2021-09-02
JP7099538B2 true JP7099538B2 (ja) 2022-07-12

Family

ID=70165212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020549880A Active JP7099538B2 (ja) 2018-10-10 2018-10-10 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US11475233B2 (ja)
JP (1) JP7099538B2 (ja)
WO (1) WO2020075237A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11460854B1 (en) * 2020-04-28 2022-10-04 Amazon Technologies, Inc. System to determine floor or obstacle by autonomous mobile device
CN114612937A (zh) * 2022-03-15 2022-06-10 西安电子科技大学 基于单模态增强的红外与可见光融合行人检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036405A1 (en) 2005-05-16 2007-02-15 Jean Lienard Method and apparatus for correction of an image
JP2015179499A (ja) 2014-02-28 2015-10-08 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3979136B2 (ja) * 2002-03-20 2007-09-19 富士ゼロックス株式会社 認識装置および方法
JP5955199B2 (ja) * 2011-12-20 2016-07-20 富士フイルム株式会社 画像処理装置および画像処理方法、並びに、画像処理プログラム
JP2014078095A (ja) * 2012-10-10 2014-05-01 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP6497007B2 (ja) * 2014-09-09 2019-04-10 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070036405A1 (en) 2005-05-16 2007-02-15 Jean Lienard Method and apparatus for correction of an image
JP2015179499A (ja) 2014-02-28 2015-10-08 株式会社リコー 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム

Also Published As

Publication number Publication date
US20220004802A1 (en) 2022-01-06
US11475233B2 (en) 2022-10-18
WO2020075237A1 (ja) 2020-04-16
JPWO2020075237A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP6446997B2 (ja) スケール及び深度空間に変換することによるライトフィールドの処理
JP6091560B2 (ja) 画像解析方法
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
US8405742B2 (en) Processing images having different focus
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
Mahmood et al. Optimal depth estimation by combining focus measures using genetic programming
WO2014073670A1 (ja) 画像処理方法及び画像処理装置
CN107004256A (zh) 用于噪声深度或视差图像的实时自适应滤波的方法和装置
US9165341B2 (en) Method for generating super-resolution images having improved image resolution and measuring device
KR20190030456A (ko) 스테레오 매칭 방법 및 장치
EP3819869A1 (en) Method and apparatus with depth image generation
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
US20170223333A1 (en) Method and apparatus for processing binocular disparity image
JP7099538B2 (ja) 画像処理装置および画像処理方法
CN115311186A (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
US10096113B2 (en) Method for designing a passive single-channel imager capable of estimating depth of field
CN112204957A (zh) 白平衡处理方法和设备、可移动平台、相机
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
JP2015148895A (ja) 物体数分布推定方法
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
KR101538014B1 (ko) 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법
KR20110048829A (ko) 레인지 영상의 노이즈 제거장치 및 방법
KR20150069739A (ko) 스테레오비전 기반의 어류 개체수 측정방법과 이를 적용한 패턴인식 시스템
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7099538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151