JP2020010216A - Image processing apparatus, information processing method, and program - Google Patents
Image processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2020010216A JP2020010216A JP2018130631A JP2018130631A JP2020010216A JP 2020010216 A JP2020010216 A JP 2020010216A JP 2018130631 A JP2018130631 A JP 2018130631A JP 2018130631 A JP2018130631 A JP 2018130631A JP 2020010216 A JP2020010216 A JP 2020010216A
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth information
- movement amount
- unit
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an image processing device, an information processing method, and a program.
デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置を用いて撮影された映像に対しモーションブラ―の付与や、スローモーション映像の作成、手ぶれ補正を施すためには、連続するフレーム画像間の移動量を推定する必要がある。連続するフレーム画像間の移動量を推定する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影された連続するフレーム画像から移動量を推定したりする方法等がある。
連続するフレーム画像を用いた移動量推定の方法は従来から種々提案されているが、その代表的なものとして対応点探索による移動量推定や、テンプレートマッチングを利用した移動量推定がある。
特許文献1ではテンプレート内の輝度差が一定以上になるようテンプレートサイズを調整することで対応点探索の効率を上げている。
In order to add motion blur, create slow-motion video, and perform image stabilization on video captured using an imaging device such as a digital still camera or digital video camera, the amount of movement between consecutive frame images must be determined. It needs to be estimated. As a method of estimating the amount of movement between successive frame images, there is a method of using information of an external device such as a gyro sensor, or a method of estimating the amount of movement from photographed continuous frame images.
Various methods of estimating the amount of movement using continuous frame images have been conventionally proposed. Typical examples of the method include estimation of the amount of movement by searching for a corresponding point and estimation of the amount of movement using template matching.
In Patent Document 1, the efficiency of the corresponding point search is increased by adjusting the template size so that the luminance difference in the template becomes equal to or more than a certain value.
手ぶれ検出において、奥行が奥にあるほど手ぶれによる被写体の移動量は少なくなる。
特許文献1のように輝度差に応じてテンプレートサイズを変化させる場合、奥行が奥にあり、手ぶれによる被写体の移動量が少ない場合でも、輝度差が一定以上になるようテンプレートサイズを調整しなくてはならない。
また検出する移動量を大きくしたい場合はサーチサイズを広げる必要があるが、小さいテンプレートでテンプレートマッチングを施すと、サーチ領域内に似た模様が複数出現する可能性が高くなる。
以上の理由により、奥行情報を考慮しない場合は、奥行が奥の領域でも、所定の移動量を検出するためにはサーチサイズを大きくし、テンプレートサイズを大きくしなければならない。
In the camera shake detection, as the depth is deeper, the moving amount of the subject due to the camera shake becomes smaller.
When the template size is changed according to the brightness difference as in Patent Document 1, even when the depth is deep and the amount of movement of the subject due to camera shake is small, the template size does not need to be adjusted so that the brightness difference is equal to or more than a certain value. Not be.
If it is desired to increase the amount of movement to be detected, it is necessary to increase the search size. However, if template matching is performed with a small template, there is a high possibility that a plurality of similar patterns appear in the search area.
For the above reason, when depth information is not taken into consideration, the search size must be increased and the template size must be increased in order to detect a predetermined amount of movement even in an area where the depth is deep.
本発明の画像処理装置は、第1の画像と、第2の画像と、前記第1の画像の奥行情報と、に基づき、前記第1の画像と前記第2の画像との間の画素毎の移動量を推定する推定手段を有し、前記推定手段は、前記奥行情報が近くだと密に移動量推定を行い、前記奥行情報が遠くだと疎に移動量推定を行う。 The image processing apparatus according to the present invention is configured such that each pixel between the first image and the second image is determined based on a first image, a second image, and depth information of the first image. Estimating means for estimating the moving amount of the moving object. The estimating means performs the moving amount estimation densely when the depth information is near, and sparsely performs the moving amount estimation when the depth information is far.
本発明によれば、精度を落とすことなく、高速な移動量推定を行うことができる。 According to the present invention, high-speed movement amount estimation can be performed without lowering accuracy.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<実施形態1>
図1は、画像処理装置100のハードウェア構成の一例を示す図である。
画像処理装置100は、ハードウェア構成として、CPU10、RAM11、ROM12、HDD13、通信部14、を含む。
CPU10は、画像処理装置100の全体を制御する。CPU10は、ROM12又はHDD13に記憶されたプログラムに基づき処理を実行することにより、後述する図2、図3、図11、図14−図16の機能及び後述する図4、図5、図12、図18、図19、図20のフローチャートの処理が実現される。
RAM11は、CPU10がプログラムに基づき処理を実行する際の一次記憶領域として使用される。ROM12は、プログラム、及び設定値等を記憶する。HDD13は、プログラム、及び設定値等を記憶する。
通信部14は、画像処理装置100を例えばネットワーク等に接続し、外部装置との通信等を制御する。
なお、画像処理装置100は、ユーザ操作を受け付ける操作部、画像等を表示する表示部等をハードウェア構成として更に含んでもよい。また、画像処理装置100が撮像機能を有する場合、画像処理装置100は、レンズ、撮像素子、絞り、シャッター等で構成された撮像部、被写体までの距離を測定するための距離センサ等をハードウェア構成として更に含んでもよい。
<First embodiment>
FIG. 1 is a diagram illustrating an example of a hardware configuration of the
The
The
The
The
Note that the
図2は、実施形態1の画像処理装置100の機能構成の一例を示す図である。画像処理装置100は、機能構成として、画像入力部101、画像メモリ102、奥行情報入力部103、移動量推定部104を含む。画像メモリ102は、例えば、RAM11に構成される。画像入力部101、奥行情報入力部103、移動量推定部104はCPU10が、ROM12又はHDD13に記憶されたプログラムに基づき処理を実行することにより実現される。
画像入力部101は、画像を入力するためのインタフェースであり、例えば自身の撮像部からの画像を入力したり、外部の撮像装置から出力された画像を入力したりするためのものである。画像メモリ102は、画像入力部101により入力された画像を1フレーム又は複数のフレーム、一時的に記憶保持する。本実施形態では画像メモリ102に記憶保持された画像を参照画像とし、画像メモリ102に記憶保持される前の画像を基準画像としているが、基準画像と参照画像とを逆にしてもよい。
奥行情報入力部103は、画像入力部101により入力される画像と対応している奥行情報を入力するためのインタフェースである。本実施形態では、奥行情報入力部103は、画像メモリ102に記憶保存される前の画像である、基準画像と対応する奥行情報を入力する。
移動量推定部104は、画像入力部101により入力された基準画像と、画像メモリ102に記憶保持された参照画像と、奥行情報入力部103によって入力された奥行情報と、を使用し各画素の移動量推定を行う。
FIG. 2 is a diagram illustrating an example of a functional configuration of the
The
The depth
The movement
図3に、実施形態1の移動量推定部104の機能構成を示す。
移動量推定部104は、移動量推定方法決定部1041、相関値算出部1042、移動量マップ作成部1043を含む。
移動量推定方法決定部1041は、入力された奥行情報に従い、各画素に対して移動量推定方法を決定する。移動量推定方法は、移動量推定の疎密を推定し、奥行情報が奥になるにつれて、疎に移動量推定を行う。移動量推定方法決定部1041は、推定された疎密情報に従い移動量推定数、移動量推定領域、移動量推定形状の少なくとも一つを決定する。
相関値算出部1042は、移動量推定方法決定部1041によって決定された移動量推定方法に従い、画像入力部101により入力された基準画像と、画像メモリ102に記憶保持された参照画像との間の相関値を計算する。
移動量マップ作成部1043は、相関値算出部1042によって算出された相関値に従い、各画素で移動量を計算し、移動量マップを作成する。
FIG. 3 illustrates a functional configuration of the movement
The moving
The movement amount estimation
The correlation
The movement amount
実施形態1の情報処理について図4に示すフローチャートを用いて詳細に説明する。
S301において、画像入力部101は、撮影された画像を、画像処理装置100へ入力する。画像入力部101は、入力した画像を画像メモリ102に記憶保持する。本実施形態では画像メモリ102に記憶保持された画像を参照画像とし、画像メモリ102に記憶保持される前の画像を基準画像とする。
S302において、奥行情報入力部103は、奥行情報を、画像処理装置100へ入力する。奥行情報入力方式は、例えば、赤外線を照射してから、読み取りにかかる時間を計測して奥行画像の撮影をするTime of flight方式や、多眼レンズで撮影した複数枚の画像の視差を求めて奥行情報の入力を行う方式でもよい。S301によって入力される画像と対応付けられる奥行情報の入力が可能であれば、方式の如何は問わない。
S303において、移動量推定部104は、S301で入力された基準画像と、画像メモリ102に記憶保持されている参照画像と、S302で入力される奥行情報と、を使用して各画素に対して移動量の推定を行う。
The information processing according to the first embodiment will be described in detail with reference to a flowchart illustrated in FIG.
In step S301, the
In S302, the depth
In step S303, the moving
S303の移動量推定部104における処理を図3及び図5を用いて詳細に説明する。図5は、実施形態1の移動量推定の情報処理の一例を示すフローチャートである。
S401において、移動量推定方法決定部1041は、S301で入力された基準画像とS302で入力された奥行情報とを使用して、画素毎に行う移動量推定の方法を決定する。本実施形態では移動量推定にテンプレートマッチングを使用する。
移動量推定方法の決定方法は、移動量推定の疎密を推定する。奥行情報と疎密との関係は図6に示す。奥行情報が遠くになるにつれて、画像内の動き量は小さくなるため、移動量推定方法決定部1041は、疎に移動量推定を行う。奥行情報は欠落のある可能性もあり、奥行情報に欠落のある場合は、移動量推定方法決定部1041は、密に移動量推定を行う。
画像内の動き量の模式を、図7を用いて説明する。601は撮像装置、602には601を左へ移動したt秒後の撮像装置、603の三角錐と604の立方体は被写体である。図7において(a)は撮像装置601、撮像装置602、三角錐603、立方体604を上から俯瞰した図、図7(b)は三角錐603と立方体604とを撮像装置601で撮影した画像、(c)は三角錐603と立方体604とを撮像装置602で撮影した画像になる。図7(b)、(c)のグリッド1つは1画素を表す。(図7a)で示すように、三角錐603は立方体604に比べて撮像装置に近い。そのため図7(b)の画像から図7(c)の画像での画像内の移動量は立方体604に比べて三角錐603の方が大きくなる。
The processing in the movement
In step S401, the movement amount estimation
The determination method of the movement amount estimation method estimates the density of the movement amount estimation. FIG. 6 shows the relationship between the depth information and the density. Since the amount of motion in the image decreases as the depth information increases, the moving amount estimation
A model of a motion amount in an image will be described with reference to FIG.
移動量推定部104は、疎密推定方法を、移動量推定数、移動量推定領域、移動量推定形状の少なくとも一つを奥行情報に従い変化させる。図8A−図8Dに疎密推定方法の模式図を示す。図8Aの(a)は基準画像、(b)は参照画像、図8Bの(a)は図8Aの(a)に対応する奥行情報である。図8A(a)の基準画像、図8A(b)の参照画像、図8B(a)の奥行情報のグリッド1つは1画素を表す。図8B(a)の奥行情報は奥になるにつれ色が濃くなる。図8B(b)は図8A(a)の基準画像に対応した移動量推定数を示す。図8C(a)内の短形は図8A(a)の基準画像に対応した移動量推定形状を示す。図8C(b)は、図8A(a)の基準画像に対応した移動量推定領域を示す。図8Dは、図8A(b)参照画像に対応した移動量推定領域を示す。本実施形態ではテンプレートマッチング方式で移動量推定を行う。701から703までは中心画素である704から707まではテンプレートブロックである。708から710まではサーチブロックである。
The moving
移動量推定数はテンプレートマッチング方式での中心画素の配置間隔に相当し奥行情報が奥になるに従い配置間隔を広くする。移動量推定部104は、図8B(b)において、手前にある三角錐は中心画素701を全画素に配置するのに対し、例えば中間にある立方体に対しては3画素置きに中心画素702を配置し、一番奥の領域である背景領域には5画素置きに中心画素703を配置することで移動量の少ない領域の移動量推定数を減らす。
移動量推定形状はテンプレートマッチング方式でテンプレートブロックのサイズに相当し、奥行情報が奥になるに従いテンプレートブロックのサイズを小さくする。移動量推定部104は、図8C(a)において、手前にある三角錐に中心画素が配置された場合は、例えばテンプレートブロック704のサイズを11×11のサイズで格子状に配置する。移動量推定部104は、中間にある立方体に中心画素が配置された場合は、テンプレートブロック705のサイズを5×5のサイズで配置する。移動量推定部104は、一番奥の領域である背景領域に中心画素が配置された場合は、テンプレートブロック706のサイズを3×3のサイズで配置する。このように奥行情報が手前の領域に比べ奥の領域ではテンプレートブロックのサイズを小さくすることで移動量推定形状を小さくする。
移動量推定領域はテンプレートマッチング方式においてはサーチブロックに相当し、奥行情報が奥になるに従いサーチブロックを狭くする。図8C(b)は図8A(a)基準画像に奥行情報に関わらず、一定のサイズのテンプレートブロック707を配置した図になっている。移動量推定部104は、テンプレートブロックを格子状に配置する。移動量推定部104は、図8Dにおいて図8C(b)で配置したテンプレートブロック707を図8A(b)の参照画像の各領域で相関値を算出する。このとき画像内、手前にある三角錐にテンプレートブロック707が配置された場合は、移動量推定部104は、例えばサーチブロック708のサイズを25×25のサイズで配置する。中間にある立方体にテンプレートブロック707が配置された場合は、移動量推定部104は、サーチブロック709のサイズを9×9のサイズで配置する。一番奥の領域である背景領域にテンプレートブロック707が配置された場合は、移動量推定部104は、サーチブロック710のサイズを7×7のサイズで配置する。このように奥行情報が手前の領域に比べ奥の領域ではサーチブロックのサイズを小さくすることで移動量推定領域を小さくする。
The estimated moving amount corresponds to the arrangement interval of the center pixels in the template matching method, and the arrangement interval is increased as the depth information becomes deeper. In FIG. 8B (b), the moving
The movement amount estimation shape corresponds to the size of the template block in the template matching method, and the size of the template block is reduced as the depth information becomes deeper. In FIG. 8C (a), when the center pixel is arranged in the triangular pyramid in front, the movement
The moving amount estimation area corresponds to a search block in the template matching method, and the search block is narrowed as the depth information becomes deeper. FIG. 8C (b) is a diagram in which a
S402において、相関値算出部1042は、S401において決定された移動量推定方法を使用し、S301で入力された基準画像と、図2の画像メモリ102に記憶保持されている参照画像との間の相関値を画素毎に算出する。
図9にテンプレートマッチングの模式図を示す。図9において、(a)は基準画像、(b)は参照画像である。801は中心画素、802はテンプレートブロック、803はサーチブロック、804は相関値算出領域である。相関値算出部1042は、図9(a)の802に示すように基準画像中の中心画素801にテンプレートブロックを配置し、テンプレートブロック802と参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には、803に示すように参照画像上の相関値を算出する矩形領域をサーチブロックとして設定する。テンプレートブロック802の大きさと、サーチブロック803の位置及び大きさと、の設定についてはS401によって決定される。
本実施形態では、相関値の算出方法の一例として差分絶対値和(Sum of Absolute Difference、以下、SADという)で説明する。SADの計算式を(式1)に示す。
本実施形態では、相関値の一例としてSADを使用しているが、これに限るものではなく、差分二乗和(SSD)や正規化相互相関(NCC)等の他の相関値を用いてもよい。
In step S402, the correlation
FIG. 9 shows a schematic diagram of template matching. 9A shows a reference image, and FIG. 9B shows a reference image. 801 is a central pixel, 802 is a template block, 803 is a search block, and 804 is a correlation value calculation area. The correlation
In the present embodiment, as an example of a method of calculating a correlation value, a sum of absolute differences (hereinafter, referred to as SAD) will be described. The equation for calculating SAD is shown in (Equation 1).
In the present embodiment, the SAD is used as an example of the correlation value. However, the present invention is not limited to this, and another correlation value such as a sum of squared differences (SSD) or a normalized cross-correlation (NCC) may be used. .
S403において、図3の移動量マップ作成部1043は、画素毎にS402において算出された相関値の最小値の位置情報から、基準画像上のテンプレートブロックの移動量を検出し、画素毎の移動量マップを作成する。図10に移動量マップ作成の模式図を示す。図10において図9と共通するものについては、同符号を付す。(a)(b)(c)は全て図9の基準画像と参照画像から作成した移動量マップになっており、(a)(b)は作成途中の移動量マップ、(c)は完成した移動量マップである。移動量は移動量が少なくなるにつれ色が濃くなる、但し白い画素は移動量推定がまだ行われていない画素になる。移動量マップ(a)は中心画素801の移動量を推定する。移動量マップ(b)では、中心画素801の位置での移動量推定の後、中心画素801の隣の画素である中心画素901で同様に移動量推定を行う。移動量推定を全画素で行った図を(c)に示す。
In S403, the movement amount
ここまで、実施形態1における本提案の動作について述べた。以上の処理を行うことにより奥行情報から移動量推定をすることでフレーム画像間での移動量推定の処理速度を上げることができる。 So far, the operation of the present proposal in the first embodiment has been described. By performing the above-described processing, the processing speed of the movement amount estimation between the frame images can be increased by estimating the movement amount from the depth information.
<実施形態2>
図11に、実施形態2の移動量推定部104の機能構成を示す。図11において実施形態1に示した構成要素と共通するものについては、同符号を付す。
本実施形態の画像処理装置100は、実施形態1の移動量推定部104内に、移動量マップ補間部1001が追加されている。移動量マップ補間部1001は、移動量マップ作成部1043によって生成された移動量マップのうち、移動量推定方法決定部1041によって移動量推定数を疎に移動量推定された画素や、オクルージョン等の影響で移動量推定の失敗した画素において移動量の補間処理を行う。本実施形態では、移動量マップ補間部1001は、補間処理において図2の奥行情報入力部103によって入力された奥行情報を使用し補間処理を行う。
<Embodiment 2>
FIG. 11 illustrates a functional configuration of the movement
In the
図12は、実施形態2の移動量推定の情報処理の一例を示すフローチャートである。図12において図5に示したステップの処理と共通する処理については、図5と同符号を付し説明を割愛する。
S1101において、移動量マップ補間部1001は、S403において作成された移動量マップ内で疎に移動量推定された画素、移動量推定の失敗した画素に対して移動量の補間処理を行う。図13A−図13Cに移動量補間方法を示す。図13Aにおいて(a)は基準画像、(b)は参照画像である。図13Bにおいて(a)は図13Aの(a)に対応する奥行情報、図13Bにおいて(b)は図13Bの(a)の奥行情報に従い移動量推定数を疎に推定した移動量マップである。図13C(a)は図13A(a)の基準画像の画素のうち、奥行の違いによる被写体の移動量の差の影響により、図13A(b)の参照画像でオクルージョンとなってしまった画素の移動量推定の失敗した様子を示す移動量マップである。図13C(b)は図13B(b)又は図13C(a)の移動量マップを補間した移動量マップである。図13B(a)の奥行情報は奥になるほど色が濃くなる。図13Bの(b)、図13Cの(a)(b)の移動量マップは移動量が小さいほど色が濃くなる。但し、図13B(b)において白い画素は移動量推定を疎に行った結果移動量推定が行われなかった画素であり、図13C(a)において黒い画素は移動量推定を失敗した画素である。図13A(a)、(b)、図13B(a)、(b)図13C(a)、(b)の格子1つは1画素を表す。
本実施形態では補間処理に奥行情報を使用したが、他にも隣の画素と同一の移動量で埋める、周辺8画素の平均の移動量で埋める等移動量を埋めることが可能であれば、方式の如何は問わない。
FIG. 12 is a flowchart illustrating an example of the information processing of the movement amount estimation according to the second embodiment. In FIG. 12, processes common to the processes of the steps shown in FIG. 5 are denoted by the same reference numerals as in FIG. 5, and description thereof will be omitted.
In step S1101, the movement amount
In the present embodiment, the depth information is used for the interpolation processing. However, if it is possible to fill the same movement amount as the neighboring pixels, or to fill the average movement amount of the surrounding eight pixels, it is possible to fill the same movement amount. The method does not matter.
以上のようにS403によって作成された移動量マップをS1001で補間処理を行うことで、移動量推定数を疎に移動量推定された画素や、オクルージョン等の影響で移動量推定の失敗した画素においても実施形態1よりも精度の高い移動量マップの作成を行うことが可能となる。 By performing the interpolation processing in S1001 on the movement amount map created in S403 as described above, the pixels for which the movement amount estimation number is sparsely estimated or the pixels for which the movement amount estimation has failed due to the influence of occlusion or the like can be performed. Also, it is possible to create a movement amount map with higher accuracy than in the first embodiment.
<実施形態3>
図14は、実施形態3の画像処理装置100の機能構成の一例を示す図である。図14において図2に示した構成と共通するものについては、図2と同符号を付す。
本実施形態の画像処理装置100は、図2に示した構成と、特徴値計算部1301と移動量推定部1302とが異なる。特徴値計算部1301は、画素ごとに2つのエッジの交点、及び曲率が極大である曲線状の点等のコーナー点を特徴評価式により特徴値として算出する。
移動量推定部1302は、画像入力部101により入力された基準画像と、画像メモリ102に記憶保持された参照画像と、奥行情報入力部103によって入力された奥行情報と、特徴値計算部1301によって算出された特徴値と、を使用し各画素の移動量推定を行う。
<Embodiment 3>
FIG. 14 is a diagram illustrating an example of a functional configuration of the
The
The movement
図15に、移動量推定部1302の機能構成を示す。図15において図3と図11とに示した構成と共通するものについては、図3及び図11と同符号を付す。
奥行情報の欠落している画素の相関値算出部13021は、画像入力部101により入力された基準画像と、画像メモリ102に記憶保持された参照画像と、奥行情報入力部103によって入力された奥行情報と、特徴値計算部1301によって計算された特徴値と、相関値算出部1042によって算出された相関値と、を使用して欠落のある画素についての相関値算出処理を行う。
図16に、奥行情報の欠落している画素の相関値算出部13021の機能構成を示す。
奥行情報の欠落している画素の相関値算出部13021は、特徴値判定部130211、周辺奥行情報判定部130212、相関値補間部130213、密な相関値算出部130214を含む。
特徴値判定部130211は、特徴値計算部1301によって算出された特徴値の高低を判定する。周辺奥行情報判定部130212は、奥行情報の欠落している画素の周辺の画素の奥行情報を比較する。相関値補間部130213は、周辺奥行情報判定部130212の比較結果に基づき、奥行情報の欠落している画素に対して相関値の補間処理を行う。密な相関値算出部130214は、特徴値計算部1301によって算出された特徴値の高低と、周辺奥行情報判定部130212の比較結果と、に基づき、奥行情報の欠落している画素に対して相関値推定を行う。
FIG. 15 shows a functional configuration of the movement
The correlation
FIG. 16 shows a functional configuration of the correlation
The correlation
The feature
図17A−図17Cに欠落のある奥行情報を使用して移動量推定を行った模式図を示す。図17A(a)は基準画像を示す。図17A(b)は参照画像を示す。図17B(a)は欠落のある奥行情報を示す。図17B(b)は全画素の特徴値を示す。図17C(a)は図17B(a)の奥行情報を使用した場合の移動量マップを示す。図17C(b)は補間処理後の移動量マップを示す。図17B(a)の奥行情報は奥になるほど色が濃くなるが、黒の画素は奥行情報の欠落している画素である。図17B(b)の特徴値は特徴値が高くなるほど色が濃くなる。図17C(a)(b)の移動量マップは移動量が小さいほど色が濃くなる。但し白い画素は移動量推定を疎に行った結果移動量推定が行われなかった画素、又は奥行情報の欠落により移動量推定が行われなかった画素である。 FIGS. 17A to 17C are schematic diagrams in which the amount of movement is estimated using the missing depth information. FIG. 17A (a) shows a reference image. FIG. 17A (b) shows a reference image. FIG. 17B (a) shows the depth information with a missing portion. FIG. 17B (b) shows characteristic values of all pixels. FIG. 17C (a) shows a movement amount map when the depth information of FIG. 17B (a) is used. FIG. 17C (b) shows a movement amount map after the interpolation processing. The depth information in FIG. 17B (a) becomes deeper in color as it goes deeper, but black pixels are pixels lacking depth information. In the feature value of FIG. 17B (b), the higher the feature value, the deeper the color. In the movement amount maps of FIGS. 17C (a) and 17 (b), the color becomes darker as the movement amount is smaller. However, white pixels are pixels for which movement amount estimation was not performed as a result of sparse estimation of movement amount, or pixels for which movement amount estimation was not performed due to lack of depth information.
実施形態3の情報処理について図18に示すフローチャートを用いて詳細に説明する。図18において図4に示したステップの処理と共通する処理については、図4と同符号を付し説明を割愛する。
S1701において、特徴値計算部1301は、S301によって入力された画像に対して特徴値の計算を行う。本実施形態では、特徴値計算部1301は、特徴値の計算にHarris Corner検出器を使用する。特徴値計算部1301は、各画素に対し1次微分フィルタを水平、垂直に施し、それぞれ1次微分フィルタを施した結果に対しガウシアンフィルタを施す。特徴値計算部1301は、フィルタ処理された画像に対し、画素ごとに2つのエッジの交点、又は曲率が極大である曲線状の点等画素の周辺の微分値が多方向に大きい点を特徴評価式により特徴値として算出する。特徴値計算部1301は、水平微分フィルタと垂直微分フィルタとを施した結果から、自己相関行列Hを作成する。自己相関行列Hの式を(式2)に示す。
本実施形態では特徴値の計算にHarris Corner検出器を使用するが、これに限るものではなく、SIFT等を使用してもよい。
図17B(b)のように三角錐や立方体の辺の部分に比べ、三角錐の頂点や、立方体の角は特徴値が高くでて、面の部分は特徴値が低くでる。
The information processing of the third embodiment will be described in detail with reference to the flowchart shown in FIG. In FIG. 18, processes common to the processes of the steps shown in FIG. 4 are denoted by the same reference numerals as in FIG. 4, and description thereof will be omitted.
In step S1701, the feature
In the present embodiment, the Harris Corner detector is used for calculating the feature value. However, the present invention is not limited to this, and SIFT or the like may be used.
As shown in FIG. 17B (b), the vertices of the triangular pyramid and the corners of the cube have higher feature values, and the surface portions have lower feature values than the sides of the triangular pyramid and the cube.
S1702において、移動量推定部1302は、S301で入力された基準画像と、図14の画像メモリ102に記憶保持されている参照画像と、S302で入力される奥行情報と、S1701で算出される特徴値と、を使用して各画素に対して移動量の推定を行う。
図17Cの(a)の移動量マップのように図17Bの(a)の欠落のある奥行情報を使用して移動量推定を行うと、移動量推定のされない画素が発生する。
移動量推定部1302の情報処理を図19に示すフローチャートを用いて詳細に説明する。図19は、実施形態3の移動量推定の情報処理の一例を示すフローチャートである。図19において図5、図12に示したステップの処理と共通する処理については、図5、図12と同符号を付し説明を割愛する。
S1801において、奥行情報の欠落している画素の相関値算出部13021は、S301で入力された基準画像と、図14の画像メモリ102に記憶保持されている参照画像と、S302で入力される奥行情報と、S1701で算出される特徴値と、S402で算出される相関値を使用して、奥行情報の欠落している画素に対して相関値の算出を行う。
In step S1702, the moving
When the displacement estimation is performed using the missing depth information of FIG. 17A as in the displacement map of FIG. 17C, pixels for which the displacement is not estimated are generated.
The information processing of the movement
In step S1801, the correlation
奥行情報の欠落している画素の相関値算出部13021の情報処理を図20に示すフローチャートを用いて詳細に説明する。
S1901において、特徴値判定部130211は、S1701で算出される特徴値が閾値以上か未満かを判定する。特徴値判定部130211は、特徴値が閾値以上ならばS1904に進み、閾値未満ならばS1902に進む。
S1902において、周辺奥行情報判定部130212は、奥行情報の欠落している画素の周辺の奥行情報を比較する。周辺奥行情報判定部130212は、周辺の奥行情報に差がない場合はS1903に進む。周辺の奥行情報に差がある場合はS1904へ進む。
S1903において、相関値補間部130213は、S402で算出された相関値を使用して奥行情報の欠落している画素の相関値に対して補間処理を行う。補間処理の方法は隣の画素と同一の相関値にする、周辺8画素の平均の相関値にする、等相関値の補間処理を行うことが可能であれば、方式の如何は問わない。
特徴値が低くかつ周辺の奥行情報に差がない画素は図17B(b)のように物体の平面や背景の可能性が高く、対象画素の相関値と周辺画素の相関値が同じである。そのため周辺の画素から補間処理を行っても問題ない。
S1904において、密な相関値算出部130214は、S301で入力された基準画像と、図14の画像メモリ102に記憶保持されている参照画像との間の相関値を画素毎に算出する。このときに使用する移動量推定方法は図6において奥行情報が一番近い場合の方法を選択する。
特徴値が高い、又は周辺の奥行情報に差がある画素は図17B(b)のように物体の境界の可能性が高く、対象画素の相関値と周辺画素の相関値とが違う。そのため周辺の画素から補間処理を行うことができないので、奥行情報に関わらず、密な移動量推定を行う必要がある。
The information processing of the correlation
In step S1901, the feature
In step S1902, the peripheral depth
In step S1903, the correlation
A pixel having a low feature value and no difference in peripheral depth information has a high possibility of a plane or background of the object as shown in FIG. 17B (b), and the correlation value of the target pixel is the same as that of the peripheral pixel. Therefore, there is no problem even if interpolation processing is performed from peripheral pixels.
In S1904, the dense correlation
A pixel having a high feature value or a difference in peripheral depth information has a high possibility of an object boundary as shown in FIG. 17B (b), and the correlation value of the target pixel differs from the correlation value of the peripheral pixel. Therefore, since interpolation processing cannot be performed from peripheral pixels, it is necessary to perform dense movement amount estimation regardless of the depth information.
以上のように奥行情報の欠落している画素について、特徴値を利用して移動量推定を行うことで、奥行情報の欠落がある画素全てを密に移動量推定を行う場合に比べて、移動量推定の処理速度を上げることができる。 As described above, by estimating the movement amount using the feature value for the pixel for which the depth information is missing, compared with the case of performing the movement amount estimation for all the pixels for which the depth information is missing, The processing speed of the quantity estimation can be increased.
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium. The present invention can also be realized by processing in which one or more processors in a computer of the system or the apparatus read and execute a program. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、画像処理装置100の機能構成の一部又は全てはハードウェア構成として画像処理装置100に実装されてもよい。
また、画像処理装置100のハードウェア構成としてCPU、RAM、ROM、HDD、通信部は1つである必要はない。複数のCPUがプログラムに基づき、複数のROM、HDD等に記憶されたデータを用いながら複数のRAMを使用して処理を実行するようにしてもよい。また、CPUに替えてGPU(Graphics Processing Unit)を用いることとしてもよい。
As described above, an example of the embodiment of the present invention has been described in detail, but the present invention is not limited to the specific embodiment.
For example, part or all of the functional configuration of the
Further, the hardware configuration of the
以上、上述した各実施形態の処理によれば、精度を落とすことなく、高速な移動量推定を行うことができる。 As described above, according to the processing of each of the above-described embodiments, high-speed movement amount estimation can be performed without lowering the accuracy.
10 CPU
100 画像処理装置
10 CPU
100 Image processing device
Claims (9)
前記推定手段は、前記奥行情報が近くだと密に移動量推定を行い、前記奥行情報が遠くだと疎に移動量推定を行う画像処理装置。 Estimating means for estimating the amount of movement of each pixel between the first image and the second image based on the first image, the second image, and the depth information of the first image. Has,
An image processing apparatus, wherein the estimating means estimates the moving amount densely when the depth information is near, and sparsely estimates the moving amount when the depth information is far.
前記推定手段は、前記奥行情報がない画素について、前記特徴値を使用して移動量推定を行う請求項1乃至6何れか1項記載の画像処理装置。 A means for obtaining a feature value of the first image;
The image processing apparatus according to claim 1, wherein the estimating unit estimates a moving amount of the pixel having no depth information using the feature value.
第1の画像と、第2の画像と、前記第1の画像の奥行情報と、に基づき、前記第1の画像と前記第2の画像との間の画素毎の移動量を推定する推定工程を含み、
前記推定工程では、前記奥行情報が近くだと密に移動量推定を行い、前記奥行情報が遠くだと疎に移動量推定を行う情報処理方法。 An information processing method executed by the image processing device,
An estimating step of estimating a movement amount of each pixel between the first image and the second image based on a first image, a second image, and depth information of the first image; Including
An information processing method in which, in the estimating step, the amount of movement is densely estimated when the depth information is near, and the amount of movement is sparsely estimated when the depth information is far.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018130631A JP7086761B2 (en) | 2018-07-10 | 2018-07-10 | Image processing equipment, information processing methods and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018130631A JP7086761B2 (en) | 2018-07-10 | 2018-07-10 | Image processing equipment, information processing methods and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020010216A true JP2020010216A (en) | 2020-01-16 |
JP7086761B2 JP7086761B2 (en) | 2022-06-20 |
Family
ID=69152340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018130631A Active JP7086761B2 (en) | 2018-07-10 | 2018-07-10 | Image processing equipment, information processing methods and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7086761B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004072311A (en) * | 2002-08-05 | 2004-03-04 | Fuji Photo Film Co Ltd | Image pickup device |
JP2010267055A (en) * | 2009-05-14 | 2010-11-25 | Sony Corp | Apparatus and method for detection of moving object, and computer program |
-
2018
- 2018-07-10 JP JP2018130631A patent/JP7086761B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004072311A (en) * | 2002-08-05 | 2004-03-04 | Fuji Photo Film Co Ltd | Image pickup device |
JP2010267055A (en) * | 2009-05-14 | 2010-11-25 | Sony Corp | Apparatus and method for detection of moving object, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP7086761B2 (en) | 2022-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271609B2 (en) | Autofocus for stereoscopic cameras | |
CN108475433B (en) | Method and system for large scale determination of RGBD camera poses | |
KR101643672B1 (en) | Optical flow tracking method and apparatus | |
JP7032871B2 (en) | Image processing equipment and image processing methods, programs, storage media | |
KR101071352B1 (en) | Apparatus and method for tracking object based on PTZ camera using coordinate map | |
JP6894725B2 (en) | Image processing device and its control method, program, storage medium | |
US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US8385732B2 (en) | Image stabilization | |
Zhao et al. | Real-time stereo on GPGPU using progressive multi-resolution adaptive windows | |
WO2016120132A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
US11153479B2 (en) | Image processing apparatus, capable of detecting an amount of motion between images by tracking a point across one or more images, image capturing apparatus, image processing method, and storage medium | |
JP7312026B2 (en) | Image processing device, image processing method and program | |
JP2006285358A (en) | Edge-tracking method and computer program thereof | |
JP6579816B2 (en) | Image processing apparatus, image processing method, and program | |
JP2005339535A (en) | Calculation of dissimilarity measure | |
JP7086761B2 (en) | Image processing equipment, information processing methods and programs | |
CN116092035A (en) | Lane line detection method, lane line detection device, computer equipment and storage medium | |
JP2019176261A (en) | Image processor | |
JP6344903B2 (en) | Image processing apparatus, control method therefor, imaging apparatus, and program | |
JP7341712B2 (en) | Image processing device, image processing method, imaging device, and program | |
JP2018200506A (en) | Image processing apparatus and image processing method | |
Sreegeethi et al. | Online Video Stabilization using Mesh Flow with Minimum Latency | |
CN116156075A (en) | Method and device for predicting relative motion of target in video and computer equipment | |
AU2014285593B8 (en) | Optical flow tracking method and apparatus | |
CN116503448A (en) | Multi-exposure image registration method, device and equipment for self-adaptive block estimation displacement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220608 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7086761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |