JP7388737B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP7388737B2 JP7388737B2 JP2021090660A JP2021090660A JP7388737B2 JP 7388737 B2 JP7388737 B2 JP 7388737B2 JP 2021090660 A JP2021090660 A JP 2021090660A JP 2021090660 A JP2021090660 A JP 2021090660A JP 7388737 B2 JP7388737 B2 JP 7388737B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- sub
- region
- image
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 34
- 238000003672 processing method Methods 0.000 title claims 2
- 238000004364 calculation method Methods 0.000 claims description 105
- 239000013598 vector Substances 0.000 claims description 43
- 230000008602 contraction Effects 0.000 claims description 23
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 49
- 230000009467 reduction Effects 0.000 description 41
- 230000008569 process Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
対象領域または参照領域の一方である第1領域内の複数の第1サブ領域のそれぞれに対応する複数の第2サブ領域を、前記対象領域または前記参照領域の他方である第2領域内の探索範囲から探索する探索部と、
前記第1領域における前記第1サブ領域と、前記第2領域における前記第2サブ領域との相対的な位置関係に基づいて、前記第2領域に対する前記第1領域の拡大または縮小の比率を算出する算出部と、
前記比率に基づいて前記探索範囲を更新し、前記探索部による前記第2サブ領域の探索と、前記算出部による前記比率の算出とを再度実行させる更新部と、
を有する画像処理装置。
これによれば、拡大または縮小の比率を一旦決定し、その比率に基づいて決定した探索範囲内でサブ領域を探索し、得られたサブ領域を用いて拡大または縮小の比率を再度算出するので、探索範囲を大きくしなくても好適なサブ領域を見つけることができ、領域同士の拡大または縮小の比率を、より少ない計算量で算出することができる。
前記探索部は、前記第1領域に所定の円周上に前記第1サブ領域を作成し、前記第2領域における前記第1サブ領域に対応する位置の近傍に初期の探索範囲を作成し、
前記更新部は、前記比率が拡大であれば前記探索範囲を前記円周の中心に近づく方向に更新し、前記比率が縮小であれば前記探索範囲を前記中心から遠ざかる方向に更新する、
事項1に記載の画像処理装置。
前記探索部は、前記探索範囲の互いに重複可能な複数の領域を候補サブ領域とし、前記候補サブ領域と前記第1サブ領域との類似度を算出し、前記類似度に基づいて前記候補サブ領域のいずれかを前記第2サブ領域と決定する、
事項1に記載の画像処理装置。
これによれば、探索領域内の候補サブ領域と第1サブ領域との類似度を用いて第2サブ領域を探索する構成において、拡大または縮小の比率を一旦決定し、その比率に基づいて更新した探索範囲内で第2サブ領域を探索するので、探索範囲を大きくしなくても類似度の高いサブ領域を見つけることができる。
前記算出部は、前記第1領域内の前記第1サブ領域と、前記第2領域内の前記第2サブ領域との相対的な位置関係に基づく複数のベクトルを主成分分析することにより得られる主成分の固有値に基づいて前記比率を算出する、
事項1に記載の画像処理装置。
前記算出部は、前記複数のベクトルを主成分分析して前記主成分の前記固有値および固有ベクトルを算出し、前記第1領域が前記第2領域に対して、前記固有ベクトルに基づいて定まる方向に、前記固有値に基づいて定まる比率で拡大または縮小していることを算出する、
事項4に記載の画像処理装置。
これによれば、拡大または縮小の比率だけでなく拡大または縮小の方向も求まるので、どの方向にどれだけ拡大または縮小しているかを求めることができる。
前記対象領域は符号化の対象となる対象画像に含まれる領域であり、前記参照領域は前記対象画像の符号化に用いる参照画像に含まれる領域であり、
前記画像処理装置は、
前記対象領域に対して、該対象領域の拡大または縮小の基準となる前記参照領域を決定する領域決定部と、
前記参照領域を前記比率に基づいて拡大または縮小した画像を用いて、前記対象画像を予測した予測画像を生成する予測画像生成部と、
前記予測画像と前記対象画像との差分を符号化する差分符号化部と、を更に有する、
事項1に記載の画像処理装置。
これによれば、拡大および縮小した画像を用いる予測差分符号化を行う画像処理装置において、より少ない計算量で拡大または縮小の比率を算出し、良好な差分符号化を実現することができる。
Claims (6)
- 動画像において符号化の対象となるフレームの画像である対象画像内のブロック領域を対象領域とし、前記動画像において既に符号化されたフレームの画像である参照画像における前記対象領域に類似する領域を参照領域とし、前記対象領域または前記参照領域の一方を第1領域とし他方を第2領域とし、前記第1領域内に前記第1領域の中心を中心とする円の円周上に等間隔で離散して配置される複数の第1サブ領域を、後述する探索範囲の更新を可能にする前記円の半径と前記第1サブ領域の形状および大きさとで作成し、前記第1サブ領域と同じ形状および大きさであり前記複数の第1サブ領域のそれぞれに類似する複数の第2サブ領域を、前記第2領域内の探索範囲であって、初期の探索範囲が、前記第1領域における前記第1サブ領域の位置と同じ前記第2領域における位置から前記第2領域の中心を軸として前記第1領域と前記第2領域との相対的な回転角度だけ回転させた位置に、前記第2サブ領域の候補となる複数の候補サブ領域を内部に作成できる形状および大きさで離散して設定された複数の探索範囲のそれぞれから探索する探索部と、
前記第1領域の中心を原点とし前記第1サブ領域の位置を示す座標ベクトルの大きさと、前記第2領域の中心を原点とし前記第2サブ領域の位置を示す座標ベクトルの大きさと、に基づいて、前記第2領域に対する前記第1領域の拡大または縮小の比率を算出する算出部と、
前記比率が拡大であれば前記探索範囲を前記第2領域の中心に近づく方向に所定の固定値だけ更新し、前記比率が縮小であれば前記探索範囲を前記中心から遠ざかる方向に所定の固定値だけ更新し、前記探索部による前記第2サブ領域の探索と、前記算出部による前記比率の算出とを実行することを、探索範囲を固定して第2サブ領域を探索する場合よりも計算量が少なくなるように回数を制限する所定の終了条件が満たされるまで繰り返し、最終的に決定された前記比率を出力する更新部と、
を有する画像処理装置。 - 前記探索部は、前記探索範囲内に候補サブ領域を移動させながら、前記候補サブ領域と前記第1サブ領域との画像同士の画素値の類似度を算出し、前記類似度の最も高い候補サブ領域を前記第2サブ領域と決定する、
請求項1に記載の画像処理装置。 - 前記算出部は、前記第1領域の中心を原点とし前記第1サブ領域の位置を示す座標ベクトルの大きさが1となるように、前記第2領域の中心を原点とし前記第2サブ領域の位置を示す座標ベクトルの大きさを変化させた第1ベクトルと、前記第2領域の中心を原点とし前記第2サブ領域の位置を示す座標ベクトルの大きさが1となるように、前記第1領域の中心を原点とし前記第1サブ領域の位置を示す座標ベクトルの長さを変化させた第2ベクトルの一方または両方を主成分分析することにより得られる主成分の固有値に基づいて前記比率を算出する、
請求項1に記載の画像処理装置。 - 前記算出部は、前記主成分の前記固有値および固有ベクトルを算出し、前記第1領域が前記第2領域に対して、前記固有ベクトルが示す方向に、前記固有値に表された比率で拡大または縮小していることに基づいて、前記第2領域に対する前記第1領域の拡大または縮小の比率を算出する、
請求項3に記載の画像処理装置。 - 探索部が、動画像において符号化の対象となるフレームの画像である対象画像内のブロック領域を対象領域とし、前記動画像において既に符号化されたフレームの画像である参照画像における前記対象領域に類似する領域を参照領域とし、前記対象領域または前記参照領域の一方を第1領域とし他方を第2領域とし、前記第1領域内に前記第1領域の中心を中心とする円の円周上に等間隔で離散して配置される複数の第1サブ領域を、後述する探索範囲の更新を可能にする前記円の半径と前記第1サブ領域の形状および大きさとで作成し、前記第1サブ領域と同じ形状および大きさであり前記複数の第1サブ領域のそれぞれに類似する複数の第2サブ領域を、前記第2領域内の探索範囲であって、初期の探索範囲が、前記第1領域における前記第1サブ領域の位置と同じ前記第2領域における位置から前記第2領域の中心を軸として前記第1領域と前記第2領域との相対的な回転角度だけ回転させた位置に、前記第2サブ領域の候補となる複数の候補サブ領域を内部に作成できる形状および大きさで離散して設定された複数の探索範囲のそれぞれから探索し、
算出部が、前記第1領域の中心を原点とし前記第1サブ領域の位置を示す座標ベクトルの大きさと、前記第2領域の中心を原点とし前記第2サブ領域の位置を示す座標ベクトルの大きさと、に基づいて、前記第2領域に対する前記第1領域の拡大または縮小の比率を算出し、
更新部が、前記比率が拡大であれば前記探索範囲を前記第2領域の中心に近づく方向に所定の固定値だけ更新し、前記比率が縮小であれば前記探索範囲を前記中心から遠ざかる方向に所定の固定値だけ更新し、前記探索部による前記第2サブ領域の探索と、前記算出部による前記比率の算出とを実行することを、探索範囲を固定して第2サブ領域を探索する場合よりも計算量が少なくなるように回数を制限する所定の終了条件が満たされるまで繰り返し、最終的に決定された前記比率を出力する、
画像処理方法。 - 探索部が、動画像において符号化の対象となるフレームの画像である対象画像内のブロック領域を対象領域とし、前記動画像において既に符号化されたフレームの画像である参照画像における前記対象領域に類似する領域を参照領域とし、前記対象領域または前記参照領域の一方を第1領域とし他方を第2領域とし、前記第1領域内に前記第1領域の中心を中心とする円の円周上に等間隔で離散して配置される複数の第1サブ領域を、後述する探索範囲の更新を可能にする前記円の半径と前記第1サブ領域の形状および大きさとで作成し、前記第1サブ領域と同じ形状および大きさであり前記複数の第1サブ領域のそれぞれに類似する複数の第2サブ領域を、前記第2領域内の探索範囲であって、初期の探索範囲が、前記第1領域における前記第1サブ領域の位置と同じ前記第2領域における位置から前記第2領域の中心を軸として前記第1領域と前記第2領域との相対的な回転角度だけ回転させた位置に、前記第2サブ領域の候補となる複数の候補サブ領域を内部に作成できる形状および大きさで離散して設定された複数の探索範囲のそれぞれから探索し、
算出部が、前記第1領域の中心を原点とし前記第1サブ領域の位置を示す座標ベクトルの大きさと、前記第2領域の中心を原点とし前記第2サブ領域の位置を示す座標ベクトルの大きさと、に基づいて、前記第2領域に対する前記第1領域の拡大または縮小の比率を算出し、
更新部が、前記比率が拡大であれば前記探索範囲を前記第2領域の中心に近づく方向に所定の固定値だけ更新し、前記比率が縮小であれば前記探索範囲を前記中心から遠ざかる方向に所定の固定値だけ更新し、前記探索部による前記第2サブ領域の探索と、前記算出部による前記比率の算出とを実行することを、探索範囲を固定して第2サブ領域を探索する場合よりも計算量が少なくなるように回数を制限する所定の終了条件が満たされるまで繰り返し、最終的に決定された前記比率を出力する、
処理をコンピュータに実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021090660A JP7388737B2 (ja) | 2021-05-28 | 2021-05-28 | 画像処理装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021090660A JP7388737B2 (ja) | 2021-05-28 | 2021-05-28 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022182885A JP2022182885A (ja) | 2022-12-08 |
JP7388737B2 true JP7388737B2 (ja) | 2023-11-29 |
Family
ID=84329056
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021090660A Active JP7388737B2 (ja) | 2021-05-28 | 2021-05-28 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7388737B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5746937B2 (ja) * | 2011-09-01 | 2015-07-08 | ルネサスエレクトロニクス株式会社 | オブジェクト追跡装置 |
JP6814484B2 (ja) * | 2018-08-21 | 2021-01-20 | 株式会社アクセル | 画像処理装置、画像処理方法および画像処理プログラム |
-
2021
- 2021-05-28 JP JP2021090660A patent/JP7388737B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2022182885A (ja) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
KR101568073B1 (ko) | 비집약성 초고해상도에 따른 재구성 방법 및 장치 | |
CN115984307A (zh) | 视频对象分割方法、装置、电子设备及存储介质 | |
JP7388737B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN108900847B (zh) | 一种基于块匹配的大范围预测方法 | |
JP6814484B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US9693076B2 (en) | Video encoding and decoding methods based on scale and angle variation information, and video encoding and decoding apparatuses for performing the methods | |
JP2003169338A (ja) | 動きベクトル検出方法及び装置並びに方法プログラムを記録した媒体 | |
CN111539286B (zh) | 衬砌线识别方法、装置及可读存储介质 | |
US11210551B2 (en) | Iterative multi-directional image search supporting large template matching | |
JP2007199749A (ja) | 画像検索方法及び画像検索装置 | |
JP6681078B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP4801566B2 (ja) | データストリーム監視装置、データストリーム監視方法、そのプログラムおよび記録媒体 | |
CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
JP2013008142A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP4387889B2 (ja) | テンプレート照合装置および方法 | |
JP6740549B2 (ja) | 動画像符号化装置、方法、プログラム、および動画像符号化システム | |
JP2009021864A (ja) | 動きベクトル探索装置 | |
CN110603535B (zh) | 支持大模板匹配的迭代多方向图像搜索 | |
JP2003111082A (ja) | 動きベクトル検出方法及び装置 | |
JP2022076346A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4394399B2 (ja) | 画像解析装置、画像解析プログラム、記憶媒体および画像解析方法 | |
JP2002051342A (ja) | 符号化装置及び符号化方法並びに記憶媒体 | |
JP7270999B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4300787B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210604 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230501 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231010 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7388737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |