JP4446820B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4446820B2 JP4446820B2 JP2004205828A JP2004205828A JP4446820B2 JP 4446820 B2 JP4446820 B2 JP 4446820B2 JP 2004205828 A JP2004205828 A JP 2004205828A JP 2004205828 A JP2004205828 A JP 2004205828A JP 4446820 B2 JP4446820 B2 JP 4446820B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- current frame
- image
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
<画像処理装置の構成>
図1は、この発明の第1の実施の形態に係る画像処理装置1を含む、デジタルカメラ等の撮像装置の構成を示す概略図である。画像処理装置1は、撮像部2から入力される画像信号を、動き補償を利用しながらMPEG等の所定の形式の動画像に圧縮変換する機能を有し、動き補償に係る動きベクトルの算出を、撮像部2からの画像信号の入力に対してリアルタイムに行うことを特徴としている。
動き検出処理部5では、現フレームと前フレームの画像データとを比較して動きベクトルを算出する処理を、RPU4からの現フレームの画像データの入力に対してリアルタイムに処理することを特徴としている。
第1の実施の形態では、縦5画素×横5画素のブロック領域毎に現フレームの画像データと前フレームの画像データとを比較したが、本実施の形態では、縦5画素で横方向の全画素を含む領域、即ち5行分に相当する領域毎に比較演算を行う。ただし、ここでも第1の実施の形態と同様、5行としているのは一例であって、これとは異なる行数の処理をするものであっても構わない。
第2の実施の形態では、5行分のレジスタを用いて、ブロック毎に現フレームの画素データと前フレームの比較を行った。これに対し、本実施の形態では、動き検出処理部5が1行分のレジスタのみから構成され、現フレームの1行分の画素データと当該画素データに対応する前フレームの画素データとの差分値絶対値を求め、これを総和演算器31ではなくメモリ7に格納しながら総和を求める点が第2の実施の形態と異なる。
第1〜第3の実施の形態では、現フレームと前フレームの画素データの差分絶対値を所定のブロック領域ごとに求め、当該ブロック領域を1画素ずまたは1行つずらしながら画像データ全体を走査して、差分絶対値の総和を求める。よって、1フレームの画像データの走査が終了したときには、差分絶対値の総和が、ブロック領域に含まれる画素分だけ(例えば第1の実施の形態では25個)得られることとなる。そして、このようにして求めた差分絶対値の総和から、1つの動きベクトルを算出する。
第1〜第4の実施の形態では、例として、縦5画素×横5画素のブロック領域を対象として、当該ブロック領域の現フレームと前フレームの画像データを比較演算し、当該ブロック領域内における動きの発生を判断する。しかし、上述したように、これは一例であって、扱うブロック領域の大きさは、5画素以上の大きさであっても構わない。例えば、前フレームから現フレームにかけて、中心画素が3画素分以上の距離を移動した場合、上記の縦5画素×横5画素のブロック領域の探索では、その動きを検出することができない。よって、このような問題の発生を避けるため、例えば、縦16画素×横16画素のマクロブロック等、より広い画素領域で動きを検出する態様であっても構わない。ただし、この場合、対象とするブロック領域の画素数に相当する数のレジスタが必要となるため、回路規模が大きくなるという問題がある。
上記第1〜第5の実施の形態は、現フレームの画素データを動き検出処理部5のレジスタ群に格納し、記憶装置から読み出した前フレームの対応する所定の画素データと比較演算することによって、動きベクトルを算出する態様である。しかし、本発明はこれに限らず、処理対象を逆にして、前フレームの画素データを動き検出処理部5のレジスタ群に格納し、動き検出処理部5に現フレームの対応する所定の画素データが入力されたときに、比較演算を行って動きベクトルを算出する態様であっても構わない。
2 撮像部
3 センサプロセッシングユニット
4 リアルタイムプロセッシングユニット
5 動き検出処理部
6 メモリインターフェース
7 メモリ
10 現フレームの画像データ
20 前フレームの画像データ
30 減算器
31 総和演算器
Claims (8)
- 入力される動画像から動きベクトルを算出する画像処理装置であって、
入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、
前記現フレームより1フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、
前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データと、を比較して、動きベクトルを算出する動き検出処理手段と、
を備え、前記動き検出処理手段は、
前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、
前記レジスタに格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データと、を比較して差分値を求める減算手段と、
前記減算手段により求めた前記差分値の絶対値の和を累積しながら格納する総和演算手段と、
前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で前記減算手段により求めて前記総和演算手段に累積した差分値の絶対値の総和から、動きベクトルを算出する手段とを備え、
前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に1画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ1画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に1画素分ずつ移動する動きを含む、
画像処理装置。 - 入力される動画像から動きベクトルを算出する画像処理装置であって、
入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、
前記現フレームより1フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、
前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データと、を比較して、動きベクトルを算出する動き検出処理手段と、
を備え、前記動き検出処理手段は、
前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、
前記レジスタに格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データと、を比較して差分値を求める減算手段と、
前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で、前記減算手段により求めた差分値の絶対値の和を累積しながら前記記憶手段に格納する手段と、
前記記憶手段に格納された前記差分値の絶対値の総和から、動きベクトルを算出する手段とを備え、
前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に1画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ1画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に1画素分ずつ移動する動きを含む、
画像処理装置。 - 入力される動画像から動きベクトルを算出する画像処理装置であって、
入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、
前記現フレームより1フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、
前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データと、を比較して、動きベクトルを算出する動き検出処理手段と、
を備え、前記動き検出処理手段は、
前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、
前記レジスタ手段に格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データと、を比較して差分値を求める減算手段と、
前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で、前記減算手段により求めた差分値の絶対値から動きベクトルを算出する手段と、
前記動きベクトルを前記記憶手段に格納する手段とを備え、
前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に1画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ1画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に1画素分ずつ移動する動きを含む、
画像処理装置。 - 請求項1ないし請求項3のいずれかに記載の画像処理装置であって、
前記現フレームの画像データに代えて前記前フレームの画像データを処理対象とし、前記前フレームの画像データに代えて前記現フレームの画像データを処理対象として、動作することを特徴とする画像処理装置。 - 請求項1ないし請求項4のいずれかに記載の画像処理装置であって、
前記信号処理手段は、
前記画像データを縮小変換する縮小処理手段、
を含み、
前記動き検出処理手段は、前記縮小処理手段により縮小変換された現フレームの画像データと前フレームの画像データとを、比較の処理対象として動きベクトルを算出することを特徴とする画像処理装置。 - 請求項3ないし請求項5のいずれかに記載の画像処理装置であって、
前記動き検出処理手段は、さらに、
算出した前記動きベクトルを、複数のブロック領域毎に平均化する平均処理手段、
を含むことを特徴とする画像処理装置。 - 請求項3ないし請求項6のいずれかに記載の画像処理装置であって、
前記動き検出処理手段は、さらに、
算出した前記動きベクトルの差分が所定の値以下であるブロック領域を、一のグループとして統合する統合処理手段、
を含むことを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置であって、
前記統合処理手段は、
前記動きベクトルが所定のパターンで分布するブロック領域を探索する手段、
を含むことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004205828A JP4446820B2 (ja) | 2004-07-13 | 2004-07-13 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004205828A JP4446820B2 (ja) | 2004-07-13 | 2004-07-13 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006033145A JP2006033145A (ja) | 2006-02-02 |
JP4446820B2 true JP4446820B2 (ja) | 2010-04-07 |
Family
ID=35899007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004205828A Expired - Fee Related JP4446820B2 (ja) | 2004-07-13 | 2004-07-13 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4446820B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5322416B2 (ja) | 2007-09-12 | 2013-10-23 | 株式会社メガチップス | ブロックマッチング回路及びデータ更新方法 |
JP2010161712A (ja) * | 2009-01-09 | 2010-07-22 | Sharp Corp | フレームレート変換装置及びフレームレート変換方法 |
JP5727873B2 (ja) * | 2011-06-10 | 2015-06-03 | 日本放送協会 | 動きベクトル検出装置、符号化装置、及びこれらのプログラム |
-
2004
- 2004-07-13 JP JP2004205828A patent/JP4446820B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006033145A (ja) | 2006-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101330569B (zh) | 图像处理装置和图像处理方法 | |
KR101231494B1 (ko) | 화상 처리 장치 및 방법과 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 | |
EP2063646A2 (en) | Method and apparatus for predictive coding | |
WO2011129249A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
JP2009147807A (ja) | 画像処理装置 | |
KR100843418B1 (ko) | 화상 부호화 장치 및 화상 부호화 방법 | |
JP4814380B2 (ja) | 撮像装置、集積回路及び撮像方法 | |
US20050174437A1 (en) | Distortion correction circuit | |
JP4483483B2 (ja) | 撮像装置 | |
WO2010070809A1 (ja) | 撮像装置 | |
US20110176027A1 (en) | Method and device for compressing moving image | |
JP6557499B2 (ja) | 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体 | |
CN113971635A (zh) | 一种图像阵列格式转换方法、装置及电子设备和存储介质 | |
JP4446820B2 (ja) | 画像処理装置 | |
JP4547321B2 (ja) | 動きベクトル検出装置及び撮像装置 | |
JP4744943B2 (ja) | 動きベクトル検出方法および動画処理装置 | |
JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP2008028475A (ja) | 画像処理装置、画像処理プログラム、画像処理プログラムを記録する記録媒体、画像処理方法 | |
JP4235209B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
US20130155292A1 (en) | Imaging apparatus and method | |
JP2007028208A (ja) | 画像処理装置および撮像装置 | |
JP4760484B2 (ja) | 手振れ補正装置、手振れ補正方法およびプログラム | |
JP4197821B2 (ja) | 画像処理装置 | |
JP3318248B2 (ja) | 画質改善装置及び記録媒体 | |
JP2018191136A (ja) | 符号化装置、符号化方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070629 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20070629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091001 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4446820 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160129 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |