JP6388507B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP6388507B2 JP6388507B2 JP2014155055A JP2014155055A JP6388507B2 JP 6388507 B2 JP6388507 B2 JP 6388507B2 JP 2014155055 A JP2014155055 A JP 2014155055A JP 2014155055 A JP2014155055 A JP 2014155055A JP 6388507 B2 JP6388507 B2 JP 6388507B2
- Authority
- JP
- Japan
- Prior art keywords
- bit length
- contrast value
- image
- motion vector
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
このような動きベクトルを算出する画像処理装置として、例えば特許文献1には、動きベクトルの誤検出を抑えながら、回路規模または処理時間を小さくする画像処理装置が開示されている。具体的には、特許文献1では、入力画像の各画素のエッジ成分を求め、入力画像を複数の間引き単位ブロックに分割し、エッジ成分の大きさを比較して、間引き単位ブロックごとにエッジ成分が大きい画素を残して他の画素を間引き、残された画素の間引き単位ブロック内でのオフセット位置に基づいて動きベクトル候補を生成している。
本発明は、入力された複数の画像のうち何れか1の画像を基準画像とし、少なくとも該基準画像において注目画素を中心とする所定の処理領域毎にコントラスト値を算出するコントラスト値算出手段と、複数の前記画像間において前記注目画素に対する動きベクトルを算出する際に用いる画素値のビット長として、前記コントラスト値に基づいて、該コントラスト値を算出した際に用いた画素値のビット長よりも小さいビット長とするビット長決定手段と、前記処理領域及び複数の前記画像のうち少なくとも前記処理領域と対応する領域を、前記ビット長決定手段により決定されたビット長に変換する量子化手段と、該量子化手段によってビット長が変換された前記処理領域について、前記注目画素に対する複数の前記画像間における動きベクトルを算出する動きベクトル算出手段と、を備える画像処理装置を提供する。
このようにすることで、コントラスト値に対応させて不要な演算量を削減させると共に、動きベクトル検出の精度を維持することができる。
このようにすることで、画像中に例えば広範囲にわたるグラデーションが存在する場合や急激な輝度差が生じている場合にも的確に区別をすることができ、不要な演算をより削減することができる。
このようにすることで、コントラスト値が高い場合でも、エッジの勾配が大きい領域についてビット長を小さくすることができるので、不要な演算をさらに削減することができる。
以下に、本発明の第1の実施形態に係る画像処理装置について図面を参照して説明する。
図1に示すように、画像処理装置は、複数の画像を入力する画像入力部9、画像入力部に入力された画像のコントラスト値を算出するコントラスト値算出部11、複数の画像間において注目画素に対する動きベクトルを算出する際のビット長を決定するビット長決定部12、入力画像をビット長決定部によって決定されたビット長の画像データに変換する量子化部13、及び、画像データに基づいて動きベクトルを算出する動きベクトル算出部14を備えている。
コントラスト値算出部11は、画像入力部9により入力された2枚の画像のうち何れか1の画像を基準画像とし、少なくとも基準画像において注目画素を中心とする所定の処理領域毎にコントラスト値を算出する。ここで、処理領域のコントラスト値とは、注目画素の属する処理領域における当該注目画素の濃淡の度合いを示しているなお、本実施形態では、2枚の画像のうち基準画像と異なる画像を参照画像として動きベクトルを算出する。
例えば、基準画像との間の動きベクトルを算出すべき参照画像と基準画像とを用いてコントラスト値を計算することもできる。この場合は、Contrastboth数式(2)及び数式(3)に従ってコントラスト値を算出する。この時、参照画像における処理領域は、図2(B)に示すように、基準画像の処理領域Iとマッチングする領域を探索するための探索範囲領域Sとする。
本実施形態では、以上の式(3)により、基準画像における処理領域と参照画像における探索範囲領域とをビット長決定部12によって決定されたビット長の画像データに変換する。以下、基準画像における処理領域と参照画像における探索領域を、ビット長変換処理対象領域と呼ぶ。
すなわち、ビット長が2ビットの場合、数式(4)にmin2=0,max2=3を、min1=100,max1=130,value1=120を代入する。ビット長変換後は、22=4に量子化され、数式(4)のvalue2として0〜3の値が算出される。
しかし、数式(4)を用いることで、元の情報を保ちながら量子化を行うことができる。図5(C)に示すように、まずヒストグラムを左にシフトしてから、4ビットで量子化する。このようにすることで、ビット長変換対象領域は0〜3すべての値を持つことができる。
以下に、動きベクトルの算出方法の一例として、ブロックマッチングを用いる例について説明する。
図8に動きベクトルの数と演算量の関係を示す。既知のブロックマッチングによって演算を行った場合でも、ビット長を小さくして処理すべき画像データ量を削減することで、1つの動きベクトルに対する演算量が減少する、動きベクトルの数が増えても演算量を抑制することができる。
上記した第1の実施形態においては、ビット長の決定は専らコントラスト値に基づいて決定していた。本変形例では、コントラスト値に基づいて決定したビット長を画像のその他の情報に基づいて補正する構成としている。
なお、本変形例においては、3画素×3画素のソーベルフィルタを適用することとしたが、エッジが検出できるフィルタであればどのようなフィルタを用いることもできる。
11 コントラスト値算出部
12 ビット長決定部
13 量子化部
14 動きベクトル算出部
17 エッジ算出部
Claims (4)
- 入力された複数の画像のうち何れか1の画像を基準画像とし、該基準画像において注目画素を中心とする所定の処理領域毎にコントラスト値を算出するコントラスト値算出手段と、
複数の前記画像間において前記注目画素に対する動きベクトルを算出する際に用いる画素値のビット長として、前記コントラスト値に基づいて、該コントラスト値を算出した際に用いた画素値のビット長よりも小さいビット長とするビット長決定手段と、
前記処理領域及び複数の前記画像のうち少なくとも前記処理領域と対応する領域を、前記ビット長決定手段により決定されたビット長に変換する量子化手段と、
該量子化手段によってビット長が変換された前記処理領域について、前記注目画素に対する複数の前記画像間における動きベクトルを算出する動きベクトル算出手段と、を備える画像処理装置。 - 前記ビット長決定手段が、前記コントラスト値が小さいほど小さいビット長とする請求項1記載の画像処理装置。
- 前記注目画素に対するエッジの勾配の大きさを算出するエッジ算出手段を備え、
前記ビット長決定手段が、前記コントラスト値に基づいて決定したビット長に対し、さらに、前記エッジの勾配の大きさに基づいてビット長を補正する請求項1又は請求項2に記載の画像処理装置。 - 前記ビット長決定手段が、前記エッジの勾配が大きくなるほど、決定したビット長をさらに小さくなるように補正する請求項3記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014155055A JP6388507B2 (ja) | 2014-07-30 | 2014-07-30 | 画像処理装置 |
US14/729,786 US9710922B2 (en) | 2014-07-30 | 2015-06-03 | Image processing apparatus, method and medium storing a program for detecting a motion vector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014155055A JP6388507B2 (ja) | 2014-07-30 | 2014-07-30 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016032265A JP2016032265A (ja) | 2016-03-07 |
JP6388507B2 true JP6388507B2 (ja) | 2018-09-12 |
Family
ID=55180558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014155055A Active JP6388507B2 (ja) | 2014-07-30 | 2014-07-30 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9710922B2 (ja) |
JP (1) | JP6388507B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019114919A (ja) | 2017-12-22 | 2019-07-11 | オリンパス株式会社 | 撮像装置、撮像方法、およびプログラムを記録した記録媒体 |
US11523109B2 (en) * | 2019-05-02 | 2022-12-06 | Tencent America LLC | Method and apparatus for improvements of affine prof |
CN110415208B (zh) * | 2019-06-10 | 2023-10-17 | 西安电子科技大学 | 一种自适应目标检测方法及其装置、设备、存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63269683A (ja) * | 1987-04-28 | 1988-11-07 | Canon Inc | カラ−画像デ−タ符号化方式 |
US5684538A (en) * | 1994-08-18 | 1997-11-04 | Hitachi, Ltd. | System and method for performing video coding/decoding using motion compensation |
US5844607A (en) * | 1996-04-03 | 1998-12-01 | International Business Machines Corporation | Method and apparatus for scene change detection in digital video compression |
JP2010016447A (ja) * | 2008-07-01 | 2010-01-21 | Mitsubishi Electric Corp | 画像処理装置および画像処理方法 |
US20120207212A1 (en) * | 2011-02-11 | 2012-08-16 | Apple Inc. | Visually masked metric for pixel block similarity |
-
2014
- 2014-07-30 JP JP2014155055A patent/JP6388507B2/ja active Active
-
2015
- 2015-06-03 US US14/729,786 patent/US9710922B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016032265A (ja) | 2016-03-07 |
US9710922B2 (en) | 2017-07-18 |
US20160035106A1 (en) | 2016-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6115781B2 (ja) | 画像処理装置及び画像処理方法 | |
US10726539B2 (en) | Image processing apparatus, image processing method and storage medium | |
US9916646B2 (en) | System and method for processing input images before generating a high dynamic range image | |
CN109791695B (zh) | 基于图像块的运动向量确定所述块的方差 | |
JP6570296B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US9280830B2 (en) | Image processing apparatus and segmentation method | |
JP5091994B2 (ja) | 動きベクトル検出装置 | |
JP6388507B2 (ja) | 画像処理装置 | |
US9077926B2 (en) | Image processing method and image processing apparatus | |
JP2015062270A (ja) | 画像処理装置 | |
JP2019106173A (ja) | 画像処理方法、画像処理装置およびプログラム | |
KR102444544B1 (ko) | 영상의 전처리 방법 및 장치 | |
US10360471B2 (en) | Image retrieving device, image retrieving method, and recording medium | |
US11301962B2 (en) | Image processing method, image processing apparatus, and medium | |
WO2018189772A1 (ja) | 相関値演算装置 | |
JP6217479B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
WO2016142965A1 (ja) | 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体 | |
JP2017116985A5 (ja) | ||
US9591220B2 (en) | Selection apparatus, selection method, and storage medium | |
JP5907755B2 (ja) | 画像位置合わせ装置及び画像位置合わせ方法 | |
JP2019045990A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US8554006B2 (en) | Image processing apparatus, filter device, methods of controlling same and computer programs therefor | |
JP2005242703A (ja) | 画像処理装置および画像処理方法 | |
JP2017118363A (ja) | 色認識装置、色認識方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180814 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6388507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |