JP2014056442A - 画質推定装置、画質推定方法および画質推定プログラム - Google Patents
画質推定装置、画質推定方法および画質推定プログラム Download PDFInfo
- Publication number
- JP2014056442A JP2014056442A JP2012200966A JP2012200966A JP2014056442A JP 2014056442 A JP2014056442 A JP 2014056442A JP 2012200966 A JP2012200966 A JP 2012200966A JP 2012200966 A JP2012200966 A JP 2012200966A JP 2014056442 A JP2014056442 A JP 2014056442A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image quality
- learning
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】本発明に係る画質推定装置は、画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第1領域抽出部20と、第1領域抽出部20により抽出された局所領域と、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習部40と、領域特徴に基づいて、検査画像から局所領域を抽出する第2領域抽出部60と、学習部40による学習結果に基づいて、第2領域抽出部60により抽出された局所領域の画質劣化を推定する推定部70と、を有する。
【選択図】図1
Description
図1は、本発明に係る画質推定装置の構成を示すブロック図である。図2は、図1の画質推定装置の学習部の構成を示すブロック図である。図3は、図1の画質推定装置の推定部の構成を示すブロック図である。
次に、本発明に係る画質推定装置の動作について説明する。画質推定装置の動作は、CPUが画質推定プログラムを実行することで達成できる。
モード読取ステップとして、メインプログラムを実行するCPUは、画質推定プログラムの実行モードを読み取る。実行モードは、ユーザーがキーボード、マウス、タッチパネル等の入力装置を使って設定できる。実行モードには、学習モード、推定モードを含むが、必要に応じて他のモードを含むこともできる。
学習モード判断ステップとして、CPUにより、実行モードが学習モードであるか否かについて判断する。学習モードである場合は、ステップ300に移行する。学習モードではない場合は、ステップ400に移行する。
学習プロセスステップとして、第1領域抽出部20、客観画質評価値算出部30、学習部40により、学習用画像に対する画質劣化の学習を行う。学習プロセスステップS300の詳細な処理は、図5のフローチャートを用いて後述する。
推定モード判断ステップとして、CPUにより、実行モードが推定モードであるか否かについて判断する。推定モードである場合は、ステップ500に移行する。推定モードではない場合は、ステップ600に移行する。
推定プロセスステップとして、第2領域抽出部60、推定部70、画質統合部80により、検査画像に対する画質劣化の推定を行う。推定プロセスステップS500の処理は、図7のフローチャートを用いて後述する。
メインプログラム終了判断ステップとして、CPUにより、画質推定プログラムを終了させるか否かについて判断する。画質推定プログラムを終了させる場合は、ステップ700に移行する。画質推定プログラムを終了させない場合は、最初に戻って次の画質劣化の学習または推定を行う。
終了ステップとして、CPUにより、画質推定プログラムの終了処理を実行する。学習モードまたは推定モードにおいて、プログラム実行の中で使用された変数のアドレス空間の開放や、外部とのアクセスの切断などの処理を行うことができる。
CPUは、学習用画像データベース10に予め格納されている複数組の学習用画像から、学習させる学習用画像の組数Lを取得する。画質劣化を学習させる学習用画像の母数の数とジャンルが多いほど、より良い推定精度が得られるが、予め検査画像のジャンルが分かる場合や、必要な推定精度などに応じて、適宜選択しながら決めることができる。
CPUは、L組の学習用画像のうち、一組の学習用画像を選択して、選択された学習用画像に対して第1領域抽出部20により領域抽出処理を行う。領域抽出は、画像内の領域を識別するための領域特徴に基づいて行う。
CPUは、K個の局所領域のうち、任意の局所領域を選択して、選択された一局所領域の学習用画像に対して学習部40により画質劣化の学習を行う。周波数変換部41により、一局所領域に対する劣化画像に対して周波数変換し、得られた周波数変換に用いた変換係数の分布形状を変換係数パラメータ化部42によりパラメータ化して、特徴ベクトルとする。当該特徴ベクトルと、客観画質評価値算出部30で算出された一局所領域の客観評価値との関連付けを、画質学習部43によりSVMを用いて学習する。具体的には、変換係数パラメータ化部42で得られた特徴ベクトルから一局所領域の劣化画像の画質劣化度を判定するための学習モデルを生成する。例えば、画質学習部43は、学習モデルとして、少なくとも一つ以上のパラメータ(変数)を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。
CPUは、一局所領域の学習結果、すなわち上記関連付けを学習パラメータとして、学習結果記憶部50に記憶させる。
CPUは、ステップS320で領域抽出されたK個のすべての局所領域の画質劣化の学習が終えたか否かについて判断する。すべての局所領域の画質劣化の学習が終えた場合、次のステップS360に移行する。継続して画質劣化の学習をすべき局所領域がある場合、ステップS330に移行して、他の局所領域の画質劣化の学習を行う。
CPUは、ステップS310で取得されたL個のすべての組の学習用画像の画質劣化の学習が終えたか否かについて判断する。すべての組の画質劣化の学習が終えた場合、メインプログラムに移行する。継続して画質劣化の学習をすべき組がある場合、ステップS320に移行して、他の組の学習用画像の画質劣化の学習を行う。
CPUは、画質推定の対象である検査画像の入力検知を行う。検査画像は、主として符号化された画像である。
CPUは、検査画像に対して第2領域抽出部60により領域抽出処理を行う。領域抽出は、第1領域抽出部20と同一の領域特徴に基づいて行う。抽出された局所領域の数をK’とする。
CPUは、K’個の局所領域のうち、任意の局所領域を選択して、選択された一局所領域の検査画像に対して推定部70により画質劣化の推定を行う。周波数変換部71により、一局所領域に対する検査画像に対して周波数変換し、得られた周波数変換に用いた変換係数の分布形状を変換係数パラメータ化部72によりパラメータ化して、特徴ベクトルとする。当該特徴ベクトルを、学習結果記憶部50に記憶された学習パラメータによって決定される学習モデルに入力して一局所領域の画質劣化度を推定する。
CPUは、一局所領域の推定結果を画質統合部80に格納する。
CPUは、ステップS520で領域抽出されたK’個のすべての局所領域の画質劣化の推定が終えたか否かについて判断する。すべての局所領域の画質劣化の推定が終えた場合、次のステップS560に移行する。継続して画質劣化の推定をすべき局所領域がある場合、ステップS530に移行して、他の局所領域の画質劣化の推定を行う。
CPUは、すべての抽出された局所領域の画質劣化の推定が終えると、画質統合部80によりそれぞれの一局所領域の推定結果に重みを付加してこれらを統合し、一つの検査画像の画質推定結果として、出力機器を通じて出力する。重みは、たとえば、検査画像全体における一局所領域が占める面積、すなわち、全画素数に対する一局所領域の画素数のパーセンテージとすることができる。
画質推定処理を終了させるか否かについて判断する。処理を終了させる場合、メインプログラムに移行する。継続して画質劣化の推定を実行する場合、ステップS510に移行して、次の検査画像の入力検知を行う。
実施形態1は、輝度分散値に基づいて学習用画像または検査画像から局所領域を抽出する方法を利用した画質推定装置である。
図7は、実施形態1に係る画質推定装置の構成を示すブロック図である。図7において、図1と同一の構成要素には図1と同一の符号を付している。
次に、実施形態1の画質推定装置の動作について説明する。図4〜6における処理フローのうち、ステップS320およびステップS520における領域抽出方法について主に説明する。他の処理ステップについては、図4〜6の処理フローと同様な動作を行う。
実施形態2は、Saliency Map手法を用いて領域を特定することで局所領域を抽出する方法を利用した画質推定装置である。
図12は、実施形態2に係る画質推定装置の構成を示すブロック図である。図12において、図1と同一の構成要素には図1と同一の符号を付している。
次に、実施形態2の画質推定装置の動作について説明する。図4〜6における処理フローのうち、ステップS320およびステップS520における領域抽出方法について主に説明する。他の処理ステップについては、図4〜6の処理フローと同様な動作を行う。
20 第1領域抽出部、
30 客観画質評価値算出部、
40 学習部、
50 学習結果記憶部、
60 第2領域抽出部、
70 推定部、
80 画質統合部、
41 周波数変換部、
42 変換係数パラメータ化部、
43 画質学習部、
71 周波数変換部、
72 変換係数パラメータ化部、
73 画質推定部、
40A 第1学習部、
40B 第2学習部、
40A 第1学習結果記憶部、
40B 第2学習結果記憶部、
70A 第1推定部、
70B 第2推定部。
Claims (13)
- 画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第1領域抽出部と、
前記第1領域抽出部により抽出された前記局所領域と、劣化前後の学習用画像の比較により前記局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習部と、
前記領域特徴に基づいて、検査画像から局所領域を抽出する第2領域抽出部と、
前記学習部による学習結果に基づいて、前記第2領域抽出部により抽出された局所領域の画質劣化を推定する推定部と、
を有する画質推定装置。 - 前記領域特徴は複数に分類可能であり、
前記第1領域抽出部は、前記領域特徴毎に、前記学習用画像から複数の局所領域を分類して抽出し、
前記学習部は、前記領域特徴の分類別に、前記局所領域と前記画質評価値とを関連付けて、前記領域特徴の分類毎の画質劣化を学習し、
前記第2領域抽出部は、前記領域特徴毎に、前記検査用画像から複数の局所領域を分類して抽出し、
前記推定部は、前記学習部による学習結果に基づいて、前記第2領域抽出部により抽出された局所領域の画質劣化を前記領域特徴ごとに推定する請求項1に記載の画質推定装置。 - 複数の局所領域のそれぞれの画質劣化の推定結果を統合して、前記検査用画像全体の画質劣化を算出する統合部をさらに有する請求項2に記載の画質推定装置。
- 前記領域特徴は、前記学習用画像および前記検査用画像の画素の輝度分散値の所定範囲として領域を識別するための基準である請求項1〜3のいずれか一項に記載の画質推定装置。
- 前記領域特徴は、前記画像に含まれる主要オブジェクトとして領域を識別するための基準である請求項1〜3のいずれか一項に記載の画質推定装置。
- 前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項1〜5のいずれか一項に記載の画質推定装置。
- 画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第1領域抽出ステップと、
前記第1領域抽出ステップにより抽出された前記局所領域と、劣化前後の学習用画像の比較により前記局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習ステップと、
前記領域特徴に基づいて、検査画像から局所領域を抽出する第2領域抽出ステップと、
前記学習ステップによる学習結果に基づいて、前記第2領域抽出ステップにより抽出された局所領域の画質劣化を推定する推定ステップと、
を有する画質推定方法。 - 前記領域特徴は複数に分類可能であり、
前記第1領域抽出ステップは、前記領域特徴毎に、前記学習用画像から複数の局所領域を分類して抽出し、
前記学習ステップは、前記領域特徴の分類別に、前記局所領域と前記画質評価値とを関連付けて、前記領域特徴の分類毎の画質劣化を学習し、
前記第2領域抽出ステップは、前記領域特徴毎に、前記検査用画像から複数の局所領域を分類して抽出し、
前記推定ステップは、前記学習部による学習結果に基づいて、前記第2領域抽出ステップにより抽出された局所領域の画質劣化を前記領域特徴ごとに推定する請求項7に記載の画質推定方法。 - 複数の局所領域のそれぞれの画質劣化の推定結果を統合して、前記検査用画像全体の画質劣化を算出する統合ステップをさらに有する請求項8に記載の画質推定装置。
- 前記領域特徴は、前記学習用画像および前記検査用画像の画素の輝度分散値の所定範囲として領域を識別するための基準である請求項7〜9のいずれか一項に記載の画質推定方法。
- 前記領域特徴は、前記画像に含まれる主要オブジェクトとして領域を識別するための基準である請求項7〜9のいずれか一項に記載の画質推定方法。
- 前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項7〜11のいずれか一項に記載の画質推定方法。
- 請求項7〜12のいずれか一項に記載の画質推定方法を、コンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012200966A JP2014056442A (ja) | 2012-09-12 | 2012-09-12 | 画質推定装置、画質推定方法および画質推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012200966A JP2014056442A (ja) | 2012-09-12 | 2012-09-12 | 画質推定装置、画質推定方法および画質推定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014056442A true JP2014056442A (ja) | 2014-03-27 |
Family
ID=50613701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012200966A Pending JP2014056442A (ja) | 2012-09-12 | 2012-09-12 | 画質推定装置、画質推定方法および画質推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014056442A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101836096B1 (ko) | 2016-12-02 | 2018-03-12 | 주식회사 수아랩 | 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 |
JP2019145974A (ja) * | 2018-02-20 | 2019-08-29 | 日本放送協会 | 超高精細映像に適した画質評価装置 |
JP2020014042A (ja) * | 2018-07-13 | 2020-01-23 | 日本放送協会 | 画質評価装置、学習装置及びプログラム |
KR20200062705A (ko) * | 2018-11-27 | 2020-06-04 | 에스케이텔레콤 주식회사 | 무기준 화질 평가 방법 및 장치 |
JP2021174532A (ja) * | 2020-04-23 | 2021-11-01 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 画像を処理するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム |
US20230029674A1 (en) * | 2021-07-22 | 2023-02-02 | Alpha Intelligence Manifolds, Inc. | Methods for generating skeletal characteristic values related to bone quality |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341526A (ja) * | 1998-05-22 | 1999-12-10 | Matsushita Electric Ind Co Ltd | 画質測定装置 |
JP2005129070A (ja) * | 2003-10-27 | 2005-05-19 | Hewlett-Packard Development Co Lp | 画質を評価するシステム及び方法 |
JP2011250013A (ja) * | 2010-05-25 | 2011-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 画質評価方法、画質評価装置、及びプログラム |
-
2012
- 2012-09-12 JP JP2012200966A patent/JP2014056442A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341526A (ja) * | 1998-05-22 | 1999-12-10 | Matsushita Electric Ind Co Ltd | 画質測定装置 |
JP2005129070A (ja) * | 2003-10-27 | 2005-05-19 | Hewlett-Packard Development Co Lp | 画質を評価するシステム及び方法 |
JP2011250013A (ja) * | 2010-05-25 | 2011-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 画質評価方法、画質評価装置、及びプログラム |
Non-Patent Citations (1)
Title |
---|
寺田 孝則、外2名: ""フラクタル次元を用いた反復変換符号化の高速化"", 画像符号化シンポジウム 平成7年10月2日・3日・4日 第10回シンポジウム資料, JPN6016028775, 4 October 1995 (1995-10-04), JP, pages 73 - 74, ISSN: 0003366660 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101836096B1 (ko) | 2016-12-02 | 2018-03-12 | 주식회사 수아랩 | 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 |
JP2019145974A (ja) * | 2018-02-20 | 2019-08-29 | 日本放送協会 | 超高精細映像に適した画質評価装置 |
JP2020014042A (ja) * | 2018-07-13 | 2020-01-23 | 日本放送協会 | 画質評価装置、学習装置及びプログラム |
KR20200062705A (ko) * | 2018-11-27 | 2020-06-04 | 에스케이텔레콤 주식회사 | 무기준 화질 평가 방법 및 장치 |
KR102257016B1 (ko) | 2018-11-27 | 2021-05-26 | 에스케이텔레콤 주식회사 | 무기준 화질 평가 방법 및 장치 |
JP2021174532A (ja) * | 2020-04-23 | 2021-11-01 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 画像を処理するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム |
KR20210131221A (ko) * | 2020-04-23 | 2021-11-02 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이미지를 처리하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
US11734809B2 (en) | 2020-04-23 | 2023-08-22 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing image |
KR102583112B1 (ko) * | 2020-04-23 | 2023-09-27 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이미지를 처리하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
US20230029674A1 (en) * | 2021-07-22 | 2023-02-02 | Alpha Intelligence Manifolds, Inc. | Methods for generating skeletal characteristic values related to bone quality |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tu et al. | UGC-VQA: Benchmarking blind video quality assessment for user generated content | |
Hosu et al. | KonIQ-10k: An ecologically valid database for deep learning of blind image quality assessment | |
Li et al. | Blind image quality assessment using statistical structural and luminance features | |
Venkatanath et al. | Blind image quality evaluation using perception based features | |
Zhang et al. | Opinion-unaware blind quality assessment of multiply and singly distorted images via distortion parameter estimation | |
JP2014056442A (ja) | 画質推定装置、画質推定方法および画質推定プログラム | |
Wu et al. | Blind image quality assessment based on rank-order regularized regression | |
JP6547386B2 (ja) | 画像処理装置及び方法 | |
US20070189586A1 (en) | Finger/palm print image processing system and finger/palm print image processing method | |
Zhang et al. | Blind image quality assessment with improved natural scene statistics model | |
US9305359B2 (en) | Image processing method, image processing apparatus, and computer program product | |
CN104969240B (zh) | 用于图像处理的方法和*** | |
CN113781510B (zh) | 边缘检测方法、装置及电子设备 | |
JP2014130427A (ja) | 画質推定装置、画質推定方法および画質推定プログラム | |
CN107944497A (zh) | 基于主成分分析的图像块相似性度量方法 | |
CN114444565A (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
Ahmed et al. | PIQI: perceptual image quality index based on ensemble of Gaussian process regression | |
CN111881920A (zh) | 一种大分辨率图像的网络适配方法及神经网络训练装置 | |
Heydari et al. | A low complexity wavelet-based blind image quality evaluator | |
CN108629771B (zh) | 一种具有尺度鲁棒性的图像质量盲评价方法 | |
JP2014131128A (ja) | 画質推定装置、画質推定方法および画質推定プログラム | |
Yang et al. | No-reference image quality assessment based on sparse representation | |
Satapathy et al. | A combination of variational mode decomposition and histogram equalization for image enhancement | |
Al-Bandawi et al. | Classification of image distortion based on the generalized Benford’s law | |
Maity et al. | Background modeling and foreground extraction in video data using spatio-temporal region persistence features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150410 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170221 |