JP6582472B2 - 画像処理装置、画像処理システムおよびプログラム - Google Patents

画像処理装置、画像処理システムおよびプログラム Download PDF

Info

Publication number
JP6582472B2
JP6582472B2 JP2015056785A JP2015056785A JP6582472B2 JP 6582472 B2 JP6582472 B2 JP 6582472B2 JP 2015056785 A JP2015056785 A JP 2015056785A JP 2015056785 A JP2015056785 A JP 2015056785A JP 6582472 B2 JP6582472 B2 JP 6582472B2
Authority
JP
Japan
Prior art keywords
image
processed
feature amount
user
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015056785A
Other languages
English (en)
Other versions
JP2016177501A (ja
Inventor
山本 隆之
隆之 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2015056785A priority Critical patent/JP6582472B2/ja
Priority to US14/810,142 priority patent/US9659228B2/en
Publication of JP2016177501A publication Critical patent/JP2016177501A/ja
Application granted granted Critical
Publication of JP6582472B2 publication Critical patent/JP6582472B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置、画像処理システム、プログラムに関する。
近年、デジタルカメラ等の普及によりデジタル画像を撮影・閲覧するユーザーが増加している。また、スマートフォンやタブレットの普及によって、所望の画像を得るためにこれまでPC(Personal Computer)の画像編集ソフトウェアを利用して行っていた画質調整を、より直感的な操作で行いたい、というニーズが高まっている。
デジタル画像の画質調整には、例えば、RGB、CIEL、HSVなどの色空間上で色度や輝度、色相、彩度の成分値やそれらのコントラストの調整を行うものがある。その中でユーザが見本となる見本画像を指定し、被処理画像の画質をこの見本画像の画質に合わせる画像処理を行う場合がある。
特許文献1には、マウスなどの入力装置により、補正対象画像へ適用したい色調を有する見本領域が見本画像から選択され、見本領域受付部へ入力され、矩形枠で示される見本領域を、補正対象画像の色調補正を行いたい領域へドラッグアンドドロップすると、ドロップ地点の座標が補正座標受付部へ入力され、その結果、ドロップ地点の周囲に広がる同一のテクスチャや色味を持った領域が見本領域と同様の色調を持つように、色調補正部により色調補正が行われ、またドロップ地点には、見本領域と関連付けられていることを表すマーカーが表示される画像処理プログラムが開示されている。
また特許文献2には、元画像データの領域を領域指定枠により指定することにより変換対象となる元色を指定し、また、変換後の色についても、目標色指定用の画像中の所定領域を領域指定枠により指定することにより指定する画像処理装置であり、これら2つの領域中に含まれる画素を、所定条件に基づいて対応づけし、対応づけた結果に基づいて色変換テーブルを生成するものが開示されている。
特開2010−183354号公報 特開2007−53543号公報
しかしながら従来の方法では、見本画像が多くの色を含む場合などに画像処理結果についてユーザが事前に想像することは困難である。また被処理画像および見本画像について画像処理を行う領域を指定する操作に手間がかかる問題がある。
本発明では、被処理画像を見本画像に合わせ画像処理する際に、画像処理結果についてユーザが事前に把握することができ、被処理画像および見本画像について画像処理を行う領域を指定する操作がより簡単であるとともに直感的な画像処理装置等を提供することを目的とする。
請求項1に記載の発明は、画像の印象を見本画像に合わせる画像処理を行なう被処理画像および当該見本画像について、画像情報を取得する画像情報取得部と、前記被処理画像および前記見本画像について、画像の特徴量を抽出する特徴量抽出部と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する画像調整部と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせた画像を、当該被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で当該被処理画像上に一時的に表示した後に、当該被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示部と、を備え、前記画像調整部は、前記第1の操作を行った後であり前記第2の操作の前に、ユーザが前記被処理画像上で行う第3の操作に応じ、当該被処理画像を前記見本画像に合わせる画像処理の程度の調整を行なうことを特徴とする画像処理装置である。
請求項2に記載の発明は、前記特徴量抽出部は、前記被処理画像および前記見本画像を構成する各画素が有する画素値の平均および散布度を特徴量として算出することを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記画像表示部は、予め定められた範囲として予め定められた図形を表示することを特徴とする請求項1または2に記載の画像処理装置である。
請求項に記載の発明は、前記画像表示部は、前記第3の操作に応じ前記図形の大きさおよび/または形状を変化させることを特徴とする請求項に記載の画像処理装置である。
請求項に記載の発明は、前記第1の操作は、ユーザが前記被処理画像をタッチまたはクリックする操作であり、前記第2の操作は、ユーザが前記被処理画像をタッチした状態から離す操作またはクリックを解除する操作であることを特徴とする請求項1乃至の何れか1項に記載の画像処理装置である。
請求項に記載の発明は、前記第3の操作は、ユーザが前記被処理画像上でドラッグする操作であることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置である。
請求項に記載の発明は、前記特徴量抽出部は、前記見本画像中でユーザが指定した箇所から予め定められた範囲内の第1の画像領域を選択し、当該第1の画像領域内の特徴量を当該見本画像の特徴量として抽出することを特徴とする請求項1乃至の何れか1項に記載の画像処理装置である。
請求項に記載の発明は、前記特徴量抽出部は、前記第1の操作でユーザが指定した箇所から予め定められた範囲内の第2の画像領域を前記被処理画像から選択し、当該第2の画像領域内の特徴量を当該被処理画像の特徴量として抽出し、前記画像調整部は、前記第2の画像領域内の画素値に近い前記被処理画像中の画像領域において、当該被処理画像の特徴量を前記見本画像の特徴量に合わせ調整することを特徴とする請求項1乃至の何れか1項に記載の画像処理装置である。
請求項に記載の発明は、画像の印象を見本画像に合わせる画像処理を行なう被処理画像および当該見本画像について、画像情報を取得する画像情報取得部と、前記被処理画像および前記見本画像について、画像の特徴量を抽出する特徴量抽出部と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する画像調整部と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせた画像を、当該被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で当該被処理画像上に一時的に表示した後に、当該被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示部と、を備え、前記画像調整部は、前記第1の操作を行った後であり前記第2の操作の前に、ユーザが前記被処理画像上で行う第3の操作であるユーザが前記被処理画像上でドラッグする操作に応じ、画像処理の程度を求めるとともに、ユーザがドラッグしたときの距離、および/または当該第3の操作としてユーザがドラッグしたときに、前記第1の操作でユーザがタッチまたはクリックした箇所を中心とした回転角度に応じ、画像処理の程度を求めることを特徴とする像処理装置である。
請求項10に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、画像の印象を見本画像に合わせる画像処理を行なう被処理画像および当該見本画像について、画像情報を取得する画像情報取得部と、前記被処理画像および前記見本画像について、画像の特徴量を抽出する特徴量抽出部と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する画像調整部と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせた画像を、当該被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で当該被処理画像上に一時的に表示した後に、当該被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示部と、を備え、前記画像調整部は、前記第1の操作を行った後であり前記第2の操作の前に、ユーザが前記被処理画像上で行う第3の操作に応じ、当該被処理画像を前記見本画像に合わせる画像処理の程度の調整を行なうことを特徴とする画像処理システムである。
請求項11に記載の発明は、コンピュータに、画像の印象を見本画像に合わせる画像処理を行なう被処理画像および当該見本画像について、画像情報を取得する画像情報取得機能と、前記被処理画像および前記見本画像について、画像の特徴量を抽出する特徴量抽出機能と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する画像調整機能と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせた画像を、当該被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で当該被処理画像上に一時的に表示した後に、当該被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示機能と、を実現させ、前記画像調整機能は、前記第1の操作を行った後であり前記第2の操作の前に、ユーザが前記被処理画像上で行う第3の操作に応じ、当該被処理画像を前記見本画像に合わせる画像処理の程度の調整を行なうことを特徴とするプログラムである。
請求項1の発明によれば、被処理画像を見本画像に合わせ画像処理する際に、画像処理結果についてユーザが事前に把握することができる画像処理装置を提供することができる。またユーザが画像処理の程度を入力することができる。
請求項2の発明によれば、特徴量の抽出がより容易になる。
請求項3の発明によれば、画像処理結果についてユーザがより把握しやすくなる。
請求項の発明によれば、ユーザが画像処理の程度を直感的に把握することができる。
請求項の発明によれば、画像処理を行う際のユーザの操作がより簡単になる。
請求項の発明によれば、画像処理の程度を入力する際のユーザの操作がより簡単になる。
請求項の発明によれば、見本画像中でユーザが見本としたい印象を有する画像領域を指定することができる。
請求項の発明によれば、被処理画像中でユーザが画像処理を行いたい画像領域を指定することができる。
請求項の発明によれば、ユーザが複数の画像処理の程度を入力することができる。
請求項10の発明によれば、ユーザが所望する画像処理をより簡易に行うことができる画像処理システムを提供することができる。またユーザが画像処理の程度を入力することができる。
請求項11の発明によれば、被処理画像を見本画像に合わせ画像処理する際に、画像処理結果についてユーザが事前に把握することができる機能をコンピュータにより実現できる。またユーザが画像処理の程度を入力することができる。
(a)〜(b)は、被処理画像の画質を見本画像の画質に合わせる画像処理について示した図である。 本実施の形態の画像処理装置の機能構成例を示したブロック図である。 (a)は、画像処理前における被処理画像および見本画像のヒストグラムを概念的に示した図である。(b)は、画像調整部で色度成分を調整した後における被処理画像のヒストグラムを概念的に示した図である。 画像調整部が行う輝度調整を調整トーンカーブとして表した図である。 第1の実施の形態で行われる処理の例について説明した図である。 第1の実施の形態で行われる処理の他の例について説明した図である。 円形領域について説明した図である。 第2の実施の形態で行われる処理の例について説明した図である。 第2の実施の形態で行われる処理の他の例について説明した図である。 第3の実施の形態で行われる処理の例について説明した図である。 被処理画像上において行われるユーザの操作の一例について示した図である。 画像表示部が表示装置に表示する画像を示した図である。 被処理画像上において行われるユーザの操作の一例について示した図である。 画像表示部が表示装置に表示する画像を示している。
<画像処理の説明>
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図1(a)〜(b)は、被処理画像の画質を見本画像の画質に合わせる画像処理について示した図である。
このうち図1(a)は、見本画像と画像処理前の被処理画像を示している。
ここでは図中左側に見本画像Mを図示し、図中右側に被処理画像Hを図示している。なお本実施の形態で、被処理画像とは、画像処理の対象となる画像であり、見本画像とは、ユーザが所望する印象の画像を有し、被処理画像の画像処理を行うための見本となる画像である。
実際には、見本画像Mおよび被処理画像Hは、液晶パネルや液晶ディスプレイ等の表示装置に表示される。そしてタブレット、スマートフォン、PC等で動作する画像編集ソフトウェアにより画像情報を処理することで画像処理が行われる。ユーザは、画像編集ソフトウェアの動作により、見本画像Mや被処理画像Hとともに表示装置に表示されるメニュー等を操作することで画像処理の操作を行う。この操作は、タブレットやスマートフォンの場合は、ユーザの指やタッチペンでタッチパネルである液晶パネルをタッチ等することで行う。またPCの場合は、PCに接続されたキーボードやマウス等を使用して行う。なおこの場合、タブレットやスマートフォンの画像処理を行う機能部、およびPCは、本実施の形態では、表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置の一例として捉えることができる。また画像処理装置および表示装置は、画像処理システムの一例として捉えることができる。
図示する見本画像Mおよび被処理画像Hは、地上の画像である前景Fと空の画像である後景Bとからなる。
そしてユーザは、被処理画像Hの画像処理を行い、被処理画像Hを見本画像Mの後景Bと同様の印象を有する画像にしたいものとする。これは例えば、見本画像Mの後景Bが赤色の空の画像であり、被処理画像Hの後景Bが青色の空の画像であったときに、被処理画像Hの後景Bを赤色の空の画像にするような場合である。
図1(b)は、画像処理後の被処理画像を示している。
図示する画像処理後の被処理画像Hは、後景Bが見本画像Mの後景Bと同様の色にされ、被処理画像Hから受ける画像の印象が、見本画像Mから受ける画像の印象に近いものとなる。
<画像処理装置の構成の説明>
[第1の実施形態]
まず第1の実施形態について説明を行なう。
図2は、本実施の形態の画像処理装置1の機能構成例を示したブロック図である。
図示するように画像処理装置1は、ユーザの操作の内容を受け付けるユーザ操作受付部11と、被処理画像および見本画像の画像情報(入力画像データ)を取得し、色変換を行い色度成分と輝度成分とする色変換部12と、色変換後の画像情報から特徴量を抽出する特徴量抽出部13と、ユーザの指示により被処理画像の特徴量を見本画像の特徴量に合わせる処理を行う画像調整部14と、ユーザの操作により見本画像の特徴量を合わせた被処理画像の画像を表示装置に表示する画像表示部15とを備える。
ユーザ操作受付部11は、被処理画像や見本画像に対してユーザが行う操作を行ったときに操作内容を示す制御信号を受け付ける。詳しくは後述するが、この操作は、ユーザがタブレットやスマートフォンを操作する場合、指やタッチペンでタッチパネルに対しタッチやドラッグを行う動作が該当する。またユーザがPCを操作する場合、マウス等でクリックやドラッグを行う動作が該当する。
色変換部12は、表示装置で被処理画像および見本画像を表示するための入力画像データに対し、色変換を行う。入力画像データは、この場合、RGB(Red、Green、Blue)のビデオデータ(RGBデータ)である。そしてRGBデータを例えば、IPTデータに変換する。即ち、RGB色空間の色度をIPT色空間の色度に変換する。IPT色空間は、明度(I)、赤−緑方向の色度(P)、黄−青方向の色度(T)、の3成分からなる直交座標色空間である。このうち本実施の形態では、明度(I)を輝度成分とし、赤−緑方向の色度(P)および黄−青方向の色度(T)を色度成分とする。色変換部12は、被処理画像および見本画像について、画像情報を取得する画像情報取得部の一例として捉えることができる。
特徴量抽出部13は、被処理画像および見本画像について、画像の特徴量を抽出する。特徴量は、ユーザが画像を見たときに、画像の印象を決定づける指標である。本実施の形態では、被処理画像および見本画像を構成する各画素が有する画素値の平均および散布度を特徴量とする。画素値は、輝度成分(I)および色度成分(P、T)からなる。よって特徴量は、輝度成分(I)および色度成分(P、T)のそれぞれについて抽出される。なお本実施の形態では、平均として相加平均を使用し、散布度として分散を使用する。
より具体的には、特徴量抽出部13は、被処理画像および見本画像のそれぞれについて、これらの画像を構成する各画素が有する輝度成分(I)および色度成分(P、T)の相加平均を求める。さらに特徴量抽出部13は、被処理画像および見本画像のそれぞれについて、これらの画像を構成する各画素が有する輝度成分(I)および色度成分(P、T)の分散を求める。
相加平均は、被処理画像および見本画像のそれぞれについて、輝度成分および色度成分であるI、P、T毎に求められるため、合計6つとなる。これは、以下の数1式により算出する。
数1式において、Iijは、被処理画像や見本画像の画像を構成する各画素の位置(i、j)におけるI値である。またPijは、被処理画像や見本画像の画像を構成する各画素の位置(i、j)におけるP値である。さらにTijは、被処理画像や見本画像の画像を構成する各画素の位置(i、j)におけるT値である。
そしてμItは、被処理画像のI値の相加平均である。またμPtは、被処理画像のP値の相加平均である。さらにμTtは、被処理画像のT値の相加平均である。
さらにμIrは、見本画像のI値の相加平均である。またμPrは、見本画像のP値の相加平均である。さらにμTrは、見本画像のT値の相加平均である。
Figure 0006582472
さらに分散についても、被処理画像および見本画像のそれぞれについて、輝度成分および色度成分であるI、P、T毎に求められるため、合計6つとなる。これは、以下の数2式により算出する。
数2式において、Iij、Pij、Tijは、数1式と同様である。
そしてσIt は、被処理画像のI値の分散である。またσPt は、被処理画像のP値の分散である。さらにσTt は、被処理画像のT値の分散である。
さらにσIr は、見本画像のI値の分散である。またσPr は、見本画像のP値の分散である。さらにσTr は、見本画像のT値の分散である。
Figure 0006582472
画像調整部14は、被処理画像の特徴量を見本画像の特徴量に合わせ調整する。
ここでは、画像調整部14は、被処理画像および見本画像の輝度成分および色度成分についての相加平均および分散を使用して、被処理画像の各画素の相加平均および分散を見本画像の相加平均および分散に近づける処理を行う。
この処理は、例えば、以下の数3式〜数5式により行う。このうち数3式は、I値についての算術式である。ここでIi,jは、調整前の被処理画像の画像を構成する位置(i、j)のI値である。またI’i,jは、調整後の被処理画像の画像を構成する位置(i、j)のI値である。
また数4式は、P値についての算術式である。ここでPi,jは、調整前の被処理画像の画像を構成する位置(i、j)のP値である。またP’i,jは、調整後の被処理画像の画像を構成する位置(i、j)のP値である。
さらに数5式は、T値についての算術式である。ここでTi,jは、調整前の被処理画像の画像を構成する位置(i、j)のT値である。またT’i,jは、調整後の被処理画像の画像を構成する位置(i、j)のT値である。
これにより被処理画像の画像を構成する位置(i、j)の画素について、見本画像に合わせた輝度成分(I)および色度成分(P、T)の調整が行われる。
Figure 0006582472
Figure 0006582472
Figure 0006582472
図3(a)は、画像処理前における被処理画像および見本画像のヒストグラムを概念的に示した図である。
図3(a)で横軸は、色度成分を表し、P値またはT値である。そして縦軸は、頻度(画素数)を表す。ここで実線は、被処理画像のヒストグラムであり、点線は、見本画像のヒストグラムである。この場合、画像処理前であるため、被処理画像の相加平均μPt(またはμTt)と見本画像の相加平均μPr(またはμTr)とは異なる。また被処理画像の分散σPt(またはσTt)と見本画像の分散σPr(またはσTr)とは異なる。
図3(b)は、画像調整部14で色度成分を調整した後における被処理画像のヒストグラムを概念的に示した図である。
図3(b)で横軸は、色度成分を表し、P値またはT値である。そして縦軸は、頻度(画素数)を表す。この場合、画像調整部14で色度成分を調整した後では、被処理画像の相加平均と見本画像の相加平均とは一致する。また被処理画像の分散と見本画像の分散とは一致する。
図4は、画像調整部14が行う輝度調整を調整トーンカーブとして表した図である。
ここで横軸は、調整前のI値(Ii,j)を表し、縦軸は、調整後のI値(I’i,j)を表わす。
この例では、調整トーンカーブは、L1で示す直線状となる。
画像表示部15は、被処理画像の特徴量を見本画像の特徴量に合わせた画像を、被処理画像上でユーザが行う第1の操作に応じて予め定められた範囲で被処理画像上に一時的に表示する。この場合、被処理画像上に一時的に表示される画像は、見本画像の画質に合わせたものとなる。
図5は、第1の実施の形態で行われる処理の例について説明した図である。
図5では、図中上部に見本画像Mを表示し、図中下部に被処理画像Hを表示している。なお以後、ユーザは、タブレットやスマートフォンを使用し、表示装置を指やタッチペンでタッチ等することで操作を行う場合を中心として説明を行う。
ユーザは、まず見本画像Mの何れかの箇所をタッチする。この操作は、見本画像Mをユーザが指定する操作となり、ユーザ操作受付部11により受け付けられる。なおこの操作をマウス等で行う場合は、見本画像Mの何れかの箇所をクリックする操作となる。
そしてユーザは、見本画像Mから指やタッチペンをいったん離し、次に被処理画像Hの何れかの箇所をタッチ(マウス等で行う場合は、クリック)する。この操作は、被処理画像Hをユーザが指定する操作となり、ユーザ操作受付部11により受け付けられる。なお見本画像Mから指やタッチペンを離さず、タッチしたまま被処理画像Hまでドラッグしてもよい。なおこのタッチまたはクリックする操作、あるいはドラッグする操作は、上述したユーザが行う第1の操作の例である。
そして画像表示部15は、被処理画像Hの画質を見本画像Mの画質に合わせた画像を、予め定められた範囲で被処理画像上に一時的に表示する。図5では、被処理画像Hの空の画像H1の部分に円形図形Cによりこの画像を表示する。この円形図形Cの中心は、ユーザが被処理画像Hをタッチした位置となる。またこの円形図形C内の画像は、被処理画像Hの画質を見本画像Mの画質に合わせた後の画像となる。これによりユーザは、画像処理結果について事前に把握することが容易となる。なおこの円形図形C内は、均一な画像でもよく、テクスチャを有する画像でもよい。テクスチャを有する画像の場合、テクスチャにより画像処理後の質感を表すなどの使い方ができる。
なおこの状態では、円形図形Cにより画像処理後の画像が、一時的にサンプルとして表示されるだけであり、最終的に被処理画像Hの画像処理がなされるわけではない。画像表示部15は、被処理画像H上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する。
実際に画像処理を行うには、ユーザは、被処理画像H上にタッチした指やタッチペンを離す。この操作は、被処理画像Hを画像処理する指示を行う操作となり、ユーザ操作受付部11により受け付けられる。なおこの操作をマウス等で行う場合は、クリックを解除する操作となる。
そして画像表示部15は、一時的に表示した円形図形Cを消去した後、被処理画像H全体の画像処理を行い、表示装置に画像処理後の全体の画像を表示する。これは、被処理画像Hの画像の印象が見本画像Mの印象となった画像となる。なおこの被処理画像Hをタッチした状態から離す操作やクリックを解除する操作は、上述したユーザが行う第2の操作の例である。
なおユーザが画像処理を行わないようにするには、例えば、被処理画像H上にタッチした指やタッチペンをドラッグし、被処理画像H外にまで移動させる。そしてその後、タッチした指やタッチペンを離す。この操作は、被処理画像Hの画像処理を行わない操作となり、ユーザ操作受付部11により受け付けられる。そして画像表示部15は、一時的に表示した円形図形Cを消去する。
なお上述した例では、画像処理後の画像を一時的に表示するのに、予め定められた範囲として円形図形Cを使用したがこれに限られるものではなく、予め定められた図形であればよい。例えば、矩形図形、三角図形等であってもよい。
また実際には、画像表示部15は、画像処理後の画像データであるI’i,j、P’i,j、T’i,j、を色変換部12で取得した入力画像データの形式に再変換して表示装置に出力する。即ち、画像表示部15は、IPTデータをRGBデータに戻し、表示装置に出力する。
また図6は、第1の実施の形態で行われる処理の他の例について説明した図である。
図6では、図中上部に見本画像Mとそれに関連するキーワードの画像とを表示し、図中下部に被処理画像Hを表示している。ここでは、キーワードは、「晴天」、「曇り空」、「夕焼け」の3つが表示される場合を示している。
この状態でユーザは、例えば、キーワードの「晴天」を指やタッチペンによりタッチする。これにより見本画像Mとして晴天の画像である青色の画像が表示される。なお「曇り空」をタッチした場合は、見本画像Mとして曇り空の画像である灰色の画像が表示され、「夕焼け」をタッチした場合は、見本画像Mとして夕焼けの画像である赤色の画像が表示される。
以後の動作は、図5の場合と同様である。即ち、ユーザは、見本画像Mから指やタッチペンをいったん離し、次に被処理画像Hの何れかの箇所をタッチする。その結果、被処理画像Hの画質を見本画像Mの画質に合わせた画像が、被処理画像上に円形図形Cにて一時的に表示される。なお見本画像Mから指やタッチペンを離さず、タッチしたままキーワードの画像を被処理画像Hまでドラッグしてもよい。
さらに被処理画像H上にタッチした指やタッチペンを離すと、被処理画像Hが画像処理され、画像処理後の被処理画像Hが表示装置に表示される。
なおユーザの操作の受け付けや画像の変更をユーザ操作受付部11や画像表示部15が行うのは、図5で説明した場合と同様である。
[第2の実施形態]
次に第2の実施形態について説明を行なう。
第1の実施形態では、特徴量抽出部13は、特徴量として見本画像全体の印象を反映したものを抽出していたが、これに限られるものではない。本実施の形態では、見本画像中でユーザが見本としたい印象を有する画像領域を指定して特徴量を抽出する。
本実施の形態の画像処理装置1の機能構成例については、図2と同様である。そしてユーザ操作受付部11、色変換部12、画像調整部14および画像表示部15の機能は、第1の実施形態と同様である。よって以下、第1の実施形態と異なる点として、特徴量抽出部13について説明を行う。
本実施の形態では、特徴量抽出部13は、見本画像中でユーザが指定した箇所から予め定められた範囲内の第1の画像領域を選択し、この第1の画像領域内の特徴量を見本画像の特徴量として抽出する。
この第1の画像領域は、例えば、見本画像でユーザがタッチ等した箇所を中心として、半径が10画素以内の範囲の円形領域とする。即ち、本実施の形態では、ユーザは、見本画像中の任意の箇所ではなく、見本としたい画像領域を選択してタッチ等する必要がある。
図7は、円形領域について説明した図である。
図示する点Oは、ユーザが見本画像Mをタッチした位置である。またC1で示した箇所が、円形領域を示し、この円形領域C1を見本画像Mに表示した場合を示している。
特徴量抽出部13は、この円形領域C1内の各画素が有する輝度成分(I)および色度成分(P、T)の相加平均を求める。
これは、以下の数6式により算出する。
数6式において、IRR(i,j)は、円形領域C1内の各画素の各画素の位置(i、j)におけるI値である。またPRR(i,j)は、円形領域C1内の各画素の位置(i、j)におけるP値である。さらにTRR(i,j)は、円形領域C1内の各画素の各画素の位置(i、j)におけるT値である。そしてNは、円形領域C1内の画素数である。
そしてμI_RRは、円形領域C1内の各画素のI値の相加平均である。またμP_RRは、円形領域内の各画素のP値の相加平均である。さらにμT_RRは、円形領域C1内の各画素のT値の相加平均である。
Figure 0006582472
そして以下の数7式により、見本画像Mの各画素と円形領域C1内の各画素の画素値の相加平均とのIPT色空間におけるユークリッド距離を算出し、これを特徴量取得マスクMR(i、j)とする。数7式においてFは、特徴量取得マスクMR(i、j)を0〜1の範囲に収めるための関数であり、特徴量取得マスクMR(i、j)のダイナミックレンジを調整するものである。
Figure 0006582472
そして以下の、数8式により見本画像Mの特徴量として、I値の相加平均μIr、P値の相加平均μPr、T値の相加平均μTrを算出する。なお被処理画像Hの特徴量であるI値の相加平均μIt、P値の相加平均μPt、T値の相加平均μTtは、第1の実施形態と同様となる。
また以下の、数9式により見本画像Mの特徴量として、I値の分散σIr 、P値の分散σPr 、T値の分散σTr を算出する。なお被処理画像Hの特徴量であるI値の分散σIt 、P値の分散σPt 、T値の分散σTt は、第1の実施形態と同様となる。
この場合、特徴量取得マスクMR(i、j)により、見本画像Mの中で特徴量を抽出する領域が、限定される。具体的には、画素値が、円形領域C1内の画素値に近い画像領域で特徴量の抽出が行われる。つまりユーザが選択した画像領域で特徴量の抽出が行われる。
Figure 0006582472
Figure 0006582472
図8は、第2の実施の形態で行われる処理の例について説明した図である。
図8では、図中上部に見本画像Mを表示し、図中下部に被処理画像Hを表示している。そして見本画像Mと並べて、特徴量抽出部13が抽出した特徴量に基づく画像をS1、S2、S3として表示している。この場合、ユーザは、見本画像Mの空の画像M1、地面の画像M2、リンゴの画像M3の3箇所を予めタッチ等して、これにより特徴量抽出部13が特徴量を抽出した場合を示している。そのため特徴量抽出部13が抽出した特徴量に基づく画像として、空の画像M1、地面の画像M2、リンゴの画像M3にそれぞれ対応する3つの画像S1、S2、S3が表示されている。
この状態において、ユーザは、例えば、空の画像M1に基づく画像S1をタッチにより選択する。この操作は、画像S1をユーザが指定する操作となり、ユーザ操作受付部11により受け付けられる。
そしてユーザは、画像S1から指やタッチペンをいったん離し、次に被処理画像Hの例えば、空の画像H1の箇所をタッチする。この操作は、被処理画像Hをユーザが指定する操作となり、ユーザ操作受付部11により受け付けられる。
そして画像表示部15は、画像S1の特徴量に合わせた画像を、予め定められた範囲で被処理画像上に一時的に表示する。図8では、被処理画像Hに円形図形Cによりこの画像を表示する。
さらにユーザが、被処理画像H上にタッチした指やタッチペンを離すと、この操作は、被処理画像Hを画像処理する指示を行う操作となり、ユーザ操作受付部11により受け付けられる。そして画像表示部15は、被処理画像Hの画像処理を行い、表示装置に被処理画像Hの特徴量を画像S1の特徴量に合わせた画像処理後の画像を表示する。これは、被処理画像Hの画像の印象が画像S1の印象となった画像となる。
図9は、第2の実施の形態で行われる処理の他の例について説明した図である。
図9では、被処理画像H上にタッチした指やタッチペンを離す前に、指やタッチペンを画像上で動かした例を示している。この場合、例えば、被処理画像Hをペイントする操作となり、指やタッチペンを動かした軌跡の箇所において、画像S1や画像S2の画質に合わせた画像を、被処理画像H上に一時的に表示する。即ち、一時的に表示される画像は、円形形状ではなく、軌跡の形状となる。そしてユーザが、被処理画像H上にタッチした指やタッチペンを離すと、被処理画像Hの画像処理が行われる。
[第3の実施形態]
次に第3の実施形態について説明を行なう。
第2の実施形態では、特徴量抽出部13は、見本画像中でユーザが見本としたい印象を有する画像領域を指定し、ここから特徴量を抽出していたが、本実施の形態では、被処理画像中でユーザが画像処理を行いたい画像領域を指定し、ここから特徴量を抽出する。そしてこの画像領域において選択的に画像処理を行う。なおここでは、第2の実施形態に加えて、この処理を行う場合について説明を行う。
本実施の形態の画像処理装置1の機能構成例については、図2と同様である。そしてユーザ操作受付部11、色変換部12、および画像表示部15の機能は、第2の実施形態と同様である。よって以下、特徴量抽出部13および画像調整部14が行う処理が第2の実施形態と異なる点を中心に説明を行う。
本実施の形態では、特徴量抽出部13は、被処理画像をタッチ等することによりユーザが指定した箇所から予め定められた範囲内の第2の画像領域を選択し、この第2の画像領域内の特徴量を被処理画像の特徴量として抽出する。
この第2の画像領域は、例えば、被処理画像でユーザがタッチ等した箇所を中心として、半径が10画素以内の範囲の円形領域とする。即ち、本実施の形態では、ユーザは、被処理画像中の任意の箇所ではなく、画像処理を行いたい画像領域を選択してタッチ等する必要がある。
特徴量抽出部13は、この円形領域内の各画素が有する輝度成分(I)および色度成分(P、T)の相加平均を求める。
これは、以下の数10式により算出する。
数10式において、ITR(i,j)は、円形領域内の各画素の各画素の位置(i、j)におけるI値である。またPTR(i,j)は、円形領域内の各画素の位置(i、j)におけるP値である。さらにTTR(i,j)は、円形領域内の各画素の各画素の位置(i、j)におけるT値である。そしてNは、円形領域内の画素数である。
そしてμI_TRは、円形領域内の各画素のI値の相加平均である。またμP_TRは、円形領域内の各画素のP値の相加平均である。さらにμT_TRは、円形領域内の各画素のT値の相加平均である。
Figure 0006582472
そして以下の数11式により、見本画像の各画素と円形領域内の各画素の画素値の相加平均とのIPT色空間におけるユークリッド距離を算出し、これを処理対象取得マスクLT(i、j)とする。数11式においてFは、処理対象取得マスクLT(i、j)を0〜1の範囲に収めるための関数であり、処理対象取得マスクLT(i、j)のダイナミックレンジを調整するものである。
Figure 0006582472
次に画像調整部14は、被処理画像の特徴量を見本画像の特徴量に合わせ調整する。このとき例えば、以下の数12式〜数14式により行う。このうち数12式は、I値についての算術式である。ここでIi,jは、調整前の被処理画像の画像を構成する位置(i、j)のI値である。またI’i,jは、調整後の被処理画像の画像を構成する位置(i、j)のI値である。
また数13式は、P値についての算術式である。ここでPi,jは、調整前の被処理画像の画像を構成する位置(i、j)のP値である。またP’i,jは、調整後の被処理画像の画像を構成する位置(i、j)のP値である。
さらに数14式は、T値についての算術式である。ここでTi,jは、調整前の被処理画像の画像を構成する位置(i、j)のT値である。またT’i,jは、調整後の被処理画像の画像を構成する位置(i、j)のT値である。
この場合、処理対象取得マスクLT(i、j)により、被処理画像の中で特徴量を合わせる画像領域が、限定される。即ち、被処理画像の中で画像処理を行う画像領域が限定される。具体的には、第2の画像領域内の画素値に近い被処理画像中の画像領域において、被処理画像の特徴量を見本画像の特徴量に合わせ調整する処理が行われ、画像処理が行われる。つまりユーザが選択した画像領域で画像処理が行われる。
Figure 0006582472
Figure 0006582472
Figure 0006582472
図10は、第3の実施の形態で行われる処理の例について説明した図である。
図10では、図中上部右側に見本画像Mを表示し、図中上部左側に被処理画像Hを表示している。
この状態において、ユーザは、例えば、りんごの画像M3をタッチする。この操作は、りんごの画像M3をユーザが指定する操作となり、ユーザ操作受付部11により受け付けられる。
そしてユーザは、りんごの画像M3から指やタッチペンをいったん離し、次に被処理画像Hの例えば、空の画像H1の箇所をタッチする。この操作は、被処理画像Hの空の画像H1の箇所をユーザが指定する操作となり、ユーザ操作受付部11により受け付けられる。
そして画像表示部15は、図中下部左側に示すように、りんごの画像M3の特徴量に合わせた画像を、予め定められた範囲で被処理画像H上に一時的に表示する。ここでは、被処理画像Hの空の画像H1の部分に円形図形Cによりこの画像を表示する。またこのとき特徴量抽出部13は、このユーザがタッチした箇所を中心として、半径が10画素以内の範囲の円形領域C2についての特徴量を抽出して、処理対象取得マスクLT(i、j)を設定する。この円形領域C2は、円形図形Cと同じ範囲であっても異なる範囲であってもよい。
さらにユーザが、空の画像H1上にタッチした指やタッチペンを離すと、この操作は、被処理画像Hを画像処理する指示を行う操作となり、ユーザ操作受付部11により受け付けられる。そして画像表示部15は、被処理画像Hの空の画像H1の箇所について画像処理を行い、表示装置に被処理画像Hの画像処理後の画像を表示する。これは、空の画像H1の印象をりんごの画像M3の印象に合わせた画像となる。この場合、処理対象取得マスクLT(i、j)により空の画像H1の箇所だけが画像処理される。
またユーザが、空の画像H1上にタッチした指やタッチペンを離さないで箱の画像H2にドラッグすると、被処理画像Hの箱の画像H2の部分に円形図形Cが表示される。またこのとき特徴量抽出部13は、特徴量を抽出する処置をやり直す。さらに特徴量抽出部13は、処理対象取得マスクLT(i、j)も新たに設定する。
さらにユーザが、空の画像H1上にタッチした指やタッチペンを離すと、画像表示部15は、被処理画像Hの箱の画像H2の箇所について画像処理を行い、表示装置に被処理画像Hの画像処理後の画像を表示する。これは、箱の画像H2の印象がりんごの画像M3の印象となった画像となる。この場合、処理対象取得マスクLT(i、j)により箱の画像H2の箇所だけが画像処理される。
[第4の実施形態]
次に第4の実施形態について説明を行なう。
本実施の形態の画像処理装置1の機能構成例については、図2と同様である。そしてユーザ操作受付部11、色変換部12、および特徴量抽出部13の機能は、第1の実施形態と同様である。よって以下、第1の実施形態と異なる点として、画像調整部14および画像表示部15について説明を行う。
第4の実施形態では、画像調整部14は、第1の操作を行った後であり第2の操作の前に、ユーザが被処理画像上で行う第3の操作に応じ、画像処理の程度を求める。
図11は、被処理画像上において行われるユーザの操作の一例について示した図である。
この場合、ユーザは、まず指やタッチペンで被処理画像をタッチした後に、そのまま指やタッチペンを画像上で動かし、ドラッグする操作を行う。そしてこのとき最初にタッチした位置である点Oと移動後の位置である点Qの座標(X、Y)から移動した距離Rが求まる。なおこのドラッグする操作は、上述したユーザが被処理画像上で行う行う第3の操作の例である。
画像調整部14は、この距離Rから、以下の数15式により、調整パラメータαを求める。調整パラメータαは、画像処理を行う程度を表す。即ち、画像調整部14は、ユーザがドラッグしたときの距離Rに応じ画像処理の程度を求める。この場合、調整パラメータαがより大きいほど画素値(I、P、T)の変化量は大きくなる。また調整パラメータαがより小さいほど画素値(I、P、T)の変化量は小さくなる。なお数15式でCは、正規化のための定数であり、被処理画像の画像サイズや表示装置の画面サイズに応じた固定値である。Cにより調整パラメータαは、0〜1の範囲となる。
Figure 0006582472
さらに画像調整部14は、調整パラメータαを使用して被処理画像の特徴量を見本画像の特徴量に合わせ調整する。
この処理は、例えば、以下の数16式〜数18式により行う。これにより被処理画像の画像を構成する位置(i、j)の画素について、調整パラメータαに応じ、見本画像に合わせた輝度成分(I)および色度成分(P、T)の調整が行われる。
Figure 0006582472
Figure 0006582472
Figure 0006582472
また画像表示部15は、被処理画像Hの画質を見本画像Mの画質に合わせた画像を、被処理画像上に一時的に表示する際に、ユーザがドラッグしたときの距離Rに応じその大きさを変化させる。
図12は、このとき画像表示部15が表示装置に表示する画像を示している。
図12は、図10でユーザが行った操作に対し、指やタッチペンを空の画像H1にタッチした後に、図11で説明した操作を行った場合を示している。これにより距離Rを大きくするとそれに従い、箱の画像H2の上部に表示される円形図形Cが大きくなっていく。また距離Rを小さくするとそれに従い、円形図形Cが小さくなっていく。これによりユーザは、画像処理の程度を直感的に把握する。
[第5の実施形態]
次に第5の実施形態について説明を行なう。
第4の実施の形態では、ユーザの操作を基に、被処理画像上で一時的に表示する画像の大きさを変化させたが、第5の実施形態では、この画像の形状についても変化させる。
本実施の形態の画像処理装置1の機能構成例については、図2と同様である。そしてユーザ操作受付部11、色変換部12、および特徴量抽出部13の機能は、第1の実施形態と同様である。よって以下、第1の実施形態と異なる点として、画像調整部14および画像表示部15について説明を行う。
図13は、被処理画像上において行われるユーザの操作の一例について示した図である。
図11の場合と同様に、まずユーザは、指やタッチペンで被処理画像をタッチ等した後に、そのまま指やタッチペンを画像上で動かす操作を行う。そしてこのときの点Oと点Qの座標(X、Y)から移動した距離Rが求まる。また本実施の形態では、Y方向に対し線OPのなす角度を回転角度θ(rad)とする。
画像調整部14は、数15式により調整パラメータαについて求める。また画像調整部14は、回転角度θから、以下の数19式により、被処理画像の周波数成分に応じた重みパラメータβi、j(0<βi、j<1)を求める。この重みパラメータβi、jは、位置(i、j)の画素毎に求められる。重みパラメータβi、jは、エッジ部をどの程度残すかを表す。即ち、画像調整部14は、ユーザがドラッグしたときの点Oを中心とした回転角度θに応じ画像処理の程度を求める。この場合、重みパラメータβi、jがより大きいほどエッジ部が目立たなくなる。また重みパラメータβi、jがより小さいほどエッジ部が保存される。
Figure 0006582472
重みパラメータβi、jは、低周波成分の多い平坦な領域では一定(1.0)で、高周波成分の多い領域では、回転角度θに応じて大きくなる量である。なお数19式において、高周波成分の多い領域であるか否かはハイパスフィルターによって判定する。
さらに画像調整部14は、調整パラメータα、重みパラメータβi、jを使用して被処理画像の特徴量を見本画像の特徴量に合わせ調整する。
この処理は、例えば、以下の数20式〜数22式により行う。これにより被処理画像の画像を構成する位置(i、j)の画素について、調整パラメータα、重みパラメータβi、jに応じ、見本画像に合わせた輝度成分(I)および色度成分(P、T)の調整が行われる。
Figure 0006582472
Figure 0006582472
Figure 0006582472
また画像表示部15は、被処理画像Hの画質を見本画像Mの画質に合わせた画像を、被処理画像上に一時的に表示する際に、ユーザがドラッグしたときの距離Rに応じその大きさを変化させるとともに、ユーザがドラッグしたときの回転角度θに応じその形状を変化させる。
図14は、このとき画像表示部15が表示装置に表示する画像を示している。
図14では、図12でユーザが行った操作に対し、指やタッチペンを空の画像H1にタッチした後に、図13で説明した操作を行った場合を示している。このとき距離Rを大きくするとそれに従い、箱の画像H2の上部に表示される円形図形Cが大きくなっていく。また距離Rを小さくするとそれに従い、円形図形Cが小さくなっていく。そして回転角度θを大きくするとそれに従い、円形図形Cがより大きく変形していく。回転角度θを小さくするとそれに従い、円形図形Cの変形の程度が小さくなる。これによりユーザは、2つの画像処理の程度を直感的に把握する。
なお上述した、重みパラメータβi、jとして、どの周波数成分が大きい領域かを示す値fi、jを用いてもよい。fi、jは、以下の数23式により算出することができる。数23式による重みパラメータβi、jを使用した場合、より滑らかな画像処理結果が得られる。値fi、jは画素毎の周波数成分の寄与から算出した値であり、DoGフィルタによる帯域分解などによって算出する係数である。なお数23式でCは、0<βi、j<1.0を満たすようにするために、正規化のため使用される係数である。
Figure 0006582472
以上説明した第1の実施形態〜第5の実施形態によれば、被処理画像を見本画像に合わせ画像処理する際に、画像処理結果についてユーザが事前に把握するのが容易である。また被処理画像および見本画像について画像処理を行う領域を指定する操作がより簡単となる。
<プログラムの説明>
なお本実施形態における画像処理装置1が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、画像処理装置1の内部に設けられた図示しないCPUが、画像処理装置1の各機能を実現するプログラムを実行し、これらの各機能を実現させる。
よって画像処理装置1が行なう処理は、コンピュータに、画像の印象を見本画像に合わせる画像処理を行なう被処理画像および見本画像について、画像情報を取得する画像情報取得機能と、被処理画像および見本画像について、画像の特徴量を抽出する特徴量抽出機能と、被処理画像の特徴量を見本画像の特徴量に合わせ調整する画像調整機能と、被処理画像の特徴量を見本画像の特徴量に合わせた画像処理後の画像を、被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で被処理画像上に一時的に表示した後に、被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示機能と、を実現させるプログラムとして捉えることもできる。
また上述した例では、平均として相加平均を使用したが、これに限られるものではなく、相乗平均等であってもよい。また上述した例では、散布度として分散を使用したが、これに限られるものではなく、二乗平均平方根、標準偏差など種々の指標を用いてもよい。
さらに上述した例では、色変換部12で、RGBデータをIPTデータに変換したが、輝度成分と色度成分に分離できる色空間での色度データであれば、これに限られるものではない。例えば、IPTデータの代わりにCIELデータ、Lαβデータ、CAMO2データ、HSVデータ等に変換してもよい。ただしCIEL色空間などのユーザの知覚量と均等な色空間を利用したり、ユーザの心理物理的な見えを考慮したCIECAM2やiCAMによる色変換を利用することで、より適切な特徴量が取得でき、画像処理後の印象がより自然となりやすい。
またさらに上述した例では、輝度成分および色度成分を変化させて、画像処理を行う場合について説明したが、これに限られるものではない。例えば、見本画像や被処理画像から光沢感情報を取得し、これを変化させることで被処理画像の光沢感を見本画像の光沢感に合わせる画像処理を行うことができる。
そして第2の実施の形態〜第3の実施の形態では、画像領域を限定するのに、特徴量取得マスクMR(i、j)や処理対象取得マスクLT(i、j)を使用していたが、マスクの生成方法は、上述した方法に限られるものではない。例えば、領域拡張法など画像を複数領域に分ける手法を用いてマスクを作成してもよい。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
1…画像処理装置、11…ユーザ操作受付部、12…色変換部、13…特徴量抽出部、14…画像調整部、15…画像表示部、H…被処理画像、M…見本画像

Claims (11)

  1. 画像の印象を見本画像に合わせる画像処理を行なう被処理画像および当該見本画像について、画像情報を取得する画像情報取得部と、
    前記被処理画像および前記見本画像について、画像の特徴量を抽出する特徴量抽出部と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する画像調整部と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせた画像を、当該被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で当該被処理画像上に一時的に表示した後に、当該被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示部と、
    を備え
    前記画像調整部は、前記第1の操作を行った後であり前記第2の操作の前に、ユーザが前記被処理画像上で行う第3の操作に応じ、当該被処理画像を前記見本画像に合わせる画像処理の程度の調整を行なうことを特徴とする画像処理装置。
  2. 前記特徴量抽出部は、前記被処理画像および前記見本画像を構成する各画素が有する画素値の平均および散布度を特徴量として算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像表示部は、予め定められた範囲として予め定められた図形を表示することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記画像表示部は、前記第3の操作に応じ前記図形の大きさおよび/または形状を変化させることを特徴とする請求項に記載の画像処理装置。
  5. 前記第1の操作は、ユーザが前記被処理画像をタッチまたはクリックする操作であり、前記第2の操作は、ユーザが前記被処理画像をタッチした状態から離す操作またはクリックを解除する操作であることを特徴とする請求項1乃至の何れか1項に記載の画像処理装置。
  6. 前記第3の操作は、ユーザが前記被処理画像上でドラッグする操作であることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
  7. 前記特徴量抽出部は、前記見本画像中でユーザが指定した箇所から予め定められた範囲内の第1の画像領域を選択し、当該第1の画像領域内の特徴量を当該見本画像の特徴量として抽出することを特徴とする請求項1乃至の何れか1項に記載の画像処理装置。
  8. 前記特徴量抽出部は、前記第1の操作でユーザが指定した箇所から予め定められた範囲内の第2の画像領域を前記被処理画像から選択し、当該第2の画像領域内の特徴量を当該被処理画像の特徴量として抽出し、
    前記画像調整部は、前記第2の画像領域内の画素値に近い前記被処理画像中の画像領域において、当該被処理画像の特徴量を前記見本画像の特徴量に合わせ調整することを特徴とする請求項1乃至の何れか1項に記載の画像処理装置。
  9. 画像の印象を見本画像に合わせる画像処理を行なう被処理画像および当該見本画像について、画像情報を取得する画像情報取得部と、
    前記被処理画像および前記見本画像について、画像の特徴量を抽出する特徴量抽出部と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する画像調整部と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせた画像を、当該被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で当該被処理画像上に一時的に表示した後に、当該被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示部と、
    を備え、
    前記画像調整部は、前記第1の操作を行った後であり前記第2の操作の前に、ユーザが前記被処理画像上で行う第3の操作であるユーザが前記被処理画像上でドラッグする操作に応じ、画像処理の程度を求めるとともに、ユーザがドラッグしたときの距離、および/または当該第3の操作としてユーザがドラッグしたときに、前記第1の操作でユーザがタッチまたはクリックした箇所を中心とした回転角度に応じ、画像処理の程度を求めることを特徴とする像処理装置。
  10. 画像を表示する表示装置と、
    前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、
    を備え、
    前記画像処理装置は、
    画像の印象を見本画像に合わせる画像処理を行なう被処理画像および当該見本画像について、画像情報を取得する画像情報取得部と、
    前記被処理画像および前記見本画像について、画像の特徴量を抽出する特徴量抽出部と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する画像調整部と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせた画像を、当該被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で当該被処理画像上に一時的に表示した後に、当該被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示部と、
    を備え
    前記画像調整部は、前記第1の操作を行った後であり前記第2の操作の前に、ユーザが前記被処理画像上で行う第3の操作に応じ、当該被処理画像を前記見本画像に合わせる画像処理の程度の調整を行なうことを特徴とする画像処理システム。
  11. コンピュータに、
    画像の印象を見本画像に合わせる画像処理を行なう被処理画像および当該見本画像について、画像情報を取得する画像情報取得機能と、
    前記被処理画像および前記見本画像について、画像の特徴量を抽出する特徴量抽出機能と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する画像調整機能と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせた画像を、当該被処理画像上でユーザが行なう第1の操作に応じて予め定められた範囲で当該被処理画像上に一時的に表示した後に、当該被処理画像上でユーザが行なう第2の操作により画像処理後の全体の画像を表示する画像表示機能と、
    を実現させ
    前記画像調整機能は、前記第1の操作を行った後であり前記第2の操作の前に、ユーザが前記被処理画像上で行う第3の操作に応じ、当該被処理画像を前記見本画像に合わせる画像処理の程度の調整を行なうことを特徴とするプログラム。
JP2015056785A 2015-03-19 2015-03-19 画像処理装置、画像処理システムおよびプログラム Expired - Fee Related JP6582472B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015056785A JP6582472B2 (ja) 2015-03-19 2015-03-19 画像処理装置、画像処理システムおよびプログラム
US14/810,142 US9659228B2 (en) 2015-03-19 2015-07-27 Image processing apparatus, image processing system, non-transitory computer readable medium, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015056785A JP6582472B2 (ja) 2015-03-19 2015-03-19 画像処理装置、画像処理システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2016177501A JP2016177501A (ja) 2016-10-06
JP6582472B2 true JP6582472B2 (ja) 2019-10-02

Family

ID=56925326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015056785A Expired - Fee Related JP6582472B2 (ja) 2015-03-19 2015-03-19 画像処理装置、画像処理システムおよびプログラム

Country Status (2)

Country Link
US (1) US9659228B2 (ja)
JP (1) JP6582472B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952253A (zh) * 2017-03-14 2017-07-14 哈尔滨工程大学 一种基于行‑信息熵的海天线提取方法
CN108052765A (zh) * 2017-12-26 2018-05-18 四川大学 基于人格印象的配色方案自动生成方法及装置
CN108446697B (zh) * 2018-03-06 2019-11-12 平安科技(深圳)有限公司 图片处理方法、电子装置及存储介质
JP7468061B2 (ja) 2020-03-27 2024-04-16 富士フイルムビジネスイノベーション株式会社 画像処理装置、画像処理システムおよびプログラム
US11301125B2 (en) * 2020-04-24 2022-04-12 Adobe Inc. Vector object interaction

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3428589B2 (ja) * 2001-03-30 2003-07-22 ミノルタ株式会社 画像処理プログラムが格納された記録媒体、画像処理プログラム、画像処理装置
US6996287B1 (en) * 2001-04-20 2006-02-07 Adobe Systems, Inc. Method and apparatus for texture cloning
US7088870B2 (en) * 2003-02-24 2006-08-08 Microsoft Corporation Image region filling by example-based tiling
JP4314866B2 (ja) * 2003-04-08 2009-08-19 セイコーエプソン株式会社 画像処理装置、画像処理方法及びプログラム
JP4648735B2 (ja) 2005-03-16 2011-03-09 株式会社日立国際電気 デジタル無線システム
JP4646735B2 (ja) 2005-08-17 2011-03-09 キヤノン株式会社 画像処理装置及び画像処理方法
JP4662356B2 (ja) * 2005-10-21 2011-03-30 キヤノン株式会社 撮像装置及びその制御方法、及びその制御プログラム、制御プログラムを格納した記憶媒体
KR101244912B1 (ko) * 2006-05-29 2013-03-18 삼성전자주식회사 디지털 영상 처리기에서 감마 보정 장치 및 방법
US7973848B2 (en) * 2007-04-02 2011-07-05 Samsung Electronics Co., Ltd. Method and apparatus for providing composition information in digital image processing device
US8073277B2 (en) * 2007-06-21 2011-12-06 The University Of Southern Mississippi Apparatus and methods for image restoration
JP5387020B2 (ja) * 2009-02-05 2014-01-15 株式会社ニコン 画像処理プログラムおよびデジタルカメラ
JP2011205504A (ja) * 2010-03-26 2011-10-13 Nikon Corp 画像処理プログラム、画像処理システム、およびデジタルカメラ
JP2014235556A (ja) * 2013-05-31 2014-12-15 株式会社ニコン 画像処理プログラム

Also Published As

Publication number Publication date
US20160275366A1 (en) 2016-09-22
US9659228B2 (en) 2017-05-23
JP2016177501A (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6582472B2 (ja) 画像処理装置、画像処理システムおよびプログラム
JP5990600B2 (ja) 色区分に関する色調整器
US10244218B2 (en) Image processing apparatus, image processing system, image processing method, and non-transitory computer readable medium
WO2013119329A1 (en) Editing color values using graphical representation of the color values
JP6287337B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP5907196B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP5943112B1 (ja) 画像処理装置、画像処理システムおよびプログラム
AU2014280985B2 (en) Image processing apparatus, image processing method, image processing system, and program
JP6241320B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN103959204B (zh) 信息处理装置、信息处理方法和记录介质
AU2017201441B2 (en) Image processing apparatus, program, and image processing method
JP6930091B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2008228017A (ja) 色変換処理プログラム、色変換処理装置及び画像形成システム
TWI602111B (zh) 電子裝置及使用者介面的色彩設定方法
JP2021089654A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4802981B2 (ja) 色変換テーブル作成プログラム、色変換テーブル作成装置及び色変換テーブル作成システム
JP2003299114A (ja) 色抽出画像処理装置並びにその抽出色の表示方法
JP6642021B2 (ja) 画像処理装置、画像処理システムおよびプログラム
JP6919433B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP6387238B2 (ja) 動画の色調整方法および動画の色調整システム
JP2016171406A (ja) デジタル画像における画像処理方法
JP2006279420A (ja) 画像処理システム
KR20130061429A (ko) 터치스크린을 이용한 화상의 색 보정 방법
JP2014147036A (ja) 色処理装置および色処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R150 Certificate of patent or registration of utility model

Ref document number: 6582472

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees