JP7414564B2 - 情報処理装置及び方法 - Google Patents

情報処理装置及び方法 Download PDF

Info

Publication number
JP7414564B2
JP7414564B2 JP2020017235A JP2020017235A JP7414564B2 JP 7414564 B2 JP7414564 B2 JP 7414564B2 JP 2020017235 A JP2020017235 A JP 2020017235A JP 2020017235 A JP2020017235 A JP 2020017235A JP 7414564 B2 JP7414564 B2 JP 7414564B2
Authority
JP
Japan
Prior art keywords
image processing
information
image
image data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020017235A
Other languages
English (en)
Other versions
JP2021124896A5 (ja
JP2021124896A (ja
Inventor
誠 太田
修一 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020017235A priority Critical patent/JP7414564B2/ja
Priority to US17/163,929 priority patent/US11765299B2/en
Publication of JP2021124896A publication Critical patent/JP2021124896A/ja
Publication of JP2021124896A5 publication Critical patent/JP2021124896A5/ja
Application granted granted Critical
Publication of JP7414564B2 publication Critical patent/JP7414564B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置及び方法に関し、更に詳しくは、外部画像処理装置を用いて画像処理を行うシステムにおける情報処理装置及び方法に関する。
従来、デジタルカメラやスマートフォン等の撮像装置は、CCDやCMOS等の撮像素子から入力されたデータを、JPEGやTIFF等の画像フォーマットに基づいて圧縮し、メモリカード等の記憶媒体に画像データとして記録している。前述の圧縮処理は一般的に非可逆符号化であるため、ユーザは画像データに対して、後から大きく再調整することができない。
しかし近年、スマートフォンやデジタルカメラ等の一部の撮像装置では、撮像素子から読み出した電気信号をそのままデジタル化し、画像データとして記録することができるようになってきている。以下、このように記録した画像データを「RAW画像データ」と呼ぶ。ユーザはこのRAW画像データをPC等で現像することにより、撮像装置で現像するよりもより意図に近い画像に仕上げることができる。特許文献1には、RAW画像データの現像処理方法が開示されている。
また、特許文献2には、上記のような画像処理による効果を可視化する技術が開示されており、画像処理内容が固定であれば、画像データの特徴量を示す情報を抽出し、その抽出された情報と画像データとを合成して表示画像を生成することができる。
さらに、近年では、いわゆるクラウドサービスを利用することで、ユーザはクラウドにあるサーバ(以降、「クラウドサーバ」と呼ぶ。)を利用してRAW画像データを比較的短い時間で現像することができる。
特開2005-251166号公報 特開2007-288555号公報
一方で、ユーザには、クラウドサーバ上で実行される画像処理(以降、「クラウド画像処理」と呼ぶ。)の効果を予測可能な範囲で事前に確認してから、クラウドサーバに画像データを送信したい、という要求がある。例えば、クラウド画像処理サービスが従量課金サービスの場合や処理画像の枚数制限がある場合等に、このような要求が生じる。
しかしながら、クラウド画像処理では、クラウドサービスの運用開始後に処理内容を変更したり、あるいはクラウド画像処理実行時にユーザが現像処理を含む複数の画像処理候補の中から実行機能を選択実行したりすることが考えられる。このように、画像処理内容は固定ではないため、特許文献2に記載された技術を適用することができない。
本発明は上記問題点を鑑みてなされたものであり、ユーザがクラウド画像処理を実施する前に、予測可能な範囲で効果を確認できるようにすることを目的とする。
上記目的を達成するために、本発明の情報処理装置は、第1の画像データを外部画像処理装置に送信すると共に、前記外部画像処理装置により処理された第2の画像データを受信する接続手段と、前記第1の画像データから、前記外部画像処理装置における画像処理の内容に応じた特徴量を抽出する抽出手段と、前記抽出された特徴量を、表示可能な情報に変換して表示する表示手段とを有する。
本発明によれば、ユーザがクラウド画像処理を実施する前に、予測可能な範囲で効果を確認することができる。
本発明の実施形態における画像情報処理システムのシステム構成の一例を示す図。 実施形態におけるパーソナルコンピュータ(PC)の構成の一例を示すブロック図。 実施形態におけるサーバの構成の一例を示すブロック図。 実施形態における画像情報処理システムのソフトウェア構成の一例を示すブロック図。 実施形態におけるデータ管理情報の一例を示す図。 実施形態における画像処理効果提示処理の一例を示すフローチャート。 実施形態におけるRAW現像処理の一例を示すフローチャート。 実施形態におけるサーバによる画像処理のアップデート処理の一例を示すフローチャート。 実施形態におけるサーバによる画像処理のアップデート処理に伴うPCの処理の一例を示すフローチャート。 実施形態における画像処理効果の可視化方法の一例を示す説明図。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
<システム構成図>
図1は、本実施形態における画像情報処理システムのシステム構成の一例を示す図である。PC100は、公衆回線200を介してサーバ300(外部画像処理装置)とデータ通信する。なお、各装置の構成については後述する。このデータ通信では特に、静止画像データや動画像データ等のデジタルカメラ等によって撮像された画像データが送受信される。例えば、PC100はそれぞれ画像データを公衆回線200を介してサーバ300へ送信し、サーバ300はPC100から受信した画像データを現像する。そして、サーバ300はその現像した画像データを、公衆回線200を介してPC100へ返送する。このようにPC100はサーバ300を利用して画像データを現像することができる。
<PC100の構成>
図2は、本実施形態におけるPC100の構成の一例を示すブロック図である。本実施形態では、パーソナルコンピュータのように据え置いて使う装置を例に説明するが、本発明はこれに限られるものでは無く、サーバ300と通信可能な端末であればよく、例えばノートPCやタブレット、スマートフォン等であってもよい。
制御部101は、入力された信号や、後述のプログラムに従ってPC100の各部を制御する。なお、制御部101が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
不揮発性メモリ103は、例えばHDD,SSD等の、電気的に消去・記録可能な不揮発性のメモリである。不揮発性メモリ103には、制御部101が実行する基本的なソフトウェアであるオペレーティングシステム(OS)や、このOSと協働して応用的な機能を実現するアプリケーションが記録されている。また、不揮発性メモリ103には、RAW画像データ等の画像データを画像処理可能なアプリケーション(以下、「画像処理アプリ」と呼ぶ。)が格納されている。RAW画像データについては後述する。
作業用メモリ104は揮発性メモリであり、制御部101のワーク領域、エラー処理時のデータの退避領域等として使用される。
操作部105は、PC100に対する指示をユーザから受け付けるために用いられ、例えば、ユーザがPC100の電源のオン/オフを指示するための電源ボタンや、キーボードやマウス等の入力装置等を含む。また、後述する表示部106に形成されるタッチパネルも操作部105に含まれる。なお、操作部105は必ずしもPC100が内蔵する必要はなく、PC100は、内部または外部の操作部105と接続することができる。
表示部106は、例えば、液晶ディスプレイや有機ELディスプレイ等であり、対話的な操作のための文字や画像表示等を行う。また、画像処理アプリのGUI(Graphical User Interface)も表示部106に表示される。なお、表示部106も必ずしもPC100が内蔵する必要はなく、PC100は内部または外部の表示部106と接続することができ、表示部106による表示を制御する機能を少なくとも有していればよい。
GPU(Graphics Processing Unit)108は、画像処理に特化した画像処理部である。制御部101は、GPU108を利用することで、表示部106に画像データを表示したり、画像データの現像処理等の画像処理を実行することができる。
外部記録装置110は、PC100に着脱可能な外部記録媒体(不図示)に対して読み出し及び書き込みを行う装置である。プログラムや画像データが外部記録媒体に記録されている場合、これらは外部記録装置110を介して作業用メモリ104に読み込まれる。外部記録媒体は、例えば、DVD-RW、CD-ROM、CD-R、DVD-RAM等の光ディスクや、フレキシブルディスク、MO等の磁気ディスクや光磁気ディスクや、フラッシュメモリ等の、PC100に着脱可能な不揮発性メモリである。
接続部111は、外部装置と接続するためのインターフェースであり、PC100は、この接続部111を介して、外部装置とデータを送受信することができる。例えば、PC100は、接続部111を介してデジタルカメラ等の撮像装置と接続し、データの送受信を行うことができる。接続部111による通信は、有線通信及び無線通信のどちらであってもよい。
<サーバ300の構成>
図3は、本実施形態におけるサーバ300の構成の一例を示すブロック図である。
制御部301は、入力された信号や後述のプログラムに従って、サーバ300の各部を制御する。なお、制御部301が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
不揮発性メモリ303は、例えばHDD,SSD,ROM,フラッシュメモリ、及び光ディスク等の、電気的に消去・記録可能な不揮発性のメモリである。不揮発性メモリ303には、制御部301が実行する基本的なソフトウェアであるOS(オペレーティングシステム)や、このOSと協働して応用的な機能を実現するアプリケーションが記録されている。また、本実施形態では、不揮発性メモリ303には、画像処理アプリが格納されている。
作業用メモリ304は、揮発性メモリであり、制御部301のワーク領域、エラー処理時のデータの退避領域等として使用される。
操作部305は、サーバ300に対する指示をユーザから受け付けるために用いられ、例えば、ユーザがサーバ300の電源のオン/オフを指示するための電源ボタンや、キーボードやマウス等の入力装置等を含む。なお、操作部305は必ずしもサーバ300が内蔵する必要はなく、サーバ300は、内部または外部の操作部305と接続することができる。
GPU308は、画像処理に特化した画像処理部である。制御部301は、GPU308を利用することで、表示部(不図示)への画像表示や計算処理を実行することできる。
接続部311は、外部装置と接続するためのインターフェースである。サーバ300は、この接続部311を介して、外部装置とデータを送受信することができる。例えば、サーバ300は、接続部311を介してデジタルカメラ等の撮像装置や外部コンピュータ等と接続し、データの送受信を行うことができる。接続部311による通信は、有線通信及び無線通信のどちらであってもよい。
<システムのソフトウェア構成>
図4は、本実施形態における画像情報処理システムのソフトウェア構成の一例を示す図である。画像情報処理システムは、PC100(クライアント端末)とサーバ300(クラウド端末)とからなり、それぞれ少なくとも1端末以上からなる。特に、サーバ300はクラウドサーバであるため、複数の物理サーバや仮想サーバに機能を分散配置し、クラウド画像処理機能を提供してもよい。
サーバ300は、画像処理モジュール401、ジョブ制御モジュール402、データ管理モジュール403、未処理データ受信モジュール404、データ記憶モジュール405を備える。更に、サーバ300は、処理済データ送信モジュール406、更新情報送信モジュール407、画像処理更新モジュール408を備える。サーバ300を構成する各モジュール401~408は、不揮発性メモリ303に記録されたプログラムを作業用メモリ304に展開して制御部301が実行することによって実現される。
PC100は、データ記憶モジュール409、未処理データ送信モジュール410、データ管理モジュール411、ジョブ制御モジュール412を備える。更に、PC100は、画像処理効果提示モジュール413、画像処理効果提示方法更新モジュール414、更新情報受信モジュール415、処理済データ受信モジュール416を備える。PC100を構成する各モジュール410~416は、不揮発性メモリ103に記録されたプログラムを作業用メモリ104に展開して制御部101が実行することによって実現される。画像処理効果提示モジュール413は、被写体解析モジュール417、効果領域推定モジュール418、効果提示モジュール419を備える。
<クラウド現像>
クラウド現像処理は、ジョブ制御モジュール412が、画像処理効果提示モジュール413に、画像処理効果提示指示と共に、データ管理モジュール411経由でデータ記憶モジュール409が記憶するRAW画像データを送信することをトリガとして開始される。なお、画像処理効果提示指示とRAW画像データは、ユーザがPC100の操作部105を操作することで出力されるRAW画像データの送信指示に応じて送信される。
画像処理効果提示モジュール413は、画像処理効果提示指示と共にRAW画像データを受信すると、後述する画像処理効果提示処理を実施する。その後、ユーザから画像をサーバ300に送信するよう指示があった場合には、ジョブ制御モジュール412が、データ管理モジュール411経由で、データ記憶モジュール409が記憶するRAW画像データを、未処理データ送信モジュール410を用いて、後述するRAW現像処理を行う指示と共にサーバ300に送信する。
サーバ300は、PC100からRAW画像データを未処理データ受信モジュール404で受信すると、データ記憶モジュール405に記憶する。その際、データ管理モジュール403にRAW画像データに関する情報も記憶しておく。ジョブ制御モジュール402は、データ管理モジュール403経由でデータ記憶モジュール405に記憶したRAW画像データを読み出し、画像処理モジュール401を用いて後述するRAW現像処理を実施し、その結果をデータ管理モジュール403経由でデータ記憶モジュール405に記憶する。
その後、データ記憶モジュール405に記憶されたRAW現像処理の結果を、処理済データ送信モジュール406を用いてPC100に送信する。そして、予め設定されたデータ削除ポリシーに基づき、データ管理モジュール403は必要に応じてデータ記憶モジュール405に記憶されているRAW画像データやRAW現像処理の結果を削除する。データ削除ポリシーには、適宜削除条件を設定すればよいが、例えば、RAW現像処理の結果を他端末に送信してから予め決められた日数後に、RAW画像データ及びRAW現像処理の結果を削除するという設定がされ得る。
PC100では、RAW現像処理の結果を処理済データ受信モジュール416によって受信し、データ記憶モジュール409に記憶する。その際、データ管理モジュール411では、RAW画像データとRAW現像処理の結果とを紐づける情報を記憶しておく。例えば、図5に示すように、RAW画像データのID(図中のRAW画像ID)と、RAW像処理の結果のID(図中のRAW現像結果ID)とを対にして記憶しておくこと等が考えられる。
<画像処理効果提示処理>
図6は、画像処理効果提示モジュール413を用いて実行される、本実施形態における画像処理効果提示処理の一例を示すフローチャートである。画像処理効果提示処理は、画像処理モジュール401を用いて実行される後述するRAW現像処理の内、少なくとも一つ以上の画像処理の効果を、画像処理モジュール401によるRAW現像処理の実行前に推定し、ユーザに提示するものである。
S601において、画像処理効果提示モジュール413は、画像処理効果提示指示と共にRAW画像データを受信するまで待機し、受信するとS602へ進む。
S602では、画像処理効果提示モジュール413では、被写体解析モジュール417に、被写体解析指示とRAW画像データとを入力する。そして、被写体解析モジュール417は、画像処理モジュール401による処理の効果が高いかどうかを判断するために、RAW画像データから画像処理モジュール401の内容に応じた特徴量を抽出する。例えば、画像処理モジュール401におけるノイズ低減処理の場合は、特徴量としては各画像領域における低コントラスト度合いを抽出するため、各画像領域に対して離散フーリエ変換処理した結果の分布を解析することにより、特徴量の抽出を行う。
なお、対象データはRAW画像データでなくともよい。例えば、RAW画像データのプレビュー画像やRAW画像データをPC100内の図示していない画像処理モジュールを用いて簡易RAW現像した結果画像を対象としてもよい。また、効果を可視化する対象となる画像処理によって抽出したい特徴量が異なるため、抽出したい特徴量に応じて、特徴量の抽出方法も変える必要がある。
特徴量の抽出方法としては、他にも、空間フィルタ処理や空間周波数領域への変換処理等を行い、低コントラスト画素の強調やエッジ強調等を伴う抽出方法が考えられる。より具体的な例として、空間フィルタ処理では、N×M画素のフィルタ処理により、ハイパスフィルタやローパスフィルタ等のフィルタを実現してもよい。また、空間周波数領域への変換では、DCTやWavelet変換等を用いた変換により、低周波数領域や高周波数領域を強調したり低減したりしてもよい。
被写体解析モジュール417は、抽出した特徴量と共に、効果領域推定指示とRAW画像データとを効果領域推定モジュール418に出力する。
S603において、効果領域推定モジュール418は、効果領域推定指示と特徴量とRAW画像データとを受信すると、効果領域がユーザに分かり易くなるような画像処理を実施し、表示可能な画像を生成する。例えば、特徴量を所定の閾値で二値化したり、孤立点を除去したり、効果領域の輪郭を平滑化したりする画像処理等を行う。その後、効果領域推定モジュール418は、RAW画像データをPC100内の不図示の画像処理モジュールを用いて簡易RAW現像した結果画像をベース画像とし、処理後の画像データをオーバーレイ処理して、重畳画像を作成する。
オーバーレイ処理では、例えば効果領域を分かりやすくした画像の画素値が所定の閾値未満の場合には、ベース画像の画素値とし、閾値以上の場合には効果領域を分かりやすくした画像の画素値とすることが考えられる。例えば、ベース画像が図10(a)であるとき、重畳画像は図10(b)のように効果領域の輪郭が強調されたり、効果がより高い領域の輝度を高くしたりすることが考えられる。また、より効果領域の表現を簡略化し、図10(c)のように効果領域の輪郭強調やクロスハッチングを施すこと等も考えられる。そして、効果領域推定モジュール418は、重畳画像と画像処理効果提示指示とを効果提示モジュール419に送る。
S604において、効果提示モジュール419は画像処理効果提示指示と重畳画像とを受信すると、ジョブ制御モジュール412を介して、表示部106に重畳画像を表示する。
なお、上記では画像処理モジュール401で実行される画像処理の数に言及していなかったが、複数の画像処理が実行されてもよい。その場合はS602及びS603において、次のような処理を行う。
S602において、被写体解析モジュール417は、RAW画像データから画像処理モジュール401の内容に応じた特徴量を、画像処理の種類数分抽出する。
次に、S603において、効果領域推定モジュール418は、効果領域推定指示と、画像処理の種類数分の特徴量と、RAW画像データとを受信すると、効果領域がユーザに分かり易くなるような画像処理を実施し、各画像処理についてそれぞれ画像を生成する。その後、効果領域推定モジュール418は、RAW画像データをPC100内の不図示の画像処理モジュールを用いて簡易RAW現像した結果画像をベース画像とし、処理後の画像データをオーバーレイ処理して、重畳画像を作成する。
オーバーレイ処理では、例えばベース画像を最下層とし、新たに重畳しようとしている効果領域を分かりやすくした画像を新規層とすると、所定の優先度に基づいて最下層に対して下層から順に新規層を重畳していく。例えば、新規層の画素値が所定の閾値未満の場合に、重畳済の画像の画素値とし、閾値以上の場合には新規層の画素値とすることが考えられる。その際、所定の閾値は画像処理モジュール401内で実行される画像処理毎に独立の値が設定される。その後、効果領域推定モジュール418は、重畳画像と画像処理効果提示指示とを効果提示モジュール419に送る。
また、オーバーレイ処理に用いるベース画像は、簡易RAW現像した結果画像でなくともよい。例えば、RAW画像データに内包されるプレビュー画像データやRAW画像データとは別データである同時撮影されたJPEG画像データを用いてもよい。
なお、ユーザがベース画像を確認するために、重畳画像を非表示とする仕組みがあってもよい。例えば、効果領域を非表示にするボタンをユーザが押すと、図10(b)や図10(c)に示す画像を図10(a)に示す画像に置き換えるようにしてもよい。これにより、画像処理効果の高い領域が重畳表示されたことで、ベース画像が見え難くなる問題を回避することができる。
<RAW現像処理>
図7は、画像処理モジュール401を用いて実行される、本実施形態におけるRAW現像処理の一例を示すフローチャートである。本実施形態では画像処理モジュール401は、RAW画像データに含まれる属性情報に基づいてRAW画像データを処理する。
画像処理モジュール401は、まず、S701において、RAW画像データの収差や不図示のカメラの撮像素子に起因する傷データに対する補正等を行う。次に、S702においてRAW画像データの黒レベルを調整し、S703においてRAW画像データのホワイトバランスを調整する。ここで、本実施形態では、RAW画像データに対してオートホワイトバランス機能によってホワイトバランスを調整する。
次に、画像処理モジュール401は、S704において、RAW画像データにおける不図示の撮像素子に起因するノイズを低減する。更に、S705において、RAW画像データに対して画素補間処理を実行する。
そして、S706において、画像処理モジュール401はS701~S705で処理されたRAW画像データを中間画像データとしてデータ管理モジュール403経由でデータ記憶モジュール405に記憶して、処理を終了する。
<RAW現像処理の更新>
図8は、本実施形態における画像処理のアップデートの一例を示すフローチャートである。本処理は、サーバ300の管理者が操作部305を操作するか、もしくは接続部311を介して接続する管理用端末からの通信をトリガとして実行される。
S801において、サーバ300の画像処理更新モジュール408は、画像処理更新指示を受信するまで待機する。画像処理更新指示を受けると、画像処理更新モジュール408はジョブ制御モジュール402に対し、画像処理更新指示を送信する。
S802において、画像処理更新指示を受信したジョブ制御モジュール402は、先に受信していたRAW現像処理を伴うジョブ群の処理後に、画像処理更新指示に基づき、画像処理モジュール401を更新する。
S803において、ジョブ制御モジュール402は、接続部311経由で不図示のログイン管理端末からクラウド現像サービスにログイン中の端末のリストを取得する。そして、取得したリスト上の端末に対して、ジョブ制御モジュール402が更新情報送信モジュール407を用いて、画像処理更新情報を送信する。
図9は、本実施形態における画像処理モジュール401のアップデートに伴う画像処理効果提示方法の更新処理の一例を示すフローチャートである。本処理は、サーバ300からの画像処理更新情報をPC100が受信することをトリガとして実行される。
S901において、PC100の更新情報受信モジュール415は、接続部311を介して画像処理更新情報を受信するまで待機する。
S902において、更新情報受信モジュール415が画像処理更新情報を受信すると、ジョブ制御モジュール412を介して画像処理効果提示方法更新モジュール414に画像処理効果提示方法更新指示と画像処理更新情報とを送信する。画像処理効果提示方法更新モジュール414は、画像処理効果提示方法更新指示と画像処理更新情報とを受信すると、画像処理効果提示モジュール413を更新する。
画像処理効果提示モジュール413を更新する際には、例えば画像処理更新情報が、被写体解析モジュール417と効果領域推定モジュール418及び効果提示モジュール419の内、少なくとも1つ以上のモジュールに関する更新後のソフトウェアを含んでいてもよい。その場合、画像処理更新情報に含まれる更新後のソフトウェアを既存の各モジュールのソフトウェアと置き換えることで、画像処理効果提示方法を更新する。
また、PC100で実行されているソフトウェア全体(モジュール410~419)をまとめて更新してもよい。例えば、まとめて更新可能なインストーラを画像処理更新情報として更新情報送信モジュール407から受信しておき、画像処理効果提示方法更新モジュール414で実行すること等が考えられる。
他にも、まとめて更新するためのインストーラをダウンロードするためのURLや、インストーラを特定するためのバージョン情報を、更新情報送信モジュール407から受信してもよい。画像処理効果提示方法更新モジュール414は、受信したURLやバージョン情報を用いて、PC100の接続部111経由でインストーラをダウンロードし、画像処理効果提示方法更新モジュール414がインストーラを実行することが考えられる。
もしくは、被写体解析モジュール417や効果領域推定モジュール418や効果提示モジュール419では、それぞれ画像処理モジュール401で実行される画像処理の内容に応じた、着脱可能なモジュールを実行することで各モジュールを実現していることも考えられる。その場合、各モジュールを画像処理更新情報として更新情報送信モジュール407から受信しておく。その後、画像処理効果提示方法更新モジュール414が必要に応じて、各モジュールを既存のモジュールと置き換えることが考えられる。
なお、上述した実施形態では、画像処理の効果が高いことを表現するために図10(b)及び図10(c)のようにベース画像に効果の高い領域を重畳表示していたが、重畳表示しなくともよい。例えば、図10(b)や図10(c)の効果領域のみの画像(図10()のクロスハッチング領域画像)と、図10(a)のベース画像とを、それぞれ重ねずに表示してもよい。重ねない利点としては、ベース画像が隠れないため、ベース画像を確認しやすいことが挙げられる。
他にも、画像処理効果が高いと判断された領域の画素数が所定の閾値以上であった場合に、図10(d)のように画像処理効果が高いことを示す情報を重畳表示してもよいし、当該情報を図10(a)の近くに表示することで、ベース画像を隠さないようにしてもよい。
上記の通り本実施形態によれば、ユーザは、クラウド画像処理を実行した場合に予測される効果を事前に把握することができる。そして、ユーザは、予測される効果に応じて、クラウド画像処理を行うかどうかを判断することが可能になる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:PC、101:制御部、103:不揮発性メモリ、104:作業用メモリ、105:操作部、106:表示部接続部、108:GPU、110:外部記録装置、111:接続部、200:公衆回線、300:サーバ、301:制御部、303:不揮発性メモリ、304:作業用メモリ、305:操作部、308:GPU、311:接続部、401:画像処理モジュール、402:ジョブ制御モジュール、403:データ管理モジュール、404:未処理データ受信モジュール、405:データ記憶モジュール、406:処理済データ送信モジュール、407:更新情報送信モジュール、408:画像処理更新モジュール、409:データ記憶モジュール、410:未処理データ送信モジュール、411:データ管理モジュール、412:ジョブ制御モジュール、413:画像処理効果提示モジュール、414:画像処理効果提示方法更新モジュール、415:更新情報受信モジュール、416:処理済データ受信モジュール、417;被写体解析モジュール、418:効果領域推定モジュール、419:効果提示モジュール

Claims (12)

  1. 第1の画像データを外部画像処理装置に送信すると共に、前記外部画像処理装置により処理された第2の画像データを受信する接続手段と、
    前記第1の画像データから、前記外部画像処理装置における画像処理の内容に応じた特徴量を抽出する抽出手段と、
    前記抽出された特徴量を、表示可能な情報に変換して表示する表示手段と
    を有することを特徴とする情報処理装置。
  2. 前記表示手段は、前記第1の画像データに前記情報を重畳表示することを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示手段は、前記第1の画像データと前記情報とをそれぞれ表示することを特徴とする請求項1に記載の情報処理装置。
  4. 前記情報は、前記特徴量が予め決められた第1の閾値以上である領域を示す情報であることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記情報は、前記特徴量が予め決められた第1の閾値以上である領域に含まれる画素数が予め決められた第2の閾値以上の場合に、前記画像処理により得られる効果が高いことを示す情報であることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  6. 前記外部画像処理装置における画像処理の種類が複数である場合に、前記抽出手段は、各種類の画像処理の内容に応じてそれぞれ特徴量を抽出することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 像データに対して予め決められた画像処理を行う画像処理手段を更に有し、
    前記第1の画像データは、前記画像処理手段により前記予め決められた画像処理が行われる前の画像データであることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 像データに対して予め決められた画像処理を行う画像処理手段を更に有し、
    前記第1の画像データは、前記画像処理手段により前記予め決められた画像処理が行われた後の画像データであることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  9. 前記接続手段は、更に、前記外部画像処理装置における画像処理が変更された場合に、前記変更した後の画像処理に関する情報を受信し、
    前記抽出手段は、前記変更した後の画像処理の内容に応じた特徴量を抽出することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 第1の画像データを外部画像処理装置に送信すると共に、前記外部画像処理装置により処理された第2の画像データを受信する情報処理装置における情報処理方法であって、
    抽出手段が、前記第1の画像データから、前記外部画像処理装置における画像処理の内容に応じた特徴量を抽出する抽出工程と、
    表示手段が、前記抽出された特徴量を、表示可能な情報に変換して表示する表示工程と
    を有することを特徴とする情報処理方法。
  11. コンピュータを、請求項1乃至9のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
  12. 請求項11に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2020017235A 2020-02-04 2020-02-04 情報処理装置及び方法 Active JP7414564B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020017235A JP7414564B2 (ja) 2020-02-04 2020-02-04 情報処理装置及び方法
US17/163,929 US11765299B2 (en) 2020-02-04 2021-02-01 Information processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020017235A JP7414564B2 (ja) 2020-02-04 2020-02-04 情報処理装置及び方法

Publications (3)

Publication Number Publication Date
JP2021124896A JP2021124896A (ja) 2021-08-30
JP2021124896A5 JP2021124896A5 (ja) 2023-02-14
JP7414564B2 true JP7414564B2 (ja) 2024-01-16

Family

ID=77063034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020017235A Active JP7414564B2 (ja) 2020-02-04 2020-02-04 情報処理装置及び方法

Country Status (2)

Country Link
US (1) US11765299B2 (ja)
JP (1) JP7414564B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053356A1 (ja) * 2021-09-30 2023-04-06 株式会社アイ・エル・シー 通信制御オブジェクトを有する機器、通信制御方法および通信制御プログラム
CN113938457B (zh) * 2021-09-30 2023-11-10 北京润信恒达科技有限公司 一种云手机应用远程摄像头的方法、***和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187215A (ja) 2001-12-18 2003-07-04 Fuji Xerox Co Ltd 画像処理システム及び画像処理サーバ
JP2012217159A (ja) 2011-04-01 2012-11-08 Sharp Corp 撮像装置、撮像装置における表示方法、プログラムおよび記録媒体
JP2014099697A (ja) 2012-11-13 2014-05-29 Canon Inc 撮像装置および撮像システム
JP2017220892A (ja) 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置及び画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4845382B2 (ja) 2004-02-06 2011-12-28 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US7505054B2 (en) * 2004-05-12 2009-03-17 Hewlett-Packard Development Company, L.P. Display resolution systems and methods
US20070109411A1 (en) * 2005-06-02 2007-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Composite image selectivity
JP2007129525A (ja) * 2005-11-04 2007-05-24 Konica Minolta Photo Imaging Inc カメラシステム及び制御装置
JP2007288555A (ja) 2006-04-18 2007-11-01 Pioneer Electronic Corp 画像調整装置および画像調整方法
EP1876828B1 (en) * 2006-07-03 2016-10-26 Axis AB Method and apparatus for configuring parameter values for cameras
KR100780438B1 (ko) * 2006-08-22 2007-11-29 삼성전자주식회사 휴대용 단말기에서 카메라의 촬영정보를 설정하는 방법 및장치
US8379130B2 (en) * 2009-08-07 2013-02-19 Qualcomm Incorporated Apparatus and method of processing images based on an adjusted value of an image processing parameter
US8332429B2 (en) * 2010-06-22 2012-12-11 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes
KR101882442B1 (ko) * 2011-12-21 2018-07-26 엘지전자 주식회사 이동 단말기, 서버, 이동 단말기 제어 방법 및 서버의 제어 방법
US9389678B2 (en) * 2012-05-15 2016-07-12 Nvidia Corporation Virtual image signal processor
AU2015201623A1 (en) * 2015-03-30 2016-10-20 Canon Kabushiki Kaisha Choosing optimal images with preference distributions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187215A (ja) 2001-12-18 2003-07-04 Fuji Xerox Co Ltd 画像処理システム及び画像処理サーバ
JP2012217159A (ja) 2011-04-01 2012-11-08 Sharp Corp 撮像装置、撮像装置における表示方法、プログラムおよび記録媒体
JP2014099697A (ja) 2012-11-13 2014-05-29 Canon Inc 撮像装置および撮像システム
JP2017220892A (ja) 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US11765299B2 (en) 2023-09-19
US20210243404A1 (en) 2021-08-05
JP2021124896A (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
US10672164B2 (en) Predicting patch displacement maps using a neural network
JP6264800B2 (ja) 情報処理システム、情報処理装置、プログラムおよび情報処理方法
US8520967B2 (en) Methods and apparatuses for facilitating generation images and editing of multiframe images
US10496696B2 (en) Search method and apparatus
JP2006505862A (ja) 移動クライアント装置から画像処理を行う方法及びシステム
JP7414564B2 (ja) 情報処理装置及び方法
US9967473B2 (en) Information processing apparatus, information processing method, and program
US11922598B2 (en) Image processing apparatus, image processing method, and storage medium
JP2011146799A (ja) 画像処理装置及び画像処理プログラム
JP2010117816A (ja) 通信端末
JP5025498B2 (ja) 画像処理装置およびその制御方法
US8312111B2 (en) Image processing in a computer network
CN107102827B (zh) 改善图像对象的质量的方法以及执行该方法的设备
US8358353B2 (en) Image input apparatus, image verification apparatus, and control methods therefor
EP2811732B1 (en) Image processing apparatus, image processing method, computer-readable storage medium and program
US9361852B2 (en) Media reproduction device
JP4804161B2 (ja) 画像処理装置、画像処理システム及び画像処理装置の制御方法
JP2008258916A (ja) 画像処理装置、画像処理装置の制御方法及びコンピュータプログラム
JP2021125828A (ja) 画像処理装置および画像処理方法
US9807315B1 (en) Lookup table interpolation in a film emulation camera system
KR102599525B1 (ko) 관심 이미지의 시인성을 개선한 화면 표출 방법, 장치 및 시스템
JP2021103451A (ja) 画像処理装置、外部装置およびそれらの制御方法、システム、プログラム、並びに記憶媒体
US20040151402A1 (en) Image processing program products allowing a read original to be used in a computer
JP5814389B2 (ja) 画像管理システム、及び画像管理方法
GB2567722A (en) Predicting patch displacement maps using a neural network

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R151 Written notification of patent or utility model registration

Ref document number: 7414564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151