JP2022138605A - 情報処理システム及びその制御方法、プログラム - Google Patents
情報処理システム及びその制御方法、プログラム Download PDFInfo
- Publication number
- JP2022138605A JP2022138605A JP2021038577A JP2021038577A JP2022138605A JP 2022138605 A JP2022138605 A JP 2022138605A JP 2021038577 A JP2021038577 A JP 2021038577A JP 2021038577 A JP2021038577 A JP 2021038577A JP 2022138605 A JP2022138605 A JP 2022138605A
- Authority
- JP
- Japan
- Prior art keywords
- image
- developing
- improvement effect
- information processing
- developing means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims description 19
- 230000000694 effects Effects 0.000 claims abstract description 89
- 238000011161 development Methods 0.000 claims description 87
- 230000006872 improvement Effects 0.000 claims description 82
- 230000006870 function Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000007639 printing Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 46
- 238000013480 data collection Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00167—Processing or editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00183—Photography assistance, e.g. displaying suggestions to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/34—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device for coin-freed systems ; Pay systems
- H04N1/344—Accounting or charging based on type of function or service used, e.g. copying, faxing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Studio Devices (AREA)
Abstract
【課題】画質の改善効果が高い画像のみをサーバー上で現像する画像として選択することができる情報処理システムを提供する。【解決手段】画像を現像する第1の現像部と、前記第1の現像手段により現像した現像画像よりも良好な現像画像が得られる第2の現像部と、第1の現像部の代わりに第2の現像部を使用することにより得られる現像画像の画質の改善効果を推定する推定部と、推定部により推定された改善効果に基づく内容を通知する通知部とを備える。【選択図】 図3
Description
本発明は、画像データの現像処理技術に関するものである。
近年、画像処理技術の発達に伴い、RAW画像データを現像する場合、従来よりもノイズが少ない精細な現像結果を得られるようになってきている。しかし、良好な現像結果を得るための現像処理方法には、現像処理のための演算負荷が大きく、撮像装置では実現できないような現像処理方法が存在する。
特許文献1には、撮像装置では実現できない現像処理方法をネットワーク上のサーバーで実現する技術が開示されている。サーバーが画像を受信すると、サーバーで現像した画像であるか否かを判定し、サーバーで現像した画像でない場合には、サーバーで現像した画像で上書きする。
しかしながら、上述の特許文献1に開示された技術では、サーバーで実際に現像処理を行って見なければ、サーバーでの現像画質が撮像装置での現像画質をどの程度上回るのかがわからない。そのため、サーバーでの現像画質と撮像装置での現像画質に差異が少ない画像であっても、サーバー上で現像することになるため、支払ったサーバーの使用料に対する画質の改善効果の満足度が低い場合があった。
本発明は上述した課題に鑑みてなされたものであり、その目的は、画質の改善効果が高い画像のみをサーバー上で現像する画像として選択することができる情報処理システムを提供することである。
本発明に係わる情報処理システムは、画像を現像する第1の現像手段と、前記第1の現像手段により現像した現像画像よりも良好な現像画像が得られる第2の現像手段と、前記第1の現像手段の代わりに前記第2の現像手段を使用することにより得られる現像画像の画質の改善効果を推定する推定手段と、前記推定手段により推定された改善効果に基づく内容を通知する通知手段と、を備えることを特徴とする。
本発明によれば、画質の改善効果が高い画像のみをサーバー上で現像する画像として選択することが可能となる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1は、本発明の一実施形態に係わる情報処理システムの構成を示す図である。
図1において、デジタルカメラ102は、インターネット100およびローカルネットワーク101を介して現像サーバー103にRAW画像データを送信する。現像サーバー103は、デジタルカメラ102から受信した画像データを現像するサーバーであり、デジタルカメラ102よりも良好な現像結果(現像画像)をクライアント端末104へ提供することが可能である。
改善効果算出サーバー105は、デジタルカメラ102の現像結果と現像サーバー103の現像結果を比較して改善効果を算出するサーバーであり、現像サーバー103が受信した画像と改善効果とを関連付けてデータ収集サーバー106に蓄積する。
改善効果推定サーバー107は、現像サーバー103が現像しようとしている画像の改善効果を推定するサーバーであり、データ収集サーバー106に蓄積された情報に基づいて改善効果を推定する。たとえば、改善効果推定サーバー107はデータ収集サーバー106に蓄積された受信画像または受信画像の付帯情報(検出した被写体の種類や距離などの検出情報、ISO感度やAv値などの撮影情報、光学補正のON/OFFなどの現像情報、オンラインアルバムや印刷サービスの利用履歴情報など)を入力データとし、改善効果を教師データとして、改善効果を出力する学習済モデルを生成する。具体的には、改善効果推定サーバー107は、複数の入力データと教師データとを関連付け、SVMアルゴリズムを用いて学習することで学習済モデルを生成する。学習済みモデルは、情報処理システムを稼働する前にあらかじめ生成しておいてもよいし、システムの稼働中に所定のタイミングで生成し直してもよい。デジタルカメラ102の種類によって画像に対する改善効果が変化する場合があるため、システムの稼働中に学習済みモデルを生成し直すことでより精度の高い推定が可能となる。
図2は、図1に示す情報処理システムを構成する各装置のハードウェア構成を示す図である。
図2において、レンズユニット150は、光学系を搭載し、デジタルカメラ102のカメラ本体102aに対して交換可能に装着されるレンズユニットである。レンズ151は通常、複数枚のレンズから構成されるが、ここでは簡略化して一枚のレンズのみで示している。通信端子6はレンズユニット150がカメラ本体102aと通信を行うための通信端子であり、通信端子10はカメラ本体102aがレンズユニット150と通信を行うための通信端子である。レンズシステム制御回路4は、通信端子6,10を介してカメラ本体102aのシステム制御部50と通信し、駆動回路2を介して絞り1の制御を行い、AF駆動回路3を介してレンズ151の位置を変化させて焦点調節を行う。
AEセンサー17は、レンズユニット150を通して被写体の輝度を測光する。焦点検出部11は、システム制御部50にデフォーカス量情報を出力する。システム制御部50は、そのデフォーカス量情報に基づいてレンズユニット150を制御し、位相差AF(オートフォーカス)を行う。
クイックリターンミラー12(以下、ミラー12)は、露光、ライブビュー撮影、動画撮影の際に、システム制御部50からの指示に基づいて、不図示のアクチュエータによりアップダウンされる。ミラー12は、レンズ151から入射した光束を、ファインダー16へ導く状態と撮像部22へ導く状態とに切替えるためのミラーである。ミラー12は、通常時は、レンズ151からの光を反射してファインダー16へと導くように配置されているが、撮影が行われる場合やライブビュー表示の場合には、撮像部22へと光束を導くように上方に跳ね上がり光路中から待避する(ミラーアップ)。したがって、表示部28を用いたライブビュー撮影モードと、ファインダー16を用いた光学ファインダー撮影モードとを同時に利用することはできない。また、ミラー12は、その中央部が光の一部を透過するハーフミラーとなっており、光束の一部が焦点検出を行うための焦点検出部11に入射するように透過される。
撮影者は、ペンタプリズム14とファインダー16を介して、フォーカシングスクリーン13を観察することにより、レンズユニット150を通して得られる被写体の光学像の焦点や構図を確認することが可能となる。
シャッター20は、システム制御部50の制御により、撮像部22の露光時間を制御するフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子を有する。A/D変換器23は、撮像部22から出力されるアナログ画像信号をデジタル画像データに変換する。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24は更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行う。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介して直接メモリ32に書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器19は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器19を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器19からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号を、D/A変換器19においてアナログ信号に変換し、表示部28に逐次転送して表示することで、電子ビューファインダー機能が実現される。電子ビューファインダー機能を用いることにより、スルー画像表示(ライブビュー表示)を行うことができる。
ファインダー内液晶表示部41には、ファインダー内表示部駆動回路42を介して、現在オートフォーカスが行われている焦点検出領域を示す枠(AF枠)や、カメラの設定状態を表すアイコンなどが表示される。ファインダー外液晶表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態において後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、デジタルカメラ102全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することにより、後述する本実施形態の各処理を実現する。システムメモリ52には、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50は、メモリ32、D/A変換器19、表示部28等を制御することにより表示制御も行う。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ60、第1シャッタースイッチ62及び第2シャッタースイッチ64を有するシャッターボタン61、操作部70は、システム制御部50に各種の動作指示を入力するための操作手段である。
モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60で、これらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを、他の操作部材を用いて選択するようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ62は、デジタルカメラ102に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体180に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンを用いて直感的に各種設定を行うことができる。
操作部70は、ユーザーからの操作を受け付ける入力部としての各種操作部材である。操作部70には、シャッターボタン61、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、LVボタン76、拡大ボタン77、縮小ボタン78、再生ボタン79、ISO設定ボタン81、メニューボタン82等が含まれる。
電源制御部80は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量等の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体180を含む各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池、NiCd電池やNiMH電池やLiイオン電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体180とのインターフェースである。記録媒体180は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部54は、無線または有線ケーブルによって接続され、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。通信部54は撮像部22で撮像した画像(スルー画像を含む)や、記録媒体180に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。
姿勢検知部55は、重力方向に対するデジタルカメラ102の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、デジタルカメラ102を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別することが可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加することや、画像を回転して記録することが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサーなどを用いることができる。
一方、図2において、情報処理装置200は、現像サーバー103、クライアント端末104、改善効果算出サーバー105、データ収集サーバー106、改善効果推定サーバー107を構成するハードウェアである、なお、それぞれ単一の情報処理装置で実現してもよいし、必要に応じて複数の情報処理装置に各機能を分散して実現するようにしてもよい。複数の情報処理装置で構成される場合は、互いに通信できるようにLocal Area Network(LAN)などで接続される。
図2において、システムバス201は、情報処理装置200の各構成デバイス202~209を相互に通信できるように接続する。CPU(Central Processing Unit)202は、情報処理装置200全体を制御する制御部である。ROM(Read Only Memory)203は、変更を必要としないプログラムやパラメータを格納するメモリである。RAM(Random Access Memory)204は、外部記憶装置またはネットワーク100,101などから供給されるプログラムやデータを一時記憶するメモリである。外部記憶装置205は、情報処理装置200に固定して設置されたハードディスクやメモリカード、あるいは情報処理装置200から着脱可能な光ディスク、磁気カードや光カードやICカードなどを含む記憶装置である。
ネットワークインターフェース(NIC)206は、情報処理装置200を、ネットワーク100,101などの回線に接続するためのインターフェースである。入力部207は、利用者の操作を受け、各種データを入力するポインティングデバイスやキーボードなどの入力デバイスとのインターフェースである。表示部208は、情報処理装置200が保持するデータや供給されたデータを表示するためのディスプレイなどの表示装置とのインターフェースである。GPU209は、データをより多く並列処理することで効率的な演算を行うことができる制御部である。GPU209は、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合に用いられる。
なお、以降の処理は情報処理装置200のCPU202が外部記憶装置205またはネットワーク100,101などから供給されるプログラムを読み出して起動し、これらにしたがって各種デバイスを制御することにより実現される。
図3は、図2のハードウェア構成図で示したハードウェア資源とプログラムを利用することで実現されるソフトウェア構成を示す図である。
図3において、デジタルカメラ102のデータ送信部301は、デジタルカメラ102で撮影した画像や付帯情報を送信する。UI表示部302は、デジタルカメラ102でのユーザーインターフェースを表示する表示部であり、デジタルカメラ102で撮影した画像や付帯情報を表示する。
クライアント端末104のウェブブラウザ311は、現像サーバー103に現像を指示する。ウェブブラウザ311は、たとえば、デジタルカメラ102が送信した画像を閲覧して、現像サーバー103で現像する画像を選択し、現像する画像枚数に応じた料金を支払うことなどに用いられる。ウェブブラウザ311では、データ収集サーバー106にアクセスして外部へ公開する設定を行う操作や印刷サービスへの転送操作など、図1のシステムには記載していない外部のサービスにアクセスする操作を行うこともできる。
現像サーバー103のデータ受信部321は、デジタルカメラ102から画像や付帯情報を受信する。現像部322は、デジタルカメラ102から受信した画像を現像する。現像部322は、デジタルカメラ102での現像処理よりもノイズが少ない精細な現像結果を得ることができる現像処理部であり、デジタルカメラ102の画像を現像部322で現像し直すことにより画質が改善される。画像データ管理部323は、デジタルカメラ102から受信した画像や付帯情報および現像部322で現像した結果を管理する。データ記憶部324は、外部記憶装置205に保存されているプログラムを読み出して一時記憶したり、データ受信部321で受信した画像や付帯情報および現像部322で現像した結果を保存したりする。
データ収集サーバー106のデータ送受信部331は、画像データ管理部323が管理する受信画像や現像サーバー103の現像結果などをデータ記憶部332に記憶させる。
改善効果算出サーバー105の改善効果算出部341は、データ収集サーバー106が管理する受信画像と現像サーバー103の現像結果とから改善効果を算出して、データ収集サーバー106に保存させる。データ記憶部342は、改善効果の算出方法を保存する。改善効果は、既存技術を用いて測定したノイズ特性や鮮鋭性、色再現特性、階調再現特性などの少なくとも一つの尺度を用いて評価する。
改善効果推定サーバー107の推定部351は、画像データ管理部323が管理する受信画像を現像サーバー103で現像した際に得られる改善効果を、学習部353で学習した学習済モデルを用いて推定する。学習用データ生成部352は、データ収集サーバー106に蓄積された受信画像または受信画像の付帯情報(検出した被写体の種類や距離などの検出情報、ISO感度やAv値などの撮影情報、光学補正のON/OFFなどの現像情報、オンラインアルバムや印刷サービスの利用履歴など)を入力データとし、改善効果算出サーバー105で算出した改善効果を教師データとして、学習用データを生成する。学習部353は、学習用データ生成部352が生成した入力データと教師データとを関連付けて、SVMアルゴリズムを用いて学習することで学習済モデルを生成する。データ記憶部354は、学習用データ生成部352が生成した学習用データや学習部353が学習した学習済モデルを保存する。
本実施形態では、学習部353による処理にはCPU202に加えてGPU209を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPU202とGPU209が協働して演算を行うことで学習を行う。なお、学習部353の処理はCPU202またはGPU209のみにより行われてもよい。また、推定部351の処理も学習部353と同様にGPU209を用いて行ってもよい。
図4は、本実施形態の学習モデルを用いた入出力の構造を示す概念図であり、入力データ401は画像情報である。入力データ401には、データ収集サーバー106に蓄積された受信画像または受信画像の付帯情報(検出した被写体の種類や距離などの検出情報、ISO感度やAv値などの撮影情報、光学補正のON/OFFFなどの現像情報、オンラインアルバムや印刷サービスの利用履歴など)を用いる。出力データ402は改善効果算出サーバー105が算出する改善効果と同様であり、受信画像を現像サーバー103で現像した際に得られる改善効果の予測値(推定値)である。
図5は、図4に示した学習モデルの構造を利用した情報処理システムの動作を説明する図である。S1で示すように、デジタルカメラ102が現像サーバー103へ画像情報を送信すると、S2で示すように、現像サーバー103は受信した画像情報をデータ収集サーバー106に保存する。さらに、S3で示すように、現像サーバー103は改善効果推定サーバー107に画像情報を送信して改善効果の推定を要求する。改善効果推定サーバー107は、S4で示すように、受信した画像情報に基づいて改善効果を推定し、S5で示すように、現像サーバー103へ推定した改善効果に基づく内容を送信(通知)する。現像サーバー103は、S6で示すように、受信した改善効果に基づく内容に含まれる改善効果の推定値が所定の値を超える場合、クライアント端末104へ現像サーバー103で現像した際に得られる改善効果が高い旨を伝え、現像サーバー103の使用料に対する課金を提案する。この改善効果が高い旨をクライアント端末104へ伝える際には、改善効果の高低だけでなく具体的に改善効果の推定値そのものを伝えてもよい。
また、本実施形態の現像システムの現像サービスは、ある月に所定の枚数までであれば一定の金額で何枚でも現像できるサブスクリプションサービスとしてユーザーに提供されてもよい。この場合、現像サーバー103は、さらに、現像サーバー103の利用状況に空きがあるか否かに基づいて、ユーザーに現像サーバー103の使用料に対する課金を提案するようにしてもよい。
現像サーバー103は毎月、ユーザー毎に何枚現像したかを示す情報を保持しており、今月に現像された画像が所定の枚数に達している場合は、空きがないとして、追加で現像する場合は従量制課金を促すよう提案する。また、今月に現像された画像が所定の枚数に達していない場合は、所定の枚数まで何枚現像できるかを示し、ユーザーにサービスを満喫してもらうことを促してもよい。例えば、提案の結果、クライアント端末104にて図9(a)のようなGUIを表示する。図9(a)の画面では、所定の枚数に達するまであと21枚の画像を現像可能であることを示す。また、この提案では、ある程度以上の改善効果が見込める画像をリストアップしてクライアント端末104に提案する。これにより、すべての画像をリストアップする場合に比べて、現像サーバー103による無駄な現像処理を行う虞が低減され、より効率的な現像サーバ103の利用が可能となる。
S7で示すように、クライアント端末104から課金に対する許可が得られた場合、S8で示すように、現像サーバー103は画像を現像する。S9で示すように、現像サーバー103は現像結果をデータ収集サーバー106に保存し、S10で示すように、データ収集サーバー106は改善効果算出サーバー105へ画像情報と現像結果を送信して、改善効果の算出を要求する。S11で示すように、改善効果算出サーバー105は、受信した画像情報と現像結果とに基づいて、改善効果を算出する。S12で示すように、改善効果算出サーバー105は、改善効果の算出結果をデータ収集サーバー106に送信し、データ収集サーバー106は、受信した改善効果を保存する。
図5に示す動作を行うことにより、クライアント端末104に対する高い宣伝効果が得られる。さらに、改善効果を推定して改善効果の高いものだけを現像するよう提案する構成とした。このようにしたのは以下の理由による。すなわち、デジタルカメラ102から受信した画像をあらかじめ現像サーバー103で現像してクライアント端末104へ課金に対する許可を求めた場合、許可が得られなかった画像に対して発生した現像サーバー103の使用料が損失となる。一方、任意の画像についてクライアント端末104へ課金に対する許可を求めた場合、デジタルカメラ102の現像結果と現像サーバー103の現像結果との差が小さい画像に対する顧客満足度が低下する。そこで、現像サーバー103よりも低いコストで運用できる改善効果推定サーバー107を用いて改善効果を推定し、改善効果が高いと予測される画像についてのみ課金に対する許可を求めることで顧客満足度を向上させる。
図6は、学習フェーズにおける学習の詳細な流れを示すフローチャートであり、改善効果推定サーバー107の学習部353で実行される動作を示している。なお、学習部353は、CPU202が、外部記憶装置205から供給されるプログラムを実行することにより実現されるため、以下では、CPU202が各動作を実行するものとして説明する。
ステップS601では、CPU202は、学習フラグをOFFにリセットする。ステップS602では、CPU202は、データ収集サーバー106から図7に示したような画像情報とその画像を現像したときに得られるカメラでの現像結果からの改善効果とを取得する。図7(a)に示した画像情報は画像の付帯情報であり、ファイル名およびファイルパスを用いて画像を取得する構成としている。図7(b)は入力データである画像をヒストグラムに加工して学習する例を示している。
ステップS603では、CPU202は、推定部351に出力データとしての推定値の算出を指示する。ステップS604では、CPU202は、推定部351の出力データとデータ収集サーバー106から取得した改善効果とを比較し、その差(誤差)が所定の閾値よりも大きいか否かを判定する。
ステップS604において、CPU202は、誤差が閾値よりも大きい(S604でYes)と判断した場合には、処理をステップS605に進め、そうでない(S604でNo)と判断した場合には処理をステップS607に進める。
ステップS605において、CPU202は、データ収集サーバー106から取得した画像情報を入力データとし、データ収集サーバー106から取得した改善効果を教師データとして学習を行う。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習(ディープラーニング)も挙げられる。適宜、これらのアルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。ステップS606において、CPU202は、学習フラグをONにセットする。
ステップS607において、CPU202は、ステップS602で取得したデータが最終データであるか否かを判定する。ステップS607において、CPU202は、最終データである(S607でYes)と判定した場合には、ステップS608へ処理を進め、最終データでない(S607でNo)と判定した場合にはステップS602へ処理を戻す。
ステップS608において、CPU202は、学習フラグを判定し、学習フラグがONである(S608でYes)と判定した場合には、ステップS601へ処理を戻し、学習フラグがOFFである(S608でNo)と判定した場合には、処理を終了する。
なお、上記では、データ収集サーバー106が保持しているデータを順に取得して学習する例を示したが、取得したデータの誤差が小さくなるまでステップS604とステップS605を繰り返してもよい。
現像サーバー103の現像処理におけるノイズリダクションの効果がデジタルカメラ102よりも強い場合、ノイズ特性の改善により改善効果の数値が高くなる。ノイズの発生量はISO感度との相関が高いため、改善効果推定サーバー107が出力する改善効果の推定値はISO感度が高い画像ほど高くなる。
また、現像サーバー103の現像処理は常に最新の技術を採用するため、デジタルカメラ102の発売時期やファームウェアのバージョンが古い画像ほど改善効果の数値が高くなる。改善効果推定サーバー107が出力する改善効果の推定はデジタルカメラ102の発売時期やファームウェアのバージョンが古い画像ほど高くなる。
上記の2つの例では画像の付帯情報による推定を示したが、階調再現特性の改善効果は画像の特徴による影響が大きい。現像サーバー103の現像処理によりデジタルカメラ102の現像結果よりも広いダイナミックレンジを再現できる場合、画像の暗部および飽和部付近の画素が多いほど改善効果が高くなる。このような画像の特徴も、学習部353によって、図7(b)に示したヒストグラムのように学習済データに取り込まれ、推定部351の出力として再現される。
図8は、推定フェーズにおける推定の詳細な流れを示すフローチャートであり、改善効果推定サーバー107の推定部351で実行される動作を示している。なお、推定部351は、CPU202が、外部記憶装置205から供給されるプログラムを実行することにより実現されるため、以下では、CPU202が各動作を実行するものとして説明する。
ステップS801において、CPU202は、現像サーバー103から画像および付帯情報を取得する。ステップS802において、CPU202は、改善効果を推定し、処理を終了する。
図9は、クライアント端末104に表示するUI(User Interface)を示す図である。図9(a)は課金に対する許可を求めるUIを示し、「Yes」が選択された場合には、現像サーバー103で現像を開始する。この画面は図5のS6を受けてクライアント端末104に表示される。図9(a)の例では、改善効果の高いことが推定された画像がリストアップされて表示される。ユーザーはこれらの画像のすべてを現像するよう指示してもよいし、画像の内容をみてより性能の高い現像を必要とするものを選択して現像を指示してもよい。この場合、例えば画像を選択する指示を入力したことに応じて画像にチェックマークが重畳表示され、「選択された画像を現像しますか?」といったメッセージを表示する。そのうえで、ユーザーが「YES」を選択すれば、改善効果が高いと推定された画像のうち、ユーザーが必要とするもののみを現像サーバー103にて現像処理することができる。
図9(b)は課金に対する許可をあらかじめ設定するUIを示し、指定した改善効果が得られる場合には図9(a)を表示せずに現像サーバー103で現像を開始する。このとき、さらに、現像サーバー103の利用状況に空きがあるか否かに基づいて、現像サーバー103で現像を開始するようにしてもよい。
(その他の実施形態)
なお、上述した各処理部のうち、推定部351では、機械学習された学習済みモデルを用いて推定処理を実行したが、ルックアップテーブル(LUT)等のルールベースの処理を行ってもよい。その場合には、例えば、画像および付帯情報と改善効果との関係をあらかじめLUTとして作成する。そして、この作成したLUTをデータ記憶部354に格納しておくとよい。推定部351の処理を行う場合には、この格納されたLUTを参照して、出力データを取得することができる。つまりLUTは、上記の処理部と同等の処理をするためのプログラムとして、CPUあるいはGPUなどと協働で動作することにより、上記の処理部の処理を行う。
なお、上述した各処理部のうち、推定部351では、機械学習された学習済みモデルを用いて推定処理を実行したが、ルックアップテーブル(LUT)等のルールベースの処理を行ってもよい。その場合には、例えば、画像および付帯情報と改善効果との関係をあらかじめLUTとして作成する。そして、この作成したLUTをデータ記憶部354に格納しておくとよい。推定部351の処理を行う場合には、この格納されたLUTを参照して、出力データを取得することができる。つまりLUTは、上記の処理部と同等の処理をするためのプログラムとして、CPUあるいはGPUなどと協働で動作することにより、上記の処理部の処理を行う。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。
プロセッサーまたは回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、またはニューラルプロセッシングユニット(NPU)を含みうる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:インターネット、101:ローカルネットワーク、102:カメラ、103:現像サーバー、104:クライアント端末、105:改善効果算出サーバー、106:データ収集サーバー、107:改善効果推定サーバー
Claims (13)
- 画像を現像する第1の現像手段と、
前記第1の現像手段により現像した現像画像よりも良好な現像画像が得られる第2の現像手段と、
前記第1の現像手段の代わりに前記第2の現像手段を使用することにより得られる現像画像の画質の改善効果を推定する推定手段と、
前記推定手段により推定された改善効果に基づく内容を通知する通知手段と、
を備えることを特徴とする情報処理システム。 - 前記通知手段から前記改善効果に基づく内容の通知を受けて、ユーザーに前記第2の現像手段を使用するか否かを問い合わせる問い合わせ手段をさらに備えることを特徴とする請求項1に記載の情報処理システム。
- 前記問い合わせ手段は、前記通知手段から通知された前記改善効果に基づく内容に含まれる前記改善効果の推定値が所定の閾値を超える場合に、ユーザーに前記第2の現像手段を使用するか否かを問い合わせることを特徴とする請求項2に記載の情報処理システム。
- 前記問い合わせ手段は、さらに、前記第2の現像手段の利用状況に空きがあるか否かに基づいて、ユーザーに前記第2の現像手段を使用するか否かを問い合わせることを特徴とする請求項3に記載の情報処理システム。
- 前記問い合わせ手段は、前記通知手段から通知された前記改善効果に基づく内容に含まれる前記改善効果の推定値が、予めユーザーにより設定された値を超える場合、ユーザーに前記第2の現像手段を使用するか否かを問い合わせずに、前記第2の現像手段に現像を行う指示を出力することを特徴とする請求項2に記載の情報処理システム。
- 前記問い合わせ手段は、さらに、前記第2の現像手段の利用状況に空きがあるか否かに基づいて、前記第2の現像手段に現像を行う指示を出力することを特徴とする請求項5に記載の情報処理システム。
- 前記第1の現像手段により現像した現像画像に対する、前記第2の現像手段により現像した現像画像の画質の改善効果を算出する算出手段をさらに備えることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理システム。
- 現像されるべき画像またはその画像の付帯情報を入力とし、前記算出手段により算出された改善効果を教師データとして、前記第2の現像手段による画質の改善効果を学習する学習手段をさらに備えることを特徴とする請求項7に記載の情報処理システム。
- 前記推定手段は、前記学習手段により前記第2の現像手段による画質の改善効果を学習して生成された学習済みモデルを用いて、前記第1の現像手段の代わりに前記第2の現像手段を使用することにより得られる現像画像の画質の改善効果を推定することを特徴とする請求項8に記載の情報処理システム。
- 前記付帯情報は、検出した被写体の種類の情報、検出した被写体の距離の情報、ISO感度の情報、Av値の情報、光学補正のON/OFFの情報、オンラインアルバムの利用履歴の情報、印刷サービスの利用履歴の情報の少なくとも1つを含むことを特徴とする請求項8または9に記載の情報処理システム。
- 前記第2の現像手段による現像処理は、課金を伴う現像処理であることを特徴とする請求項1乃至10のいずれか1項に記載の情報処理システム。
- 画像を現像する第1の現像手段と、前記第1の現像手段により現像した現像画像よりも良好な現像画像が得られる第2の現像手段と、を備える情報処理システムを制御する方法であって、
前記第1の現像手段の代わりに前記第2の現像手段を使用することにより得られる現像画像の画質の改善効果を推定する推定工程と、
前記推定工程において推定された改善効果に基づく内容を通知する通知工程と、
を有することを特徴とする情報処理システムの制御方法。 - コンピュータを、請求項1乃至11のいずれか一項に記載の情報処理システムの各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038577A JP2022138605A (ja) | 2021-03-10 | 2021-03-10 | 情報処理システム及びその制御方法、プログラム |
US17/667,583 US11595533B2 (en) | 2021-03-10 | 2022-02-09 | Information processing apparatus, control method thereof, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021038577A JP2022138605A (ja) | 2021-03-10 | 2021-03-10 | 情報処理システム及びその制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022138605A true JP2022138605A (ja) | 2022-09-26 |
JP2022138605A5 JP2022138605A5 (ja) | 2024-03-07 |
Family
ID=83194165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021038577A Pending JP2022138605A (ja) | 2021-03-10 | 2021-03-10 | 情報処理システム及びその制御方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11595533B2 (ja) |
JP (1) | JP2022138605A (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4380602B2 (ja) * | 2005-07-27 | 2009-12-09 | キヤノン株式会社 | 画像形成装置およびその制御方法 |
JP2008092576A (ja) | 2007-10-01 | 2008-04-17 | Sony Corp | 画像データ処理システム、画像データ処理装置及び画像データ処理方法 |
-
2021
- 2021-03-10 JP JP2021038577A patent/JP2022138605A/ja active Pending
-
2022
- 2022-02-09 US US17/667,583 patent/US11595533B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220294914A1 (en) | 2022-09-15 |
US11595533B2 (en) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100890242B1 (ko) | 표시장치를 구비한 촬상장치 및 표시장치에 대한표시제어방법 | |
JP4288612B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2014140112A (ja) | 表示制御装置、その制御方法、およびプログラム、並びに撮像装置および記憶媒体 | |
US9819857B2 (en) | Electronic apparatus, control method for the same, and image capturing apparatus | |
US9066008B2 (en) | Display control apparatus and method for controlling the same | |
US20220232163A1 (en) | Image capturing apparatus, and control method and non-transitory computer-readable storage medium | |
US11178327B2 (en) | Electronic apparatus, control method for electronic apparatus, and non-transitory computer readable medium | |
CN106412418A (zh) | 摄像设备及其控制方法 | |
JP6792372B2 (ja) | 画像処理装置、制御方法、プログラム、及び記憶媒体 | |
JP7312012B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および記憶媒体 | |
KR101617793B1 (ko) | 이미지 전송을 위한 표시 제어 방법 및 장치 | |
US10771732B2 (en) | System, imaging apparatus, information processing apparatus, and recording medium | |
US11595533B2 (en) | Information processing apparatus, control method thereof, and storage medium | |
JP6403473B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2020136823A (ja) | 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム | |
JP7511352B2 (ja) | 情報処理システム、撮像装置及びその制御方法、プログラム | |
JP7466325B2 (ja) | 電子機器およびその制御方法、プログラム、記憶媒体 | |
JP2014138246A (ja) | 撮像装置、その制御方法、およびプログラム、並びに記憶媒体 | |
JP2018113532A (ja) | 撮像装置 | |
JP2018026608A (ja) | 撮像装置、撮像装置の制御方法及びプログラム並びに記憶媒体 | |
JP6759094B2 (ja) | 電子機器及びその制御方法 | |
JP2019016914A (ja) | 撮像装置及びその制御方法、プログラム、並びに、記憶媒体 | |
JP7370762B2 (ja) | 撮像装置およびその制御方法 | |
JP6486127B2 (ja) | 電子機器、制御方法およびプログラム | |
JP2021182706A (ja) | 画像処理装置、画像処理システム、画像処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240228 |