JP2010016826A - 画像処理オペレーションを効率的に実行するためのシステム及び方法 - Google Patents

画像処理オペレーションを効率的に実行するためのシステム及び方法 Download PDF

Info

Publication number
JP2010016826A
JP2010016826A JP2009156685A JP2009156685A JP2010016826A JP 2010016826 A JP2010016826 A JP 2010016826A JP 2009156685 A JP2009156685 A JP 2009156685A JP 2009156685 A JP2009156685 A JP 2009156685A JP 2010016826 A JP2010016826 A JP 2010016826A
Authority
JP
Japan
Prior art keywords
image
server
image processing
image data
processing operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009156685A
Other languages
English (en)
Inventor
Fredrik Carpio
カルピオ フレドリック
Nikolaos Georgis
ゲオルギス ニコラオス
Yi Zhou
ゾウ イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of JP2010016826A publication Critical patent/JP2010016826A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】画像データを処理する技術、特に、画像処理オペレーションを効率的に実行するためのシステム及び方法を提供する。
【解決手段】画像処理オペレーションを効率的に実行するためのシステム及び方法は、特定の選択された写真ターゲットに対応する関連のオフセット画像の画像シーケンスを自動的に捕捉するように構成されたカメラ装置を含む。カメラ装置は、次に、電子ネットワークを通じて捕捉された画像シーケンスを画像処理サーバに送信する。画像処理サーバは、受信した画像シーケンスに対して1つ又はそれよりも多くの処理消費型オペレーションを実行し、それによって後であらゆる適切な画像送信先に送信することができる強化画像を生成する。
【選択図】図1A

Description

本発明は、一般的に、画像データを処理する技術に関し、より具体的には、画像処理オペレーションを効率的に実行するためのシステム及び方法に関する。
画像データを処理する有効な方法を実施することは、現代の電子装置の設計者及び製造業者にとって大きな考慮事項である。しかし、電子装置で画像データを効率的に処理することは、システム設計者に対して相当な課題をもたらす場合がある。例えば、装置機能性及び性能の増大を求める要求の高まりには、システム処理機能の強化が必要であり、かつ付加的なハードウエアリソースが必要であろう。処理要件又はハードウエア要件の増加は、生産費増加及び作動的非効率性による対応する有害な経済上の影響ももたらすと考えられる。
更に、様々な高度なオペレーションを実行する装置機能の強化は、システムユーザに対して付加的な利点を提供すると考えられるが、様々な装置構成要素の制御及び管理に対する要求の増大も生じるであろう。例えば、デジタル画像データを有効に捕捉する強化された電子装置は、関わる大量かつ複雑なデジタルデータのために、有効な実施からの恩典を受けると考えられる。
システムリソースに対する要求の増大及び実質的に増加するデータのマグニチュードにより、画像データを処理する新しい技術を開発することは、関連のエレクトロニクス技術にとって懸念であることは明らかである。従って、上述の全ての理由から、処理画像データを処理する有効なシステムを開発することは、現代の電子装置の設計者、製造業者、及びユーザに対して大きな考慮材料であることに変わりはない。
本発明により、画像処理オペレーションを効率的に実行するためのシステム及び方法を開示する。一実施形態では、カメラ装置は、最初にカメラアプリケーションプログラムを起動し、強化された画像捕捉モードでカメラ機能を開始する。カメラユーザは、カメラのファインダを使用することによって選択した写真ターゲットを縁取りする。カメラユーザは、次に、カメラ外部に取り付けられた画像捕捉ボタンを作動させる。カメラは、画像捕捉ボタンの作動に応答して画像シーケンスを自動的に捕捉する。画像シーケンスは、あらゆる望ましい数の類似であるが僅かにオフセットした画像を含むことができる。カメラは、次に、電子ネットワークを通じて画像処理サーバを通じて捕捉された画像シーケンスを送信する。
画像処理サーバは、受信した画像シーケンスをローカルに記憶し、次に、対応する強化画像を生成するために、受信した画像シーケンスに適切な画像処理オペレーションを有利に実行する。例えば、ある一定の実施形態では、画像処理オペレーションは、画像処理サーバからの相当量の処理リソースを必要とする超解像度処理手順を含むことができる。画像処理サーバは、次に、あらゆる適切な画像送信先に強化画像を送ることができる。例えば、画像処理サーバは、強化画像をカメラ装置に送り返すことができ、又は代替的に、電子ネットワーク内のリモートコンピュータ送信先に強化画像を送ることができる。
カメラ装置により捕捉された画像データは、相当量の処理リソースを消費する画像処理を必要とする場合がある。本発明によれば、様々なリソース消費型処理オペレーションをローカルに実行する代わりに、カメラ装置は、捕捉した画像データを有意な量の処理及びメモリリソースを有するように構成された画像処理サーバに供給する。画像処理サーバは、従って、カメラ装置に代わって画像処理機能を実行することができる。従って、カメラ装置をより経済的に実施することができ、かつ上述の画像処理機能以外の重要なタスクを実行することもできる。従って、本発明は、画像処理オペレーションを効率的に実行するための改良型システム及び方法に提供する。
本発明による画像処理システムの一実施形態のブロック図である。 本発明による図1Aのカメラの一実施形態のブロック図である。 本発明による図1Bの捕捉サブシステムの一実施形態のブロック図である。 本発明による図1Bの制御モジュールの一実施形態のブロック図である。 本発明による図3のメモリの一実施形態のブロック図である。 本発明の一実施形態による画像処理手順を示す図である。 本発明の一実施形態による画像処理手順を示す図である。 本発明の一実施形態による画像シーケンスを示す図である。 本発明の一実施形態による図1Aのサーバのブロック図である。 本発明の一実施形態による図7のサーバメモリの図である。 本発明の一実施形態による画像シーケンスを捕捉する方法段階の流れ図である。 本発明の一実施形態による画像シーケンスを捕捉する方法段階の流れ図である。 本発明の一実施形態による画像処理手順を効率的に実行する方法段階の流れ図である。
本発明は、画像データ処理技術の改良に関する。以下の説明は、当業者が本発明を製作及び使用することを可能にするために示すものであり、特許出願及びその要件という関連において提供するものである。開示する実施形態に対する様々な修正は、当業者には容易に明らかであると思われるので、本明細書での一般的な原理は、他の実施形態にも適用することができる。従って、本発明は、図示の実施形態に限定されることを意図したものではなく、本明細書で説明する原則及び特徴と合致する最も広い範囲を与えられるものとする。
本発明は、画像処理オペレーションを効率的に実行するためのシステム及び方法を含み、かつ特定の選択した写真ターゲットに対応する関連のオフセット画像の画像シーケンスを自動的に捕捉するように構成されたカメラ装置を含む。カメラ装置は、次に、電子ネットワーク上で画像処理サーバに捕捉された画像シーケンスを送信する。画像処理サーバは、受信した画像シーケンスに1つ又はそれよりも多くの処理消費型オペレーションを実行することによって、あらゆる適切な画像送信先にその後送信することができる強化画像を生成する。
図1をここで参照すると、本発明の一実施形態による画像処理システム100のブロック図が示されている。図1A実施形態では、画像処理システム100は、カメラ110、サーバ122、及びネットワーク124を含むことができるが、これに限定されるものではない。
代替的な実施形態では、画像処理システム100は、図1A実施形態に関連して説明する構成要素及び構成のある一定のものに加えて又はその代わりの構成要素及び構成を利用することによって実施することができる。例えば、例示を目的として、単一のカメラ110及びサーバ122を図1Aに示している。しかし、実際には、開示する本発明の原理は、あらゆる数の異なるカメラやサーバにより直ちに実施することができる。
図1A実施形態では、カメラ110は、画像データを捕捉するあらゆる有効な方法で実施することができる。代替的な実施形態では、カメラ110は、あらゆる他の形式の適切な電子装置として実施することができる。例えば、ある一定の実施形態では、カメラ110は、代替的に、携帯電話、デジタルスチルカメラ、ビデオビデオカメラ、パーソナルコンピュータ、個人用携帯情報端末(PDA)、スキャナ、又はあらゆる形式の固定式又は携帯用家電装置として実施することができる。
ある一定の実施形態では、カメラ110により捕捉される画像データには、相当量の処理リソースを消費する画像処理が必要である場合がある。本発明によれば、様々なリソース消費型処理オペレーションをローカルに実行する代わりに、カメラ110は、ネットワーク124を通じて捕捉された画像データをサーバ122に供給することができる。ある一定の実施形態では、サーバ122は、有意な量の処理及びメモリリソースを含むように構成することができる。サーバ122は、従って、カメラ110に代わって、受信した画像データに対して様々な画像処理機能を実行することができる。
カメラ110は、従って、より経済的に実施することができ、かつ上述の画像処理機能以外の重要なタスクを実行することもできる。図1A実施形態では、ネットワーク124は、「インターネット」を含むがこれに限定されず、あらゆる望ましい形式の有線又は無線電子ネットワークを含むように実施することができる。サーバ122があらゆる所要の画像処理を完了した後、画像データは、カメラ110又はネットワーク124の別のコンピュータエンティティを含むがこれらに限定されない指定されたデータ送信先に供給することができる。図1Aの画像処理システム100の実施及び利用に関する更なる詳細に関して、図2〜図10を参照して以下で説明する。
図1Bをここで参照すると、本発明による図1Aのカメラ110の一実施形態のブロック図が示されている。図1Bの実施形態では、カメラ110は、捕捉サブシステム114、システムバス116、及び制御モジュール118を含むことができるが、これに限定されるものではない。図1Bの実施形態では、捕捉サブシステム114は、写真ターゲット112に光学的に結合することができ、かつモジュール118を制御するようにシステムバス116を通じて電気的に接続することができる。
代替的な実施形態では、カメラ装置110は、図1Bの実施形態に関連して説明する構成要素のある一定のものに加えて又はその代わりに、他の構成要素を含むことができる。更に、ある一定の実施形態では、本発明は、代替的に、図1Bのカメラ装置110以外のあらゆる適切な形式の電子装置内で具現化することができる。例えば、カメラ装置110は、代替的に、撮像装置、携帯電話、スキャナ、ビデオカメラ、コンピュータ装置、又は家電装置として実施することができる。
図1Bの実施形態では、システムユーザが、ターゲット112上に捕捉サブシステム114の焦点を合わせ、ターゲット112に対応する画像データを捕捉するようにカメラ110に要求した状態で、次に、制御モジュール118は、ターゲット112を表する画像データを捕捉するように捕捉サブシステム114にシステムバス116を通じて指示することができる。捕捉した画像データは、次に、モジュール118を制御するために、システムバス116で転送することができ、制御モジュール18は、これに応答して画像データで様々な処理及び機能を実行することができる。システムバス116は、捕捉サブシステム114と制御モジュール118の間で双方向に様々なステータス及び制御信号を渡すことができる。
図2をここで参照すると、本発明による図1B捕捉サブシステム114の一実施形態のためのブロック図が示されている。図2の実施形態では、捕獲サブシステム114は、シャッター218、レンズユニット220、画像センサ224、赤緑青(R/G/B)増幅器228、アナログ−デジタル(A/D)変換器230、及びインタフェース232を含むが、これらに限定されるものではない。代替的な実施形態では、捕捉サブシステム114は、図2実施形態に関連して説明するある一定の構成要素に加えて又はその代わりに、他の構成要素を容易に含むことができる。
図2の実施形態では、捕獲サブシステム114は、光路236に沿って画像センサ224に衝突する反射光を通じてターゲット112に対応する画像データを捕捉する。電荷結合素子(CCD)を含むことができる画像センサ224は、これに応答してターゲット112を表す1組の画像データを生成することができる。画像データは、次に、赤緑及び青色増幅器228、A/D変換器230、及びインタフェース232を経路指定することができる。インタフェース232から、画像データは、適切な処理及び記憶のためのモジュール118にシステムバス116で渡される。
図3をここで参照すると、本発明による図1Bの制御モジュール118の一実施形態のブロック図が示されている。図3の実施形態では、制御モジュール118は、ファインダ308、中央演算装置344、メモリ346、及び1つ又はそれよりも多くの入出力インタフェース(I/O)348を含むがこれらに限定されるものではない。ファインダ308、CPU344、メモリ346、及びI/O348の各々は、捕捉サブシステム114とも通信する共通システムバス116に結合され、かつ捕捉サブシステム114とも通信する共通システムバス116を通じて通信する。代替的な実施形態では、制御モジュール118は、図3実施形態に関連して説明する構成要素のある一定のものに加えて又はその代わりに、他の構成要素を含むことができる。
図3の実施形態では、CPU344は、あらゆる適切なマイクロプロセッサ装置を含むように実施することができる。代替的に、CPU344は、あらゆる他の適切な技術を用いて実施することができる。例えば、CPU344は、ある一定の特定用途向け集積回路(ASIC)又は他の適切な電子装置を含むように実施することができる。メモリ346は、読取専用メモリ、ランダムアクセスメモリ及びフロッピー(登録商標)ディスク装置、ハードディスク装置又はフラッシュメモリのような不揮発性メモリを含むがこれらに限定されない1つ又はそれよりも多くの適切な記憶装置として実施することができる。I/O348は、カメラ装置110とシステムユーザ又は別の電子装置を含むあらゆる外部エンティティとの間の双方向通信を容易にするために、1つ又はそれよりも多くの有効インタフェースをもたらすことができる。I/O348は、あらゆる適切な入力及び/又は出力装置を使用して実施することができる。例えば、I/O348は、無線又は有線技術を利用することによって図1Aのサーバ122と通信するあらゆる有効手段を含むことができる。制御モジュール118のオペレーション及び実施を図4に関連して更に以下で説明する。
図4をここで参照すると、本発明による図3メモリ346の一実施形態のためのブロック図が示されている。図4実施形態では、メモリ346は、カメラアプリケーション412、オペレーティングシステム414、通信マネージャ416、構成パラメータ420、画像データ424、及び寄せ集め情報を含むことができるが、これに限定されるものではない。代替的な実施形態では、メモリ346は、図4実施形態に関連して説明する構成要素に加えて又はその代わりに、様々な他の構成要素を容易に含むことができる。
図4実施形態では、カメラアプリケーション412は、カメラ装置110に対して様々な機能及びオペレーションを実行するようにCPU344(図3)により実行されるプログラム命令を含むことができる。カメラアプリケーション412の特定の本質及び機能性は、対応するカメラ装置110の形式及び特定の使用のような要素によって変わる。図4実施形態では、オペレーティングシステム414は、好ましくは、カメラ装置110の低レベルの機能性を制御及び調整する。
図4実施形態では、カメラ110は、あらゆる外部エンティティとの双方向通信を実行するために通信マネージャ416を利用することができる。構成パラメータ420は、カメラ110に対してあらゆる望ましい機能又は作動特性を指定するようにシステムユーザにより選択的にプログラムすることができる。画像データ424は、あらゆる適切な形式の情報を含むことができる。例えば、画像データ424は、生の捕捉画像データ、1つ又はそれよりも多くの画像シーケンス、及び処理済み画像データを含むことができる。図4実施形態では、寄せ集め情報428は、カメラ110のためのあらゆる付加的な形式の情報、データ、又はソフトウエア命令を含むことができる。利用カメラ110に関して図9に関連して更に以下で説明する。
図5A及び図5Bをここで参照すると、本発明の一実施形態による画像処理手順を示す図が示されている。図5図は、例示を目的として示されており、代替的な実施形態では、画像処理手順は、図5の例で示す機能及び技術のある一定のものに加えて又はその代わりの機能及び技術を含むことができる。
図5A図において、カメラ110により捕捉された画像シーケンスからの2つの画像(522及び524)が示されている。簡潔さを期すために、各画像522及び524は、各々が四角形として表されている9ピクセル(水平ピクセル3つ及び垂直ピクセル3つ)のみで示されている。しかし、あらゆる望ましい数のピクセルを利用することができる。たとえカメラ110が所定のターゲットを狙うことができるとしても、カメラユーザによる僅かな動きのために、画像522及び524は、互いに対して典型的には若干オフセットされる。
図5Bの図は、図1Aに関連して上述したように、画像522及び524がカメラ110からサーバ122へ転送される時に実行される画像処理手順を示すものである。ある一定の実施形態では、画像処理手順は、元のオフセット画像522及び524の画像シーケンスから強化画像を作成する超解像度手順を含むことができるが、これに限定されるものではない。
図5Bに示すように、画像522及び524が若干オフセットされることに起因して(ほぼ1/2ピクセル分水平及垂直の両方に)、サーバ122の画像処理プロセッサは、強化画像をポピュレートするサブピクセルを作成するために付加的な画像細部を取得することができる。図5Bの例においては、画像522及び524の各々の元のピクセルついて4つのサブピクセルがある。上述の画像処理手順では、従って、実質的に数が増えたピクセル及び改良された解像度特性で強化画像を作成することができる。
図6をここで参照すると、本発明の一実施形態による画像シーケンス614を示す図が示されている。代替的な実施形態では、本発明は、画像シーケンスを様々な他の構成及び構成要素と共に利用して画像処理手順を実施することができる。
図6の例においては、カメラ110(図1)は、図5に関連して上述したように、画像シーケンス614を捕捉して画像処理手順を実行するサーバ122(図1)に転送することができる。図6の実施形態では、画像シーケンス614は、あらゆる適切な形式の情報を含むヘッダ618を含む。例えば、ヘッダ618は、画像シーケンス614が始まった場所を表示する画像シーケンスソース識別子を含むことができる。ヘッダ618は、サーバ122が画像シーケンス614から作り出された強化画像を送るべきである場所を表示する強化画像送信先識別子を含むことができる。画像シーケンスの捕捉及び利用を図9〜図10に関連して更に以下で説明する。
図7の実施形態では、サーバ122は、サーバ中央演算処理装置(サーバCPU)712、サーバディスプレイ716、サーバメモリ720、及び1つ又はそれよりも多くのサーバ入出力インタフェース(サーバI/Oインタフェース)724を含むが、これらに限定されるものではない。サーバ122の上述の構成要素は、サーババス728に結合してサーババス728を通じて通信することができる。代替的な実施形態では、サーバ122は、代替的に、図7実施形態に関連して説明する構成要素及び構成のある一定のものに加えて又はその代わりの構成要素及び構成を用いて実施することができる。
図7の実施形態では、サーバCPU712は、好ましくは、ソフトウエア命令を実行することによってサーバ118のオペレーションを制御及び管理するあらゆる適切な互換マイクロプロセッサ装置を含むように実施することができる。図7のサーバディスプレイ716は、サーバユーザに様々な情報を表示するための適切なスクリーンを有するブラウン管モニタ又は液晶ディスプレイを含むあらゆる有効な形式のディスプレイ技術を含むことができる。図7の実施形態では、サーバメモリ720は、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、及びフロッピー(登録商標)ディスク、メモリスティック、コンパクトディスク又はハードディスクなどの様々な不揮発性メモリを含むがこれらに限定されない望ましい記憶装置のあらゆる組合せを含むように実施することができる。サーバメモリ720の内容及び機能性に関して、図8に関連して更に以下で説明する。
図7の実施形態では、サーバI/Oインタフェース724は、サーバ122によりあらゆる必要とされる形式の情報を受信及び/又送信する1つ又はそれよりも多くの入力及び/又は出力インタフェースを含むことができる。サーバI/Oインタフェース724は、サーバユーザがネットワーク124と通信することを可能にする1つ又はそれよりも多くの手段を含むことができる。サーバ122の実施及び利用に関して、図10に関連して更に以下で説明する。
図8をここで参照すると、本発明による図7サーバメモリ720の一実施形態のブロック図が示されている。図8の実施形態では、サーバメモリ720は、サーバアプリケーション812、通信マネージャ816、画像データ820、画像処理プロセッサ824、及び寄せ集め情報828を含むことができるが、これらに限定されるものではない。代替的な実施形態では、サーバメモリ720は、図8実施形態に関連して説明する構成要素及び機能性のある一定のものに加えて又はその代わりに、様々な他の構成要素及び機能性を含むことができる。
図8の実施形態では、サーバアプリケーション812は、好ましくは、サーバ122に対する様々な機能及びオペレーションを実行するようにサーバCPU712(図7)により実行されるプログラム命令を含むことができる。サーバアプリケーション812の特定の本質及び機能性は、一般的に、対応するサーバ122の特定の型式及び特定の機能性のような要素によって異なる。図8の実施形態では、サーバ122は、通信マネージャ816を利用してあらゆる外部エンティティと双方向通信を実行することができる。画像データ820は、あらゆる適切な形式の情報を含むことができる。例えば、画像データ820は、生の捕捉された画像データ、1つ又はそれよりも多くの画像シーケンス、及び処理済み/強化された画像データを含むことができる。
サーバ122は、画像処理プロセッサ824を利用してカメラ110から受信した画像データにあらゆる適切な形式の画像処理手順を実行することができる(図1)。例えば、画像処理プロセッサ824は、図5に関連して上述したように超解像度処理手順を実行することができる。更に、画像処理プロセッサ824は、ホワイトバランス、赤目補正、画像平滑化、及び画像フォーマット変換を含むがこれらに限定されないあらゆる他の画像処理機能を実行することができる。図8の実施形態では、寄せ集め情報828は、サーバ122によって使用されるあらゆる付加的な形式の情報、データ、又はソフトウエア命令を含むことができる。サーバ122のオペレーション及び実施に関する更なる詳細に関して、図10に関連して更に以下で説明する。
図9A〜図9Bをここで参照すると、本発明の一実施形態による画像シーケンス614を捕捉する方法段階の流れ図が示されている。図9の実施形態は、例示を目的として示されており、代替的な実施形態では、本発明は、図9実施形態に関連して説明するものよりも様々な他の段階及びシーケンスを容易に利用することができる。
図9Aの段階918で、カメラ110は、最初にカメラアプリケーションプログラムを起動して通常のカメラ機能を開始する。段階922で、カメラ110は、強化画像モードが現在作動されているかを判断する。強化画像モードが作動されている場合、段階926で、カメラユーザは、カメラ110のファインダを使用することによって、選択した写真ターゲットを縁取りすることができる。段階930で、カメラユーザは、次に、カメラ110の外側に取り付けられた画像捕捉ボタンを作動させる。図9A処理は、次に、接続文字「A」を通じて図9Bの段階934へ進む。
段階934で、カメラ110は、上述の段階930の画像捕捉ボタンの一度の作動に応答して、画像シーケンス614を自動的に捕捉する。画像シーケンス614は、類似であるが若干オフセットされているあらゆる望ましい数の画像を含むことができる。例えば、ある一定の実施形態では、画像シーケンス614は、3つ又はそれよりも多くの画像を含む。段階938で、カメラ110は、捕捉された画像シーケンス614上で画像処理手順を実行するために画像処理サーバ122が現在利用可能か否かを判断する。
サーバ122にアクセスするための利用可能度の基準は、十分なネットワーク帯域幅、適切なサーバ容量、及び有効な処理サービス加入を有するカメラユーザを含むことができるが、これらに限定されない。サーバ122が、画像シーケンス614上で画像処理を実行するために現在利用可能である場合、段階946で、カメラ110は、捕捉された画像シーケンス614をサーバ122に送信する。図9B処理は、次に、段階926に戻って、サーバ122に付加的な画像シーケンスを送信することができる。
図10をここで参照すると、本発明の第2の実施形態による画像処理手順を効率的に実行する方法段階の流れ図が示されている。図10実施形態は、例示を目的として示されており、代替的な実施形態では、本発明は、図10実施形態に関連して説明するものよりも様々な他の段階及びシーケンスを容易に利用することができる。
図10の実施形態では、段階1014で、画像処理サーバ122は、最初に電子ネットワーク124を通じてカメラ110から画像シーケンス614を受信する。段階1018で、サーバ122は、受信した画像シーケンス614をローカルに記憶する。次に、段階1022で、サーバ122は、受信した画像シーケンス614に適切な画像処理オペレーションを有利に実行し、対応する強化画像を生成する。段階1026で、サーバ122は、あらゆる有効な技術を利用することによって、強化画像の適切な送信先を判断する。
例えば、強化画像の送信先は、プログラマブルユーザプリファレンスで先に指定しておくことができ、又はサーバ122は、受信画像シーケンス614のヘッダ618を分析して、対応する強化画像の適切な送信先を判断することができる。図10の実施形態では、サーバ122は、段階1030で強化画像をカメラ110に送り返すことができ、又は段階1034で示すように、電子ネットワーク124内のリモートコンピュータ送信先に強化画像を送ることができる。代替的な実施形態では、サーバ124は、あらゆる指定された送信先に強化画像を送ることができる。図10処理は、次に、段階1014に戻って、同様の方法で付加的な強化画像を作成することができる。本発明は、従って、画像処理オペレーションを効率的に実行するための改良型システム及び方法を提供する。
ある一定の実施形態を参照して本発明を以上のように説明した。他の実施形態も、この開示に照らして当業者には明らかであろう。例えば、本発明は、先の実施形態で説明したもの以外の構成及び技術を使用して容易に実施することができる。更に、本発明は、上述したもの以外のシステムと共に有効に使用することができる。従って、説明した実施形態に対する上記及び他の変形は、特許請求の範囲だけによって限定される本発明によって包含されることが意図されている。
100 画像処理システム
110 カメラ
122 サーバ
124 ネットワーク

Claims (20)

  1. 画像処理手順を実行するためのシステムであって、
    写真ターゲットに対応する画像データを捕捉するように構成された撮像装置と、
    前記撮像装置から前記画像データを受信し、該画像データに画像処理オペレーションを実行して強化画像を生成するサーバと、
    を含むことを特徴とするシステム。
  2. 前記撮像装置は、代替的に、スチールカメラ、ビデオカメラ、又は携帯電話として実施されることを特徴とする請求項1に記載のシステム。
  3. 前記画像処理オペレーションは、前記強化画像を作成する超解像度処理を含むことを特徴とする請求項1に記載のシステム。
  4. 前記画像データは、複数の画像の画像シーケンスを含むことを特徴とする請求項1に記載のシステム。
  5. 前記複数の画像の各々は、該複数の画像の他のものに対してオフセットされることを特徴とする請求項4に記載のシステム。
  6. 前記画像シーケンスは、前記撮像装置の画像捕捉ボタンの一度の作動に応答して自動的に捕捉されることを特徴とする請求項4に記載のシステム。
  7. 前記画像シーケンスは、該画像シーケンスに対する送信元装置及び前記強化画像に対する送信先装置を指定するヘッダを含むことを特徴とする請求項4に記載のシステム。
  8. 前記撮像装置は、無線技術を用いて前記画像データを前記サーバへ転送することを特徴とする請求項1に記載のシステム。
  9. 前記撮像装置は、電子ネットワークを通じて前記画像データを前記サーバへ転送することを特徴とする請求項1に記載のシステム。
  10. 前記電子ネットワークは、「インターネット」ネットワークを含むことを特徴とする請求項9に記載のシステム。
  11. 前記サーバは、前記画像処理オペレーションを実行した後に前記強化画像を前記撮像装置に送信して戻すことを特徴とする請求項1に記載のシステム。
  12. 前記サーバは、前記画像処理オペレーションを実行した後に前記強化画像を遠隔ネットワーク装置に送信することを特徴とする請求項1に記載のシステム。
  13. 前記サーバは、プレミアムサービス加入に従って前記画像処理オペレーションを実行することを特徴とする請求項1に記載のシステム。
  14. 前記撮像装置は、前記サーバが前記画像処理オペレーションを実行するのに現在利用可能であると判断した後に前記画像データを該サーバへ転送することを特徴とする請求項1に記載のシステム。
  15. 前記画像処理オペレーションは、前記画像データに対するホワイトバランス処理オペレーション及び赤目処理オペレーションを含むことを特徴とする請求項1に記載のシステム。
  16. 前記画像処理オペレーションは、前記画像データに対する平滑化オペレーション及びフォーマット変換オペレーションを含むことを特徴とする請求項1に記載のシステム。
  17. 前記画像処理オペレーションは、装置帯域幅消費及び装置メモリ要件に関してリソース消費型手順であることを特徴とする請求項1に記載のシステム。
  18. 前記サーバは、前記撮像装置に代わって前記画像処理オペレーションを実行することを特徴とする請求項17に記載のシステム。
  19. 前記撮像装置は、前記サーバが前記画像処理オペレーションを実行するので他の処理タスクを実行することができることを特徴とする請求項18に記載のシステム。
  20. 画像処理手順を実行する方法であって、
    撮像装置を利用することによって写真ターゲットに対応する画像データを捕捉する段階と、
    前記撮像装置からサーバに前記画像データを送信する段階と、
    前記画像データに画像処理オペレーションを実行して強化画像を生成するために前記サーバを利用する段階と、
    を含むことを特徴とする方法。
JP2009156685A 2008-07-01 2009-07-01 画像処理オペレーションを効率的に実行するためのシステム及び方法 Pending JP2010016826A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/217,021 US8624989B2 (en) 2008-07-01 2008-07-01 System and method for remotely performing image processing operations with a network server device

Publications (1)

Publication Number Publication Date
JP2010016826A true JP2010016826A (ja) 2010-01-21

Family

ID=41075537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009156685A Pending JP2010016826A (ja) 2008-07-01 2009-07-01 画像処理オペレーションを効率的に実行するためのシステム及び方法

Country Status (5)

Country Link
US (2) US8624989B2 (ja)
EP (1) EP2141654A1 (ja)
JP (1) JP2010016826A (ja)
CN (1) CN101621603A (ja)
TW (1) TW201007491A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176568A (ja) * 2010-02-24 2011-09-08 Canon Inc 画像形成装置、情報処理装置、印刷システム、画像形成方法、及び画像形成プログラム、並びに記録媒体
US10593575B2 (en) 2013-04-29 2020-03-17 GlobalFoundries, Inc. System and method for monitoring wafer handling and a wafer handling machine

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9223890B2 (en) 2011-03-15 2015-12-29 Hewlett-Packard Development Company, L.P. System and method of processing content using a uniform resource identifier
US9092167B2 (en) 2011-04-04 2015-07-28 Hewlett-Packard Development Company, L.P. Systems and methods for managing a print job
US9043766B2 (en) * 2011-12-16 2015-05-26 Facebook, Inc. Language translation using preprocessor macros
US9380263B2 (en) * 2014-01-03 2016-06-28 Aquifi, Inc. Systems and methods for real-time view-synthesis in a multi-camera setup
KR102228457B1 (ko) 2014-01-09 2021-03-16 삼성전자주식회사 단말과 서버간의 정보 동기화 방법 및 시스템
EP3195594B1 (en) * 2014-09-17 2019-08-14 SZ DJI Technology Co., Ltd. Automatic white balancing system and method
CN111010509B (zh) * 2019-12-05 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、终端、图像处理***和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094580A (ja) * 2003-09-19 2005-04-07 Fuji Photo Film Co Ltd カメラ付き携帯端末器
JP2006333477A (ja) * 2005-05-25 2006-12-07 Avago Technologies General Ip (Singapore) Private Ltd 統合画像補正データを使用して画像を処理するシステム及び方法
JP2008033914A (ja) * 2006-06-28 2008-02-14 Matsushita Electric Ind Co Ltd 画像読出し方法および画像拡大方法
JP2008067316A (ja) * 2006-09-11 2008-03-21 Olympus Corp 画像配信システム、サーバ及びクライアント端末

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135594A (ja) * 1993-11-11 1995-05-23 Canon Inc 撮像制御装置
JP3791635B2 (ja) 1996-10-22 2006-06-28 富士写真フイルム株式会社 画像再生方法、画像再生装置、画像処理方法および画像処理装置
US6628899B1 (en) * 1999-10-08 2003-09-30 Fuji Photo Film Co., Ltd. Image photographing system, image processing system, and image providing system connecting them, as well as photographing camera, image editing apparatus, image order sheet for each object and method of ordering images for each object
JP2004501522A (ja) 1999-12-17 2004-01-15 クゥアルコム・インコーポレイテッド 画像操作のための方法と装置
JP2001238199A (ja) * 2000-02-25 2001-08-31 Asahi Optical Co Ltd インターネットカメラシステム
US7158172B2 (en) * 2000-06-20 2007-01-02 Fuji Photo Film Co., Ltd. Digital camera with an automatic image transmission function
US20020102966A1 (en) 2000-11-06 2002-08-01 Lev Tsvi H. Object identification method for portable devices
US20040117427A1 (en) * 2001-03-16 2004-06-17 Anystream, Inc. System and method for distributing streaming media
US6977743B2 (en) * 2001-04-24 2005-12-20 Hewlett-Packard Development Company, L.P. Device-initiated image processing transaction system and method
US6937135B2 (en) 2001-05-30 2005-08-30 Hewlett-Packard Development Company, L.P. Face and environment sensing watch
WO2003001435A1 (en) 2001-06-22 2003-01-03 Emblaze Systems, Ltd Image based object identification
JP3695369B2 (ja) * 2001-08-07 2005-09-14 ソニー株式会社 情報配信システム及び情報配信方法、情報供給装置及び情報供給方法
US7123780B2 (en) 2001-12-11 2006-10-17 Sony Corporation Resolution enhancement for images stored in a database
US20030137585A1 (en) * 2001-12-12 2003-07-24 James Mahon Machine vision system
JP2004206688A (ja) * 2002-12-12 2004-07-22 Fuji Photo Film Co Ltd 顔認識方法、顔切出方法、および撮像装置
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
US7227984B2 (en) * 2003-03-03 2007-06-05 Kla-Tencor Technologies Corporation Method and apparatus for identifying defects in a substrate surface by using dithering to reconstruct under-sampled images
US7218796B2 (en) 2003-04-30 2007-05-15 Microsoft Corporation Patch-based video super-resolution
JP2005026869A (ja) * 2003-06-30 2005-01-27 Toshiba Corp 撮像装置及び撮像装置における情報処理方法
US7461331B2 (en) 2004-12-21 2008-12-02 Fotomedia Technologies, Llc Automated construction of print order for images capture during a session
US8902320B2 (en) * 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
JP4809057B2 (ja) * 2005-12-28 2011-11-02 富士通株式会社 画像処理システム、画像処理方法、画像処理プログラム、画像処理装置及び通信端末装置
US8040399B2 (en) * 2008-04-24 2011-10-18 Sony Corporation System and method for effectively optimizing zoom settings in a digital camera
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005094580A (ja) * 2003-09-19 2005-04-07 Fuji Photo Film Co Ltd カメラ付き携帯端末器
JP2006333477A (ja) * 2005-05-25 2006-12-07 Avago Technologies General Ip (Singapore) Private Ltd 統合画像補正データを使用して画像を処理するシステム及び方法
JP2008033914A (ja) * 2006-06-28 2008-02-14 Matsushita Electric Ind Co Ltd 画像読出し方法および画像拡大方法
JP2008067316A (ja) * 2006-09-11 2008-03-21 Olympus Corp 画像配信システム、サーバ及びクライアント端末

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176568A (ja) * 2010-02-24 2011-09-08 Canon Inc 画像形成装置、情報処理装置、印刷システム、画像形成方法、及び画像形成プログラム、並びに記録媒体
US10593575B2 (en) 2013-04-29 2020-03-17 GlobalFoundries, Inc. System and method for monitoring wafer handling and a wafer handling machine

Also Published As

Publication number Publication date
US8624989B2 (en) 2014-01-07
US20140092263A1 (en) 2014-04-03
US20100002102A1 (en) 2010-01-07
EP2141654A1 (en) 2010-01-06
TW201007491A (en) 2010-02-16
CN101621603A (zh) 2010-01-06

Similar Documents

Publication Publication Date Title
WO2021073331A1 (zh) 基于终端设备的变焦虚化图像获取方法和装置
JP2010016826A (ja) 画像処理オペレーションを効率的に実行するためのシステム及び方法
US7373017B2 (en) System and method for capturing adjacent images by utilizing a panorama mode
US7197192B2 (en) System and method for capturing adjacent images by utilizing a panorama mode
WO2020057199A1 (zh) 成像方法、装置和电子设备
US20150350504A1 (en) RAW Camera Peripheral for Handheld Mobile Unit
JP5928455B2 (ja) ディジタル画像共有化向けディジタルカメラ
JP7197981B2 (ja) カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム
US9049372B2 (en) Electronic camera, computer readable medium recording imaging control program thereon and imaging control method
JP2007266781A (ja) 撮影システム
JP2011055170A (ja) 情報処理装置及びその制御方法
US20140313366A1 (en) Method of processing image and electronic device and system supporting the same
WO2014101722A1 (zh) 一种摄像装置和摄像方法
CN103873762A (zh) 拍摄装置及其控制方法
CN113014804A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN111314606B (zh) 拍照方法、装置、电子设备及存储介质
US20150189151A1 (en) Information processing apparatus, imaging apparatus, information processing method, information processing program, and imaging system
US10084956B2 (en) Imaging apparatus, and imaging system
US20100033582A1 (en) Method and apparatus for controlling thumbnail display and digital photographing apparatus
US10567634B2 (en) Image capturing apparatus, communication apparatus, and control methods thereof
JP4499908B2 (ja) 電子カメラシステム、電子カメラ、サーバコンピュータおよび撮影条件修正方法
CN111371998B (zh) 相机启动控制方法及相关装置
JP4499275B2 (ja) 電子カメラシステムおよび電子カメラ
CN113037996A (zh) 图像处理方法、装置和电子设备
US8531553B2 (en) Digital photographing apparatus, method of controlling the same and computer readable medium having recorded thereon program for executing the method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130401

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130628

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130801

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130806

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130830

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140924

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140929

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20141023

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20141028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150330