JP5170226B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP5170226B2 JP5170226B2 JP2010275674A JP2010275674A JP5170226B2 JP 5170226 B2 JP5170226 B2 JP 5170226B2 JP 2010275674 A JP2010275674 A JP 2010275674A JP 2010275674 A JP2010275674 A JP 2010275674A JP 5170226 B2 JP5170226 B2 JP 5170226B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- processing
- displayed
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
前景物体を含む処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域とを検出する検出手段と、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第1の分類色で表示させ、前記背景領域を、前記第1の分類色とは異なる第2の分類色で表示させる制御を実行する表示制御手段と、
前記第1の分類色及び前記第2の分類色の予め設定された複数の組み合わせのうち、ユーザからの指示に従って1つの組み合わせを選択して、前記表示制御手段に表示させる前記第1の分類色及び前記第2の分類色を変更する変更手段と、
を備える画像処理装置を提供する。
クライアント機器11−1乃至11−N及びサーバ12の各々は、インターネット等の所定のネットワーク21を介して相互に接続されている。
なお、以下、クライアント機器11−1乃至11−Nの個々を区別する必要が無い場合、これらをまとめて、「クライアント機器11」と呼ぶ。
このような切抜処理により原画像から切り出された前景は、原画像とは別の新たな背景と合成され、その結果得られる合成画像が紙媒体等に印刷されてユーザに提供される。
RAM33にはまた、CPU31が各種の処理を実行する上において必要なデータ等も適宜記憶される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換(撮像)して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を施す。各種信号処理によって、デジタル信号が生成され、撮像部36の出力信号として出力される。
なお、以下、撮像部36の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部36からは撮像画像のデータが出力されて、CPU31等に適宜供給される。
表示部38は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部39は、ハードディスク等で構成され、撮像部36から出力された撮像画像のデータ等、画像処理の対象となる画像のデータを一時記憶する。また、記憶部39は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部40は、ネットワーク21を介してサーバ12(図1)等の他の装置との間で行う通信を制御する。
例えば本実施形態では、各種データの他、上述の如く切抜処理用プログラムがサーバ12から送信されてくる場合がある。このような場合、通信部40は、当該切抜処理用プログラムを受信して記憶部39に一旦記憶させる。記憶部39に記憶された切抜処理用プログラムは、RAM33に展開されてCPU31により実行される。
ドライブ41によってリムーバブルメディア42から読み出されたプログラムは、必要に応じて記憶部39にインストールされる。また、リムーバブルメディア42は、記憶部39に記憶されている画像のデータ等の各種データも、記憶部39と同様に記憶することができる。
RAM53にはまた、CPU51が各種の処理を実行する上において必要なデータ等も適宜記憶される。
出力部57は、液晶ディスプレイ、スピーカ、プリンタ等で構成され、各種情報を出力する。例えば、クライアント機器11の切抜処理によって原画像から切り抜かれた前景と、原画像とは別の新背景とが合成され、その結果得られる合成画像が、プリンタにより紙媒体等に印刷されて出力される。
記憶部58は、ハードディスク等で構成され、各種情報を記憶する。
通信部59は、ネットワーク21を介してクライアント機器11(図1)等の他の装置との間で行う通信を制御する。
ドライブ60によってリムーバブルメディア61から読み出されたプログラムは、必要に応じて記憶部58にインストールされる。また、リムーバブルメディア61は、記憶部58に記憶されている画像のデータ等の各種データも、記憶部58と同様に記憶することができる。
初めに、画像処理システムの構成要素のうち、クライアント機器11の機能的構成について説明する。
即ち、通信制御部101は、通信部40及びネットワーク21を介してサーバ12と接続して、各種情報を授受するための制御を実行する。
例えば、通信制御部101は、切抜処理用プログラムがサーバ12から送信されてきた場合、ネットワーク21を介して通信部40に受信させ、記憶部39のプログラム記憶部131に一旦記憶させる。
このようにしてプログラム記憶部131に記憶された切抜処理用プログラムがRAM33(図2)に展開されて実行されると、CPU31において、切抜処理部102が機能する。
切抜指定プログラムとは、処理対象の原画像から、切抜対象としてユーザにより選択される前景の領域(以下、「選択領域」と呼ぶ)の指定を行い、選択領域の境界部分をきれいに仕上げる(境界領域の重ね合わせを滑らかにする)ための演算を行い、その演算結果を保存するまでの一連の処理(以下、「切抜指定処理」と呼ぶ)を実現するプログラムである。
なお、選択領域の境界部分をきれいに仕上げる(境界領域の重ね合わせを滑らかにする)ための演算を、以下、「領域演算」と呼ぶ。
切抜指定プログラムでは、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。即ち、ユーザにとっては、保存された状態から継続して作業を行うことが可能になる。
即ち、上述の切抜指定プログラムのみが実行されても、境界領域の仕上げを行った選択領域を特定可能なデータが得られるが、ユーザが、さらに高精細な合成画像を得たいと所望した場合や境界領域の調整を行いたいと所望した場合等に実行されるプログラムが、仕上調整プログラムである。
仕上調整プログラムでは、切抜指定プログラムによる切抜指定処理の結果が読み込まれ、領域演算を伴う各種処理(これらをまとめて、「仕上調整処理」と呼ぶ)が実行される。この仕上調整処理における領域演算は、後述するマット処理を伴うものであるため、このマット処理も含めた領域演算を実行する処理を、以下、「領域演算処理」と呼ぶ。
このマット処理が実行される場合には、仕上調整部112のうち、領域演算処理部121が機能する。
仕上調整プログラムでは、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。即ち、ユーザにとっては、保存された状態から継続して作業を行うことが可能になる。
しかしながら、これは例示であって、通信制御部101及び切抜処理部102の機能の少なくとも一部を、CPU31以外の他の構成要素に移譲させることも当然可能である。
プログラム記憶部131は、通信制御部101を実現するプログラムを予め記憶している。また、上述したように、通信制御部101の制御により切抜処理用プログラムが受信された場合、当該切抜処理用プログラムはプログラム記憶部131に記憶される。
画像記憶部132は、切抜処理部102が切抜処理を実行する際の処理対象となる各種画像のデータを所定のファイル形式で記憶する。画像記憶部132に記憶され得る画像のデータの具体例については、後述する。
なお、プログラム記憶部131及び画像記憶部132が記憶部39の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア42の一領域として設けられるようにしてもよい。また、画像記憶部132は、クライアント機器11に設けられている必要は特になく、例えば、通信部40及びネットワーク21を介して接続される他の装置内に設けられていてもよい。
クライアント機器11がネットワーク21を介して接続するサーバ12と協働して切抜処理を実行する場合、サーバ12のCPU51においては、通信制御部151と、主制御部152と、が機能する。
例えば、通信制御部151は、クライアント機器11からアクセスされると(例えば後述するログイン処理がなされると)、記憶部58のプログラム記憶部161に記憶されていた切抜処理用プログラムを読み出して、通信部59からネットワーク21を介してクライアント機器11に対して送信する(後述する図14のステップS201,S221,S223参照)。
また例えば、通信制御部151は、切抜処理後の画像等、各種画像のデータがクライアント機器11から送信されてきた場合、各種画像のデータをネットワーク21を介して通信部59に受信させ、記憶部58の画像記憶部162に記憶させる。
その後例えば、画像記憶部162に記憶された画像のデータに基づいて、切抜処理によって原画像から切り抜かれた前景と、原画像とは別の新背景とが合成され、その結果得られる合成画像が、プリンタにより紙媒体等に印刷されて出力される。
なお、主制御部152の制御の詳細については、図14等を参照して後述する。
しかしながら、これは例示であって、通信制御部151及び主制御部152の機能の少なくとも一部を、CPU51以外の他の構成要素に移譲させることも当然可能である。
プログラム記憶部161は、通信制御部151及び主制御部152の各々を実現するプログラムを予め記憶している。プログラム記憶部161はまた、上述の如く、クライアント機器11に対してダウンロードさせることが可能な、切抜処理用プログラムを予め記憶している。
画像記憶部162は、上述したように、クライアント機器11から送信されて通信部59に受信された、各種画像のデータを所定のファイル形式で記憶する。画像記憶部162に記憶され得る画像のデータの具体例については、後述する。
なお、プログラム記憶部161及び画像記憶部162が記憶部58の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア61の一領域として設けられるようにしてもよい。また、画像記憶部162は、サーバ12に設けられている必要は特になく、例えば、通信部59及びネットワーク21を介して接続される他の装置内に設けられていてもよい。
先ず、図5乃至図9を参照して、切抜処理のうち、切抜指定処理の詳細について説明する。
1つの状態から1つの状態への状態遷移(同一の状態に留まる場合も含む)は、所定の条件(以下、「状態遷移条件」と呼ぶ)が満たされると実行される。
このような状態遷移条件は、図5おいては、1つの状態から1つの状態への遷移を表す矢印に、“C”を含む符号を付して表されている。
なお、本段落の内容は、後述する図10の状態遷移図についても同様にあてはまる。
即ち、詳細については図14のフローチャートを参照して後述するが、切抜処理(切抜指定処理)の前に、画像記憶部132に記憶されている複数の画像のデータの中から、切抜対象の前景(人物等)を含む画像のデータがユーザにより選択される(後述する図14のステップS204参照)。
このようにして選択され画像のデータは、処理対象画像のデータとして画像記憶部132から読み込まれ、サーバ12に送信される(後述する図14のステップS205参照)。これにより、切抜処理のうち切抜指定処理が開始する(後述する図14のステップS206,図15のステップS241参照)。
すると、切抜指定部111(図4)は、状態遷移条件C1が満たされたと判定し、クライアント機器11の状態を、処理対象画像取得処理状態S11に遷移させる。
ここで、処理対象画像のデータは、特に限定されず、例えば撮像部36(図2)により人物が撮像された結果得られる撮像画像のデータ等を採用することができる。
ただし、読み込まれた画像の解像度(サイズ)のままでは、切抜指定処理に長時間を要する場合がある。そこで、本実施形態では、切抜指定部111は、読み込まれた画像のデータの解像度(サイズ)を縮小する。
このように切抜指定部111により縮小された後の解像度(サイズ)を、以下、「縮小サイズ」と呼ぶ。例えば、(水平方向の画素数)×(垂直方向の画素数)のサイズという表記を用いるならば、本実施形態では縮小サイズとして、640×480のサイズ又は480×640のサイズが採用される。
即ち、1種類目のデータとは、撮像画像等の原画像のデータそのものである。
主に、処理対象画像に対する切抜指定処理が初回の場合に、1種類目のデータ、即ち、原画像のデータそのものが取得される。この場合、原画像のデータが縮小サイズのデータに変換されると、切抜指定部111は、状態遷移条件C2が満たされたと判定し、クライアント機器11の状態を、切抜領域指定画面操作処理状態S12に遷移させる。
これに対して、2種類目のデータとは、前回の処理対象画像に対する切抜指定処理の途中に保存された画像(切抜画像等)のデータである。
2種類目の画像のデータが取得され、必要に応じて、当該データが縮小サイズのデータに変換されると、切抜指定部111は、状態遷移条件C3が満たされたと判定し、クライアント機器11の状態を、切抜修正画面操作処理状態S14に遷移させる。
ここで、「切抜領域指定画面操作処理状態」とは、「切抜領域指定画面」と名付けられたGUI(Graphical User Interface)用の画面が、クライアント機器11の表示部38(図2,図4)に表示され、当該画面に対してユーザによるGUI操作がなされた場合に、GUI操作の内容に応じた処理を実行している状態をいう。
従って、ユーザは、切抜領域指定画面を用いて、操作部37(図2,図4)のマウス等を用いたGUI操作をすることによって、切抜処理を実行する上で必要な各種指示をクライアント機器11と対話的に行うことが可能になる。
なお、この段落の記載事項は、切抜処理における、切抜修正画面操作処理状態等他の画面操作処理状態についても同様にあてはまる。
切抜処理で用いられる画面は複数種類存在するため、各状態において異なる種類の画面が表示部38に表示される。
ただし、切抜処理で用いられる複数種類の画面は何れも、図6に示すような基本画面に基づいて生成される。即ち、基本画面を構成する各要素(ソフトウェアボタンやスライダー等)のうち、所定の種類の画面が表示される状態において、使用できないものや、選択する必要が無いためそのアイコンを選択している状態になっているもの(移動アイコン等)は表示が禁止されるように、当該所定の種類の画面が生成される。
基本画面201は、6つの表示領域211乃至216に区分されている。
また例えば、図6には図示しないが(図12参照)、表示領域212の同一位置に、「背景を変更」と表示されたソフトウェアボタン351(以下、「背景変更ボタン351」と呼ぶ)が配置される場合がある。背景変更ボタン351には、(異なった色の)背景の表示切替等の指示の機能が割り当てられる。
即ち、ユーザは、操作部37のマウス等を用いて、色変更ボタン231や背景変更ボタン351を押下操作することで、これらに割り当てられている内容の指示を行うことができる。なお、これらの各種指示の詳細については後述する。
このスライダーは、一定の範囲内から1つの値を選択するという機能を有している。溝の両端のうち、一方の端が最小値であり、他方の端が最大値である。即ち、ユーザは、操作部37のマウス等を用いて、小さなつまみをドラッグして移動させることにより、溝の範囲内で任意の値(透明度変更スライダー232では、透明度)を選択することができる。
なお、選択肢の中から1つを選ぶという機能だけに着目すると、ラジオボタンやリストボックスを採用してもよいが、本実施形態のようにスライダーを採用することで、ユーザは、連続した関係にある多数の値の中から所望の値を選択することが可能になる。
拡大縮小スライダー241は、表示領域211に表示される画像の拡大縮小を行うスライダーである。本実施形態の拡大縮小スライダー241においては、その溝の左端に対して、最小倍率である1倍が対応付けられており、その溝の右端に対して、最大倍率である8培が対応付けられている。即ち、本実施形態では、1倍未満の選択はできないことになる。小さなつまみが溝の左端によせられると、表示領域211は1倍表示となる。ここで、1倍表示とは、編集画像(処理対象画像)の全体が表示領域211の全体に表示された状態をいう。
描画ツールとは、ユーザが操作部37のマウス等を用いてアイコンやペンをクリックして、表示領域211に対するマウス操作の動作を変更するために使用するツールをいう。
描画ツールを構成する要素の種類や個数は特に限定されないが、本実施形態では図6に示すように、移動アイコン251、背景ペン252、境界ペン253、消しゴム254、及びペンサイズ255が表示領域214に配置されている。
移動アイコン251は、ユーザが操作部37のマウス等を用いてマウスドラックを行うことで、拡大中の画面の表示領域を変更(移動)する機能を有するアイコンである。
背景ペン252は、背景を指定するために使用するソフトウェアペンである。
境界ペン253は、背景と前景との境界を指定するために使用するソフトウェアペンである。
消しゴム254は、切抜領域指定画面(後述する図7参照)では、境界ペン242で描いた領域を消去するために使用し、切抜領域指定画面以外の画面では、選択領域(切り抜かれる前景領域)を指定するために使用するためのツールである。
ペンサイズ255は、背景ペン252、境界ペン253、消しゴム254の塗りのサイズを選択するためのアイコンである。ユーザは、操作部37のマウス等を用いて、ペンサイズ255のうち所望のサイズのアイコンをクリックすることで、塗りのサイズを変更できる。
なお、本実施形態では、画面間を移行した場合には、ペンサイズ255の設定(塗りのサイズ)はリセットされる。領域演算(マット領域演算含む)が実行された場合には、ペンサイズ255の設定(塗りのサイズ)は維持される。表示拡大時のペンサイズ255の設定(塗りのサイズ)は、画面の拡大と一緒に拡大される。
表示領域215に配置されるソフトウェアボタンは、各種画面によってまちまちであるため、後述する各種画面の説明の際に併せて説明する。なお、図6に示すソフトウェアボタン261乃至264は、後述する仕上領域指定画面において用いられるものである。
切抜領域指定画面202は、基本画面201(図6)と同様に、6つの表示領域211乃至216に区分されている。
ただし、切抜領域指定画面202の表示領域212,213,216には、何ら表示されていない。
表示領域214には、描画ツールのうち、境界ペン253、消しゴム254、及びペンサイズ255が表示される。
また、ユーザは、境界ペン253や消しゴム254の描画サイズ(塗りのサイズ)を変更したい場合には、ペンサイズ255の設定を行えばよい。
即ち、ユーザは、直前の操作内容が間違っていた場合等に、操作部37のマウス等を用いて、やり直しボタン311を押下操作することで、当該直前の操作を取り消すことができる。
即ち、ユーザは、境界領域の指定の操作後、操作部37のマウス等を用いて、領域計算ボタン312を押下操作することで、当該境界領域についての領域演算の開始指示を行うことができる。
具体的には本実施形態では、切抜指定部111は、次のような一連の処理を実行することで、領域演算を行う。
即ち、切抜指定部111は、処理対象画像のデータに基づいて、ユーザにより指定された境界領域の内側の領域を、前景と断定できる領域(以下、「絶対前景領域」と呼ぶ)として決定し、当該境界領域の外側の領域を、背景と断定できる領域(以下、「絶対背景領域」と呼ぶ)を決定する。
次に、切抜指定部111は、処理対象画像(縮小サイズ)を構成する各画素毎に、前景又は背景を示す2値ラベルのあてはまりの良さを評価するコスト関数を、1階MRF(Markov Random Field)モデルを用いてモデル化し、その最適解を求める。
具体的には、切抜指定部111は、絶対前景領域と絶対背景領域との情報を用いてデータ項を作り、処理対象画像のエッジ性を用いて隣接項を作る。
これにより、最適化された、縮小サイズの2値ラベルが得られる。そこで、切抜指定部111は、当該2値ラベルを記憶部39の画像記憶部132(図4)等に保存する。
このようにして、本実施形態では、切抜指定部111により領域演算が行われる。
なお、図5には図示しないが、境界ペン253で指定された境界領域の不具合(境界領域が閉じていない等)で領域演算が行われかった場合には、切抜指定部111は、領域演算がうまくいかなかったことを示すメッセージ画像を表示部38に表示させ、切抜領域指定画面操作処理状態を維持する。
切抜修正画面203は、基本画面201(図6)と同様に、6つの表示領域211乃至216に区分されている。
即ち、表示領域211には、処理対象画像(縮小サイズ)に2値ラベル(縮小サイズ)が合成された合成画像が表示されるとともに、前景と背景との境界領域(図8の例ではウミガメの周囲を囲む領域302)が表示される。
この場合、境界領域内の領域が、切抜対象としてユーザにより選択される前景領域、即ち選択領域である。選択領域は透過率が100%で固定されており、常に処理対象画像そのものが表示されるようになされている。
ユーザが操作部37のマウス等を用いて選択領域を修正するための画面が、切抜修正画面203である。
ここで、境界領域(図8の例ではウミガメの周囲を囲む領域302)の外側の領域、即ち、切抜対象としてユーザにより選択されない背景領域を、以下「非選択領域」と呼ぶ。この場合、切抜修正画面203の表示領域211に表示される画像は、前景としての選択領域と、背景としての非選択領域と、これらの領域の境界となる境界領域と、にそれぞれ分類される。
このような分類をユーザが視認できるように、本実施形態では、境界領域及び非選択領域の各々が、第1の色及び第2の色で表示される。なお、以下、境界領域を表示する第1の色を「境界色」と、背景としての非選択領域を表示する第2の色を「背景色」と、それぞれ呼ぶ。
このような境界色と背景色との組み合わせは、本実施形態の初期状態では、赤色と青色との組み合わせとされているが、それぞれの領域が識別可能な色であれば、どのような色でもよい。また、境界色及び背景色それぞれの色は色変更ボタン231によって変更可能になっている。即ち、ユーザは、色変更ボタン231を押下操作することで、境界色と背景色との組み合わせを、所望の色の組み合わせに変更することができる。なお、色の組み合わせの変更の詳細については、図25を参照して後述する。
また、境界領域及び非選択領域は、本実施形態の初期状態では半透過状態となっているが、透明度変更スライダー232によって透明度の変更が可能になっている。なお、2値ラベル側の非選択領域が背景色となっており、この透明度が高くなるにつれ、処理対象画像の背景部分がユーザに視認されるようになる。境界領域の透明度についても同様になっている。
ユーザは、透明度変更スライダー232を操作することで、境界領域及び非選択領域の透明度を、所望の度合に変更することができる。
従って、ユーザは、拡大縮小スライダー241を操作することで、選択領域、境界領域及び非選択領域のうちの、所望の領域や2以上の領域の結合部等着目する部分を拡大表示させることができる。その後、ユーザは、拡大縮小スライダー241を操作することで、拡大表示後の画像を、等倍となるまでの範囲内で縮小表示させることもできる。
一方、ユーザは、操作部37のマウス等を用いて、表示領域211に表示されている画像のうち、本来背景であるはずが前景となっている領域を背景ペン252で描くように指定することで、当該領域を非選択領域として指定することができる。
要するに、表示領域211において、非選択領域は第2の色で表示されているので、ユーザは、色が塗ってあるところは、選択領域(前景)が切り抜かれた場合に切り捨てられる領域というイメージを持って、選択領域を修正する作業を行うことができる。
なお、表示領域211が拡大表示中の場合、ユーザは、移動アイコン251を用いて、表示領域(作業対象領域)を変更(移動)することができる。また、ユーザは、背景ペン252や消しゴム254の描画サイズ(塗りのサイズ)を変更したい場合には、ペンサイズ255の設定を行えばよい。
このような場合、ユーザは、領域指定ボタン313を押下操作すればよい。
すると、図5に示すように、状態遷移条件C7が満たされたと判定され、クライアント機器11の状態が、切抜領域指定画面操作処理状態S12に再び遷移し、図7に示す切抜領域指定画面202が再表示される。
これにより、ユーザは、切抜領域指定画面202に対するGUI操作を再度行うことができる。
すると、図5に示すように、状態遷移条件C8が満たされたと判定され、クライアント機器11の状態が、境界領域仕上処理状態S15に遷移する。
これにより、状態遷移条件C9が満たされたと判定され、クライアント機器11の状態が、結果保存処理状態S16に遷移する。結果保存処理状態S16に遷移すると、切抜指定部111は、処理対象画像のデータ(オリジナルサイズ)と、領域演算により得られた2値化ラベル(縮小サイズ)と、を少なくとも含むファイルを生成し、記憶部39の画像記憶部132に記憶させる。
このようなファイルを、以下、「切抜指定処理結果ファイル」と呼ぶ。
なお、図8の切抜修正画面203に対するGUI操作として、背景ペン252や消しゴム254で修正後、領域計算ボタン312が押下されずに(領域演算が行われずに)、保存ボタン314が押下された場合には、切抜指定部111は、領域演算を行わずに、最後に修正を行った状態を選択領域や非選択領域に反映したデータ(2値化ラベル)を作成し、当該データを切抜指定処理結果ファイルに含める。
図9は、切抜領域修正処理の流れを説明するフローチャートである。
図5と図9とを比較して容易にわかるように、図9の切り抜き領域修正処理とは、図5の領域演算処理S13乃至結果保存処理S16のうちの一部の連続した処理をフローチャート化したものである。
ここで、本実施形態の表示画像においては、上述したように、非選択領域(背景領域)の背景色は青で、境界領域(図8の例ではウミガメの周囲を囲む領域302)の境界色は赤で、それぞれ表示されるものとする。また、上述したように、非選択領域及び境界領域は、初期状態として、半透過状態で表示されるものとする。
即ち、本実施形態の切抜修正画面203においては、色が塗ってある領域は切り捨てられる領域であるとイメージしてユーザが作業できるような表示形態となっている。
ステップS23において、切抜指定部111は、表示領域211の表示画像を、色変更又は拡大縮小して表示させる。
具体的には例えば、色変更ボタン231が押下操作された場合には色変更が指示されたと判定され、即ちステップS22の処理でYESであると判定され、ステップS23の処理で境界色と背景色との組み合わせが変更される。
また例えば、拡大縮小スライダー241が操作された場合には拡大縮小が指示されたと判定され、即ちステップS22の処理でYESであると判定され、ステップS23の処理で表示画像の拡大又は縮小が行われる。
なお、色変更又は拡大縮小の指示がない場合にも、ステップS22おいてNOであると判定されて、ステップS23の処理は実行されずに、即ち表示領域211の表示の変更は行われずに、処理はステップS24に進む。
このような指定があると、ステップS24おいてYESであると判定されて、処理はステップS25に進む。
ステップS25において、切抜指定部111は、指定された領域を非選択領域に変更する。この場合、表示領域211の表示画像において、非選択領域に変更された領域は背景色で表示される。
なお、非選択領域の選択がない場合にも、ステップS24おいてNOであると判定されて、ステップS25の処理は実行されずに、即ち非選択領域への変更は行われずに、処理はステップS26に進む。
このような指定があると、ステップS26おいてYESであると判定されて、処理はステップS27に進む。
ステップS27において、切抜指定部111は、指定された領域を選択領域に変更する。この場合、表示領域211の表示画像において、選択領域に変更された領域には、原画像の対応する領域が表示される。
なお、非選択領域の選択がない場合にも、ステップS26おいてNOであると判定されて、ステップS27の処理は実行されずに、即ち非選択領域への変更は行われずに、処理はステップS28に進む。
このような指示があった場合、ステップS28においてYESであると判定されて、処理はステップS13に進む。
ステップS13において、切抜指定部111は、領域演算処理を実行する。
ここで、図9のフローチャートのステップと図5の領域演算処理状態とで同一の符号S13を付しているのは、同一の処理が実行されるからである。即ち、図9のステップS28においてYESであると判定されることと、図5の状態遷移条件C6を満たされることとは等価である。
従って、図9のステップS13の領域演算処理が終了することは、図5の状態遷移条件C5が満たされたことと等価になるので、図5において切抜修正画面操作処理状態S14に再び遷移するように、図9では処理はステップS21に戻され、それ以降の処理が繰り返されることになる。
ステップS29において、切抜指定部111は、保存の指示があるか否かを判定する。
このような保存の指示が行われない場合、ステップS29においてNOであると判定されて、処理はステップS21に戻され、それ以降の処理が繰り返されることになる。
即ち、上述したように、ユーザは、所望の選択領域の結果が得られるまで、色変更や拡大縮小を適宜行いつつ、何度でも、選択領域や非選択領域の指定を繰り返すことができる。そして、ユーザは、所望の選択領域の結果が得られたときに、保存ボタン314を押下操作すればよい。
保存ボタン314が押下操作されると、ステップS29においてYESであると判定されて、処理はステップS15に進む。
ここで、図9のフローチャートのステップと図5の境界領域仕上処理状態とで同一の符号S15を付しているのは、同一の処理が実行されるからである。即ち、図9のステップS29においてYESであると判定されることと、図5の状態遷移条件C8が満たされることとは等価である。
従って、ステップS16の結果保存処理によって、切抜指定処理結果ファイルが記憶部39に記憶されると、図5の状態遷移条件C10が満たされたと判定されたのと等価に、切抜領域指定処理が終了になる。
次に、図10乃至図13を参照して、当該切抜処理のうち、仕上調整処理の詳細について説明する。
仕上調整処理の開始の指示は、操作部37に対する所定の操作により行われる。
このような指示がなされると、仕上調整部112(図4)は、状態遷移条件C41が満たされたと判定し、クライアント機器11の状態を、ファイル読込処理状態S41に遷移させる。
これにより、状態遷移条件C42が満たされた判定されて、クライアント機器11の状態は、サイズ設定処理状態S42に遷移する。
即ち、仕上調整部112は、図示はしないが、出力サイズを選択させる画面を表示部38に表示させ、ユーザの選択操作を待ち受ける。
ユーザは、操作部37を操作して、印刷出力等する場合の画像のサイズとして、所望のサイズを選択する。
仕上調整部112は、ユーザにより選択されたサイズを、出力サイズとして設定する。ここで、出力サイズは、一般的には、撮像画像等の処理対象画像のオリジナルサイズ以下となるが、特にこれに限定されず、任意のサイズで構わない。
このような一連の処理が実行されると、状態遷移条件C43が満たされたと判定されて、クライアント機器11の状態は、領域演算処理状態S43に遷移する。
マット処理の本質は、前景と背景の境界画素の混色を分離することである。
具体的には、次の式(1)の条件を連立させ、観測値Pから未知数α,F(場合によってはBも)を推定する処理が、マット処理である。
P[x,y,c]=α[x,y]F[x,y,c]+(1-α[x,y])B[x,y,c]・・・(1)
式(1)の左辺において、P[x,y,c]は、座標x,y(以下、「画素位置x,y」とも呼ぶ),色成分cの画素値を表している。
式(1)の右辺において、α[x,y]は、画素位置x,yにおける比率であって、0乃至1の範囲内で可変する比率であり、「混合比α」や「アルファ値」等と呼ばれている。即ち、混合比α[x,y]は、画素毎に異なる値になる。F[x,y,c]は、前景の画素値であり、以下、「前景画素値」と呼ぶ。B[x,y,c]は、背景の画素値であり、以下、「背景画素値」と呼ぶ。
なお、画素位置x,y,色成分cを個々に区別する必要がない場合、以下、x,y,cの表記は適宜省略する。
ここで、式(1)は単純に連立させると不足条件方程式であるため、そのままでは解くことが不可能である。しかしながら、背景画素値Bの取り得る範囲を別の手段により指定したり(クロマキー)、また前景画素値F及び背景画素値Bが滑らかに変化する(局所的に等しい)等の仮定を加えることで、式(1)を解くことが可能になる。
P’[x,y,c]=α[x,y]F[x,y,c]+(1-α[x,y])B’[x,y,c]・・・(2)
このようにして得られた合成画像P’には、原画像(本実施形態では処理対象画像)の背景画素値B[x,y,c]は、理想的には残らないため、美しく自然な結果になる。
印刷出力として十分な画素数を考慮する場合に、マット処理を行うことの最大の問題点は、その出力画素数に応じて膨大な計算量が必要になる点である。
ユーザが、発注前に印刷出力結果を正確に確認できることは苦情を未然に防ぐために重要である。また、ユーザの修正が必要であればそれを即座に開始できることが、商機を逃さないために重要である。しかしながら、1000万画素を大きく越える最近のデジタルスチルカメラやデジタルプリンタの画素数をリアルタイムにマット処理することは、パーソナルコンピュータ(例えば図1のクライアント機器11)やウェブサーバ(例えば図1のサーバ12)にとっては困難である。
そこで、本実施形態では、図11に示すようなマット処理を実行することで、マット処理の演算量を大幅に低下するようにしている。
ここで、中解像度サイズとは、出力サイズと、予め設定されている所定サイズ(上述した切抜指定処理で用いられる縮小サイズ以上のサイズとする)とのうち、小さい方のサイズをいう。
従って、領域演算処理部121は、出力サイズと、予め設定されている所定サイズとを比較し、小さいほうのサイズを選択することで、中解像度サイズを設定する。
なお、通常は、オリジナルサイズの方が中解像度サイズよりも大きいため、ステップS102の処理は、いわゆるサイズ縮小処理になる。
なお、通常は、縮小サイズの方が中解像度サイズよりも小さいため、ステップS103の処理は、いわゆるサイズ拡大処理になる。
このように、中解像度2値ラベルは、その名の如く2値ラベルになる必要があるので、2値ラベルのサイズの変換の手法としては、例えば最近傍法を採用したり、例えばバイキュービック法等の結果を再2値化する手法を採用するとよい。
トライマップは、画素位置x,y毎に、前景、背景、中間の3値ラベルを持つ。
ここで、トライマップの中間ラベル領域は、次のような第1領域と第2領域の集合和領域である。
即ち、中解像度2値ラベルのうち前景ラベル領域を所定幅分膨張(モルフォロジ処理におけるディレーション)させ、その結果得られる膨張領域(元々の2値前景ラベル領域を含まない)が、第1領域として採用される。
一方、中解像度2値ラベルのうち背景ラベル領域を所定幅分膨張(同)させ、その結果得られる膨張領域(元々の2値背景ラベル領域を含まない)が、第2領域として採用される。
これらの第1領域と第2領域の集合和領域として、中間ラベル領域が得られる。なお、この中間ラベル領域は、ユーザが境界ペン253で指定した境界領域を少し誇張させた領域となる。したがって、ユーザは境界ペン253で境界領域を指定するとともに、マット処理における中間ラベル領域の基準となる領域を指定したこととなる。
そして、このようにして得られる中間ラベル領域に含まれない領域のうち、2値前景ラベル領域が前景ラベル領域となり、2値背景ラベル領域が背景ラベル領域となる。
なお、各ブロックは、その隣接ブロックと境界で所定幅のオーバーラップ領域を持たせるように設定される。
このステップS107のマット処理によって、処理対象のブロックを構成する各画素のそれぞれについての、混合比α(アルファ値)と前景画素値Fがそれぞれ得られる。
未だ処理対象に設定されていないブロックが存在する場合、ステップS108においてNOであると判定されて、処理はステップS106に戻され、それ以降の処理が繰り返される。即ち、ステップS106乃至S108のループ処理が繰り返し実行されることで、ステップS105の処理で設定された各ブロックの各々が処理対象に順次設定されて、その都度マット処理が実行される。
そして、最後のブロックについてのマット処理が実行されると、次のステップS108においてYESであると判定されて、処理はステップS109に進む。
なお、領域演算処理部121は、ブロック間のオーバーラップ領域については、なだらかなブレンド比でブレンドを行い、境界の不整合を緩和するものとする。
仕上確認画面204は、マット処理により境界領域の仕上がされた画像の確認を行う画面であり、基本画面201(図6)と同様に、6つの表示領域211乃至216に区分されている。
即ち、中解像度の処理対象画像のデータと、予め用意された新背景画像のデータ(必要に応じて中解像度に変換)とが、上述の式(2)に従って合成され、その合成結果である合成画像P’が表示領域211に表示される。
この場合、新背景画像のデータを構成する各画素値が、背景画素値B’[x,y,c]として式(2)に代入される。また、マット処理で求められた中解像度α画像の各画素値が、混合比α[x,y]として式(2)に代入される。マット処理で求められた中解像度前景F画像の各画素値が、前景画素値F[x,y,c]として式(2)に代入される。
なお、初期状態の新背景画像としては、灰色(単色)の画像が表示領域211に表示される。
従って、ユーザは、背景変更ボタン351を押下操作することで、表示領域211に表示される背景画像を、複数の新背景画像のうち所望の1つに変更することができる。
なお、新背景画像は、特に限定されず、予めデフォルトとして設定されている画像の他、ユーザが所望する任意の画像を設定することができる。ただし、新背景画像の設定は、図示せぬ別の画面で行われるものとする。
このように、ユーザは、背景変更ボタン351を押下操作するだけで、即ち操作部37のマウスをクリック操作等するだけで、各種各様の新背景画像に瞬時に変更することができるので、マット処理の結果を、実際の合成イメージとして視認することが容易にできる。
従って、ユーザは、拡大縮小スライダー241を操作することで、マット処理の結果である合成画像P’のうち着目する部分を拡大表示させることができる。その後、ユーザは、拡大縮小スライダー241を操作することで、拡大表示後の合成画像P’を、等倍となるまでの範囲内で縮小表示させることもできる。
仕上調整画面205は、マット処理により境界領域の仕上がされた処理対象画像について、部分的な仕上を行うための画面である。例えば、仕上調整画面205は、髪の毛の部分等細い部分をきれいに出すため一部分の境界の滑らかさを修正するために用いられる。
仕上調整画面205は、基本画面201(図6)と同様に、6つの表示領域211乃至216に区分されている。
即ち、表示領域211には、処理対象画像(中解像度サイズ)にトライマップ(中解像度サイズ)が合成された合成画像が表示される。
この場合、透明度はトライマップ側で設定される。即ち、選択領域は透過率が100%で固定されており、常に処理対象画像そのもの(図13の例ではウミガメ)が表示されるようになされている。一方、トライマップの非選択領域が背景色(単色)の領域となっており、この透明度が高くなるにつれ、処理対象画像の背景部分がユーザに視認されるようになる。同様に、トライマップの境界領域(中間領域)が境界色(単色)の領域となっており、この透明度が高くなるにつれ、処理対象画像の境界部分がユーザに視認されるようになる。
このため、図8の切抜修正画面203と同様に、表示領域212には、色変更ボタン231と、透明度変更スライダー232とが配置され、拡大縮小スライダー241が配置されている。
ただし、色変更ボタン231、透明度変更スライダー232、及び拡大縮小スライダー241の各部品については、図8の切抜修正画面203の各部品として説明済みであるので、ここでは説明は省略する。
ユーザは、直前の操作内容が間違っていた場合等に、やり直しボタン371を押下操作することで、当該直前の操作を取り消すことができる。
確認画面ボタン372については、後述する。
即ち、このようなクリック操作がなされることによって、修正領域指定画面の表示の指示が行われると、仕上調整部112(図4)は、図10に示すように、状態遷移条件C46が満たされたと判定し、クライアント機器11の状態を、仕上領域指定画面操作処理状態S46に遷移させる。
具体的には、仕上調整部112は、図13の仕上調整画面205に対してクリック操作がなされた箇所の近傍の領域をブロック化する。ここで、このブロックは、図11のステップS105の処理で設定されたブロックのサイズ、位置、形状と必ずしも一致させる必要はない。
仕上調整部112は、そのブロックの原画像(処理対象画像)とトライマップとを、領域画像として表示領域211に透過表示させる。
ユーザは、操作部37のマウス等を用いて、この領域画像の範囲内で、選択領域等の修正を行うことができる。
ただし、色変更ボタン231、透明度変更スライダー232、及び拡大縮小スライダー241の各部品については、図8の切抜修正画面203の各部品として説明済みであるので、ここではこれらの説明は省略する。
このような修正の操作により、表示領域211に領域画像として表示されているトライマップが修正されることになる。
なお、ユーザは、移動アイコン251を用いて、表示領域(作業対象領域)を変更(移動)することができるが、必要に応じて表示領域の変更(移動)を禁止するようにしてもよい。また、ユーザは、背景ペン252、境界ペン253、又は消しゴム254の描画サイズ(塗りのサイズ)を変更したい場合には、ペンサイズ255の設定を行えばよい。
即ち、仕上調整部112の領域演算処理部121は、仕上領域指定画面(図6の基本画面201と同一構成)の表示領域211に表示されたブロックについて、修正されたトライマップを用いてマット処理を行う。
領域演算処理部121は、マット処理の結果得られた混合比α(アルファ値)と前景画素値Fを、全体結果にモザイクする。即ち、領域演算処理部121は、ブロックの所定幅境界付近はなだらかにブレンドし、その内部の領域は上書きする。
このようにして、中解像度α画像と、中解像度前景F画像とが再構成されると、仕上調整部112(図4)は、図10に示すように、状態遷移条件C48が満たされたと判定し、クライアント機器11の状態を、仕上調整画面操作処理状態S45に再び遷移させる。
この場合も、仕上調整画面205(図13)が表示部38に再表示されるが、仕上調整画面205の表示領域211には、前回の状態のままの画像が表示される。
この場合、図10に示すように、状態遷移条件C46が満たされたと判定されて、クライアント機器11の状態が、仕上領域指定画面操作処理状態S46に再度遷移して、仕上領域指定画面(図6の基本画面201と同一構成)が再表示される。
ユーザは、仕上領域指定画面に対して上述した作業を繰り返して再修正した後、即ちトライマップを再修正した後、領域計算ボタン262を押下操作する。すると、図10に示すように、状態遷移条件C47が満たされたと判定され、部分領域演算処理状態S47に再び遷移する。
部分領域演算処理状態S47に再び遷移すると、ユーザにより再修正された後の選択領域についての部分的なマット処理が再実行される。即ち、中解像度α画像と、中解像度前景F画像とが再構成される。これにより、状態遷移条件C48が満たされたと再度判定され、クライアント機器11の状態が、仕上調整画面操作処理状態S45に再び遷移する。
仕上調整画面操作処理状態S45に再び遷移すると、仕上調整画面205(図13)が表示部38に再表示される。この場合、仕上調整画面205の表示領域211には、部分的なマット処理の再処理の結果が表示される。
ユーザは、このような一連の操作を繰り返し実行することで、所望の結果になるまで、選択領域等を何度でも修正することができる。
このようにして確認画面ボタン372が押下操作されると、図10に示すように、状態遷移条件C49が満たされたと判定されて、クライアント機器11の状態は、仕上確認画面操作処理状態S44に再び遷移する。これにより、仕上確認画面204(図12)が表示部38に再表示される。
すると、図10に示すように、状態遷移条件C51が満たされたと判定され、クライアント機器11の状態が、結果保存処理状態S48に遷移する。
このようなファイルを、以下、「仕上調整結果ファイル」と呼ぶ。
即ち、仕上調整部112は、中解像度α画像及び中解像度前景F画像の各データのサイズを、出力サイズに変換する。なお、中解像度α画像が出力サイズに変換されたものを、以下、「出力サイズα画像」と呼ぶ。また、中解像度前景F画像が出力サイズに変換されたものを、以下、「出力サイズ前景F画像」と呼ぶ。
仕上調整部112は、処理対象画像P(入力画像P)のデータのサイズを、出力サイズに変換する。
仕上調整部112は、出力サイズの画素毎に、混合比α[x,y]>t(tは所定閾値、1以下で1に近い値)なる画素位置x,yにおける前景画素値F[x,y,c]を、処理対象画像Pの対応する画素位置x,yの画素値P[x,y,c]の値に更新する。
仕上げ調整部112は、出力サイズα画像及び更新後の出力サイズ前景F画像の各データを少なくとも含む仕上調整結果ファイルを生成し、記憶部39の画像記憶部132に記憶させる。
具体的には、新背景のデータを構成する各画素値が、背景画素値B’[x,y,c]として上述の式(2)に代入される。また、出力サイズα画像の各画素値が、混合比α[x,y]として式(2)に代入される。出力サイズ前景F画像の各画素値が、前景画素値F[x,y,c]として式(2)に代入される。そして、式(2)が演算され、その結果得られる合成画像P’が紙媒体に印刷される。
本実施形態では、中解像度サイズでの処理(以下、「中間解像度処理」と呼ぶ)ができるので、未知数となる中間領域の混合比αと前景画素値Fの数を大幅に減らすことができ、その結果、大幅に処理速度が向上する。
ここで、単純な中間解像度処理では前景画素値Fの解像度が、処理対象画像(撮像画像等の原画像、即ち入力画像)の解像度よりも劣るため、印刷等の出力品質が低下してしまう。
そこで、本実施形態の切抜処理では、α値判定により、境界領域では、混色のない中解像度前景F画像の画素値が用いられ、内部領域(前景となる領域)では、高解像度の処理対象画像(撮像画像等の原画像、即ち入力画像)の画素値が用いられる。これにより、処理の高速化を実現しながら出力品質の低下を最低限に抑えることが可能になる。
さらに、処理対象画像(撮像画像等の原画像、即ち入力画像)は通常、その主要被写体の主要部分にフォーカスを合わせて撮像されるため、主要被写体のエッジ部分ではフォーカスがぼけている場合がある。そのような場合、本実施形態の切抜処理の結果は高解像度処理と全く優劣のつかない結果を与える。
また、処理対象画像(撮像画像等の原画像、即ち入力画像)のノイズや前景背景の本質的類似等の理由により、境界領域のマット処理結果が、たとえ高解像度で処理したものであっても解像度分の精度が出ない場合がある。このような場合には、本実施形態の切抜処理の結果は、高解像度処理の結果と全く優劣のつかない結果となる。
次に、図14を参照して、図4の機能的構成を有する画像処理システムにおいて切抜処理が実行される場合における、クライアント機器11とサーバ12との処理の関係について説明する。
図14の左方には、クライアント機器11側の処理の流れを示すフローチャートが示され、同図の右方には、サーバ12側の処理の流れを示すフローチャートが示されている。
クライアント機器11側とサーバ12側とのうち、一方から他方へ引かれている矢印は、その方向に情報が伝送されていることを意味している。
ステップS222において、サーバ12の通信制御部151は、切抜処理用プログラムをプログラム記憶部161から読みこみ、通信部59からクライアント機器11に対して送信させる。
ステップS203において、クライアント機器11の通信制御部101は、切抜処理用プログラムをプログラム記憶部131に一旦記憶させた後、RAM33(図2)等に展開して実行する。これにより、クライアント機器11のCPU31において、切抜処理部102が機能するようになる。
即ち、ユーザは、操作部37を操作することによって、撮像画像等所望の画像を、処理対象画像として選択することができる。
ユーザによる選択の操作がなされていない場合、ステップS204においてNOであると判定されて、処理はステップS204に再び戻される。即ち、ユーザによる選択の操作がなされるまでの間、ステップS204の判定処理が繰り返し実行されて、クライアント機器11側の処理は待機状態になる。
その後、ユーザによる選択の操作がなされると、ステップS204においてYESであると判定されて、処理はステップS205に進む。
ステップS205において、クライアント機器11の通信制御部101は、処理画像のデータを画像記憶部132から読み込み、通信部40からサーバ12に対して送信させる。
即ち、上述したように、切抜指定処理の結果だけでも、処理対象画像から前景を抜き出すことは十分可能であるため、仕上調整処理は、必須な処理ではなく、ユーザが実行有無を自在に選択可能な処理となっている。
仕上調整処理が終了すると、処理は後述するステップS244に進む。
例えば仕上調整処理が実行されなかった場合(ステップS242の処理でNOであると判定された場合)、上述した切抜指定処理結果ファイルが、切抜画像のデータとしてサーバ12に送信される。
これに対して、例えば仕上調整処理が実行された場合(ステップS242の処理でYESであると判定されて、ステップS243の処理が実行された場合)、仕上調整結果ファイルが、切抜画像のデータとしてサーバ12に送信される。
なお、上述したように、切抜指定処理又は仕上調整処理では、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。従って、このような処理途中の状態のデータも、必要に応じて、切抜画像のデータとしてサーバ12に送信される。
処理の終了指示の手法は、特に限定されないが、本実施形態では、ユーザが操作部37を操作して処理の終了指示をするという手法が採用されているものとする。
このような終了の指示の操作がなされていない場合、ステップS207においてNOであると判定されて、処理はステップS204に戻され、それ以降の処理が実行される。即ち、終了の指示の操作がなされるまでの間、ステップS204乃至S207のループ処理が繰り返し実行されて、その都度切抜処理が実行され、切抜画像のデータがサーバ12に送信される。
その後、終了の指示の操作がなされると、ステップS207においてYESであると判定され、処理はステップS208に進む。
ステップS208において、クライアント機器11の通信制御部101は、処理の終了を示す通知(以下、「終了通知」と呼ぶ)を、通信部40からサーバ12に対して送信させる。
これにより、クライアント機器11側の処理は終了する。
終了通知が受信されていない場合、ステップS225においてNOであると判定されて、処理はステップS223に戻され、それ以降の処理が繰り返される。即ち、上述の如く、クライアント機器11側でステップS204乃至S207のループ処理が繰り返し実行されている間、終了通知は送信されないので、ステップS223乃至S225のループ処理が繰り返し実行され、クライアント機器11から処理画像や切抜画像の各データが送信されてくる度、受信されて保存される。
その後、終了通知が受信されると、次のステップS225においてYESであると判定されて、処理はステップS226に進む。
ステップS226において、サーバ12の主制御部152は、これまで仮保存していた切抜画像のデータを本保存する。
これにより、サーバ12側の処理は終了する。
サーバ12は、ユーザが了解すれば、代金決済をして、切り抜かれた前景に対して新背景が合成された合成画像を、紙媒体等に印刷する。
ここで、当該画像処理システムが、切抜処理を実行するが故に備える特長(効果)について、図16乃至図29を適宜参照して説明する。
この切抜指定処理の実行時に必要となるユーザのGUI操作は、上述したように、ユーザにとって非常に容易で手間のかからないラフな操作であり、操作に慣れないユーザであっても戸惑うことなく行える操作である。
以下、図16乃至図18を参照して、切抜指定処理の際のユーザのGUI操作の具体例について説明する。
図16に示すように、ユーザは、切抜領域指定画面202に表示されている処理対象画像から、前景と背景との境界領域501を指定することができる。
ここで、境界領域501は、厳密に前景と背景との本当の境界線(細線)で指定される必要はなく、図16に示すように、大雑把な太い線での指定でよい。要するに、ユーザは、前景と背景との本当の境界線を含むように、ある程度余裕を持った太さの線で、境界領域501を指定することができる。
もっとも、ユーザは、失敗しやすい部分や、特別な意図があって細かく指定したい部分については、当然ながら細い線を使用してもよい。
換言すると、前景と背景との境界領域501は、図7の境界ペン253で指定されるところ、当該境界ペン253の塗りの太さは、図7のペンサイズ255で自在に可変設定することができる。
これにより、領域演算処理状態S13(図5)に遷移して、領域演算が行われる。
領域演算が終了すると、切抜修正画面操作処理状態S14(図5)に遷移して、図17に示すような切抜修正画面203が表示される。
図17に示すように、領域演算の結果(2値ラベル)に基づいて、境界領域502が表示されている。
ただし、領域503は、ウミガメのヒレの一部であり、本来前景(境界領域502の内側)となるべきところ、背景(境界領域502の外側)になってしまっている。これは、処理対象画像において、前景と背景との色が類似色であったためである。
このような場合、ユーザは、本来前景であるはずが背景となっている領域503を、消しゴム254で消すように指定することで、領域503を選択領域として新たに指定する。その後、ユーザは、領域計算ボタン312を押下操作する。
これにより、領域演算処理状態S13(図5)に再度遷移して、領域演算の再演算が行われる。
領域演算の再演算が終了すると、切抜修正画面操作処理状態S14(図5)に再度遷移して、図18に示すような切抜修正画面203が表示される。
図18に示すように、領域演算の再演算の結果(再構成後の2値ラベル)に基づいて、境界領域502が表示されている。ウミガメのヒレの一部である領域503は、境界領域502の内側、即ち前景に含まれるようになったことがわかる。
この図18の状態で、ほぼユーザにとっての所望の結果となっていると思われる。このような状態になった時点で、ユーザは、保存ボタン314を押下操作する。
すると、境界領域仕上処理状態S15(図5)に遷移し、引き続き結果保存処理状態S16(図5)に遷移し、図18の状態を示す切抜指定処理結果ファイルが記憶部39に記憶される。
その後、サーバ12(図1)等は、この切抜指定処理結果ファイルを用いることで、少なくとも図18の境界領域502内のウミガメの画像を前景として切り抜くことができ、当該前景と新背景とを合成した合成画像の印刷等をすることが可能になる。
なお、ユーザは、さらに所望の選択領域となるように、クライアント機器11に仕上調整処理を実行させるようにしてもよい。
図19乃至図21には、透明度変更スライダー232に対する操作結果の具体例が示されている。
図19に示すように、領域演算の結果(2値ラベル)に基づいて、境界領域、当該境界領域の内側のウミガメの前景領域、及び、当該境界領域の外側の背景領域504が表示されている。
即ち、背景領域504の背景色(図面では表現しきれないが、例えば青色)及び境界領域の境界色(図面では表現しきれないが、例えば赤色)と、原画像の色とが、透明度変更スライダー232の小さなつまみの位置に応じた混合比率(α値)で、ブレンド表示される。ただし、前景領域(ウミガメ)は混合されずに、常に完全透過している。
図19の初期状態では、透明度変更スライダー232の小さなつまみは、中央に配置されている。従って、ユーザは、原画像(処理対象画像)の状態と、前景を切り出した状態(結果)とのイメージをバランスよく同時に視認することができる。
ユーザは、操作部37を操作して、透明度変更スライダー232の小さなつまみの位置を、所望の位置に自在に動かすことができる。
図20に示すように、透明度変更スライダー232の小さなつまみが左端まで移動されると、透過度が0%になるので、背景領域504については背景色(図面では表現しきれないが、例えば青色)のみが表示され、境界領域については境界色(図面では表現しきれないが、例えば赤色)が表示される。
即ち、前景領域では、原画像(ウミガメの部分)が他と混合されずに常に完全透過して表示される一方、背景領域504及び境界領域では、原画像(背景部分)が完全に消えて表示されない。従って、ユーザは、原画像(処理対象画像)の背景が完全に消えた時における、前景を切り出した状態(結果)のイメージをつかむことが容易にできる。即ち、図20の状態は、現状の品質確認を行いやすい状態である。
なお、第4の特長として後述するが、背景領域504については、単色の背景色のみの画像のかわりに、任意の画像(第4の特長でいう「新背景画像」等)を採用することもできる。
図21に示すように、透明度変更スライダー232の小さなつまみが右端まで移動されると、透過度が100%になるので、背景領域504については背景色(図面では表現しきれないが、例えば青色)が完全に消え、境界領域については境界色(図面では表現しきれないが、例えば赤色)が完全に消えて、原画像が完全透過して表示される。
即ち、前景領域では、原画像(ウミガメの部分)が他と混合されずに常に完全透過して表示されるので、結果として、原画像の全体(処理対象画像全体)そのものが表示されることになる。
従って、ユーザは、背景色や境界色といった領域色に影響されずに、原画像における元の前景物体(本例ではウミガメ)の境界を容易に視認することができる。即ち、図21の状態は、次にどう修正するかをユーザが判断しやすい状態である。
このとき、ユーザは、透明度変更スライダー232の小さなつまみの位置として、原画像の配色やその時の作業内容等に応じてバランスのよい位置を自在に選択することができる。
これに対して、本実施形態の画像処理システムを利用するユーザは、第3の特長により、このような判別が容易にできるようになる。即ち、ユーザは、透明度変更スライダー232の小さなつまみの位置を移動させることで、表示が変化する部分が境界領域及び背景領域であり、表示が変化しない部分が前景領域であると、容易に判別することができる。しかも、このような判別を行うための透明度変更スライダー232の小さなつまみの移動量は、原画像表示が行われる右端まででなくても、ある程度の移動量でよい。
この場合の対策としては、分類色として適当な色、即ち原画像の色と異なる色に変更する対策を取ればよい。
この場合、通常取られると想定される対策は、ユーザが、「色の変更」の機能が割り当てられたソフトウェアボタン(上述の色変更ボタン231がその一例)を押下操作すると、カラーパレットを表示して、当該カラーパレットから任意の色をユーザが選択する操作をする、といった対策になる。
しかしながら、このような対策では、ユーザが背景色と境界色をそれぞれ多数の色から選択する必要があるために、結果として、5ステップ前後のクリック操作が必要になる。
そこで、本実施形態の画像処理システムは、次のような手法を採用することによって、色変更ボタン231を最大で2回押下操作するだけで(クリック操作2回分に相当する操作をするだけで)済む、といった第3の特長を有している。
図22に示すように、領域演算の結果(2値ラベル)に基づいて、境界領域506、当該境界領域506の内側のウミガメの前景領域、及び、当該境界領域506の外側のウミガメの背景領域507が表示されている。
初期状態では、境界領域506の境界色は、図面では表現しきれないが例えば上述した赤色であり、背景領域507の背景色は、図面では表現しきれないが例えば上述した青色である。
ユーザは、操作部37を操作して、色変更ボタン231を押下操作することで、境界色や背景色といった分類色の変更を指示することができる。
色変更ボタン231が1回押下操作されると、境界領域506の境界色は、図面では表現しきれないが例えば茶色に変更され、背景領域507の背景色は、図面では表現しきれないが例えば緑色に変更される。
色変更ボタン231が2回押下操作されると(図23の状態からさらに1回押下操作されると)、境界領域506の境界色は、図面では表現しきれないが例えばマゼンダに変更され、背景領域507の背景色は、図面では表現しきれないが例えばシアンに変更される。
前提として、今現在編集しようとしている領域、即ち十分に狭い領域を考えれば、原画像の前景領域と背景領域の画素値はほぼ一定していると考えてよい。即ち、ユーザの作業を通してみれば、画像の各部位での編集にあたり、配色の再変更は必要な場合があるが、それは大きな不都合ではないと考えられる。
また、前景画素値を「f」と記述し、背景画素値を「b」と記述し、境界色として採用される3色の各々を、「M1」,「M2」,「M3」のそれぞれと記述し、背景色として採用される3色の各々を、「B1」,「B2」,「B3」のそれぞれと記述する。
このような前提の下、設計者等は、6色(境界色M1乃至M3、及び背景色B1乃至B3)のうち、前景画素値fに最も近い色を選択する。また、設計者等は、6色(境界色M1乃至M3、及び背景色B1乃至B3)のうち、背景画素値bに最も近い色を選択する。この場合、図25から明らかなように、どのように対応をつけても、何れかの行における1対の組み合せ(図25例ではM2,B2の対)には、前景画素値fからも背景画素値bからも矢印が来ない。
ここで、6色(境界色M1乃至M3、及び背景色B1乃至B3)としてそれぞれ明確に異なる色にすることで、設計者等は、矢印が来ない行の対を、境界色と背景色の配色として選択するだけで、原画像の画素値との類似色は発生させない配色を設定することが可能になる。
この配色は、仕上領域指定画面(図6の基本画面201と同一構成)における、略輪郭線の色(境界色)、部分マット処理による修正後のトライマップ表示の色(中間領域が境界色)と共通であり、全体に統一されており、配色変更で同時に変わる。
図26は、仕上確認画面操作処理状態S44(図10)において表示される仕上確認画面204の初期状態の様子を示している。
図26に示すように、仕上確認画面204には、仕上調整が行われた処理対象画像から切り抜かれた前景(ウミガメ)に対して、予め用意された新背景画像511が合成されて表示される。
ユーザは、背景変更ボタン351を押下操作することで、表示領域211に表示される背景画像を、任意の新背景画像に変更することができる。
背景変更ボタン351が1回押下操作されると、表示領域211に表示される背景画像は、図27に示すような新背景画像512に変更される。
背景変更ボタン351が2回押下操作されると(図27の状態からさらに1回押下操作されると)、表示領域211に表示される背景画像は、図28に示すような新背景画像513に変更される。
背景変更ボタン351が3回押下操作されると(図28の状態からさらに1回押下操作されると)、表示領域211に表示される背景画像は、図29に示すような新背景画像514に変更される。
あらかじめターゲットの新背景画像が決まっていれば、ターゲットたる新背景画像を表示すれば必要十分な結果が得られるが、そもそもターゲットがあらかじめ決まっているとは限らない。また、ターゲットが決まっていたとしても、どのような新背景画像に対してもある程度通用する品質に仕上げられることが望ましい。
そこで、本実施形態では、確認画面たる仕上確認画面204と、編集画面たる仕上調整画面205(図13)とを行き来できるソフトウェアボタン、即ち、仕上調整ボタン361(図12)や確認画面ボタン372(図13)が設けられている。さらに、典型的な場合をある程度網羅できるような代表的な配色や複雑さを表現できる新背景画像の集合体が用意されており、背景変更ボタン351の押下操作(クリック操作に相当する操作)だけで、背景画像の内容が、巡回的に切り替えられるように構成されている。
これにより、例えば、ユーザは、特定の新背景画像を念頭においているならば、それに類似する新背景画像を用いて品質を容易に視認することができる。また例えば、ユーザは、あらゆる背景に通用することを目指していれば、全ての新背景画像を順次用いて品質を容易に視認することができる。そして、ユーザは、仮に品質不十分であると判断すれば、編集画面たる仕上調整画面205(図13)を表示させて、編集操作に容易に戻ることが可能になる。
ここで、システムとは、複数の装置や処理部により構成される装置全体を表すものであると定義し、1つの筺体内に収まる範囲内を1台の装置と仮定するならば、本発明が適用される画像処理システムは、複数の装置で構成してもよいし、単体の装置で構成してもよい。この場合、複数の装置で構成されるならば、複数の装置全体で図4の切抜処理部102の機能全体を発揮することができれば足り、図4の切抜処理部102の一機能は、複数の装置のうち任意の台数の任意の装置が有していればよい。
Claims (5)
- 前景物体を含む処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出手段と、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第1の分類色で表示させ、前記背景領域を、前記第1の分類色とは異なる第2の分類色で表示させる制御を実行する表示制御手段と、
前記第1の分類色及び前記第2の分類色の予め設定された複数の組み合わせのうち、ユーザからの指示に従って1つの組み合わせを選択して、前記表示制御手段に表示させる前記第1の分類色及び前記第2の分類色を変更する変更手段と、
を備えることを特徴とする画像処理装置。 - 前記表示制御手段は、前記背景領域と前記境界領域を、半透過色で表示させる制御を実行する請求項1に記載の画像処理装置。
- 所定の操作に応じて、半透過色で表示されている領域の透過比率を変更する透過率変更手段を更に備えた請求項2記載の画像処理装置。
- 画像処理装置が、前景物体を含む処理対象画像のデータに対して画像処理を実行する画像処理方法において、
処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出ステップと、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第1の分類色で表示させ、前記背景領域を、前記第1の分類色とは異なる第2の分類色で表示させる制御を実行する表示制御ステップと、
前記第1の分類色及び前記第2の分類色の予め設定された複数の組み合わせのうち、ユーザからの指示に従って1つの組み合わせを選択して、前記表示制御ステップで表示させる前記第1の分類色及び前記第2の分類色を変更する変更ステップと、
を含む画像処理方法。 - 前景物体を含む処理対象画像のデータに対して施される画像処理を制御するコンピュータに、
前記処理対象画像のデータについて、前記前景物体を含む前景領域と、背景領域と、前記前景領域と前記背景領域との境界を示す境界領域と、を検出する検出手段、
前記処理対象画像を表示するに際し、前記境界領域を他の領域とは識別可能な第1の分類色で表示させ、前記背景領域を、前記第1の分類色とは異なる第2の分類色で表示させる制御を実行する表示制御手段、
前記第1の分類色及び前記第2の分類色の予め設定された複数の組み合わせのうち、ユーザからの指示に従って1つの組み合わせを選択して、前記表示制御手段に表示させる前記第1の分類色及び前記第2の分類色を変更する変更手段、
として機能させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010275674A JP5170226B2 (ja) | 2010-12-10 | 2010-12-10 | 画像処理装置、画像処理方法、及びプログラム |
CN201110404074.8A CN102609902B (zh) | 2010-12-10 | 2011-12-07 | 图像处理装置及图像处理方法 |
US13/315,785 US8744174B2 (en) | 2010-12-10 | 2011-12-09 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010275674A JP5170226B2 (ja) | 2010-12-10 | 2010-12-10 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012123716A JP2012123716A (ja) | 2012-06-28 |
JP2012123716A5 JP2012123716A5 (ja) | 2012-09-20 |
JP5170226B2 true JP5170226B2 (ja) | 2013-03-27 |
Family
ID=46199448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010275674A Active JP5170226B2 (ja) | 2010-12-10 | 2010-12-10 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8744174B2 (ja) |
JP (1) | JP5170226B2 (ja) |
CN (1) | CN102609902B (ja) |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8532745B2 (en) | 2006-02-15 | 2013-09-10 | Hologic, Inc. | Breast biopsy and needle localization using tomosynthesis systems |
WO2011043838A1 (en) | 2009-10-08 | 2011-04-14 | Hologic, Inc . | Needle breast biopsy system and method of use |
WO2012071429A1 (en) | 2010-11-26 | 2012-05-31 | Hologic, Inc. | User interface for medical image review workstation |
US9020579B2 (en) | 2011-03-08 | 2015-04-28 | Hologic, Inc. | System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy |
JP2014534042A (ja) | 2011-11-27 | 2014-12-18 | ホロジック, インコーポレイテッドHologic, Inc. | マンモグラフィーおよび/またはトモシンセシス画像データを使用して2d画像を生成するためのシステムおよび方法 |
ES2641456T3 (es) | 2012-02-13 | 2017-11-10 | Hologic, Inc. | Sistema y método para navegar por una pila de tomosíntesis usando datos de imágenes sintetizadas |
CN104737570B (zh) * | 2012-10-19 | 2018-08-31 | 诺基亚技术有限公司 | 生成用于第一用户设备和第二用户设备之间的设备对设备通信的密钥的方法和设备 |
KR20140112891A (ko) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 미디어 편집을 위한 영역 선택 처리 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
EP2967479B1 (en) | 2013-03-15 | 2018-01-31 | Hologic Inc. | Tomosynthesis-guided biopsy in prone |
CN103701927B (zh) * | 2013-12-31 | 2017-06-27 | 华为技术有限公司 | 一种终端间的图像共享方法、终端设备及通信*** |
GB2522663B (en) | 2014-01-31 | 2020-02-12 | Apical Ltd | A method of selecting a region of interest |
WO2015123792A1 (en) | 2014-02-19 | 2015-08-27 | Qualcomm Incorporated | Image editing techniques for a device |
WO2015130916A1 (en) | 2014-02-28 | 2015-09-03 | Hologic, Inc. | System and method for generating and displaying tomosynthesis image slabs |
JP5804138B1 (ja) * | 2014-05-21 | 2015-11-04 | カシオ計算機株式会社 | 検出装置、検出方法及びプログラム |
KR20160099397A (ko) * | 2015-02-12 | 2016-08-22 | 삼성전자주식회사 | 제한된 실행 환경에서 결제 기능을 수행하기 위한 방법 및 장치 |
JP2017054337A (ja) * | 2015-09-10 | 2017-03-16 | ソニー株式会社 | 画像処理装置および方法 |
CN105681686A (zh) * | 2015-12-31 | 2016-06-15 | 北京奇艺世纪科技有限公司 | 一种图像处理方法和*** |
WO2017143392A1 (en) * | 2016-02-22 | 2017-08-31 | GenMe Inc. | A video background replacement system |
CN106254643B (zh) * | 2016-07-29 | 2020-04-24 | 瑞安市智造科技有限公司 | 一种移动终端及图片处理方法 |
JP6931290B2 (ja) * | 2017-03-03 | 2021-09-01 | キヤノン株式会社 | 画像生成装置およびその制御方法 |
CN106951898B (zh) * | 2017-03-15 | 2021-06-04 | 纵目科技(上海)股份有限公司 | 一种车辆候选区域推荐方法及***、电子设备 |
US10678244B2 (en) | 2017-03-23 | 2020-06-09 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11455754B2 (en) | 2017-03-30 | 2022-09-27 | Hologic, Inc. | System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement |
US11399790B2 (en) | 2017-03-30 | 2022-08-02 | Hologic, Inc. | System and method for hierarchical multi-level feature image synthesis and representation |
EP3600052A1 (en) | 2017-03-30 | 2020-02-05 | Hologic, Inc. | System and method for targeted object enhancement to generate synthetic breast tissue images |
DE202018006897U1 (de) | 2017-06-20 | 2024-06-03 | Hologic Inc | Dynamisches, selbstlernendes System für medizinische Bilder |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
SG11202103493QA (en) | 2018-10-11 | 2021-05-28 | Tesla Inc | Systems and methods for training machine models with augmented data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
JP7276031B2 (ja) * | 2019-09-17 | 2023-05-18 | 大日本印刷株式会社 | 撮影装置及び撮影システム |
CN111062861A (zh) * | 2019-12-13 | 2020-04-24 | 广州市玄武无线科技股份有限公司 | 一种陈列图像样本的生成方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000030037A (ja) * | 1998-07-10 | 2000-01-28 | Casio Comput Co Ltd | 撮影装置 |
US6281903B1 (en) * | 1998-12-04 | 2001-08-28 | International Business Machines Corporation | Methods and apparatus for embedding 2D image content into 3D models |
JP2004077958A (ja) | 2002-08-21 | 2004-03-11 | Make Softwear:Kk | 写真プリント作成装置 |
JP4360237B2 (ja) * | 2004-03-18 | 2009-11-11 | セイコーエプソン株式会社 | 画像修整装置、画像修整方法およびコンピュータプログラム |
US7782384B2 (en) * | 2004-11-05 | 2010-08-24 | Kelly Douglas J | Digital camera having system for digital image composition and related method |
US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
IES20060564A2 (en) * | 2006-05-03 | 2006-11-01 | Fotonation Vision Ltd | Improved foreground / background separation |
US8013870B2 (en) | 2006-09-25 | 2011-09-06 | Adobe Systems Incorporated | Image masks generated from local color models |
CN100531374C (zh) * | 2007-07-12 | 2009-08-19 | 上海交通大学 | 结合色度偏差和亮度偏差的视频运动目标检测方法 |
JP4707751B2 (ja) * | 2009-05-21 | 2011-06-22 | シャープ株式会社 | 画像圧縮方法、画像圧縮装置、画像形成装置、コンピュータプログラム及び記録媒体 |
-
2010
- 2010-12-10 JP JP2010275674A patent/JP5170226B2/ja active Active
-
2011
- 2011-12-07 CN CN201110404074.8A patent/CN102609902B/zh active Active
- 2011-12-09 US US13/315,785 patent/US8744174B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN102609902B (zh) | 2015-04-08 |
JP2012123716A (ja) | 2012-06-28 |
US8744174B2 (en) | 2014-06-03 |
US20120148151A1 (en) | 2012-06-14 |
CN102609902A (zh) | 2012-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5170226B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11049307B2 (en) | Transferring vector style properties to a vector artwork | |
US8644644B2 (en) | Methods and apparatus for blending images | |
CN104221358A (zh) | 用于修改多个图像属性的统一滑块控制器 | |
US6593938B1 (en) | Image processing apparatus, method and computer-readable recording medium with program recorded thereon, for joining images together by using visible joining points and correcting image distortion easily | |
US20080284791A1 (en) | Forming coloring books from digital images | |
JP4940050B2 (ja) | 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体 | |
JP2004215041A (ja) | 画像処理装置、画像処理プログラム、記録媒体、および画像処理方法 | |
JP2006350936A (ja) | 画像作成装置、及び画像作成用プログラム | |
JP4781844B2 (ja) | 画像出力装置、画像出力方法、および画像出力プログラム | |
JP2005117407A (ja) | 画像処理装置 | |
JP2008244996A (ja) | 画像処理システム | |
JP5685916B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2006350462A (ja) | アルバム画像作成装置、及びアルバム画像作成プログラム | |
US7170638B2 (en) | Method, system and recording medium for image processing | |
JP5484038B2 (ja) | 画像処理装置およびその制御方法 | |
JP4148165B2 (ja) | 画像を重ね合わせて合成画像を生成する画像合成 | |
Team et al. | Adobe Photoshop CC | |
JP4462031B2 (ja) | 色調整方法、色調整装置、及びプログラム | |
Onstott | Adobe Photoshop CS6 Essentials | |
JP5192940B2 (ja) | 画像変換装置、画像変換プログラムおよび画像変換方法 | |
JP2009027397A (ja) | 画像処理のための装置、方法、および、プログラム | |
JP2023022714A (ja) | 情報処理システム、サーバー、情報処理方法及びプログラム | |
JP2022025480A (ja) | 情報処理システム、情報処理方法、及びプログラム | |
JP4442586B2 (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120806 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120806 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20120809 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20120830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5170226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |