JP5162928B2 - 画像処理装置、画像処理方法、画像処理システム - Google Patents
画像処理装置、画像処理方法、画像処理システム Download PDFInfo
- Publication number
- JP5162928B2 JP5162928B2 JP2007061735A JP2007061735A JP5162928B2 JP 5162928 B2 JP5162928 B2 JP 5162928B2 JP 2007061735 A JP2007061735 A JP 2007061735A JP 2007061735 A JP2007061735 A JP 2007061735A JP 5162928 B2 JP5162928 B2 JP 5162928B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- replacement
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 187
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000003384 imaging method Methods 0.000 claims description 235
- 238000003780 insertion Methods 0.000 claims description 140
- 230000037431 insertion Effects 0.000 claims description 140
- 238000004891 communication Methods 0.000 claims description 127
- 238000000034 method Methods 0.000 claims description 125
- 238000010191 image analysis Methods 0.000 claims description 112
- 230000008569 process Effects 0.000 claims description 93
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 21
- 210000003128 head Anatomy 0.000 description 19
- 230000014616 translation Effects 0.000 description 14
- 238000013519 translation Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
また上記特許文献1、2には広告の形態や種類を変更する技術が開示されている。
このような状況においては、より多様な画像処理を実現し、例えばユーザが撮像画像から広告その他の情報を受け取ったり、或いは意識的に画像内に情報を挿入できるようにすることで、ユーザの利便性を高めたり、画像を用いた楽しみを広げることができると考えられる。
また上記撮像画像取得手段は、外部通信機器と通信を行う通信部を有し、上記通信部での外部通信機器と通信により、上記撮像画像データを受信して取得する。なお、外部通信機器とは、サーバ装置やサーバ装置以外の各種電子機器であって通信機能を備えた機器のことを示す。
また上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する。
また外部通信機器と通信を行う通信部を有し、上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する。
上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、上記記録媒体に記録する。
また上記保存処理手段は、外部通信機器と通信を行う通信部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、外部通信機器に送信する。
上記画像出力手段は、表示部を有し、上記出力処理として、上記表示部において上記入換画像データについての表示出力を行う。
また上記画像出力手段は、外部通信機器と通信を行う通信部を有し、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う。
また上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する。
また上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である。
さらに、本発明の画像処理装置は、ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、外部通信機器と通信を行い、上記通信機器に位置情報を送信し、上記位置情報と日時に応じて選択された挿入画像データを受信する通信部と、上記外部通信機器から受信した上記挿入画像データを記憶する挿入画像記憶手段と、上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段とを備える。
そしてそのような入換領域内の全部又は一部の画素データを、挿入画像データに置き換える処理を行って入換画像データを生成する。挿入画像データとは、例えば広告、メッセージ、翻訳などの文字や図形その他を含む画像データである。
このようにすると、入換画像データにより、多様な情報提供、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
これによって画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
説明は次の順序で行う。
[1.撮像装置の外観例]
[2.撮像装置、システム構成、サーバ装置]
[3.生成画像例]
[4.入換領域、挿入画像データ]
[5.挿入画像データの取得]
[6.画像保存形式例]
[7.画像解析/入換部の処理例I]
[8.画像解析/入換部の処理例II]
[9.動作手順例]
[10.実施の形態の効果、及び変形例、拡張例]
実施の形態の撮像装置1としては、各種の形態が想定されるが、それらの外観例を図1(a)(b)(c)(d)に例示する。
図1(a)は、眼鏡型ディスプレイカメラとした撮像装置1を示している。撮像装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置1は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部2a、2aが配置される構成とされている。この表示パネル部2aには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部2aがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部2aは、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成も考えられる。
また、撮像方向をユーザの視界方向としているが、装着時にユーザの後方、側方、上方、足下方向などを撮像するように撮像レンズ3aが取り付けられている構成や、撮像方向が同一又は異なる方向とされた複数の撮像系が設けられている構成も考えらえる。
さらには、1又は複数の撮像レンズ3aについて、被写体方向を手動又は自動で可変できる撮像方向可変機構を設けても良い。
また図1(d)は一般にビデオカメラとして知られているような形態の撮像装置1を示している。
これら図1(c)(d)のようにユーザが所持して使用する撮像装置1も、本発明の実施の形態の一態様となる。そして図では撮像レンズ3aしか示していないが、撮像モニタ用のパネル表示部やビューファインダなどの表示デバイスも設けられている。
また、これらの各種形態において、例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に記録する音声信号を得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ3aの近辺に、被写体方向への照明を行う発光部を、例えばLED(Light Emitting Diode)等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。
撮像装置1の構成例を図2で説明する。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置1の全体を制御する制御部とされる。このシステムコントローラ10は内部のROM等に保持したプログラムに基づいて、各種演算処理やバス13を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
撮像部3における撮像光学系では、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
この撮像部3の撮像動作によって得られた画像データは、撮像制御部6で処理される。
撮像制御部6は、システムコントローラ10の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じて画像解析/入換部12,ストレージ部14,通信部15,表示制御部7へ供給する処理を行う。
また撮像制御部6はシステムコントローラ10の指示に基づいて、撮像部3における撮像動作のオン/オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。
例えば撮像部3で得られる撮像画像データに対して画像解析よりを行って、画像内における入換領域を検出する処理を行う。
また検出された入換領域の画素データを、挿入画像データに入れ換える画像入換処理(画像合成)を行い、入換画像データを生成する。
これらの処理の詳細や、入換領域、挿入画像データ、入換画像データ等については後述する。
即ち撮像装置1が取得できる撮像画像データとしては、外部の撮像装置で撮像された撮像画像データもあり得る。例えば外部の撮像装置で撮像された撮像画像データが、その撮像装置やサーバ装置等から送信され、通信部15で受信される場合がある。
また外部の撮像装置で撮像された撮像画像データが可搬性記録媒体に記録され、その可搬性記録媒体をストレージ部14(ストレージ部14が可搬性記録媒体に対する再生機能を備えている場合)で再生することで取得する場合もある。
このため、例えば通信部15で受信した撮像画像データや、可搬性記録媒体から再生して読み出した撮像画像データを、画像解析/入換部12での処理対象とすることもできる。
この表示部2は、上述した液晶パネル等による表示パネル部2aと、表示パネル部2aを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部6から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部2aにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部2aにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
即ち、撮像部3での撮像モニタとしての表示や、ストレージ部14に取り込まれた撮像画像データの再生表示、さらには通信部15で受信したデータの表示、各種キャラクタの表示などを、表示パネル部2aにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示(強調表示)、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部7は、システムコントローラ10の指示に基づいて表示駆動部を制御し、表示パネル部2aの各画素の透過率を制御して、スルー状態(透明又は半透明の状態)とすることもできる。
このストレージ部14は、RAM或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばHDD(Hard Disk Drive)により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやHDD等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部14は、システムコントローラ10の制御に基づいて、撮像画像データや入換画像データを記録し、保存する。
またシステムコントローラ10の制御に基づいて、記録したデータを読み出し、システムコントローラ10や表示制御部7などに供給する。
また、必ずしも無線通信ではなく、外部通信機器との間の有線接続により外部通信機器と通信を行うものでもよい。
通信を行う外部通信機器としては、後述するサーバ装置70や、表示装置、ストレージ装置などの外部機器80が想定される。
位置検出部17は例えばGPS受信部とされる。GPS受信部は、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ10に出力する。
なお、位置検出部17としては、WiFi(Wireless Fidelity)や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやGPSを組み合わせて利用しても良い。
挿入画像記憶部18は、予め各種の挿入画像データが記憶されていても良いし、サーバ装置70等から送信されて通信部15で受信した挿入画像データを記憶するようにしてもよい。
この挿入画像記憶部18は、RAM、フラッシュメモリなどの固体メモリ、HDD等を用いて構成できるし、可搬性記録媒体に対する記録再生ドライブとして構成されてもよい。また、この図2ではストレージ部14とは別に示しているが、ストレージ部14において用いる記録媒体の一部の領域を挿入画像記憶部18として使用するようにしても良い。
なお、翻訳処理部19は、システムコントローラ10における翻訳ソフトウエアにより実現しても良い。
操作入力部11は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン/オフ操作、撮像系の操作(例えばシャッタ操作、ズーム等の操作や、信号処理の指示操作)、表示関連操作(例えば表示内容の選択や表示調整操作)などに用いる操作子が形成されればよい。
また、画面上でカーソル等のポインタを移動させる操作子として、上記タッチパネルや十字キー、ジョグダイヤル等を備えるようにしてもよい。或いは、加速度センサ、角速度センサ等を内蔵したリモートコントローラにより、ユーザがリモートコントローラを手に持って動かすことで、画面上のカーソル等が移動するような操作が実行可能としても良い。
例えば図1(c)(d)のような撮像装置を考えた場合、操作キー、ダイヤル、タッチパネル等により各種の操作を行うことが好適である。
例えばユーザが撮像装置1を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ10がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部(眼鏡のツルに相当する部分)を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識することができる。
また、撮像装置1の左右の側部(眼鏡のツルに相当する部分)等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
そしてシステムコントローラ10は生体センサの検出情報を、ユーザの操作入力として認識する。例えばユーザの意識的な挙動として目の動き(視線方向の変化やまばたき)が考えられるが、ユーザが3回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像装置1を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ10がその検出に応じて電源オン/オフなどを行うようにしてもよい。
なお生体センサは、例えば眼鏡型の撮像装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。
なお、ユーザの挙動を検出するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
この入換画像データは、撮像された画像の一部の内容が、他の内容に入れ換えられたものとなる。
撮像画像データの一部の内容を、例えば広告、メッセージ、翻訳などの文字や図形等の入換画像データに置き換えて生成される入換画像データは、撮像画像の内容に付加価値を加えるような内容の画像となる。
そして入換画像データによる画像表示を行うことで、ユーザに対する多様な情報提供や、ユーザによるメッセージ表現、或いは利便性の向上などが可能となる。
この場合、撮像装置1では、例えば撮像動作により取得した撮像画像データを、画像入換処理対象とすることができる。
またストレージ部14として、光ディスク、メモリカードなどの可搬性記録媒体に対する再生部を備える場合は、可搬性記録媒体から読み出した撮像画像データを対象として画像入換処理を行うことも可能である。
そして、処理対象とした撮像画像データの一部を、挿入画像記憶部18に記憶されている挿入画像データに入れ換えることで入換画像データを生成する。
生成した入換画像データについては、保存処理としてストレージ部14に保存できる。
また生成した入換画像データについては、出力処理として、表示部2において表示させることができる。
また可搬性記録媒体に対する記録部を備える場合は、生成した入換画像データの出力処理として、可搬性記録媒体に記録するという動作も可能である。
生成した入換画像データの保存処理としては、内部のストレージ部14に保存する他、通信部15から外部機器80(ストレージ装置)に送信して、その外部機器80において記録媒体に保存させるような動作も可能となる。
また生成した入換画像データの出力処理としては、表示部2で表示させる他、外部機器80としての表示装置に送信して表示出力させることができる。
なお、外部機器80との通信は、無線通信だけでなく、有線通信も想定される。
ネットワーク60とは、インターネットの他に、携帯電話通信網、PHS通信網、アドホックネットワーク、LANなど、各種考えられる。
外部機器80との通信による動作例は上記図3(b)の場合と同様に考えられる。
撮像装置1においては、上述のように挿入画像記憶部18に挿入画像データが記憶されており、挿入画像記憶部18から読み出された挿入画像データが、画像入換処理に用いられるが、その挿入画像データを、サーバ装置70が撮像装置1に供給することで、広告等の内容の多様な挿入画像データを利用できるようにしたり、挿入画像データの内容を更新できるようにする。
サーバ装置70においては画像データベース76が設けられて各種の挿入画像データが蓄積されており、多様な条件で挿入画像データを選定して撮像装置1に提供できる。
なお、サーバ装置70が撮像装置1に、処理対象とする撮像画像データを提供できるようにしても良い。また、撮像装置1で生成された入換画像データを、サーバ装置70において保存したり、外部機器80に転送できるようにしてもよい。
上記のようにサーバ装置70は、例えばネットワーク60を介した通信により、撮像装置1に対して挿入画像データや撮像画像データを供給できる装置である。
サーバ装置70は、サーバ制御部72、ネットワークストレージ部71、通信部73、情報管理部74、地図データベース75、計時部76、画像データベース77、ユーザ情報格納部78を備える。
通信部73は、撮像装置1の通信部26や外部機器80の通信部との間で、ネットワーク60を介したデータ通信を行う。
サーバ制御部72は、サーバ装置70としての必要な動作制御を行う。特には、撮像装置1に対する入換画像データの供給のための制御動作を行う。
地図データベース75は地図情報を格納している。
計時部76は現在日時(年月日時分秒)を計数している。
画像データベース76には、例えば広告画像としての各種の挿入画像データが記憶されている。
ユーザ情報格納部78は、サーバ装置70が入換画像データを提供する撮像装置1のユーザの登録情報を記憶する。例えば撮像装置1の個体毎の識別情報(もしくは通信に用いるアドレス等の情報)に対応させて、ユーザ情報を格納する。ユーザ情報とは、例えば年齢、性別、趣味、嗜好など、ユーザが登録時に提供する内容とすればよい。
例えば情報管理部74は、計時部76で計数されている現在日時に応じて、現時点でユーザに提供すべき広告内容の挿入画像データを検索する。
或いは情報管理部74は、撮像装置1から現在位置情報が送信されてくることに応じて、その撮像装置1の現在位置に応じて適した広告内容の挿入画像データを検索する。この際、地図データベース75に格納されている地図情報に照らし合わせることで、撮像装置1の現在位置を把握し、その位置に応じた挿入画像データを選択できる。
或いは情報管理部74は、ユーザ情報格納部78に記憶されている撮像装置1のユーザ情報に基づいて、そのユーザに適した広告内容の挿入画像データを検索する。
撮像装置1において生成される入換画像データとしての画像例を図5,図6,図7,図8,図9に示す。これら各図(a)は撮像画像、各図(b)は設定される入換領域、各図(c)は生成した入換画像を示している。
このような画像に対して、図5(b)のように、画像内での看板の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。つまり画素データを入れ換える。これにより、図5(c)のように看板の広告内容が変更された入換画像が生成される。
このような画像に対して、図6(b)のように、画像内での空の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲の一部に、挿入画像データを挿入する。挿入画像データは、例えば広告文字を含む飛行船とする。
これにより、図6(c)のように空に広告が示された飛行船が飛んでいる入換画像が生成される。
このような画像に対して、図7(b)のように、画像内での衣服の文字の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に、挿入画像データを挿入する。挿入画像データは、例えばメッセージ文字画像とする。
これにより、図7(c)のように衣服の文字がメッセージ文字に変更された入換画像が生成される。
このような画像に対して、図8(b)のように、画像内での文字の部分を入換領域ARiとして設定する。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば翻訳文字画像とする。
これにより、図8(c)のように店舗の看板の文字(日本語)が、英語表記に変更された入換画像が生成される。
このような画像に対して、図9(b)のように、画像内でのマークMが認識された位置に基づいて入換領域ARiを設定する。例えば無地の領域を入換領域ARiとする。
そしてこの入換領域ARiとされた画素範囲に対して挿入画像データを挿入する。挿入画像データは、例えば広告画像とする。
これにより、図9(c)のように、何も描かれていなかった看板に広告が表示された入換画像が生成される。
例えば上記のような入換画像としての入換画像データを生成するためには、撮像画像データの画像内で、まず入換領域ARiを設定することが必要となる。
このため撮像装置1では、画像解析/入換部12において、処理対象とする撮像画像データの画像解析を行い、入換領域ARiを設定する。特に生成される入換画像データが、自然な画像に見えるようにするために、画像内で適切な領域を入換領域ARiとする必要がある。
ここでは、入換領域ARiの設定手法の例を述べる。
例えば画像内で輪郭線が方形(長方形、台形、平行四辺形、)となっている部分を抽出する。なお、一般に長方形で形成される看板は、撮像方向や撮像時の仰角、遠近などにより、画像上では台形や平行四辺形に映し出される。このため、画像内の全体的な輪郭線の様子(例えば道路や建物の輪郭線)などから撮像方向、仰角等を推定し、元(実物)は長方形であると推定される台形や平行四辺形を画像内から抽出するような解析処理も有効である。
輪郭線が方形である領域を検出したら、その方形の内側に文字が含まれているかを判断する。例えば文字のパターン認識を行う。なお各種のロゴ、マーク等を記憶しておき、画像パターンマッチングにより、ロゴやマークと推定される画像が含まれているかを検出してもよい。
そして、方形の領域であって、その内側に文字(或いはロゴ、マーク)が含まれている画像領域が撮像画像内に存在すれば、それは看板等が写されているものと判断し、その方形領域を入換領域ARiとする。
なお、方形の領域ではなく、円形、楕円形の領域などを看板と推定することも考えられる。
まず、画像内の上部、又は左上部、又は右上部の領域を「空」と推定する。
また、これらの上部領域において、或る程度の範囲で青色(空としての青系の色)であるか否かを判断する。
これらの条件により、画面内で空の範囲を特定でき、その空の範囲を入換領域ARiとすることが可能である。
また、さらには、空の場合、緩やかなグラデーションが見られる程度で一定領域、極端な色変化や物体の存在は無いため、画像内の輪郭線(境界エッジ)が存在しない範囲を空として認識することも可能である。
なお、ここでは空の領域を判別する例を挙げたが、同様に海、湖等の水面の領域を判定して、それを入換領域ARiとすることもできる。
さらに、道路上の自動車を判別して、自動車の領域を入換領域ARiとすることも考えられる。
例えば、本例の入換画像データの生成動作に対応して、予め実際の看板等に特定のマークMを表示しておく。
画像解析としては、撮像画像内に、特定のマークMが含まれているか否かを判別する。
画像内で特定のマークMを検出したら、そのマークMの位置に基づいて、入換領域ARiを設定する。例えばマークMを含む方形の領域、円形の領域、楕円の領域、或いは輪郭線が認識できる不定形の領域等を、入換領域ARiとする。また、図9(a)のように元々の看板に何も描かれていないことを前提とすれば、マークMを含む無地の領域を入換領域ARiとすることも考えられる。もちろん、元々の看板に、何らかの文字や絵などが描かれていたとしても、マークMに基づいて、その文字や絵を変更するような範囲で入換領域ARiを設定しても良い。
また、実際の看板などにおいてマークMを複数個表示し、その各マークを対角点とする方形範囲や、各マークを頂点とする形状の範囲を入換領域ARiとしてもよい。
例えば設置する看板、或いは建物の壁面、窓などにおいて、特定のマークMを実際に表示しておくことで、撮像された際に、その領域が入換領域ARiとして用いられて画像に広告データ等が付加されることを求めるものとなる。
なお、被写体側がマークMにより、入換領域ARiとして用いられることを表示する例を挙げたが、マークでなく、実際の看板等に特定の地模様を表示し、撮像装置1では画像解析において当該地模様が認識される範囲を入換領域ARiとするようにしてもよい。
また看板等に、バーコード、二次元バーコード、或いは発光体等を配し、撮像装置1でこれらの情報を画像解析により検知することに応じて、入換領域ARiを設定してもよい。
そして、設定した入換領域ARi内の全部又は一部の画素データを、挿入画像データとしての画素データに置き換えることで入換画像データを生成する。
挿入画像データの画像内容としては、以下のような例が想定される。
このような広告としての挿入画像データは、文字画像、ロゴやマークの画像などで実現される。
さらに図6(c)に例示した飛行船のように、所定の物体を伴う画像としてもよい。例えば図6(c)のように空の部分に挿入する挿入画像データとしては、アドバルーン、気球、飛行機、旗などに広告文字等を付加した画像が考えられる。また、海などの水面に挿入する挿入画像データとしては、船舶に広告文字等を付加した画像などでもよい。
さらに、車体等に広告文字等を付加した自動車、鉄道車両などの画像も考えられる。
これらの広告画像としての挿入画像データは、撮像装置1が挿入画像記憶部18に固定的に記憶されるものでもよいし、例えばサーバ装置70から送信されて挿入画像データに記憶されるようにしても良い。さらに各種の挿入画像データが可搬性記録媒体に記録されてユーザに提供され、ユーザが当該可搬性記録媒体を撮像装置1に装填して再生させることで、記録された挿入画像データが挿入画像記憶部18に取り込まれるようにしてもよい。
メッセージ文字画像の内容は、ユーザが任意に作成(入力)できるようにすればよいし、各種のメッセージ文字画像を用意し、ユーザが選択できるようにしてもよい。
メッセージ文字画像は、予め各種用意されて挿入画像記憶部18に記憶されているようにしてもよいし、ユーザが入力することにより挿入画像記憶部18に記憶されるようにしてもよい。
撮像装置1においては翻訳処理部19で翻訳処理が行われ、翻訳文字データが生成される。これが画像解析/入換部12に供給されて挿入画像データとして用いられる。
撮像装置1では、挿入画像記憶部18に広告画像やメッセージ文字画像としての挿入画像データを格納しており、画像解析/入換部12は、入換画像データを生成する際に、例えば挿入画像記憶部18から挿入画像データを読み出して用いる。
上述のように、挿入画像記憶部18には、予め広告画像やメッセージ文字画像としての挿入画像データが各種格納されていればよいが、特に広告画像や、メッセージ画像として特殊のデザインの画像などを、サーバ装置70から提供されるようにすることで、撮像装置1では多様な内容の挿入画像データを利用できるようになる。
ここでは、撮像装置1がサーバ装置70から挿入画像データを取得する動作例を図10,図11で述べる。
サーバ装置70は、例えば企業などの広告主からの要請や契約に基づいて、定期的或いは随時、撮像装置1に対して通信接続を行い、所定の挿入画像データを送信する(S1)。即ちサーバ制御部72は、情報管理部74により画像データベース77から所要の挿入画像データを読み出させ、これを通信部73から送信させる。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S2)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S3)。
このような動作は、例えばサーバ装置70が多数の撮像装置1に対して一斉に所定の挿入画像データを送信する場合などに好適な動作となる。
撮像装置1のシステムコントローラ10は、例えばユーザ操作に基づく任意の時点、或いは定期的なタイミング、或いは画像入換処理を行うタイミングなどにおいて、通信部15からサーバ装置70に対して挿入画像要求の情報を送信させる(S11)。
サーバ装置70のサーバ制御部72は、通信部73において挿入画像要求を受信したことを検知したら(S12)、それに応じて、情報管理部74により画像データベース77から所要の挿入画像データを読み出させる。そしてその挿入画像データを通信部73から要求元の撮像装置1に対して送信させる(S13)。撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S14)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S15)。
このような動作により、撮像装置1側にとって動作上、好適なタイミング、或いはユーザが求めたタイミングで、挿入画像データの提供を受けることができるようになる。
サーバ装置70では、情報管理部74が、計時部76による現在日時を確認し、その現在日時に応じて、画像データベース77に格納されている挿入画像データを選定する(S21)。そしてサーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S22)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S23)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S24)。
この動作においては、タイムリーな広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
例えば商品の発売日や、バーゲン等の日時に応じた広告、イベントやスポーツの試合の開催日からみて適切な広告、月日や季節に応じた広告などとしての挿入画像データを、撮像装置1に提供できることになる。
サーバ装置70では、例えば広告主側から広告提供期日や期間を指定されることに応じて、画像データベース77に、その挿入画像データについて日時情報を対応させて登録しておいたり、広告やメッセージの内容に応じた季節、月日などの情報を、各挿入画像データに日時情報を付加しておくことで、情報管理部74はタイムリーな挿入画像データを画像データベース77から検索することができる。
なお、この図11(a)と図10(b)を組み合わせて、撮像装置1から挿入画像要求を送信した場合に、サーバ装置70がそのときの日時に基づいて挿入画像データを検索して撮像装置1に供給することも考えられる。
撮像装置1のシステムコントローラ10は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、位置検出部17で検出される位置情報を通信部15からサーバ装置70に送信させる(S31)。
サーバ装置70では、撮像装置1が送信してきた位置情報を通信部73で受信したら(S32)、サーバ制御部72は、情報管理部74に、その位置情報を与え、位置に応じた挿入画像データを検索させる。情報管理部74は、位置情報に応じて地図データベースから地図情報を読み出し、現在、撮像装置1のユーザが居る位置を把握すると共に、その近辺の店舗や施設などを確認する。そして、近辺の店舗や施設についての広告などの挿入画像データを、画像データベース77から検索する(S33)。
そしてサーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S34)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S35)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S36)。
この動作においては、ユーザの現在位置に応じた好適な広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
例えばユーザの居る位置の近辺の店舗や施設、地域の広告などとしての挿入画像データを、撮像装置1に提供できることになる。
サーバ装置70では、例えば広告主側から広告提供を行う地域を指定されることに応じて、画像データベース77に、その挿入画像データについて地域情報を対応させて登録しておくことで、情報管理部74はユーザの現在位置に応じた挿入画像データを画像データベース77から検索することができる。
また、企業広告ではなく、各種警報(津波、落雷等の警報)、天気情報、交通情報などを、地域に応じた挿入画像データとして提供することも可能である。
撮像装置1のシステムコントローラ10は、定期的、又はユーザ操作に応じたタイミング、或いは画像入換処理を行うタイミングなどで、ユーザID(又は撮像装置ID)を通信部15からサーバ装置70に送信させる(S41)。
サーバ装置70では、撮像装置1が送信してきたユーザIDを通信部73で受信したら(S42)、サーバ制御部72は、情報管理部74に、そのユーザIDに応じた挿入画像データを検索させる。情報管理部74は、ユーザIDに応じてユーザ情報格納部78を検索し、当該ユーザIDのユーザの情報を読み出す。例えば性別、年齢、趣味、嗜好などの情報を読み出す。そしてそれらのユーザの情報に適した広告などの挿入画像データを、画像データベース77から検索する(S43)。
サーバ制御部72は、情報管理部74が選択した1又は複数の挿入画像データを受け取り、これを通信部73から撮像装置1に対して送信させる(S44)。
撮像装置1では送信されてきた挿入画像データを通信部15で受信したら(S45)、システムコントローラ10は、受信した挿入画像データを挿入画像記憶部18に保存させる(S46)。
この動作により、撮像装置1のユーザ毎に、そのユーザの性別、年齢、趣味、嗜好等に適した広告やメッセージなどの内容の挿入画像データを撮像装置1に提供できることになる。
サーバ装置70では、例えば各挿入画像データについて、その内容に応じて提供したいユーザの性別、年齢、趣味、嗜好等を登録しておくことで、情報管理部74はユーザ毎に適した挿入画像データを画像データベース77から検索することができる。
なお、撮像装置1からの要求(ユーザID又は撮像装置IDの送信)が無くとも、サーバ装置70が定期的、或いは随時、各撮像装置1に、ユーザIDに基づいて選択した挿入画像データを送信するようにしてもよい。例えば、新たな広告内容の挿入画像データを画像データベースに登録した際に、その広告内容に興味を持つと思われるユーザを検索し、そのユーザIDのユーザが所有する撮像装置1に対して、当該挿入画像データを送信するような処理も可能である。
なお、これらの提供の手法は一例にすぎず、さらに多様な提供手法が考えられる。
例えば撮像画像データについて、撮像場所としての位置情報や撮像日時が付加されて保存されている場合において、それらに応じた挿入画像データの提供も可能である。
例えば或る撮像画像データを画像解析/入換部12での処理の対象とする際に、その撮像場所としての位置情報をサーバ装置70に送信し、サーバ装置70が、その撮像場所としての位置情報に応じた挿入画像データを検索して撮像装置1に送信する。
或いは、その撮像画像データの撮像日時情報をサーバ装置70に送信し、サーバ装置70が、その撮像日時に応じた挿入画像データを検索して撮像装置1に送信する。
撮像装置1では、このように提供された挿入画像データを用いて、画像解析/入換部12が入換画像データ生成処理を行うことで、撮像画像データの撮像場所や撮像日時に応じた広告やメッセージ等を挿入した入換画像データを生成できる。
次に、撮像装置1において、画像解析/入換部12の処理結果の保存形式例を説明する。
上述のように、画像解析/入換部12は、処理対象とした撮像画像データの画像内で、入換領域ARiを設定する処理と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する処理を行う。
例えば画像解析/入換部12が、これらの処理をおこなって入換画像データを生成した場合、入換画像データをストレージ部14に保存することが考えられるが、そのときには図12のような画像保存形式が考えられる。
例えば撮像部3で撮像を行うことで取得した撮像画像データ、或いは通信部15で受信して取得した撮像画像データ、或いは可搬性記録媒体から読み出されることで取得した撮像画像データをストレージ部14に保存される。
取得された各撮像画像データは、例えば図のエントリ#1、#2・・・#nとしての撮像画像データVD1,VD2・・・VDnとして保存される。
また、これらの画像データにそれぞれ対応して、画像管理情報C1,C2・・・Cnが記録される。画像管理情報は、例えば撮像画像データのファイル名、画像種別(動画/静止画の別など)、データサイズ、圧縮方式、撮像を行った装置の識別情報などを含む。また撮像日時情報(撮像時の年月日時分秒)や、撮像時に位置検出部17で検出された撮像場所としての緯度・経度の情報も含むようにしてもよい。
そして、これらの撮像画像データVD1,VD2・・・VDnに対応させて入換画像データcVD1,cVD2・・・cVDnを記憶する。
例えば画像解析/入換部12で撮像画像データVD1を処理対象として処理して生成した入換画像データcVD1は、撮像画像データVD1に対応させて保存する。
なお、1つの撮像画像データを用いて複数の入換画像データを生成することもできる。その場合も、各入換画像データを、元の撮像画像データに対応させて記憶すればよい。
すると、ストレージ部14において、図13に示すように、撮像画像データに対応して入換領域ARiを示す入換領域情報を保存するという形式も想定される。即ち図示するように撮像画像データVD1,VD2・・・VDnに対応させて入換領域情報E1,E2・・・Enを記憶する。
例えば画像解析/入換部12で撮像画像データVD1を処理対象とし、入換領域ARiの設定を行った時点で、その1又は複数の入換領域ARiとしての画素範囲を示す情報を入換領域情報E1として、撮像画像データVD1に対応させて保存する。
このようにすることで、後の時点で、入換領域情報Eで示される画素領域に挿入画像データを挿入して入換画像データを生成することができる。
或いは、例えば表示の都度に入換領域に異なる挿入画像データを挿入して入換画像データを生成するような場合にも好適である。
また、例えば入換領域ARiの設定機能を備えない外部機器80に撮像画像データと入換領域情報を送信し、その外部機器において入換画像データを生成させるということも可能となる。
画像解析/入換部12は、システムコントローラ10の指示に応じて、システムコントローラ10が指定した撮像画像データを処理対象として、入換画像データの生成のための処理を行う。
ここでは画像解析/入換部12の処理例Iとして、処理対象とした撮像画像データの画像内で入換領域ARiを設定する処理(入換領域設定処理)と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する処理(画像入換処理)を連続して行う場合の例を述べる。
システムコントローラ10は、画像解析/入換部12において図14の処理を実行させる際、その処理対象となる撮像画像データを画像解析/入換部12に転送させる。例えば撮像部3で撮像した撮像画像データを撮像制御部6から画像解析/入換部12に転送させる。或いは通信部15で受信した撮像画像データを画像解析/入換部12に転送させたり、ストレージ部14で撮像画像データを再生させて画像解析/入換部12に転送させる場合もある。
画像解析/入換部12は、処理対象とされた撮像画像データが入力されると、図14の処理をステップF101からF102に進める。
入換領域ARiを設定したら、設定した入換領域ARiの数を変数Nに代入する。
そのためN=0であって、入換領域ARiが1つも設定できなかった場合は、ステップF110に進み、今回処理対象とされた撮像画像データについては、入換画像データの生成が不能である旨をシステムコントローラ10に通知して処理を終える。
そしてステップF105で画像解析/入換部12は、挿入画像記憶部18(又は翻訳処理部19)から挿入画像データを入手し、ステップF106で、第Xの入換領域ARi(X)の画素データを、入手した挿入画像データの画素データに入れ換える処理を行う。即ち入換画像データを生成する。
また、上記図10(a)(b)、図11(a)(b)(c)の動作によりサーバ装置70から供給された挿入画像データとして、最も最近において画像記憶部18に取り込まれた挿入画像データから順に選択していっても良い。
また、この図14の処理を実行する時点で、上記図10(b)又は図11(b)又は図11(c)のようにサーバ装置70にアクセスし、挿入画像データの供給を受けるようにし、それによって挿入画像記憶部18に取り込んだ挿入画像データをステップF105で読み出すようにしてもよい。
また、挿入画像データとしてメッセージ文字画像を用いる場合は、例えばメッセージ文字画像の一覧等を表示部2に表示させ、ユーザの選択操作に応じて、特定のメッセージ文字画像を選択するという手法がある。または、ユーザが実際に文字入力を行ってメッセージ文字画像を生成するということも想定される。
もちろんユーザ入力を介さない選択も可能である。挿入画像記憶部18に記憶された挿入画像データをランダムに選択したり、順番に選択するようにしてもよい。
さらに、上述したように操作入力部11に生体センサを備える場合、生体センサによって検知できるユーザの状況に応じて挿入画像データを選択することも考えられる。例えば脳波、発汗、心拍数・・・等、上述した検出要素からユーザの体調や気分を推定し、その推定されたユーザ状況に適したメッセージ文字画像の挿入画像データを選択することも可能である。
また、挿入画像データとして翻訳文字画像を用いる場合は、ステップF105において、入換領域ARi(X)において認識した文字に基づいて文字データを生成して翻訳処理部19に供給する。そして翻訳処理部19で翻訳された文字データを画像解析/入換部12が受け取ることになる。
まだ、未処理の入換領域ARiが存在すれば、ステップF108に進んで変数Xをインクリメントし、ステップF105に戻る。即ち次の入換領域ARi(X)について同様に処理を行う。
画像解析/入換部12は、システムコントローラ10の指示に従って、このように生成した入換画像データを転送出力する。
例えば入換画像データを表示出力するのであれば表示制御部7に転送する。表示制御部7は供給された入換画像データについての表示を表示部2に実行させる。
また、入換画像データを外部機器80やサーバ装置70に送信出力するのであれば通信部15に転送する。通信部15は供給された入換画像データの送信処理を行う。
また入換画像データを記憶するのであればストレージ部14に転送する。例えばストレージ部14においては、図12のような形式で入換画像データが記憶される。或いは、特に入換画像データの出力処理として、可搬性記録媒体に記録するのであれば、ストレージ部14(ストレージ部14に可搬性記録媒体に対する記録再生部が設けられている場合)に転送し、可搬性記録媒体に記録させることになる。
なお、撮像画像データを静止画とした場合は、上記処理が1フレームの画像データに対して行われればよいが、動画としての撮像画像データを処理対象とする場合、その動画を構成する各フレーム毎に上記処理を行うことになる。
画像解析/入換部12の処理としては、処理対象とした撮像画像データの画像内で入換領域ARiを設定する入換領域設定処理と、設定した入換領域ARiに挿入画像データを挿入して入換画像データを生成する画像入換処理を、別のタイミングでおこなうようにしてもよい。このような処理を処理例IIとして図15,図16で述べる。
システムコントローラ10は、画像解析/入換部12において図15の処理を実行させる際、例えば撮像制御部6、或いはストレージ部14、或いは通信部15に指示して、処理対象となる撮像画像データを画像解析/入換部12に転送させる。
画像解析/入換部12は、処理対象とされた撮像画像データが入力されると、図15の処理をステップF201からF202に進める。
入換領域ARiを設定したら、ステップF203で、入換領域情報を生成する。入換領域情報とは、設定した1又は複数の各入換領域ARiの画素領域を示した情報(もしくは入換領域無しの情報)である。
入換領域情報を生成したら、画像解析/入換部12はステップF204で、その入換領域情報を出力する。この入換領域情報はシステムコントローラ10の制御によりストレージ部14に転送され、ストレージ部14において上記図13のような形式で記憶される。
システムコントローラ10は、画像解析/入換部12に入換画像データを生成させる際には、図13のように対応づけられて保存された、或る撮像画像データVDと入換領域情報Eをストレージ部14に読み出させ、それを画像解析/入換部12に転送させる。
画像解析/入換部12は、或る撮像画像データVDと入換領域情報Eが供給されることに応じて、図16の画像入換処理を行う。
そしてステップF304〜F309の処理で生成された入換画像データは、ステップF309において表示制御部7に転送されて表示出力されたり、通信部15に転送されて送信処理されたり、ストレージ部14に転送されて内部記録媒体或いは可搬性記録媒体に記憶されたりする。
画像解析/入換部12では、以上の処理例I又は処理例IIのように、入換領域ARiの設定や、入換画像データの生成が行われる。
このような画像解析/入換部12の処理を利用した本例の撮像装置1の動作手順は非常に多様に考えられる。
以下、図17,図18,図19により、システムコントローラ10の制御によって実行される撮像装置1の動作手順の例を述べていく。各ステップの動作は、システムコントローラ10の制御に基づいて、所要の部位が実行する。
ステップST100で撮像画像データを取得する。
なお、図17(a)(b)(c)(d)、図18(a)(b)、図19(a)(b)における「画像取得」とは、撮像部3での撮像を行って撮像画像データを取得するか、または通信部15での受信により撮像画像データを取得するか、またはストレージ部14において可搬性記録媒体から読み出すことで撮像画像データを取得することを示す。
ステップST101では、ステップST100で取得した撮像画像データを画像解析/入換部12に供給し、入換領域設定処理、及び画像入換処理を実行させる。即ち画像解析/入換部12に上記処理例Iを実行させる。
ステップST102では、ステップST100で取得した撮像画像データと、ステップST101で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。つまり図12の1つのエントリ#nとして撮像画像データと入換画像データを対応させて保存させる。
ステップST110で撮像画像データを取得する。
ステップST111では、ステップST110で取得した撮像画像データをストレージ部14において保存させる。
ステップST112では、ステップST110で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST113では、ステップST112で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。この時点で図12の1つのエントリ#nとして撮像画像データと入換画像データを対応されて保存される。
ストレージ部14に保存された撮像画像データや入換画像データは、後の時点で読み出して、表示出力したり、外部機器80やサーバ装置70に送信したり、可搬性記録媒体に記録することができる。
ステップST120で撮像画像データを取得する。
ステップST121では、ステップST120で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST122では、ステップST101で画像解析/入換部12が生成した入換画像データを出力する。
なお、図17(c)(d)、図18(a)(b)、図19(c)における「入換画像出力」とは、入換画像データを表示制御部7に転送して表示部2で表示出力させるか、または通信部15に転送して送信出力させるか、またはストレージ部14(ストレージ部14に可搬性記録媒体に対する記録再生部が設けられている場合)に転送し、可搬性記録媒体に記録させることを示す。
ステップST130で撮像画像データを取得する。
ステップST131では、ステップST130で取得した撮像画像データをストレージ部14において保存させる。
ステップST132では、ステップST130で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST133では、ステップST132で画像解析/入換部12が生成した入換画像データを出力する。
ステップST140で撮像画像データを取得する。
ステップST141では、ステップST140で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST142では、ステップST140で取得した撮像画像データと、ステップST141で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。
ステップST143では、ステップST142で画像解析/入換部12が生成した入換画像データを出力する。
ステップST150で撮像画像データを取得する。
ステップST151では、ステップST150で取得した撮像画像データをストレージ部14において保存させる。
ステップST152では、ステップST150で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例Iとして入換領域設定処理及び画像入換処理を実行させる。
ステップST153では、ステップST152で画像解析/入換部12が生成した入換画像データを、ストレージ部14において保存させる。
ステップST154では、ステップST152で画像解析/入換部12が生成した入換画像データを出力する。
ステップST160で撮像画像データを取得する。
ステップST161では、ステップST160で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例IIの入換領域設定処理(図15)を実行させる。
ステップST162では、ステップST160で取得した撮像画像データと、ステップST161で画像解析/入換部12が生成した入換領域情報を、ストレージ部14において図13の形式で保存させる。
ステップST170で撮像画像データを取得する。
ステップST171では、ステップST170で取得した撮像画像データを、ストレージ部14において保存させる。
ステップST172では、ステップST170で取得した撮像画像データを画像解析/入換部12に供給し、上記処理例IIの入換領域設定処理(図15)を実行させる。
ステップST173では、ステップST172で画像解析/入換部12が生成した入換領域情報を、ストレージ部14において保存させる。結局図13の形式で撮像画像データと入換領域情報が保存されることになる。
ステップST180で撮像画像データと入換領域情報を読み出す。即ち上記図19(a)又は図19(b)の動作により、図13の形式で記録されている撮像画像データと入換領域情報をストレージ部14から読み出す。
ステップST181では、ステップST180で取得した撮像画像データと入換領域情報を画像解析/入換部12に供給し、上記処理例IIの画像入換処理(図16)を実行させる。
ステップST182では、ステップST181で画像解析/入換部12が生成した入換画像データを出力する。
なお、外部機器80やサーバ装置70において撮像画像データと入換領域情報が保存されている場合、ステップF180としては、外部機器80やサーバ装置70から送信されてくる撮像画像データと入換領域情報を受信して取り込むという場合もある。或いは撮像画像データと入換領域情報が可搬性記録媒体に保存されている場合、ステップF180としては撮像画像データと入換領域情報を可搬性記録媒体から読み出すということもある。
またステップF182で入換画像データを出力する前後に、入換画像データをストレージ部14に保存するという動作手順の例も考えられる。
以上の実施の形態によれば、撮像画像データにおいて、画像上で違和感がないような画像加工が行われ、例えば図5(c)、図6(c)、図7(c)、図8(c)、図9(c)のような入換画像としての入換画像データが生成される。そしてこの入換画像データによって画像内に広告、メッセージ、翻訳文字などの各種情報が提示される。これによって元の画像内容を大きく損なうことなく、撮像画像の付加価値を高めることができるという効果が得られる。
またユーザにとっては、広告等の情報提示によって有益な情報を受け取れる。
特に、広告等の内容の挿入画像データについては、日時や現在位置、或いはユーザIDなどに応じてサーバ装置70から提供されることで、タイムリーな広告、現在居る場所において有益な広告、ユーザ個人にとって有益な広告などが提供されることになり、入換画像データの価値を高めることができる。
本発明の画像処理装置は、撮像装置1として実現する以外に、多様な装置が想定される。
図20は、本発明の画像処理装置としての構成要素として、システムコントローラ10と、画像取得部20と、画像解析/入換部12と、保存処理部22と、画像出力部21と、挿入画像記憶部18を示している。
例えばこのような構成要素を備える各種機器として本発明の画像処理装置を実現できる。
或いは、画像出力部21や保存処理部22の両方又は一方を設けない構成も本発明の画像処理装置として想定される。
また画像取得部20で取得する撮像画像データとは、静止画データでもよいし、動画データでもよい。
但し、図3(b)(c)のような形態で入換画像データを外部機器80やサーバ装置70に送信して、外部機器80やサーバ装置70において保存を実行させるようにする場合、その送信を行う通信部15は、保存処理部22に相当することになる。もちろん無線送信、有線送信のいずれでも良い。
また、入換画像データを図3(b)(c)のように外部機器80やサーバ装置70に有線又は無線で送信する通信部15も、画像出力部21となり得る。
また、入換画像データを可搬性記録媒体に記録し、可搬性記録媒体によって装置外に持ち出せるようにする記録ドライブも画像出力部21となり得る。
しかしながら、撮像装置1等の本発明の画像処理装置では、入換領域設定手段と入換画像生成手段のうちの一方を備える構成も考えられる。即ち装置内で画像解析部を備えて入換領域設定処理のみを行う構成や、装置内で画像入換部を備えて画像入換処理のみを行う構成も考えられる。
例えば或る機器において入換領域設定処理を行って、撮像画像データと入換領域情報を他の機器に提供する。他の機器では、提供された撮像画像データと入換領域情報を用いて画像入換処理を行い入換画像データを生成する、ということも想定される。
Claims (15)
- ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
外部通信機器と通信を行い、上記通信機器に位置情報を送信し、上記位置情報と日時に応じて選択された挿入画像データを受信する通信部と、
上記外部通信機器から受信した上記挿入画像データを記憶する挿入画像記憶手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した上記挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備えた画像処理装置。 - 上記撮像画像取得手段は、上記通信部での外部通信機器と通信により、上記撮像画像データを受信して取得する請求項1に記載の画像処理装置。
- 上記撮像画像取得手段は、可搬性記録媒体から情報を再生する再生部を有し、上記再生部による上記可搬性記録媒体の再生により、上記撮像画像データを取得する請求項1に記載の画像処理装置。
- 上記挿入画像記憶手段は、外部通信機器から送信され上記通信部で受信した挿入画像データを記憶する請求項1に記載の画像処理装置。
- 上記入換画像生成手段で生成された入換画像データ、及び/又は、上記入換領域設定手段で設定された入換領域の情報について保存処理を行う保存処理手段を、さらに備えた請求項1に記載の画像処理装置。
- 上記保存処理手段は、記録媒体に対して情報の記録を行う記録部を有し、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、上記記録媒体に記録する請求項5に記載の画像処理装置。
- 上記保存処理手段は、上記保存処理として、上記入換画像データ、及び/又は上記入換領域の情報を、外部通信機器に送信する請求項5に記載の画像処理装置。
- 上記画像出力手段は、上記出力処理として、上記通信部により上記入換画像データについての外部通信機器への送信出力を行う請求項1に記載の画像処理装置。
- 上記画像出力手段は、可搬性記録媒体に情報を記録する記録部を有し、上記出力処理として、上記記録部によって上記可搬性記録媒体に上記入換画像データを記録する請求項1に記載の画像処理装置。
- 上記入換領域設定手段は、上記撮像画像データにおける被写体画像の画像解析処理により、上記撮像画像データ内で所定の被写体画像を検出し、検出した被写体画像に基づいて上記入換領域を設定する請求項1に記載の画像処理装置。
- 上記挿入画像データは、広告画像、又はメッセージ文字画像、又は翻訳文字画像である請求項1に記載の画像処理装置。
- ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、上記撮像手段での撮像により撮像された撮像画像データを取得する撮像画像取得手段と、外部通信機器と通信を行い、上記通信機器に位置情報を送信し、上記位置情報と日時に応じて選択された挿入画像データを受信する通信部と、
上記外部通信機器から受信した挿入画像データを記憶する挿入画像記憶手段と、演算処理手段とを有する画像処理装置が実行する画像処理方法として、
上記演算処理手段が、
上記撮像画像取得手段が取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定し、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した上記挿入画像データに置き換える処理を行って入換画像データを生成し、
上記入換画像データについて出力処理を行い、
ユーザーの頭部に装着され、上記出力処理で出力された上記入換画像データについて表示出力を行う、
画像処理方法。 - 画像処理装置と、サーバ装置とが通信可能とされた画像処理システムとして、
上記画像処理装置は、
ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
上記サーバ装置と通信を行い、上記サーバ装置に位置情報を送信し、上記位置情報と日時に応じて選択された挿入画像データを受信する受信手段と、
上記受信手段で受信した挿入画像データを記憶する挿入画像記憶手段と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した上記挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備え、
上記サーバ装置は、挿入画像データを上記画像処理装置に送信する送信手段を備えた画像処理システム。 - ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段と、
上記撮像手段での撮像により撮像画像データを取得する撮像画像取得手段と、
外部通信機器と通信を行い、上記通信機器に位置情報を送信し、上記位置情報と日時に応じて選択された挿入画像データを受信する通信部と、
上記撮像画像取得手段により取得した撮像画像データにおける被写体画像の画像解析処理を行って、該被写体画像内で、入換領域を設定する入換領域設定手段と、
上記撮像画像データと、上記入換領域設定手段で設定した入換領域の情報とについて保存処理を行う保存処理手段と、
上記入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した上記外部通信機器から受信した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備えた画像処理装置。 - ユーザーの頭部に装着され、ユーザーの視界方向を被写体方向として画像撮像を行う撮像手段により撮像された撮像画像データと、該撮像画像データにおける被写体画像の画像解析処理に基づいて該被写体画像内で設定された入換領域の情報を対応させて記録再生する記録再生手段と、
外部通信機器と通信を行い、上記通信機器に位置情報を送信し、上記位置情報と日時に応じて選択された挿入画像データを受信する通信部と、
上記外部通信機器から受信した上記挿入画像データを記憶する挿入画像記憶手段と、
上記記録再生手段から撮像画像データと入換領域の情報を取得し、取得した撮像画像データについて上記入換領域の情報で示される入換領域内の全部又は一部の画素データを、上記挿入画像記憶手段から読み出した挿入画像データに置き換える処理を行って入換画像データを生成する入換画像生成手段と、
上記入換画像生成手段で生成された上記入換画像データについて出力処理を行う画像出力手段と、
ユーザーの頭部に装着され、上記画像出力手段の出力処理で出力された上記入換画像データについて表示出力を行う表示手段と、
を備えた画像処理装置。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007061735A JP5162928B2 (ja) | 2007-03-12 | 2007-03-12 | 画像処理装置、画像処理方法、画像処理システム |
PCT/JP2008/052625 WO2008111363A1 (ja) | 2007-03-12 | 2008-02-18 | 画像処理装置、画像処理方法、画像処理システム |
US12/450,130 US20100091139A1 (en) | 2007-03-12 | 2008-02-18 | Image processing apparatus, image processing method and image processing system |
KR1020097019024A KR20090118974A (ko) | 2007-03-12 | 2008-02-18 | 화상 처리 장치, 화상 처리 방법, 화상 처리 시스템 |
CN2008800081618A CN101641718B (zh) | 2007-03-12 | 2008-02-18 | 图像处理装置、图像处理方法和图像处理*** |
BRPI0808435-1A BRPI0808435A2 (pt) | 2007-03-12 | 2008-02-18 | Aparelho, método e sistema de processamento de imagem. |
EP08711449A EP2120212A4 (en) | 2007-03-12 | 2008-02-18 | Image processing device, image processing method and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007061735A JP5162928B2 (ja) | 2007-03-12 | 2007-03-12 | 画像処理装置、画像処理方法、画像処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012230124A Division JP2013034237A (ja) | 2012-10-17 | 2012-10-17 | 画像処理装置、画像処理方法、画像処理システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008227813A JP2008227813A (ja) | 2008-09-25 |
JP2008227813A5 JP2008227813A5 (ja) | 2010-02-12 |
JP5162928B2 true JP5162928B2 (ja) | 2013-03-13 |
Family
ID=39759306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007061735A Expired - Fee Related JP5162928B2 (ja) | 2007-03-12 | 2007-03-12 | 画像処理装置、画像処理方法、画像処理システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20100091139A1 (ja) |
EP (1) | EP2120212A4 (ja) |
JP (1) | JP5162928B2 (ja) |
KR (1) | KR20090118974A (ja) |
CN (1) | CN101641718B (ja) |
BR (1) | BRPI0808435A2 (ja) |
WO (1) | WO2008111363A1 (ja) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8988609B2 (en) | 2007-03-22 | 2015-03-24 | Sony Computer Entertainment America Llc | Scheme for determining the locations and timing of advertisements and other insertions in media |
JP4911191B2 (ja) * | 2009-04-08 | 2012-04-04 | 株式会社ニコン | 画像処理装置および画像処理プログラム |
JP2011123741A (ja) * | 2009-12-11 | 2011-06-23 | Toppan Printing Co Ltd | サンプル提供装置およびプロモーション展開システム |
JP5521621B2 (ja) * | 2010-02-19 | 2014-06-18 | 日本電気株式会社 | 携帯端末、拡張現実システム、及び拡張現実情報表示方法 |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
WO2011106797A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
US20130091187A1 (en) * | 2010-04-22 | 2013-04-11 | Adc Technology Inc. | Storage device |
JP2012044407A (ja) * | 2010-08-18 | 2012-03-01 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5933913B2 (ja) * | 2010-08-30 | 2016-06-15 | 株式会社エヌ・ティ・ティ・データ | 情報サービスシステムおよび情報サービス方法 |
KR101688155B1 (ko) * | 2010-10-25 | 2016-12-20 | 엘지전자 주식회사 | 이동 단말기의 정보 처리 장치 및 그 방법 |
WO2012160531A1 (en) * | 2011-05-25 | 2012-11-29 | Koninklijke Philips Electronics N.V. | An identification system for a surface |
US20120327257A1 (en) * | 2011-06-24 | 2012-12-27 | O'keefe Brian Joseph | Photo product using images from different locations |
JP5279875B2 (ja) * | 2011-07-14 | 2013-09-04 | 株式会社エヌ・ティ・ティ・ドコモ | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
EP2771865A4 (en) * | 2011-10-25 | 2015-07-08 | Sony Corp | APPARATUS, METHOD AND PROGRAM PRODUCT OF IMAGE PROCESSING COMPUTER |
US10598929B2 (en) | 2011-11-09 | 2020-03-24 | Google Llc | Measurement method and system |
US10354291B1 (en) | 2011-11-09 | 2019-07-16 | Google Llc | Distributing media to displays |
US8879155B1 (en) | 2011-11-09 | 2014-11-04 | Google Inc. | Measurement method and system |
US8988519B2 (en) * | 2012-03-20 | 2015-03-24 | Cisco Technology, Inc. | Automatic magnification of data on display screen based on eye characteristics of user |
US10469916B1 (en) | 2012-03-23 | 2019-11-05 | Google Llc | Providing media content to a wearable device |
GB2502986B (en) * | 2012-06-12 | 2014-05-14 | Supponor Oy | Apparatus and method for image content replacement |
US20130335594A1 (en) * | 2012-06-18 | 2013-12-19 | Microsoft Corporation | Enhancing captured data |
WO2014014238A1 (en) * | 2012-07-17 | 2014-01-23 | Samsung Electronics Co., Ltd. | System and method for providing image |
JP2014068273A (ja) * | 2012-09-26 | 2014-04-17 | Olympus Imaging Corp | 画像編集装置、画像編集方法、およびプログラム |
JP6040715B2 (ja) * | 2012-11-06 | 2016-12-07 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
CN103902994A (zh) * | 2012-12-28 | 2014-07-02 | 联想(北京)有限公司 | 一种处理方法及电子设备 |
JP6155643B2 (ja) * | 2013-01-07 | 2017-07-05 | セイコーエプソン株式会社 | 表示装置、および、表示装置の制御方法 |
US9812046B2 (en) * | 2013-01-10 | 2017-11-07 | Microsoft Technology Licensing, Llc | Mixed reality display accommodation |
EP2765781A1 (en) * | 2013-02-07 | 2014-08-13 | Thomson Licensing | Method for providing targetable content in images of a video sequence and corresponding device |
US9407797B1 (en) * | 2013-04-17 | 2016-08-02 | Valve Corporation | Methods and systems for changing duty cycle to reduce judder effect |
US20150002506A1 (en) * | 2013-06-28 | 2015-01-01 | Here Global B.V. | Method and apparatus for providing augmented reality display spaces |
CN103400284A (zh) * | 2013-07-25 | 2013-11-20 | 北京网秦天下科技有限公司 | 广告呈现方法和装置 |
CN103488630B (zh) * | 2013-09-29 | 2016-06-08 | 小米科技有限责任公司 | 一种图像的处理方法、装置及终端 |
JP6379787B2 (ja) * | 2013-11-08 | 2018-08-29 | 株式会社リコー | 画像処理システム、画像処理装置、画像処理方法及びプログラム |
EP3103258B1 (en) * | 2014-02-07 | 2020-07-15 | Sony Interactive Entertainment America LLC | Scheme for determining the locations and timing of advertisements and other insertions in media |
JP6057949B2 (ja) * | 2014-06-17 | 2017-01-11 | ソフトバンク株式会社 | 撮像システム |
JP6746959B2 (ja) * | 2016-03-02 | 2020-08-26 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システム、および画像処理プログラム |
US10878545B2 (en) * | 2016-03-29 | 2020-12-29 | Sony Corporation | Information processing device, imaging apparatus, image reproduction apparatus, and method and program |
US10466491B2 (en) * | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
JP6789741B2 (ja) * | 2016-09-15 | 2020-11-25 | 株式会社東芝 | 情報処理装置及び方法 |
CN106598623A (zh) * | 2016-12-23 | 2017-04-26 | 维沃移动通信有限公司 | 一种图片组合模板的生成方法及移动终端 |
CN106954022B (zh) * | 2017-03-08 | 2019-10-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置及终端 |
JP7058946B2 (ja) * | 2017-04-28 | 2022-04-25 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
US11010946B2 (en) | 2017-12-21 | 2021-05-18 | Rovi Guides, Inc. | Systems and method for dynamic insertion of advertisements |
US10360454B1 (en) | 2017-12-28 | 2019-07-23 | Rovi Guides, Inc. | Systems and methods for presenting supplemental content in augmented reality |
JP6877377B2 (ja) * | 2018-03-06 | 2021-05-26 | 株式会社ドワンゴ | コンテンツ配信サーバ、コンテンツ配信方法およびコンテンツ配信プログラム |
CN108597034B (zh) * | 2018-04-28 | 2022-11-01 | 百度在线网络技术(北京)有限公司 | 用于生成信息的方法和装置 |
US10997410B2 (en) * | 2018-08-31 | 2021-05-04 | Ricoh Company, Ltd. | Information processing device and information processing system |
US20220172490A1 (en) * | 2019-03-26 | 2022-06-02 | Sony Semiconductor Solutions Corporation | Image processing apparatus, vehicle control apparatus, method, and program |
JP7396326B2 (ja) * | 2021-04-21 | 2023-12-12 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法およびプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2003A (en) * | 1841-03-12 | Improvement in horizontal windivhlls | ||
GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
US6037936A (en) * | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
JPH07212653A (ja) * | 1994-01-18 | 1995-08-11 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
US5892554A (en) * | 1995-11-28 | 1999-04-06 | Princeton Video Image, Inc. | System and method for inserting static and dynamic images into a live video broadcast |
ES2134625T3 (es) * | 1995-06-16 | 1999-10-01 | Princeton Video Image Inc | Sistema y metodo para introducir inserciones, en tiempo real, en video, utilizando oclusion adaptativa con una imagen de referencia sintetica. |
JPH11507796A (ja) * | 1995-06-16 | 1999-07-06 | プリンストン ビデオ イメージ,インコーポレイテッド | テレビの生放送中に静止画像と動画像を挿入するためのシステムおよび方法 |
US5808695A (en) * | 1995-06-16 | 1998-09-15 | Princeton Video Image, Inc. | Method of tracking scene motion for live video insertion systems |
US6847336B1 (en) * | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
JP3915106B2 (ja) * | 1997-12-05 | 2007-05-16 | 富士フイルム株式会社 | 画像検索装置 |
JP4108171B2 (ja) * | 1998-03-03 | 2008-06-25 | 三菱電機株式会社 | 画像合成装置 |
US6483484B1 (en) * | 1998-12-18 | 2002-11-19 | Semiconductor Energy Laboratory Co., Ltd. | Goggle type display system |
JP3530772B2 (ja) * | 1999-06-11 | 2004-05-24 | キヤノン株式会社 | 複合現実感装置及び複合現実空間画像の生成方法 |
ES2264414T3 (es) * | 1999-07-19 | 2007-01-01 | Leo Vision | Camaras multiples, sistemas y metodos de insercion virtual e interactivo y alimentacion multiple. |
JP2002015223A (ja) | 1999-12-28 | 2002-01-18 | Dream Technologies Kk | 広告方法及び装置、広告料金算出方法及び装置、利用料金徴収方法及び装置、付加情報表示方法及び装置 |
JP2002287674A (ja) * | 2001-03-28 | 2002-10-04 | Toshiba Corp | 広告挿入方法および広告挿入装置およびプログラム |
JP2003242410A (ja) | 2002-02-19 | 2003-08-29 | Fujitsu Ltd | 情報配信方法及びコンピュータプログラム |
JP3918632B2 (ja) * | 2002-05-28 | 2007-05-23 | カシオ計算機株式会社 | 画像配信サーバ、画像配信プログラム、及び画像配信方法 |
KR100710512B1 (ko) * | 2002-05-28 | 2007-04-24 | 가시오게산키 가부시키가이샤 | 합성화상배신장치, 합성화상배신방법 및 기록매체 |
JP3687675B2 (ja) * | 2002-12-25 | 2005-08-24 | 株式会社ニコン | 電子透かし機能を有する電子カメラ、および画像処理プログラム |
JP2005172851A (ja) * | 2003-12-05 | 2005-06-30 | Sony Corp | 画像表示装置 |
-
2007
- 2007-03-12 JP JP2007061735A patent/JP5162928B2/ja not_active Expired - Fee Related
-
2008
- 2008-02-18 EP EP08711449A patent/EP2120212A4/en not_active Ceased
- 2008-02-18 CN CN2008800081618A patent/CN101641718B/zh not_active Expired - Fee Related
- 2008-02-18 BR BRPI0808435-1A patent/BRPI0808435A2/pt not_active Application Discontinuation
- 2008-02-18 KR KR1020097019024A patent/KR20090118974A/ko not_active Application Discontinuation
- 2008-02-18 WO PCT/JP2008/052625 patent/WO2008111363A1/ja active Application Filing
- 2008-02-18 US US12/450,130 patent/US20100091139A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2008227813A (ja) | 2008-09-25 |
BRPI0808435A2 (pt) | 2014-07-29 |
CN101641718B (zh) | 2012-09-05 |
KR20090118974A (ko) | 2009-11-18 |
EP2120212A1 (en) | 2009-11-18 |
WO2008111363A1 (ja) | 2008-09-18 |
US20100091139A1 (en) | 2010-04-15 |
CN101641718A (zh) | 2010-02-03 |
EP2120212A4 (en) | 2011-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5162928B2 (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP5228307B2 (ja) | 表示装置、表示方法 | |
US9772686B2 (en) | Imaging display apparatus and method | |
JP4424364B2 (ja) | 画像処理装置、画像処理方法 | |
TWI384256B (zh) | Display device, display method | |
KR101329419B1 (ko) | 화상 표시 시스템, 표시 장치, 표시 방법 | |
US8564710B2 (en) | Photographing apparatus and photographing method for displaying information related to a subject | |
JP4281819B2 (ja) | 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法 | |
JP4826485B2 (ja) | 画像保存装置、画像保存方法 | |
JP2008198062A (ja) | 画像処理装置、画像処理方法 | |
JP5664677B2 (ja) | 撮像表示装置、撮像表示方法 | |
JP2013034237A (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP2013083994A (ja) | 表示装置、表示方法 | |
JP5971298B2 (ja) | 表示装置、表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120308 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121017 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121203 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5162928 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |