JPWO2017149778A1 - 鏡、画像表示方法及びプログラム - Google Patents

鏡、画像表示方法及びプログラム Download PDF

Info

Publication number
JPWO2017149778A1
JPWO2017149778A1 JP2018502496A JP2018502496A JPWO2017149778A1 JP WO2017149778 A1 JPWO2017149778 A1 JP WO2017149778A1 JP 2018502496 A JP2018502496 A JP 2018502496A JP 2018502496 A JP2018502496 A JP 2018502496A JP WO2017149778 A1 JPWO2017149778 A1 JP WO2017149778A1
Authority
JP
Japan
Prior art keywords
image
mirror
server
imaging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018502496A
Other languages
English (en)
Other versions
JP6650998B2 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of JPWO2017149778A1 publication Critical patent/JPWO2017149778A1/ja
Application granted granted Critical
Publication of JP6650998B2 publication Critical patent/JP6650998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザの利便性を向上させた鏡、画像表示方法及びプログラムを提供することを目的とする。
【解決手段】光を反射し、サーバ10と通信する鏡100は、被撮像物を撮像し、撮像された撮像画像の画像情報を、サーバ10に送信し、サーバ10から、画像情報が加工された加工画像情報を受信し、受信した加工画像情報に対応する画像を表示する。
【選択図】図1

Description

本発明は、光を反射し、サーバと通信する鏡、画像表示方法及びプログラムに関する。
近年、光を反射する鏡面を有する実物の鏡の替わりとして、モニタ画面に撮像したユーザを表示するデジタルミラー装置が提案されている。
例えば、デジタルミラー装置において、複数のカメラにより、ユーザを撮像し、この撮像画像データに基づいて、ユーザの画像をモニタ画面に表示する構成が提案されている(特許文献1参照)。
特開2002−290964号公報
しかしながら、特許文献1の構成では、複数のカメラが必要になるとともに、ユーザの全体像を表示するために大型のモニタ画面が必要になるなど、ユーザにとって設置コストが上昇してしまう。また、このデジタルミラー装置を設置する専用の場所を準備する必要や、デジタルミラー装置を移動させることが困難であることにより利便性が低いという問題があった。
本発明は、上記課題に鑑みてなされたものであり、ユーザの利便性を向上させた鏡、画像表示方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第1の特徴に係る発明は、光を反射し、サーバと通信する鏡であって、
被撮像物を撮像する撮像手段と、
前記撮像された撮像画像の画像情報を、前記サーバに送信する画像情報送信手段と、
前記サーバから、前記画像情報が加工された加工画像情報を受信する画像情報受信手段と、
前記受信した加工画像情報に対応する画像を表示する表示手段と、
を備えることを特徴とする鏡を提供する。
第1の特徴に係る発明によれば、光を反射し、サーバと通信する鏡は、被撮像物を撮像し、前記撮像された撮像画像の画像情報を、前記サーバに送信し、前記サーバから、前記画像情報が加工された加工画像情報を受信し、前記受信した加工画像情報に対応する画像を表示する。
ここで、第1の特徴に係る発明は、鏡のカテゴリであるが、画像表示方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
第2の特徴に係る発明は、前記表示手段で表示する画像が、前記被撮像物の輪郭の画像である、ことを特徴とする第1の特徴に係る発明である鏡を提供する。
第2の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、表示する画像が、前記被撮像物の輪郭の画像である。
第3の特徴に係る発明は、前記表示手段で表示する画像が、前記被撮像物の輪郭の変化を示す画像である、ことを特徴とする第1の特徴に係る発明である鏡を提供する。
第3の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、表示する画像が、前記被撮像物の輪郭の変化を示す画像である。
第4の特徴に係る発明は、前記輪郭が、顔の輪郭であることを特徴とする、第2又は第3の何れかの特徴に係る発明である鏡を提供する。
第4の特徴に係る発明によれば、第2又は第3の何れかの特徴に係る発明である鏡は、前記輪郭が、顔の輪郭である。
第5の特徴に係る発明は、前記表示手段で表示する画像が、前記撮像画像に別画像が合成された合成画像である、ことを特徴とする、第1の特徴に係る発明である鏡を提供する。
第5の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、表示する画像が、前記撮像画像に別画像が合成された合成画像である。
第6の特徴に係る発明は、音声を認識する音声認識手段と、
を備え、
前記撮像手段は、前記認識した音声によって、前記撮像を行うことを特徴とする第1の特徴に係る発明である鏡を提供する。
第6の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、音声を認識し、前記認識した音声によって、前記撮像を行う。
第7の特徴に係る発明は、ジェスチャーを認識するジェスチャー認識手段と、
を備え、
前記撮像手段は、前記認識したジェスチャーによって、前記撮像を行うことを特徴とする第1の特徴に係る発明である鏡を提供する。
第7の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、ジェスチャーを認識し、前記認識したジェスチャーによって、前記撮像を行う。
第8の特徴に係る発明は、端末から入力された入力情報を受信する入力情報受信手段と、
を備え、
前記撮像手段は、前記受信した入力情報によって、前記撮像を行うことを特徴とする第1の特徴に係る発明である鏡を提供する。
第8の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、端末から入力された入力情報を受信し、前記受信した入力情報によって、前記撮像を行う。
第9の特徴に係る発明は、光を反射し、サーバと通信する鏡が実行する画像表示方法であって、
被撮像物を撮像するステップと、
前記撮像された撮像画像の画像情報を、前記サーバに送信するステップと、
前記サーバから、前記画像情報が加工された加工画像情報を受信するステップと、
前記受信した加工画像情報に対応する画像を表示するステップと、
を備えることを特徴とする画像表示方法を提供する。
第10の特徴に係る発明は、光を反射し、サーバと通信する鏡に、
被撮像物を撮像するステップ、
前記撮像された撮像画像の画像情報を、前記サーバに送信するステップ、
前記サーバから、前記画像情報が加工された加工画像情報を受信するステップ、
前記受信した加工画像情報に対応する画像を表示するステップ、
を実行させることを特徴とするプログラムを提供する。
本発明によれば、ユーザの利便性を向上させた鏡、画像表示方法及びプログラムを提供することが可能となる。
図1は、画像表示システム1の概要を示す図である。 図2は、画像表示システム1の全体構成図である。 図3は、サーバ10及び鏡100の機能ブロック図である。 図4は、サーバ10及び鏡100が実行する加工画像表示処理を示すフローチャートである。 図5は、サーバ10及び鏡100が実行する合成画像表示処理を示すフローチャートである。 図6は、鏡100が実行する画像掲載処理を示すフローチャートである。 図7は、サーバ10及び鏡100が実行する画像ログ表示処理を示すフローチャートである。 図8は、加工画像を示す図である。 図9は、合成画像を示す図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
[画像表示システム1の概要]
本発明の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である画像表示システム1の概要を説明するための図である。画像表示システム1は、サーバ10及び鏡100から構成される。なお、各装置は、1つに限らず、複数であってもよい。また、後述する各処理は、各装置の何れか又は双方が実行する構成であってもよい。また、各装置は、実在する装置又は仮想的な装置の何れか又は双方であってもよい。
サーバ10は、各種データベースを記憶し、鏡100とデータ通信可能なサーバ装置である。
鏡100は、光を反射し、サーバ10とデータ通信可能な鏡である。また、鏡100は、カメラ200及びディスプレイ300を自身に有している。鏡100は、姿見鏡、手鏡、壁掛け鏡、スタンドミラー等である。また、鏡100は、一般的な鏡、防湿鏡、アクリルミラー、マジックミラー、高精細ミラー、色付き鏡、表面反射鏡等である。なお、ディスプレイ300やカメラ200は、鏡100が有さずに、データ通信可能に接続されたスマートフォンやタブレット端末等の情報端末が同様の機能を有する構成であってもよい。なお、鏡100は、キャスター等の移動可能装置が取り付けられていてもよい。
初めに、鏡100は、カメラ200により、被撮像物であるユーザを撮像する(ステップS01)。カメラ200は、静止画又は動画等の画像を撮像する。カメラ200は、ユーザから撮像指示入力を受け付けることによりユーザを撮像してもよいし、センサ等によりユーザを検知することにより自動的に撮像してもよい。
ユーザは、撮像指示入力として、音声、ジェスチャー、データ通信可能に接続された情報端末等による入力を実行する。鏡100は、マイク等の音声認識デバイスを有し、ユーザからの音声指示に基づいて、撮像指示の入力を受け付けてもよいし、センサ等のユーザの動きを認識するデバイスを有し、ユーザが行う特定の動き、例えば、首を縦に動かす、手を振る、足を上げるといった動きをジェスチャーとして受け付け、撮像指示の入力を受け付けてもよいし、情報端末が送信する撮像指示に関する情報を受け付け、撮像指示の入力を受け付けてもよい。なお、鏡100は、他の方法により撮像指示入力を受け付けてもよい。
鏡100は、ユーザを撮像した撮像画像の画像情報を示す撮像画像データを、サーバ10に送信する(ステップS02)。撮像画像データには、この鏡100の識別子、撮像日時、被撮像物名、撮像地点等の情報が含まれている。なお、撮像画像データには、他の情報が含まれていてもよい。
サーバ10は、撮像画像データを受信し、この撮像画像データを記憶する。サーバ10は、記憶した撮像画像データをデータベース化し、撮像画像データにおけるユーザの体形、服装、顔、腕、足等の全体像及び各部位を抽出した加工画像情報を生成する。加工画像情報は、全体像及び各部位の画像データや、全体像又は各部位における輪郭を抽出した画像データや、全体像や同一部位の輪郭を、撮像日時に基づいて時系列に沿った変動を抽出した画像データや、別画像の画像データを合成した画像データが含まれる。なお、加工画像情報には、他の画像データが含まれていてもよい。
サーバ10は、加工画像情報を示す加工画像データを鏡100に送信する(ステップS03)。鏡100は、加工画像データを受信し、鏡100が有するディスプレイ300に加工画像データに基づいた加工画像を表示する。なお、ディスプレイ300は、鏡100以外の情報端末や装置等の他の端末装置に設けられており、サーバ10がこの他の端末装置に送信し、表示してもよい。また、サーバ10は、加工画像情報を、鏡100に送信するとともに、画像共有サイトや各種アップローダーやユーザが所持する他の端末装置に送信してもよい。
以上が、画像表示システム1の概要である。
[画像表示システム1のシステム構成]
図2に基づいて、画像表示システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である画像表示システム1のシステム構成を示す図である。画像表示システム1は、サーバ10、鏡100及び公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成される。サーバ10及び鏡100の何れか又は双方は、システム上に複数存在してもよい。また、サーバ10及び鏡100の何れか又は双方は、実在の装置ではなく、仮想的な装置により実現されてもよい。
サーバ10は、後述の機能を備え、鏡100とデータ通信可能な上述したサーバ装置である。
鏡100は、後述の機能を備え、サーバ10とデータ通信可能な鏡である。鏡100は、光を反射する鏡面と、被撮像物を静止画又は動画等の画像として撮像するカメラ200と、後述する加工画像や合成画像を表示するディスプレイ300とを備える鏡である。カメラ200は、鏡面の中央付近に位置する。また、ディスプレイ300は、鏡面の表面に位置し、カメラ200よりも下方に位置する。ディスプレイ300の大きさは適宜変更可能である。なお、カメラ200は、他の位置、例えば、鏡100の外枠内や、鏡100の外周部に設けられていてもよい。また、ディスプレイ300は、カメラ200の上方や、外枠の外周部に設けられていてもよい。また、カメラ200又はディスプレイ300の何れか又は双方は、鏡100が備えずとも良く、他の物品や装置等が有している構成であってもよい。また、鏡100は、外枠の下部にキャスター等の移動可能な装置が取り付けられていてもよい。
[各機能の説明]
図3に基づいて、サーバ10及び鏡100の機能について説明する。図3は、サーバ10及び鏡100の機能ブロックを示す図である。
サーバ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイス又は第3世代、第4世代移動通信システム等のIMT−2000規格に準拠した無線デバイス等を備える。また、サーバ10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。
サーバ10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、撮像画像データ受信モジュール20、加工画像データ送信モジュール21、合成用データ受信モジュール22、合成画像データ送信モジュール23、画像ログ取得指示受信モジュール24、画像ログデータ送信モジュール25を実現する。また、サーバ10において、制御部11が所定のプログラムを読み込むことにより、記憶部13と協働して、撮像画像データ記憶モジュール30、画像データ解析モジュール31、データ合成モジュール32を実現する。
鏡100は、サーバ10と同様に、制御部110として、CPU、RAM、ROM等を備え、通信部120として、他の機器と通信可能にするための無線デバイス等を備える。また、鏡100は、入出力部140として、制御部110で制御したデータや画像を出力表示するディスプレイ300、被撮像物であるユーザを撮像するカメラ200、ユーザからの音声入力を受け付けるマイク等、ユーザの動きを検出するセンサ等、ユーザからの入力を受け付けるタッチパネル等の各種デバイスを備える。
鏡100において、制御部110が所定のプログラムを読み込むことにより、通信部120と協働して、撮像画像データ送信モジュール150、加工画像データ受信モジュール151、合成用データ送信モジュール152、合成画像データ受信モジュール153、画像アップロードモジュール154、画像ログ取得モジュール155を実現する。また、鏡100において、制御部110が所定のプログラムを読み込むことにより、入出力部140と協働して、撮像指示受付モジュール160、撮像モジュール161、加工画像表示モジュール162、画像合成入力受付モジュール163、合成画像表示モジュール164、画像表示判断モジュール165、掲載指示受付モジュール166、画像ログ表示入力受付モジュール167、画像ログ表示モジュール168を実現する。
[加工画像表示処理]
図4に基づいて、サーバ10及び鏡100が実行する加工画像表示処理について説明する。図4は、サーバ10及び鏡100が実行する加工画像表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
撮像指示受付モジュール160は、撮像指示を受け付けたか否かを判断する(ステップS10)。撮像指示受付モジュール160は、撮像指示を、例えば、音声、ジェスチャー、情報端末からの入力情報に基づいて受け付ける。撮像指示受付モジュール160は、ユーザからの撮像指示を音声入力として受け付け、受け付けた音声を認識することにより、撮像指示を受け付けたか否かを判断する。この音声入力は、例えば、ユーザが発する「撮って」、「撮影」等の音声の入力を受け付けることである。また、撮像指示受付モジュール160は、ユーザからの撮像指示をユーザの身体の動きやその他の動きに基づいたジェスチャーにより受け付け、受け付けたジェスチャーを認識することにより、撮像指示を受け付けたか否かを判断する。このジェスチャーは、例えば、ユーザが手や指を動かすこと、頭を動かすこと等の身体の一部又は全ての動きをセンサ等により検知することである。また、撮像指示受付モジュール160は、撮像指示を情報端末から受け付ける。情報端末は、ユーザからの撮像指示に関する入力情報を受け付け、この入力情報を鏡100に送信する。撮像指示受付モジュール160は、入力情報を受け付けることにより、撮像指示を受け付けたか否かを判断する。なお、撮像指示受付モジュール160は、上述した撮像指示以外の方法による撮像指示を受け付けたか否かを判断してもよい。また、撮像指示受付モジュール160は、撮像指示を受け付けていなくとも、他の条件により、撮像を実行する判断を行ってもよい。例えば、撮像指示受付モジュール160は、鏡100に所定時間被撮像物が映りこんでいるか否か、鏡100に映りこんでいる被撮像物の変化が発生したか否かに基づいて、撮像指示を受け付ける判断を実行してもよい。
ステップS10において、撮像指示受付モジュール160は、撮像指示を受け付けていないと判断した場合(ステップS10 NO)、本処理を終了する。
一方、ステップS10において、撮像指示受付モジュール160は、撮像指示を受け付けたと判断した場合(ステップS10 YES)、撮像モジュール161は、被撮像物として、ユーザを撮像する(ステップS11)。ステップS11において、撮像モジュール161は、ユーザの静止画又は動画を撮像する。撮像モジュール161は、撮像指示受付モジュール160により受け付けた撮像指示に基づいて、ユーザの全体又は一部の画像を撮像する。また、撮像モジュール161は、撮像指示受付モジュール160により受け付けた撮像指示に基づいて、ユーザの一部又は全体を拡大して撮像する。また、撮像モジュール161は、撮像指示受付モジュール160により受け付けた撮像指示に基づいて、ユーザが回転や移動した状態の複数の静止画や動画を撮像することにより、正面だけでなく、側面、背面等を撮像することが可能である。
撮像画像データ送信モジュール150は、撮像画像の画像情報を示す撮像画像データを、サーバ10に送信する(ステップS12)。撮像画像データには、撮像した画像、撮像日時、撮像場所、被撮像者、鏡100の識別子等に関する情報が含まれる。撮像日時は、この画像を撮像モジュール161が撮像した日時である。撮像場所は、予め設定された鏡100が設置された場所に関する情報や、鏡100がGPS取得機能を有し、GPSにより取得した位置情報に関する情報である。被撮像者は、予め設定された被撮像者に関する情報や、撮像指示の入力を行ったユーザの特徴等に関する情報である。識別子は、製造番号、MACアドレス、IPアドレス等の鏡100を一意に特定可能な数値又は文字列である。なお、撮像画像データには、上述した各情報以外の情報が含まれていてもよいし、何れかの情報のみが含まれていてもよい。
撮像画像データ受信モジュール20は、撮像画像データを受信する。撮像画像データ記憶モジュール30は、受信した撮像画像データの各種情報を対応付けてビッグデータ処理を実行した後に、記憶する(ステップS13)。なお、ステップS13において、撮像画像データ記憶モジュール30は、各種情報を対応付けずにビッグデータ処理を実行してもよいし、受信した撮像画像データの各種情報をそのまま記憶してもよい。
画像データ解析モジュール31は、撮像画像データに基づいて、ユーザの画像データを抽出する(ステップS14)。画像データ解析モジュール31は、ユーザの画像データから、衣服、顔、足、腕、腹部、全体像といった、ユーザの衣服や、ユーザの体形の一部又は全体の画像データを抽出する。
画像データ解析モジュール31は、抽出した画像データから、更に、輪郭データを抽出する(ステップS15)。輪郭データとは、例えば、顔、足、腕、腹部、全体像といったユーザの身体の一部又は全体の輪郭を示す情報である。また、輪郭データには、衣服の輪郭も含まれていてよい。
加工画像データ送信モジュール21は、輪郭データを、加工画像データとして鏡100に送信する(ステップS16)。なお、加工画像データ送信モジュール21は、鏡100に加工画像データを送信するとともに、情報端末に加工画像データを送信してもよい。この場合、情報端末は加工画像データを受信し、加工画像データに基づいた加工画像を表示すればよい。
加工画像データ受信モジュール151は、加工画像データを受信する。加工画像表示モジュール162は、受信した加工画像データに基づいた加工画像を図8に示す加工画像として表示する(ステップS17)。加工画像表示モジュール162は、ディスプレイ300に加工画像を表示する。加工画像表示モジュール162は、例えば、加工画像データが顔の輪郭を示すデータである場合、顔の輪郭を表示する。また、加工画像表示モジュール162は、加工画像データが全体像の輪郭を示すデータである場合、全体像を表示する。また、加工画像表示モジュール162は、同様に、その他の部位又は全体像の輪郭を表示する。
図8は、加工画像表示モジュール162が表示する加工画像を示す図である。図8において、加工画像表示モジュール162は、ディスプレイ300に、加工画像400を表示する。加工画像400は、顔の輪郭を示す輪郭線410からなる。なお、加工画像表示モジュール162が表示する加工画像は、顔の輪郭に限らず、他の部位又は全体像の輪郭であってもよい。
以上が、加工画像表示処理である。
[合成画像表示処理]
図5に基づいて、サーバ10及び鏡100が実行する合成画像表示処理について説明する。図5は、サーバ10及び鏡100が実行する合成画像表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
画像合成入力受付モジュール163は、画像の合成指示を受け付けたか否かを判断する(ステップS20)。画像合成入力受付モジュール163は、例えば、上述したような音声、ジェスチャー、情報端末により、画像の合成指示を受け付ける。画像の合成とは、例えば、撮像した撮像画像データと、別の画像データを一の画像とすることである。別の画像データとは、例えば、衣服画像に関するデータ、化粧品に関するデータ、装飾品に関するデータである。なお、上述したステップS10の処理と同様に、合成指示は、上述した方法以外の方法により受け付けてもよい。
画像合成入力受付モジュール163は、合成指示を受け付けていないと判断した場合(ステップS20 NO)、本処理を終了する。
一方、ステップS20において、合成指示を受け付けたと判断した場合(ステップS20 YES)、撮像モジュール161は、ユーザを撮像する(ステップS21)。ステップS21における処理は、上述したステップS11の処理と同様である。
合成用データ送信モジュール152は、撮像画像データと、合成指示に関する情報とが含まれる合成用データをサーバ10に送信する(ステップS22)。合成指示に関する情報とは、例えば、異なる服装を合成する指示、化粧を自身に施した状態を合成する指示、ひげを伸ばした状態を合成する指示である。
合成用データ受信モジュール22は、合成用データを受信する。データ合成モジュール32は、合成指示に関する情報に基づいて、撮像画像に、別画像を合成した合成画像を示す合成画像データを作成する(ステップS23)。別画像は、例えば、撮像モジュール161が撮像した画像や、他のサーバやデータベースから取得した画像である。
合成画像データ送信モジュール23は、合成画像データを鏡100に送信する(ステップS24)。なお、合成画像データ送信モジュール23は、鏡100に合成画像データを送信するとともに、情報端末に合成画像データを送信してもよい。この場合、情報端末は、上述したステップS16の処理と同様に、合成画像データを受信し、合成画像データに基づいた合成画像を表示すればよい。
合成画像データ受信モジュール153は、合成画像データを受信する。合成画像表示モジュール164は、合成画像データに基づいて、図9に示す合成画像を表示する(ステップS25)。
図9は、合成画像表示モジュール164が表示する合成画像を示す図である。図9において、合成画像表示モジュール164は、ディスプレイ300に合成画像500を表示する。合成画像500は、ユーザの顔画像510に、化粧画像520を合成している。なお、合成画像表示モジュール164が表示する合成画像は、化粧画像に限らず、服装画像、ひげを伸ばした状態等のユーザの画像に重ねることが可能な様々な画像を表示する。
なお、鏡100に自身の画像や衣服等の画像を記憶し、記憶した画像と、ステップS21において撮像した画像とのデータをサーバ10に送信し、サーバ10は、このデータに基づいて、上述したステップS23以降の処理を実行してもよい。
以上が、合成画像表示処理である。
[画像掲載処理]
図6に基づいて、鏡100が実行する画像掲載処理について説明する。図6は、鏡100が実行する画像掲載処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
画像表示判断モジュール165は、鏡100が加工画像や合成画像を表示しているか否かを判断する(ステップS30)。ステップS30において、画像表示判断モジュール165は、表示していないと判断した場合(ステップS30 NO)、本処理を終了する。
一方、ステップS30において、画像表示判断モジュール165は、表示していると判断した場合(ステップS30 YES)、掲載指示受付モジュール166は、現在表示している画像を、画像共有サイト、SNSサイト、掲示板又は各種アップローダー等に掲載する指示を受け付けたか否かを判断する(ステップS31)。掲載指示受付モジュール166は、上述した音声、ジェスチャー、情報端末等により、画像の掲載指示を受け付ける。
ステップS31において、掲載指示受付モジュール166は、掲載指示を受け付けていないと判断した場合(ステップS31 NO)、本処理を終了する。
一方、ステップS31において、掲載指示受付モジュール166は、掲載指示を受け付けたと判断した場合(ステップS31 YES)、画像アップロードモジュール154は、鏡100が表示する撮像画像データ、加工画像データ又は合成画像データを画像共有サイト、SNSサイト、掲示板又は各種アップローダー等にアップロードする(ステップS32)。画像アップロードモジュール154がアップロードする場所については、上述したステップS31において、指定した場所の何れか又は全てにアップロードする。なお、画像アップロードモジュール154は、他の画像をアップロードしてもよいし、複数の画像をアップロードしてもよい。また、画像アップロードモジュール154は、サーバ10に画像データを送信し、サーバ10が画像共有サイト、SNSサイト、掲示板又は各種アップローダー等にアップロードする構成であってもよい。
なお、鏡100は、撮像したユーザの画像データを記憶しておき、掲載指示を受け付けた場合、この記憶した画像データを、上述した各サイト等にアップロードしてもよい。
以上が、画像掲載処理である。
[画像ログ表示処理]
図7に基づいて、サーバ10及び鏡100が実行する画像ログ表示処理について説明する。図7は、サーバ10及び鏡100が実行する画像ログ表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
画像ログ表示入力受付モジュール167は、特定の部位又は全体像の画像ログの表示指示を受け付けたか否かを判断する(ステップS40)。画像ログ表示入力受付モジュール167は、上述した音声、ジェスチャー、情報端末等により、画像ログの表示指示を受け付ける。表示指示には、画像ログとして表示する部位又は全体像を指定する情報が含まれる。
ステップS40において、画像ログ表示入力受付モジュール167は、表示指示を受け付けていないと判断した場合(ステップS40 NO)、本処理を終了する。
一方、画像ログ表示入力受付モジュール167は、表示指示を受け付けたと判断した場合(ステップS40 YES)、画像ログ取得モジュール155は、画像ログの取得指示をサーバ10に送信する(ステップS41)。
画像ログ取得指示受信モジュール24は、取得指示を受信する。画像データ解析モジュール31は、取得指示に基づいて、自身が記憶するこのユーザの画像データと、データベース化された指定された部位に関する複数の画像データとを解析し、変化ログを作成する(ステップS42)。ステップS42において、画像データ解析モジュール31は、例えば、表示指示が、目元に関する指示であった場合、ユーザの目元を示す画像データと、他のユーザから取得した目元を示す画像データや一般的な年代別の目元に関する画像データとに基づいて、ユーザの目元を示す画像データが将来どのように変化するかを複数の段階に分けて解析し、解析した複数の段階の各々の画像データを一の画像ログとして作成する。複数の段階とは、例えば、年齢別、年代別、期間別である。また、目元を示す画像データとは、例えば、輪郭を示す画像や、目元の画像そのものである。なお、変化ログとして、体形、服装、顔、腕、足等の全体像及び各部位の変化を解析すればよい。
画像ログデータ送信モジュール25は、作成された変化ログを示す画像ログデータを、鏡100に送信する(ステップS43)。なお、画像ログデータ送信モジュール25は、鏡100に画像ログデータを送信するとともに、情報端末に画像ログデータを送信してもよい。この場合、情報端末は、画像ログデータを受信し、画像ログデータに基づいた画像ログを表示すればよい。
画像ログ取得モジュール155は、画像ログデータを受信する。画像ログ表示モジュール168は、受信した画像ログデータに基づいて、画像ログを表示する(ステップS44)。なお、画像ログ表示モジュール168は、画像ログを表示するとともに、この画像ログに対応する提案を表示してもよい。この場合、例えば、画像ログ表示モジュール168は、画像ログが加齢とともに変化するため、顔のリフトアップをしましょう等の提案を表示する。画像ログ表示モジュール168が表示する提案は、美容、健康、ダイエット、アンチエイジング、服装、化粧等に関する提案である。また、画像ログ表示モジュール168が提案する内容は、この例に限らず他の内容であってもよい。
以上が、画像ログ表示処理である。
なお、上述した各処理において、鏡100は、ユーザを撮像した画像をサーバ10に送信する構成であるが、鏡100は、ユーザを撮像した画像データ及び撮像日時を、メモリ等のデータのストレージ部に記憶しておき、ユーザが撮像日時を指定することにより、この撮像日時に紐付けられた画像データをサーバ10に送信し、サーバ10は、この画像データに基づいて各処理を実行してもよい。
また、上述した各処理において、鏡100が表示する加工画像、合成画像及び画像ログは、実際の画像や輪郭に限らず、例えば、シミュレーションであってもよい。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 画像表示システム、10 サーバ、100 鏡
第1の特徴に係る発明は、光を反射し、サーバと通信する鏡であって、
被撮像物を撮像する撮像手段と、
前記撮像された撮像画像の画像情報を、前記サーバに送信する画像情報送信手段と、
前記サーバから、前記画像情報が加工された加工画像情報を受信する画像情報受信手段と、
前記サーバから、前記画像情報に基づいた将来的な変化を示す変化ログを受信する変化ログ受信手段と、
前記受信した加工画像情報に対応する画像を表示するとともに、当該変化ログに対応する提案を表示する表示手段と、
を備えることを特徴とする鏡を提供する。
第1の特徴に係る発明によれば、光を反射し、サーバと通信する鏡は、被撮像物を撮像し、前記撮像された撮像画像の画像情報を、前記サーバに送信し、前記サーバから、前記画像情報が加工された加工画像情報を受信し、前記サーバから、前記画像情報に基づいた将来的な変化を示す変化ログを受信し、前記受信した加工画像情報に対応する画像を表示するとともに、当該変化ログに対応する提案を表示する。
第9の特徴に係る発明は、光を反射し、サーバと通信する鏡が実行する画像表示方法であって、
被撮像物を撮像するステップと、
前記撮像された撮像画像の画像情報を、前記サーバに送信するステップと、
前記サーバから、前記画像情報が加工された加工画像情報を受信するステップと、
前記サーバから、前記画像情報に基づいた将来的な変化を示す変化ログを受信するステップと、
前記受信した加工画像情報に対応する画像を表示するとともに、当該変化ログに対応する提案を表示するステップと、
を備えることを特徴とする画像表示方法を提供する。
第10の特徴に係る発明は、光を反射し、サーバと通信する鏡に、
被撮像物を撮像するステップ、
前記撮像された撮像画像の画像情報を、前記サーバに送信するステップ、
前記サーバから、前記画像情報が加工された加工画像情報を受信するステップ、
前記サーバから、前記画像情報に基づいた将来的な変化を示す変化ログを受信するステップ、
前記受信した加工画像情報に対応する画像を表示するとともに、当該変化ログに対応する提案を表示するステップ、
を実行させるためのコンピュータ読み取り可能なプログラムを提供する。

Claims (10)

  1. 光を反射し、サーバと通信する鏡であって、
    被撮像物を撮像する撮像手段と、
    前記撮像された撮像画像の画像情報を、前記サーバに送信する画像情報送信手段と、
    前記サーバから、前記画像情報が加工された加工画像情報を受信する画像情報受信手段と、
    前記受信した加工画像情報に対応する画像を表示する表示手段と、
    を備えることを特徴とする鏡。
  2. 前記表示手段で表示する画像が、前記被撮像物の輪郭の画像である、ことを特徴とする請求項1に記載の鏡。
  3. 前記表示手段で表示する画像が、前記被撮像物の輪郭の変化を示す画像である、ことを特徴とする請求項1に記載の鏡。
  4. 前記輪郭が、顔の輪郭であることを特徴とする、請求項2又は3に記載の鏡。
  5. 前記表示手段で表示する画像が、前記撮像画像に別画像が合成された合成画像である、ことを特徴とする、請求項1に記載の鏡。
  6. 音声を認識する音声認識手段と、
    を備え、
    前記撮像手段は、前記認識した音声によって、前記撮像を行うことを特徴とする請求項1に記載の鏡。
  7. ジェスチャーを認識するジェスチャー認識手段と、
    を備え、
    前記撮像手段は、前記認識したジェスチャーによって、前記撮像を行うことを特徴とする請求項1に記載の鏡。
  8. 端末から入力された入力情報を受信する入力情報受信手段と、
    を備え、
    前記撮像手段は、前記受信した入力情報によって、前記撮像を行うことを特徴とする請求項1に記載の鏡。
  9. 光を反射し、サーバと通信する鏡が実行する画像表示方法であって、
    被撮像物を撮像するステップと、
    前記撮像された撮像画像の画像情報を、前記サーバに送信するステップと、
    前記サーバから、前記画像情報が加工された加工画像情報を受信するステップと、
    前記受信した加工画像情報に対応する画像を表示するステップと、
    を備えることを特徴とする画像表示方法。
  10. 光を反射し、サーバと通信する鏡に、
    被撮像物を撮像するステップ、
    前記撮像された撮像画像の画像情報を、前記サーバに送信するステップ、
    前記サーバから、前記画像情報が加工された加工画像情報を受信するステップ、
    前記受信した加工画像情報に対応する画像を表示するステップ、
    を実行させることを特徴とするプログラム。
JP2018502496A 2016-03-04 2016-03-04 鏡、画像表示方法及びプログラム Active JP6650998B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/056859 WO2017149778A1 (ja) 2016-03-04 2016-03-04 鏡、画像表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017149778A1 true JPWO2017149778A1 (ja) 2018-10-04
JP6650998B2 JP6650998B2 (ja) 2020-02-19

Family

ID=59742658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018502496A Active JP6650998B2 (ja) 2016-03-04 2016-03-04 鏡、画像表示方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6650998B2 (ja)
WO (1) WO2017149778A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6992603B2 (ja) * 2018-03-06 2022-01-13 カシオ計算機株式会社 発光制御装置、表示システム、発光制御方法、及び発光制御プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203238A (ja) * 2000-12-28 2002-07-19 Kao Corp 素肌のシミュレーション画像の形成方法
WO2006043702A1 (ja) * 2004-10-22 2006-04-27 Shiseido Company, Ltd. 肌状態診断システムおよび美容のためのカウンセリングシステム
JP2006304331A (ja) * 2006-05-25 2006-11-02 Sony Corp 試着画像生成装置及び試着画像生成方法、試着画像利用端末及び試着画像利用方法、並びにコンピュータ・プログラム
JP2007216000A (ja) * 2006-01-17 2007-08-30 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2010183160A (ja) * 2009-02-03 2010-08-19 Olympus Corp 制御装置及び撮像装置
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2012186698A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 画像撮影装置
WO2014125831A1 (ja) * 2013-02-14 2014-08-21 パナソニック株式会社 電子ミラー装置
WO2014136521A1 (ja) * 2013-03-06 2014-09-12 Necカシオモバイルコミュニケーションズ株式会社 撮像装置、撮像方法及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05192233A (ja) * 1992-01-21 1993-08-03 Toshiba Corp ドレッサー

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203238A (ja) * 2000-12-28 2002-07-19 Kao Corp 素肌のシミュレーション画像の形成方法
WO2006043702A1 (ja) * 2004-10-22 2006-04-27 Shiseido Company, Ltd. 肌状態診断システムおよび美容のためのカウンセリングシステム
JP2007216000A (ja) * 2006-01-17 2007-08-30 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2006304331A (ja) * 2006-05-25 2006-11-02 Sony Corp 試着画像生成装置及び試着画像生成方法、試着画像利用端末及び試着画像利用方法、並びにコンピュータ・プログラム
JP2010183160A (ja) * 2009-02-03 2010-08-19 Olympus Corp 制御装置及び撮像装置
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2012186698A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 画像撮影装置
WO2014125831A1 (ja) * 2013-02-14 2014-08-21 パナソニック株式会社 電子ミラー装置
WO2014136521A1 (ja) * 2013-03-06 2014-09-12 Necカシオモバイルコミュニケーションズ株式会社 撮像装置、撮像方法及びプログラム

Also Published As

Publication number Publication date
JP6650998B2 (ja) 2020-02-19
WO2017149778A1 (ja) 2017-09-08

Similar Documents

Publication Publication Date Title
CN109085966B (zh) 一种基于云计算的三维展示***及方法
TWI708152B (zh) 圖像處理方法、裝置及儲存介質
US9479736B1 (en) Rendered audiovisual communication
RU2656817C2 (ru) Устройства, системы и способы захвата и отображения внешнего вида
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
CN104346612B (zh) 信息处理装置和显示方法
CN108712603B (zh) 一种图像处理方法及移动终端
CN106127552B (zh) 一种虚拟场景显示方法、装置及***
CN104881526B (zh) 一种基于3d的物品穿戴方法及眼镜试戴方法
CN109683716A (zh) 基于眼睛跟踪的可见度提高方法和电子装置
CN109600550A (zh) 一种拍摄提示方法及终端设备
US20230419582A1 (en) Virtual object display method and apparatus, electronic device, and medium
JP6730461B2 (ja) 情報処理システム及び情報処理装置
CN108881544A (zh) 一种拍照的方法及移动终端
JP2020119156A (ja) アバター生成システム、アバター生成装置、サーバ装置、アバター生成方法、およびプログラム
KR102045228B1 (ko) 신체 정보 분석 장치 및 얼굴형 모의 방법
JP6275086B2 (ja) サーバ、データ提供方法及びサーバ用プログラム
JP2013037533A (ja) 商品情報取得システムおよび商品情報提供サーバ装置
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
WO2019000464A1 (zh) 一种图像显示方法、装置、存储介质和终端
JP6267809B1 (ja) パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム
WO2017149778A1 (ja) 鏡、画像表示方法及びプログラム
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
JP2017188787A (ja) 撮像装置、画像合成方法、および画像合成プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200121

R150 Certificate of patent or registration of utility model

Ref document number: 6650998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250