WO2017149778A1 - 鏡、画像表示方法及びプログラム - Google Patents

鏡、画像表示方法及びプログラム Download PDF

Info

Publication number
WO2017149778A1
WO2017149778A1 PCT/JP2016/056859 JP2016056859W WO2017149778A1 WO 2017149778 A1 WO2017149778 A1 WO 2017149778A1 JP 2016056859 W JP2016056859 W JP 2016056859W WO 2017149778 A1 WO2017149778 A1 WO 2017149778A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mirror
server
imaging
information
Prior art date
Application number
PCT/JP2016/056859
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/056859 priority Critical patent/WO2017149778A1/ja
Priority to JP2018502496A priority patent/JP6650998B2/ja
Publication of WO2017149778A1 publication Critical patent/WO2017149778A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • Patent Document 1 requires a plurality of cameras and requires a large monitor screen to display the entire image of the user, which increases the installation cost for the user.
  • the convenience is low because it is necessary to prepare a dedicated place for installing the digital mirror device and it is difficult to move the digital mirror device.
  • the invention according to the first feature is a mirror category, but the same actions and effects according to the category are exhibited in other categories such as an image display method and a program.
  • the mirror 100 captures an image of a user who is an object to be captured by the camera 200 (step S01).
  • the camera 200 captures an image such as a still image or a moving image.
  • the camera 200 may capture an image of the user by receiving an imaging instruction input from the user, or may automatically capture an image by detecting the user with a sensor or the like.
  • the user executes input by an information terminal or the like connected so as to be capable of voice, gesture, and data communication as an imaging instruction input.
  • the mirror 100 has a voice recognition device such as a microphone, and may accept an input of an imaging instruction based on a voice instruction from the user, or a device that recognizes a user's movement such as a sensor. Specific movements to be performed, for example, movements such as moving the neck vertically, waving hands, raising legs, etc., may be accepted as gestures, input of imaging instructions may be accepted, or information regarding imaging instructions transmitted by the information terminal may be accepted, An input of an imaging instruction may be accepted.
  • the mirror 100 may receive an imaging instruction input by other methods.
  • the imaging instruction reception module 160 determines whether an imaging instruction has been received (step S10).
  • the imaging instruction reception module 160 receives an imaging instruction based on, for example, voice, a gesture, or input information from an information terminal.
  • the imaging instruction reception module 160 receives an imaging instruction from a user as a voice input, and recognizes the received voice to determine whether an imaging instruction has been received.
  • This voice input is, for example, accepting voice input such as “take a picture” or “shoot” issued by the user.
  • the imaging instruction reception module 160 receives an imaging instruction from the user by a gesture based on the user's body movement or other movement, and recognizes the received gesture to determine whether the imaging instruction has been received. .
  • the image upload module 154 receives the captured image data, processed image data, or composite image data displayed by the mirror 100. Upload to an image sharing site, SNS site, bulletin board or various uploaders (step S32). The location uploaded by the image upload module 154 is uploaded to any or all of the designated locations in step S31 described above. Note that the image upload module 154 may upload other images or a plurality of images. The image upload module 154 may be configured to transmit image data to the server 10 and the server 10 uploads the image data to an image sharing site, an SNS site, a bulletin board, various uploaders, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザの利便性を向上させた鏡、画像表示方法及びプログラムを提供することを目的とする。 【解決手段】光を反射し、サーバ10と通信する鏡100は、被撮像物を撮像し、撮像された撮像画像の画像情報を、サーバ10に送信し、サーバ10から、画像情報が加工された加工画像情報を受信し、受信した加工画像情報に対応する画像を表示する。

Description

鏡、画像表示方法及びプログラム
 本発明は、光を反射し、サーバと通信する鏡、画像表示方法及びプログラムに関する。
 近年、光を反射する鏡面を有する実物の鏡の替わりとして、モニタ画面に撮像したユーザを表示するデジタルミラー装置が提案されている。
 例えば、デジタルミラー装置において、複数のカメラにより、ユーザを撮像し、この撮像画像データに基づいて、ユーザの画像をモニタ画面に表示する構成が提案されている(特許文献1参照)。
特開2002-290964号公報
 しかしながら、特許文献1の構成では、複数のカメラが必要になるとともに、ユーザの全体像を表示するために大型のモニタ画面が必要になるなど、ユーザにとって設置コストが上昇してしまう。また、このデジタルミラー装置を設置する専用の場所を準備する必要や、デジタルミラー装置を移動させることが困難であることにより利便性が低いという問題があった。
 本発明は、上記課題に鑑みてなされたものであり、ユーザの利便性を向上させた鏡、画像表示方法及びプログラムを提供することを目的とする。
 本発明では、以下のような解決手段を提供する。
 第1の特徴に係る発明は、光を反射し、サーバと通信する鏡であって、
 被撮像物を撮像する撮像手段と、
 前記撮像された撮像画像の画像情報を、前記サーバに送信する画像情報送信手段と、
 前記サーバから、前記画像情報が加工された加工画像情報を受信する画像情報受信手段と、
 前記受信した加工画像情報に対応する画像を表示する表示手段と、
 を備えることを特徴とする鏡を提供する。
 第1の特徴に係る発明によれば、光を反射し、サーバと通信する鏡は、被撮像物を撮像し、前記撮像された撮像画像の画像情報を、前記サーバに送信し、前記サーバから、前記画像情報が加工された加工画像情報を受信し、前記受信した加工画像情報に対応する画像を表示する。
 ここで、第1の特徴に係る発明は、鏡のカテゴリであるが、画像表示方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
 第2の特徴に係る発明は、前記表示手段で表示する画像が、前記被撮像物の輪郭の画像である、ことを特徴とする第1の特徴に係る発明である鏡を提供する。
 第2の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、表示する画像が、前記被撮像物の輪郭の画像である。
 第3の特徴に係る発明は、前記表示手段で表示する画像が、前記被撮像物の輪郭の変化を示す画像である、ことを特徴とする第1の特徴に係る発明である鏡を提供する。
 第3の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、表示する画像が、前記被撮像物の輪郭の変化を示す画像である。
 第4の特徴に係る発明は、前記輪郭が、顔の輪郭であることを特徴とする、第2又は第3の何れかの特徴に係る発明である鏡を提供する。
 第4の特徴に係る発明によれば、第2又は第3の何れかの特徴に係る発明である鏡は、前記輪郭が、顔の輪郭である。
 第5の特徴に係る発明は、前記表示手段で表示する画像が、前記撮像画像に別画像が合成された合成画像である、ことを特徴とする、第1の特徴に係る発明である鏡を提供する。
 第5の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、表示する画像が、前記撮像画像に別画像が合成された合成画像である。
 第6の特徴に係る発明は、音声を認識する音声認識手段と、
 を備え、
 前記撮像手段は、前記認識した音声によって、前記撮像を行うことを特徴とする第1の特徴に係る発明である鏡を提供する。
 第6の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、音声を認識し、前記認識した音声によって、前記撮像を行う。
 第7の特徴に係る発明は、ジェスチャーを認識するジェスチャー認識手段と、
 を備え、
 前記撮像手段は、前記認識したジェスチャーによって、前記撮像を行うことを特徴とする第1の特徴に係る発明である鏡を提供する。
 第7の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、ジェスチャーを認識し、前記認識したジェスチャーによって、前記撮像を行う。
 第8の特徴に係る発明は、端末から入力された入力情報を受信する入力情報受信手段と、
 を備え、
 前記撮像手段は、前記受信した入力情報によって、前記撮像を行うことを特徴とする第1の特徴に係る発明である鏡を提供する。
 第8の特徴に係る発明によれば、第1の特徴に係る発明である鏡は、端末から入力された入力情報を受信し、前記受信した入力情報によって、前記撮像を行う。
 第9の特徴に係る発明は、光を反射し、サーバと通信する鏡が実行する画像表示方法であって、
 被撮像物を撮像するステップと、
 前記撮像された撮像画像の画像情報を、前記サーバに送信するステップと、
 前記サーバから、前記画像情報が加工された加工画像情報を受信するステップと、
 前記受信した加工画像情報に対応する画像を表示するステップと、
 を備えることを特徴とする画像表示方法を提供する。
 第10の特徴に係る発明は、光を反射し、サーバと通信する鏡に、
 被撮像物を撮像するステップ、
 前記撮像された撮像画像の画像情報を、前記サーバに送信するステップ、
 前記サーバから、前記画像情報が加工された加工画像情報を受信するステップ、
 前記受信した加工画像情報に対応する画像を表示するステップ、
 を実行させることを特徴とするプログラムを提供する。
 本発明によれば、ユーザの利便性を向上させた鏡、画像表示方法及びプログラムを提供することが可能となる。
図1は、画像表示システム1の概要を示す図である。 図2は、画像表示システム1の全体構成図である。 図3は、サーバ10及び鏡100の機能ブロック図である。 図4は、サーバ10及び鏡100が実行する加工画像表示処理を示すフローチャートである。 図5は、サーバ10及び鏡100が実行する合成画像表示処理を示すフローチャートである。 図6は、鏡100が実行する画像掲載処理を示すフローチャートである。 図7は、サーバ10及び鏡100が実行する画像ログ表示処理を示すフローチャートである。 図8は、加工画像を示す図である。 図9は、合成画像を示す図である。
 以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
 [画像表示システム1の概要]
 本発明の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である画像表示システム1の概要を説明するための図である。画像表示システム1は、サーバ10及び鏡100から構成される。なお、各装置は、1つに限らず、複数であってもよい。また、後述する各処理は、各装置の何れか又は双方が実行する構成であってもよい。また、各装置は、実在する装置又は仮想的な装置の何れか又は双方であってもよい。
 サーバ10は、各種データベースを記憶し、鏡100とデータ通信可能なサーバ装置である。
 鏡100は、光を反射し、サーバ10とデータ通信可能な鏡である。また、鏡100は、カメラ200及びディスプレイ300を自身に有している。鏡100は、姿見鏡、手鏡、壁掛け鏡、スタンドミラー等である。また、鏡100は、一般的な鏡、防湿鏡、アクリルミラー、マジックミラー、高精細ミラー、色付き鏡、表面反射鏡等である。なお、ディスプレイ300やカメラ200は、鏡100が有さずに、データ通信可能に接続されたスマートフォンやタブレット端末等の情報端末が同様の機能を有する構成であってもよい。なお、鏡100は、キャスター等の移動可能装置が取り付けられていてもよい。
 初めに、鏡100は、カメラ200により、被撮像物であるユーザを撮像する(ステップS01)。カメラ200は、静止画又は動画等の画像を撮像する。カメラ200は、ユーザから撮像指示入力を受け付けることによりユーザを撮像してもよいし、センサ等によりユーザを検知することにより自動的に撮像してもよい。
 ユーザは、撮像指示入力として、音声、ジェスチャー、データ通信可能に接続された情報端末等による入力を実行する。鏡100は、マイク等の音声認識デバイスを有し、ユーザからの音声指示に基づいて、撮像指示の入力を受け付けてもよいし、センサ等のユーザの動きを認識するデバイスを有し、ユーザが行う特定の動き、例えば、首を縦に動かす、手を振る、足を上げるといった動きをジェスチャーとして受け付け、撮像指示の入力を受け付けてもよいし、情報端末が送信する撮像指示に関する情報を受け付け、撮像指示の入力を受け付けてもよい。なお、鏡100は、他の方法により撮像指示入力を受け付けてもよい。
 鏡100は、ユーザを撮像した撮像画像の画像情報を示す撮像画像データを、サーバ10に送信する(ステップS02)。撮像画像データには、この鏡100の識別子、撮像日時、被撮像物名、撮像地点等の情報が含まれている。なお、撮像画像データには、他の情報が含まれていてもよい。
 サーバ10は、撮像画像データを受信し、この撮像画像データを記憶する。サーバ10は、記憶した撮像画像データをデータベース化し、撮像画像データにおけるユーザの体形、服装、顔、腕、足等の全体像及び各部位を抽出した加工画像情報を生成する。加工画像情報は、全体像及び各部位の画像データや、全体像又は各部位における輪郭を抽出した画像データや、全体像や同一部位の輪郭を、撮像日時に基づいて時系列に沿った変動を抽出した画像データや、別画像の画像データを合成した画像データが含まれる。なお、加工画像情報には、他の画像データが含まれていてもよい。
 サーバ10は、加工画像情報を示す加工画像データを鏡100に送信する(ステップS03)。鏡100は、加工画像データを受信し、鏡100が有するディスプレイ300に加工画像データに基づいた加工画像を表示する。なお、ディスプレイ300は、鏡100以外の情報端末や装置等の他の端末装置に設けられており、サーバ10がこの他の端末装置に送信し、表示してもよい。また、サーバ10は、加工画像情報を、鏡100に送信するとともに、画像共有サイトや各種アップローダーやユーザが所持する他の端末装置に送信してもよい。
 以上が、画像表示システム1の概要である。
 [画像表示システム1のシステム構成]
 図2に基づいて、画像表示システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である画像表示システム1のシステム構成を示す図である。画像表示システム1は、サーバ10、鏡100及び公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成される。サーバ10及び鏡100の何れか又は双方は、システム上に複数存在してもよい。また、サーバ10及び鏡100の何れか又は双方は、実在の装置ではなく、仮想的な装置により実現されてもよい。
 サーバ10は、後述の機能を備え、鏡100とデータ通信可能な上述したサーバ装置である。
 鏡100は、後述の機能を備え、サーバ10とデータ通信可能な鏡である。鏡100は、光を反射する鏡面と、被撮像物を静止画又は動画等の画像として撮像するカメラ200と、後述する加工画像や合成画像を表示するディスプレイ300とを備える鏡である。カメラ200は、鏡面の中央付近に位置する。また、ディスプレイ300は、鏡面の表面に位置し、カメラ200よりも下方に位置する。ディスプレイ300の大きさは適宜変更可能である。なお、カメラ200は、他の位置、例えば、鏡100の外枠内や、鏡100の外周部に設けられていてもよい。また、ディスプレイ300は、カメラ200の上方や、外枠の外周部に設けられていてもよい。また、カメラ200又はディスプレイ300の何れか又は双方は、鏡100が備えずとも良く、他の物品や装置等が有している構成であってもよい。また、鏡100は、外枠の下部にキャスター等の移動可能な装置が取り付けられていてもよい。
 [各機能の説明]
 図3に基づいて、サーバ10及び鏡100の機能について説明する。図3は、サーバ10及び鏡100の機能ブロックを示す図である。
 サーバ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイス又は第3世代、第4世代移動通信システム等のIMT-2000規格に準拠した無線デバイス等を備える。また、サーバ10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。
 サーバ10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、撮像画像データ受信モジュール20、加工画像データ送信モジュール21、合成用データ受信モジュール22、合成画像データ送信モジュール23、画像ログ取得指示受信モジュール24、画像ログデータ送信モジュール25を実現する。また、サーバ10において、制御部11が所定のプログラムを読み込むことにより、記憶部13と協働して、撮像画像データ記憶モジュール30、画像データ解析モジュール31、データ合成モジュール32を実現する。
 鏡100は、サーバ10と同様に、制御部110として、CPU、RAM、ROM等を備え、通信部120として、他の機器と通信可能にするための無線デバイス等を備える。また、鏡100は、入出力部140として、制御部110で制御したデータや画像を出力表示するディスプレイ300、被撮像物であるユーザを撮像するカメラ200、ユーザからの音声入力を受け付けるマイク等、ユーザの動きを検出するセンサ等、ユーザからの入力を受け付けるタッチパネル等の各種デバイスを備える。
 鏡100において、制御部110が所定のプログラムを読み込むことにより、通信部120と協働して、撮像画像データ送信モジュール150、加工画像データ受信モジュール151、合成用データ送信モジュール152、合成画像データ受信モジュール153、画像アップロードモジュール154、画像ログ取得モジュール155を実現する。また、鏡100において、制御部110が所定のプログラムを読み込むことにより、入出力部140と協働して、撮像指示受付モジュール160、撮像モジュール161、加工画像表示モジュール162、画像合成入力受付モジュール163、合成画像表示モジュール164、画像表示判断モジュール165、掲載指示受付モジュール166、画像ログ表示入力受付モジュール167、画像ログ表示モジュール168を実現する。
 [加工画像表示処理]
 図4に基づいて、サーバ10及び鏡100が実行する加工画像表示処理について説明する。図4は、サーバ10及び鏡100が実行する加工画像表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
 撮像指示受付モジュール160は、撮像指示を受け付けたか否かを判断する(ステップS10)。撮像指示受付モジュール160は、撮像指示を、例えば、音声、ジェスチャー、情報端末からの入力情報に基づいて受け付ける。撮像指示受付モジュール160は、ユーザからの撮像指示を音声入力として受け付け、受け付けた音声を認識することにより、撮像指示を受け付けたか否かを判断する。この音声入力は、例えば、ユーザが発する「撮って」、「撮影」等の音声の入力を受け付けることである。また、撮像指示受付モジュール160は、ユーザからの撮像指示をユーザの身体の動きやその他の動きに基づいたジェスチャーにより受け付け、受け付けたジェスチャーを認識することにより、撮像指示を受け付けたか否かを判断する。このジェスチャーは、例えば、ユーザが手や指を動かすこと、頭を動かすこと等の身体の一部又は全ての動きをセンサ等により検知することである。また、撮像指示受付モジュール160は、撮像指示を情報端末から受け付ける。情報端末は、ユーザからの撮像指示に関する入力情報を受け付け、この入力情報を鏡100に送信する。撮像指示受付モジュール160は、入力情報を受け付けることにより、撮像指示を受け付けたか否かを判断する。なお、撮像指示受付モジュール160は、上述した撮像指示以外の方法による撮像指示を受け付けたか否かを判断してもよい。また、撮像指示受付モジュール160は、撮像指示を受け付けていなくとも、他の条件により、撮像を実行する判断を行ってもよい。例えば、撮像指示受付モジュール160は、鏡100に所定時間被撮像物が映りこんでいるか否か、鏡100に映りこんでいる被撮像物の変化が発生したか否かに基づいて、撮像指示を受け付ける判断を実行してもよい。
 ステップS10において、撮像指示受付モジュール160は、撮像指示を受け付けていないと判断した場合(ステップS10 NO)、本処理を終了する。
 一方、ステップS10において、撮像指示受付モジュール160は、撮像指示を受け付けたと判断した場合(ステップS10 YES)、撮像モジュール161は、被撮像物として、ユーザを撮像する(ステップS11)。ステップS11において、撮像モジュール161は、ユーザの静止画又は動画を撮像する。撮像モジュール161は、撮像指示受付モジュール160により受け付けた撮像指示に基づいて、ユーザの全体又は一部の画像を撮像する。また、撮像モジュール161は、撮像指示受付モジュール160により受け付けた撮像指示に基づいて、ユーザの一部又は全体を拡大して撮像する。また、撮像モジュール161は、撮像指示受付モジュール160により受け付けた撮像指示に基づいて、ユーザが回転や移動した状態の複数の静止画や動画を撮像することにより、正面だけでなく、側面、背面等を撮像することが可能である。
 撮像画像データ送信モジュール150は、撮像画像の画像情報を示す撮像画像データを、サーバ10に送信する(ステップS12)。撮像画像データには、撮像した画像、撮像日時、撮像場所、被撮像者、鏡100の識別子等に関する情報が含まれる。撮像日時は、この画像を撮像モジュール161が撮像した日時である。撮像場所は、予め設定された鏡100が設置された場所に関する情報や、鏡100がGPS取得機能を有し、GPSにより取得した位置情報に関する情報である。被撮像者は、予め設定された被撮像者に関する情報や、撮像指示の入力を行ったユーザの特徴等に関する情報である。識別子は、製造番号、MACアドレス、IPアドレス等の鏡100を一意に特定可能な数値又は文字列である。なお、撮像画像データには、上述した各情報以外の情報が含まれていてもよいし、何れかの情報のみが含まれていてもよい。
 撮像画像データ受信モジュール20は、撮像画像データを受信する。撮像画像データ記憶モジュール30は、受信した撮像画像データの各種情報を対応付けてビッグデータ処理を実行した後に、記憶する(ステップS13)。なお、ステップS13において、撮像画像データ記憶モジュール30は、各種情報を対応付けずにビッグデータ処理を実行してもよいし、受信した撮像画像データの各種情報をそのまま記憶してもよい。
 画像データ解析モジュール31は、撮像画像データに基づいて、ユーザの画像データを抽出する(ステップS14)。画像データ解析モジュール31は、ユーザの画像データから、衣服、顔、足、腕、腹部、全体像といった、ユーザの衣服や、ユーザの体形の一部又は全体の画像データを抽出する。
 画像データ解析モジュール31は、抽出した画像データから、更に、輪郭データを抽出する(ステップS15)。輪郭データとは、例えば、顔、足、腕、腹部、全体像といったユーザの身体の一部又は全体の輪郭を示す情報である。また、輪郭データには、衣服の輪郭も含まれていてよい。
 加工画像データ送信モジュール21は、輪郭データを、加工画像データとして鏡100に送信する(ステップS16)。なお、加工画像データ送信モジュール21は、鏡100に加工画像データを送信するとともに、情報端末に加工画像データを送信してもよい。この場合、情報端末は加工画像データを受信し、加工画像データに基づいた加工画像を表示すればよい。
 加工画像データ受信モジュール151は、加工画像データを受信する。加工画像表示モジュール162は、受信した加工画像データに基づいた加工画像を図8に示す加工画像として表示する(ステップS17)。加工画像表示モジュール162は、ディスプレイ300に加工画像を表示する。加工画像表示モジュール162は、例えば、加工画像データが顔の輪郭を示すデータである場合、顔の輪郭を表示する。また、加工画像表示モジュール162は、加工画像データが全体像の輪郭を示すデータである場合、全体像を表示する。また、加工画像表示モジュール162は、同様に、その他の部位又は全体像の輪郭を表示する。
 図8は、加工画像表示モジュール162が表示する加工画像を示す図である。図8において、加工画像表示モジュール162は、ディスプレイ300に、加工画像400を表示する。加工画像400は、顔の輪郭を示す輪郭線410からなる。なお、加工画像表示モジュール162が表示する加工画像は、顔の輪郭に限らず、他の部位又は全体像の輪郭であってもよい。
 以上が、加工画像表示処理である。
 [合成画像表示処理]
 図5に基づいて、サーバ10及び鏡100が実行する合成画像表示処理について説明する。図5は、サーバ10及び鏡100が実行する合成画像表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
 画像合成入力受付モジュール163は、画像の合成指示を受け付けたか否かを判断する(ステップS20)。画像合成入力受付モジュール163は、例えば、上述したような音声、ジェスチャー、情報端末により、画像の合成指示を受け付ける。画像の合成とは、例えば、撮像した撮像画像データと、別の画像データを一の画像とすることである。別の画像データとは、例えば、衣服画像に関するデータ、化粧品に関するデータ、装飾品に関するデータである。なお、上述したステップS10の処理と同様に、合成指示は、上述した方法以外の方法により受け付けてもよい。
 画像合成入力受付モジュール163は、合成指示を受け付けていないと判断した場合(ステップS20 NO)、本処理を終了する。
 一方、ステップS20において、合成指示を受け付けたと判断した場合(ステップS20 YES)、撮像モジュール161は、ユーザを撮像する(ステップS21)。ステップS21における処理は、上述したステップS11の処理と同様である。
 合成用データ送信モジュール152は、撮像画像データと、合成指示に関する情報とが含まれる合成用データをサーバ10に送信する(ステップS22)。合成指示に関する情報とは、例えば、異なる服装を合成する指示、化粧を自身に施した状態を合成する指示、ひげを伸ばした状態を合成する指示である。
 合成用データ受信モジュール22は、合成用データを受信する。データ合成モジュール32は、合成指示に関する情報に基づいて、撮像画像に、別画像を合成した合成画像を示す合成画像データを作成する(ステップS23)。別画像は、例えば、撮像モジュール161が撮像した画像や、他のサーバやデータベースから取得した画像である。
 合成画像データ送信モジュール23は、合成画像データを鏡100に送信する(ステップS24)。なお、合成画像データ送信モジュール23は、鏡100に合成画像データを送信するとともに、情報端末に合成画像データを送信してもよい。この場合、情報端末は、上述したステップS16の処理と同様に、合成画像データを受信し、合成画像データに基づいた合成画像を表示すればよい。
 合成画像データ受信モジュール153は、合成画像データを受信する。合成画像表示モジュール164は、合成画像データに基づいて、図9に示す合成画像を表示する(ステップS25)。
 図9は、合成画像表示モジュール164が表示する合成画像を示す図である。図9において、合成画像表示モジュール164は、ディスプレイ300に合成画像500を表示する。合成画像500は、ユーザの顔画像510に、化粧画像520を合成している。なお、合成画像表示モジュール164が表示する合成画像は、化粧画像に限らず、服装画像、ひげを伸ばした状態等のユーザの画像に重ねることが可能な様々な画像を表示する。
 なお、鏡100に自身の画像や衣服等の画像を記憶し、記憶した画像と、ステップS21において撮像した画像とのデータをサーバ10に送信し、サーバ10は、このデータに基づいて、上述したステップS23以降の処理を実行してもよい。
 以上が、合成画像表示処理である。
 [画像掲載処理]
 図6に基づいて、鏡100が実行する画像掲載処理について説明する。図6は、鏡100が実行する画像掲載処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
 画像表示判断モジュール165は、鏡100が加工画像や合成画像を表示しているか否かを判断する(ステップS30)。ステップS30において、画像表示判断モジュール165は、表示していないと判断した場合(ステップS30 NO)、本処理を終了する。
 一方、ステップS30において、画像表示判断モジュール165は、表示していると判断した場合(ステップS30 YES)、掲載指示受付モジュール166は、現在表示している画像を、画像共有サイト、SNSサイト、掲示板又は各種アップローダー等に掲載する指示を受け付けたか否かを判断する(ステップS31)。掲載指示受付モジュール166は、上述した音声、ジェスチャー、情報端末等により、画像の掲載指示を受け付ける。
 ステップS31において、掲載指示受付モジュール166は、掲載指示を受け付けていないと判断した場合(ステップS31 NO)、本処理を終了する。
 一方、ステップS31において、掲載指示受付モジュール166は、掲載指示を受け付けたと判断した場合(ステップS31 YES)、画像アップロードモジュール154は、鏡100が表示する撮像画像データ、加工画像データ又は合成画像データを画像共有サイト、SNSサイト、掲示板又は各種アップローダー等にアップロードする(ステップS32)。画像アップロードモジュール154がアップロードする場所については、上述したステップS31において、指定した場所の何れか又は全てにアップロードする。なお、画像アップロードモジュール154は、他の画像をアップロードしてもよいし、複数の画像をアップロードしてもよい。また、画像アップロードモジュール154は、サーバ10に画像データを送信し、サーバ10が画像共有サイト、SNSサイト、掲示板又は各種アップローダー等にアップロードする構成であってもよい。
 なお、鏡100は、撮像したユーザの画像データを記憶しておき、掲載指示を受け付けた場合、この記憶した画像データを、上述した各サイト等にアップロードしてもよい。
 以上が、画像掲載処理である。
 [画像ログ表示処理]
 図7に基づいて、サーバ10及び鏡100が実行する画像ログ表示処理について説明する。図7は、サーバ10及び鏡100が実行する画像ログ表示処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
 画像ログ表示入力受付モジュール167は、特定の部位又は全体像の画像ログの表示指示を受け付けたか否かを判断する(ステップS40)。画像ログ表示入力受付モジュール167は、上述した音声、ジェスチャー、情報端末等により、画像ログの表示指示を受け付ける。表示指示には、画像ログとして表示する部位又は全体像を指定する情報が含まれる。
 ステップS40において、画像ログ表示入力受付モジュール167は、表示指示を受け付けていないと判断した場合(ステップS40 NO)、本処理を終了する。
 一方、画像ログ表示入力受付モジュール167は、表示指示を受け付けたと判断した場合(ステップS40 YES)、画像ログ取得モジュール155は、画像ログの取得指示をサーバ10に送信する(ステップS41)。
 画像ログ取得指示受信モジュール24は、取得指示を受信する。画像データ解析モジュール31は、取得指示に基づいて、自身が記憶するこのユーザの画像データと、データベース化された指定された部位に関する複数の画像データとを解析し、変化ログを作成する(ステップS42)。ステップS42において、画像データ解析モジュール31は、例えば、表示指示が、目元に関する指示であった場合、ユーザの目元を示す画像データと、他のユーザから取得した目元を示す画像データや一般的な年代別の目元に関する画像データとに基づいて、ユーザの目元を示す画像データが将来どのように変化するかを複数の段階に分けて解析し、解析した複数の段階の各々の画像データを一の画像ログとして作成する。複数の段階とは、例えば、年齢別、年代別、期間別である。また、目元を示す画像データとは、例えば、輪郭を示す画像や、目元の画像そのものである。なお、変化ログとして、体形、服装、顔、腕、足等の全体像及び各部位の変化を解析すればよい。
 画像ログデータ送信モジュール25は、作成された変化ログを示す画像ログデータを、鏡100に送信する(ステップS43)。なお、画像ログデータ送信モジュール25は、鏡100に画像ログデータを送信するとともに、情報端末に画像ログデータを送信してもよい。この場合、情報端末は、画像ログデータを受信し、画像ログデータに基づいた画像ログを表示すればよい。
 画像ログ取得モジュール155は、画像ログデータを受信する。画像ログ表示モジュール168は、受信した画像ログデータに基づいて、画像ログを表示する(ステップS44)。なお、画像ログ表示モジュール168は、画像ログを表示するとともに、この画像ログに対応する提案を表示してもよい。この場合、例えば、画像ログ表示モジュール168は、画像ログが加齢とともに変化するため、顔のリフトアップをしましょう等の提案を表示する。画像ログ表示モジュール168が表示する提案は、美容、健康、ダイエット、アンチエイジング、服装、化粧等に関する提案である。また、画像ログ表示モジュール168が提案する内容は、この例に限らず他の内容であってもよい。
 以上が、画像ログ表示処理である。
 なお、上述した各処理において、鏡100は、ユーザを撮像した画像をサーバ10に送信する構成であるが、鏡100は、ユーザを撮像した画像データ及び撮像日時を、メモリ等のデータのストレージ部に記憶しておき、ユーザが撮像日時を指定することにより、この撮像日時に紐付けられた画像データをサーバ10に送信し、サーバ10は、この画像データに基づいて各処理を実行してもよい。
 また、上述した各処理において、鏡100が表示する加工画像、合成画像及び画像ログは、実際の画像や輪郭に限らず、例えば、シミュレーションであってもよい。
 上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
 以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
 1 画像表示システム、10 サーバ、100 鏡

Claims (10)

  1.  光を反射し、サーバと通信する鏡であって、
     被撮像物を撮像する撮像手段と、
     前記撮像された撮像画像の画像情報を、前記サーバに送信する画像情報送信手段と、
     前記サーバから、前記画像情報が加工された加工画像情報を受信する画像情報受信手段と、
     前記受信した加工画像情報に対応する画像を表示する表示手段と、
     を備えることを特徴とする鏡。
  2.  前記表示手段で表示する画像が、前記被撮像物の輪郭の画像である、ことを特徴とする請求項1に記載の鏡。
  3.  前記表示手段で表示する画像が、前記被撮像物の輪郭の変化を示す画像である、ことを特徴とする請求項1に記載の鏡。
  4.  前記輪郭が、顔の輪郭であることを特徴とする、請求項2又は3に記載の鏡。
  5.  前記表示手段で表示する画像が、前記撮像画像に別画像が合成された合成画像である、ことを特徴とする、請求項1に記載の鏡。
  6.  音声を認識する音声認識手段と、
     を備え、
     前記撮像手段は、前記認識した音声によって、前記撮像を行うことを特徴とする請求項1に記載の鏡。
  7.  ジェスチャーを認識するジェスチャー認識手段と、
     を備え、
     前記撮像手段は、前記認識したジェスチャーによって、前記撮像を行うことを特徴とする請求項1に記載の鏡。
  8.  端末から入力された入力情報を受信する入力情報受信手段と、
     を備え、
     前記撮像手段は、前記受信した入力情報によって、前記撮像を行うことを特徴とする請求項1に記載の鏡。
  9.  光を反射し、サーバと通信する鏡が実行する画像表示方法であって、
     被撮像物を撮像するステップと、
     前記撮像された撮像画像の画像情報を、前記サーバに送信するステップと、
     前記サーバから、前記画像情報が加工された加工画像情報を受信するステップと、
     前記受信した加工画像情報に対応する画像を表示するステップと、
     を備えることを特徴とする画像表示方法。
  10.  光を反射し、サーバと通信する鏡に、
     被撮像物を撮像するステップ、
     前記撮像された撮像画像の画像情報を、前記サーバに送信するステップ、
     前記サーバから、前記画像情報が加工された加工画像情報を受信するステップ、
     前記受信した加工画像情報に対応する画像を表示するステップ、
     を実行させることを特徴とするプログラム。
PCT/JP2016/056859 2016-03-04 2016-03-04 鏡、画像表示方法及びプログラム WO2017149778A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/056859 WO2017149778A1 (ja) 2016-03-04 2016-03-04 鏡、画像表示方法及びプログラム
JP2018502496A JP6650998B2 (ja) 2016-03-04 2016-03-04 鏡、画像表示方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/056859 WO2017149778A1 (ja) 2016-03-04 2016-03-04 鏡、画像表示方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2017149778A1 true WO2017149778A1 (ja) 2017-09-08

Family

ID=59742658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056859 WO2017149778A1 (ja) 2016-03-04 2016-03-04 鏡、画像表示方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6650998B2 (ja)
WO (1) WO2017149778A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153991A (ja) * 2018-03-06 2019-09-12 カシオ計算機株式会社 発光制御装置、表示システム、発光制御方法、及び発光制御プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05192233A (ja) * 1992-01-21 1993-08-03 Toshiba Corp ドレッサー
JP2006304331A (ja) * 2006-05-25 2006-11-02 Sony Corp 試着画像生成装置及び試着画像生成方法、試着画像利用端末及び試着画像利用方法、並びにコンピュータ・プログラム
JP2007216000A (ja) * 2006-01-17 2007-08-30 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2010183160A (ja) * 2009-02-03 2010-08-19 Olympus Corp 制御装置及び撮像装置
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2012186698A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 画像撮影装置
WO2014125831A1 (ja) * 2013-02-14 2014-08-21 パナソニック株式会社 電子ミラー装置
WO2014136521A1 (ja) * 2013-03-06 2014-09-12 Necカシオモバイルコミュニケーションズ株式会社 撮像装置、撮像方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203238A (ja) * 2000-12-28 2002-07-19 Kao Corp 素肌のシミュレーション画像の形成方法
CN101711674B (zh) * 2004-10-22 2012-04-11 株式会社资生堂 皮肤状况诊断***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05192233A (ja) * 1992-01-21 1993-08-03 Toshiba Corp ドレッサー
JP2007216000A (ja) * 2006-01-17 2007-08-30 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2006304331A (ja) * 2006-05-25 2006-11-02 Sony Corp 試着画像生成装置及び試着画像生成方法、試着画像利用端末及び試着画像利用方法、並びにコンピュータ・プログラム
JP2010183160A (ja) * 2009-02-03 2010-08-19 Olympus Corp 制御装置及び撮像装置
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2012186698A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 画像撮影装置
WO2014125831A1 (ja) * 2013-02-14 2014-08-21 パナソニック株式会社 電子ミラー装置
WO2014136521A1 (ja) * 2013-03-06 2014-09-12 Necカシオモバイルコミュニケーションズ株式会社 撮像装置、撮像方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153991A (ja) * 2018-03-06 2019-09-12 カシオ計算機株式会社 発光制御装置、表示システム、発光制御方法、及び発光制御プログラム
JP6992603B2 (ja) 2018-03-06 2022-01-13 カシオ計算機株式会社 発光制御装置、表示システム、発光制御方法、及び発光制御プログラム

Also Published As

Publication number Publication date
JPWO2017149778A1 (ja) 2018-10-04
JP6650998B2 (ja) 2020-02-19

Similar Documents

Publication Publication Date Title
CN109085966B (zh) 一种基于云计算的三维展示***及方法
US9479736B1 (en) Rendered audiovisual communication
RU2656817C2 (ru) Устройства, системы и способы захвата и отображения внешнего вида
US9996979B2 (en) Augmented reality technology-based handheld viewing device and method thereof
WO2019024853A1 (zh) 一种图像处理方法、装置及存储介质
CN104346612B (zh) 信息处理装置和显示方法
CN108712603B (zh) 一种图像处理方法及移动终端
CN106127552B (zh) 一种虚拟场景显示方法、装置及***
CN104881526B (zh) 一种基于3d的物品穿戴方法及眼镜试戴方法
CN109600550A (zh) 一种拍摄提示方法及终端设备
CN109683716A (zh) 基于眼睛跟踪的可见度提高方法和电子装置
US20180197345A1 (en) Augmented reality technology-based handheld viewing device and method thereof
US20170134694A1 (en) Electronic device for performing motion and control method thereof
JP6730461B2 (ja) 情報処理システム及び情報処理装置
CN108881544A (zh) 一种拍照的方法及移动终端
JP2020119156A (ja) アバター生成システム、アバター生成装置、サーバ装置、アバター生成方法、およびプログラム
US20200195518A1 (en) Computer system, remote control notifacation method and program
JP6275086B2 (ja) サーバ、データ提供方法及びサーバ用プログラム
CN104899917B (zh) 一种基于3d的物品虚拟穿戴的图片保存和分享方法
WO2019000464A1 (zh) 一种图像显示方法、装置、存储介质和终端
JP6267809B1 (ja) パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム
WO2017149778A1 (ja) 鏡、画像表示方法及びプログラム
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
JP2017188787A (ja) 撮像装置、画像合成方法、および画像合成プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018502496

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16892617

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 12.12.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16892617

Country of ref document: EP

Kind code of ref document: A1