JP6753314B2 - エフェクト生成装置およびエフェクト生成方法、並びにプログラム - Google Patents
エフェクト生成装置およびエフェクト生成方法、並びにプログラム Download PDFInfo
- Publication number
- JP6753314B2 JP6753314B2 JP2016568320A JP2016568320A JP6753314B2 JP 6753314 B2 JP6753314 B2 JP 6753314B2 JP 2016568320 A JP2016568320 A JP 2016568320A JP 2016568320 A JP2016568320 A JP 2016568320A JP 6753314 B2 JP6753314 B2 JP 6753314B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- unit
- effect
- objects
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/09—Recognition of logos
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
(1)
入力画像から、少なくとも顔を含む2つ以上の対象物を検出する検出部と、
前記検出部により検出された前記対象物どうしの関係から、対応する所定のエフェクトを生成するエフェクト生成部と
を備えるエフェクト生成装置。
(2)
複数の前記対象物の位置と、少なくとも一つの前記対象物の状態とを含む前記対象物どうしの関係性を特定する特定部をさらに備え、
前記エフェクト生成部は、前記特定部により特定された前記対象物どうしの関係性に基づいて、前記エフェクトを生成する
上記(1)に記載のエフェクト生成装置。
(3)
前記特定部は、前記対象物の状態として、前記検出部により検出された顔を構成する部分の状態と、前記検出部により検出された物体の状態とを特定するとともに、前記対象物どうしの関係性として、前記顔と前記物体との位置関係を特定し、
前記エフェクト生成部は、前記特定部により特定された前記顔を構成する部分の状態、前記物体の状態、および前記顔と前記物体との位置関係の変化に基づいて、前記エフェクトを生成する
上記(2)に記載のエフェクト生成装置。
(4)
前記エフェクト生成部は、前記対象物をマスクするマスク画像、および、前記対象物どうしの関係性を表現する表示エフェクトを生成し、前記入力画像に対して前記マスク画像および前記表示エフェクトを重畳して表示する出力画像を作成する
上記(1)から(3)までのいずれかに記載のエフェクト生成装置。
(5)
前記入力画像から検出された前記対象物である顔を構成する部分を特定する複数の特徴点を抽出する顔特徴点解析部をさらに備え、
前記特定部は、前記顔特徴点解析部により検出された複数の前記特徴点に基づいて、前記入力画像から検出された前記顔を構成する部分の状態を特定する
上記(2)から(4)までのいずれかにエフェクト生成装置。
(6)
前記入力画像から検出された前記顔以外の前記対象物である物体を構成する部分を特定する複数の特徴点を抽出する物体特徴点解析部をさらに備え、
前記特定部は、前記物体特徴点解析部により検出された複数の前記特徴点に基づいて、前記入力画像から検出された前記物体の状態を特定する
上記(2)から(5)までのいずれかに記載のエフェクト生成装置。
(7)
前記特定部は、前記顔を構成する部分の状態、前記物体の状態、および、前記顔と前記物体との前記入力画像上の位置関係に基づいて、前記顔と前記物体と相互的な関係性を特定する
上記(2)から(6)までのいずれかに記載のエフェクト生成装置。
(8)
前記入力画像に写されている前記顔および前記物体までの距離を測定して、前記入力画像に対して直交する方向の奥行きを求める距離測定部をさらに備え、
前記特定部は、前記顔と前記物体との奥行き関係を用いて、前記顔と前記物体との間における相互的な関係性を特定する
上記(2)から(7)までのいずれかに記載のエフェクト生成装置。
(9)
前記入力画像から検出された前記顔と、前記入力画像から検出された前記物体とについて前記距離測定部により求められた奥行き関係に基づいて、前記顔をマスクする顔用のマスク画像が前記物体をマスクすることを回避させるためのマップデータを作成するマップ作成部
をさらに備える上記(8)に記載のエフェクト生成装置。
(10)
前記エフェクト生成部は、前記マスク画像または前記表示エフェクトを状況に応じて変化させる
上記(4)から(9)までのいずれかに記載のエフェクト生成装置。
(11)
前記エフェクト生成部は、前記特定部により所定の前記対象物どうしの所定の関係性が特定された回数に従って、前記マスク画像または前記表示エフェクトを変化させる
上記(10)に記載のエフェクト生成装置。
(12)
前記エフェクト生成部は、所定の前記表示エフェクトが使用された回数を計数したカウント値に従って、その表示エフェクトを変化させる
上記(10)または(11)に記載のエフェクト生成装置。
(13)
前記エフェクト生成部は、ネットワークを介して接続された他の前記エフェクト生成装置との間で送受信される前記カウント値の合計に従って、所定の前記表示エフェクトを変化させる
上記(12)に記載のエフェクト生成装置。
(14)
前記特定部は、音声認識情報、ジェスチャ認識情報、日時情報、現在地情報、天気情報、周辺のイベント情報、または、ネットワークを介して取得できる情報にも基づいて、前記対象物どうしの関係性を特定する
上記(2)から(13)までのいずれかに記載のエフェクト生成装置。
(15)
入力画像から、少なくとも顔を含む2つ以上の対象物を検出し、
検出された前記対象物どうしの関係から、対応する所定のエフェクトを生成する
ステップを含むエフェクト生成方法。
(16)
入力画像から、少なくとも顔を含む2つ以上の対象物を検出し、
検出された前記対象物どうしの関係から、対応する所定のエフェクトを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
Claims (18)
- 入力画像から、2つ以上の対象物を検出する検出部と、
前記検出部により検出された前記対象物どうしの関係から、対応する所定のエフェクトを生成するエフェクト生成部と、
前記対象物の位置、前記対象物の状態、および前記対象物の奥行きを含む前記対象物どうしの関係性を特定する特定部と
を備え、
前記エフェクト生成部は、前記特定部により特定された前記対象物どうしの関係性に基づいて、前記エフェクトを生成する
エフェクト生成装置。 - 前記対象物は少なくとも1つの顔を含み、その顔が写されている領域である顔領域は、前記顔を構成する各部を特定する特徴点を含む
請求項1に記載のエフェクト生成装置。 - 前記特定部は、前記対象物の状態として、前記検出部により検出された顔の表情を特定し、
前記エフェクト生成部は、前記特定部により特定された顔の表情の変化に基づいて、前記エフェクトを生成する
請求項1または2に記載のエフェクト生成装置。 - 前記エフェクト生成部は、ジェスチャ認識に基づいて、特定のジェスチャが認識されたときに前記エフェクトを生成する
請求項1乃至3のいずれかに記載のエフェクト生成装置。 - 前記特定部は、前記対象物の状態として、前記検出部により検出された顔を構成する部分の状態と、前記検出部により検出された物体の状態とを特定するとともに、前記対象物どうしの関係性として、前記顔と前記物体との位置関係を特定し、
前記エフェクト生成部は、前記特定部により特定された前記顔を構成する部分の状態、前記物体の状態、および前記顔と前記物体との位置関係に基づいて、前記エフェクトを生成する
請求項1乃至4のいずれかに記載のエフェクト生成装置。 - 前記エフェクト生成部は、前記対象物をマスクするマスク画像、および、前記対象物どうしの関係性を表現する表示エフェクトを生成し、前記入力画像に対して前記マスク画像および前記表示エフェクトを重畳して表示する出力画像を作成する
請求項1乃至5のいずれかに記載のエフェクト生成装置。 - 前記入力画像から検出された前記対象物である顔を構成する部分を特定する複数の特徴点を抽出する顔特徴点解析部をさらに備え、
前記特定部は、前記顔特徴点解析部により検出された複数の前記特徴点に基づいて、前記入力画像から検出された前記顔を構成する部分の状態を特定する
請求項6に記載のエフェクト生成装置。 - 前記入力画像から検出された前記顔以外の前記対象物である物体を構成する部分を特定する複数の特徴点を抽出する物体特徴点解析部をさらに備え、
前記特定部は、前記物体特徴点解析部により検出された複数の前記特徴点に基づいて、前記入力画像から検出された前記物体の状態を特定する
請求項7に記載のエフェクト生成装置。 - 前記特定部は、前記顔を構成する部分の状態、前記物体の状態、および、前記顔と前記物体との前記入力画像上の位置関係に基づいて、前記顔と前記物体と相互的な関係性を特定する
請求項8に記載のエフェクト生成装置。 - 前記入力画像に写されている前記顔および前記物体までの距離を測定して、前記入力画像に対して直交する方向の前記奥行きを求める距離測定部をさらに備え、
前記特定部は、前記顔と前記物体との奥行き関係を用いて、前記顔と前記物体との間における相互的な関係性を特定する
請求項9に記載のエフェクト生成装置。 - 前記入力画像から検出された前記顔と、前記入力画像から検出された前記物体とについて前記距離測定部により求められた奥行き関係に基づいて、前記顔をマスクする顔用のマスク画像が前記物体をマスクすることを回避させるためのマップデータを作成するマップ作成部
をさらに備える請求項10に記載のエフェクト生成装置。 - 前記エフェクト生成部は、前記マスク画像または前記表示エフェクトを状況に応じて変化させる
請求項6乃至11のいずれかに記載のエフェクト生成装置。 - 前記エフェクト生成部は、前記特定部により所定の前記対象物どうしの所定の関係性が特定された回数に従って、前記マスク画像または前記表示エフェクトを変化させる
請求項12に記載のエフェクト生成装置。 - 前記エフェクト生成部は、所定の前記表示エフェクトが使用された回数を計数したカウント値に従って、その表示エフェクトを変化させる
請求項12に記載のエフェクト生成装置。 - 前記エフェクト生成部は、ネットワークを介して接続された他の前記エフェクト生成装置との間で送受信される前記カウント値の合計に従って、所定の前記表示エフェクトを変化させる
請求項14に記載のエフェクト生成装置。 - 前記特定部は、音声認識情報、ジェスチャ認識情報、日時情報、現在地情報、天気情報、周辺のイベント情報、または、ネットワークを介して取得できる情報にも基づいて、前記対象物どうしの関係性を特定する
請求項1乃至15のいずれかに記載のエフェクト生成装置。 - 入力画像から、2つ以上の対象物を検出し、
検出された前記対象物どうしの関係から、対応する所定のエフェクトを生成し、
前記対象物の位置、前記対象物の状態、および前記対象物の奥行きを含む前記対象物どうしの関係性を特定する
ステップを含み、
特定された前記対象物どうしの関係性に基づいて、前記エフェクトが生成される
エフェクト生成方法。 - 入力画像から、2つ以上の対象物を検出し、
検出された前記対象物どうしの関係から、対応する所定のエフェクトを生成し、
前記対象物の位置、前記対象物の状態、および前記対象物の奥行きを含む前記対象物どうしの関係性を特定する
ステップを含み、
特定された前記対象物どうしの関係性に基づいて、前記エフェクトが生成される
処理をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015001148 | 2015-01-06 | ||
JP2015001148 | 2015-01-06 | ||
PCT/JP2015/085941 WO2016111174A1 (ja) | 2015-01-06 | 2015-12-24 | エフェクト生成装置およびエフェクト生成方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016111174A1 JPWO2016111174A1 (ja) | 2017-10-12 |
JP6753314B2 true JP6753314B2 (ja) | 2020-09-09 |
Family
ID=56355874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016568320A Active JP6753314B2 (ja) | 2015-01-06 | 2015-12-24 | エフェクト生成装置およびエフェクト生成方法、並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10489949B2 (ja) |
EP (1) | EP3244372B1 (ja) |
JP (1) | JP6753314B2 (ja) |
CN (1) | CN107004290B (ja) |
WO (1) | WO2016111174A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
US10424121B1 (en) * | 2016-11-06 | 2019-09-24 | Oded Melinek | Generated offering exposure |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
CN108305317B (zh) | 2017-08-04 | 2020-03-17 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置及存储介质 |
US11430028B1 (en) * | 2017-11-30 | 2022-08-30 | United Services Automobile Association (Usaa) | Directed information assistance systems and methods |
US11014242B2 (en) * | 2018-01-26 | 2021-05-25 | Microsoft Technology Licensing, Llc | Puppeteering in augmented reality |
JP7082543B2 (ja) * | 2018-07-30 | 2022-06-08 | 株式会社第一興商 | カラオケ装置 |
EP4390873A2 (en) | 2019-02-18 | 2024-06-26 | Samsung Electronics Co., Ltd. | System and method for providing weather effect in image |
US11302040B2 (en) | 2019-06-24 | 2022-04-12 | Samsung Electronics Co., Ltd. | System and method for providing weather effect in image |
JP6783919B1 (ja) | 2019-12-27 | 2020-11-11 | グリー株式会社 | 情報処理システム、情報処理方法およびコンピュータプログラム |
SG10201913763WA (en) * | 2019-12-30 | 2021-04-29 | Sensetime Int Pte Ltd | Image processing methods and apparatuses, electronic devices, and storage media |
CN113362432B (zh) * | 2020-03-04 | 2024-04-19 | Tcl科技集团股份有限公司 | 一种面部动画生成方法及装置 |
JP7369669B2 (ja) | 2020-06-14 | 2023-10-26 | 株式会社スクウェア・エニックス | 拡張現実表示装置及びプログラム |
CN112053370A (zh) | 2020-09-09 | 2020-12-08 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
JP2022123692A (ja) * | 2021-02-12 | 2022-08-24 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、画像処理システム |
WO2022270558A1 (ja) * | 2021-06-25 | 2022-12-29 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法、プログラム |
US11783555B2 (en) * | 2021-11-16 | 2023-10-10 | Peer Inc | System and method for transferring content from one virtual environment to another |
JP2023091953A (ja) * | 2021-12-21 | 2023-07-03 | 株式会社セガ | プログラム及び情報処理装置 |
WO2023189554A1 (ja) * | 2022-03-31 | 2023-10-05 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1839410B (zh) * | 2003-07-18 | 2015-05-20 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法 |
JP4962218B2 (ja) | 2007-08-30 | 2012-06-27 | カシオ計算機株式会社 | 合成画像出力装置および合成画像出力処理プログラム |
JP5630541B2 (ja) | 2009-01-20 | 2014-11-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
JP5343676B2 (ja) * | 2009-04-08 | 2013-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
CN101739712B (zh) * | 2010-01-25 | 2012-01-18 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
JP2013080413A (ja) * | 2011-10-05 | 2013-05-02 | Sony Corp | 入力装置、入力認識方法 |
EP2919099B1 (en) * | 2012-11-06 | 2020-04-15 | Sony Interactive Entertainment Inc. | Information processing device |
-
2015
- 2015-12-24 EP EP15877047.9A patent/EP3244372B1/en active Active
- 2015-12-24 CN CN201580063890.3A patent/CN107004290B/zh active Active
- 2015-12-24 WO PCT/JP2015/085941 patent/WO2016111174A1/ja active Application Filing
- 2015-12-24 JP JP2016568320A patent/JP6753314B2/ja active Active
- 2015-12-24 US US15/528,841 patent/US10489949B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10489949B2 (en) | 2019-11-26 |
CN107004290A (zh) | 2017-08-01 |
EP3244372A1 (en) | 2017-11-15 |
WO2016111174A1 (ja) | 2016-07-14 |
CN107004290B (zh) | 2020-12-15 |
EP3244372A4 (en) | 2018-08-15 |
EP3244372B1 (en) | 2019-09-04 |
JPWO2016111174A1 (ja) | 2017-10-12 |
US20170309051A1 (en) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6753314B2 (ja) | エフェクト生成装置およびエフェクト生成方法、並びにプログラム | |
US12020390B2 (en) | Virtual content generation | |
CN110612533B (zh) | 用于根据表情对图像进行识别、排序和呈现的方法 | |
WO2018121777A1 (zh) | 人脸检测方法、装置和电子设备 | |
JP4481663B2 (ja) | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム | |
US9131035B2 (en) | Mobile devices and methods employing haptics | |
CN107798653B (zh) | 一种图像处理的方法和一种装置 | |
KR101832693B1 (ko) | 직관적 컴퓨팅 방법들 및 시스템들 | |
EP2877254B1 (en) | Method and apparatus for controlling augmented reality | |
US8549418B2 (en) | Projected display to enhance computer device use | |
KR101743763B1 (ko) | 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치 | |
US20150006281A1 (en) | Information processor, information processing method, and computer-readable medium | |
WO2016160606A1 (en) | Automated three dimensional model generation | |
US10423978B2 (en) | Method and device for playing advertisements based on relationship information between viewers | |
WO2021036624A1 (zh) | 交互方法、装置、设备以及存储介质 | |
US20150215674A1 (en) | Interactive streaming video | |
US20150186912A1 (en) | Analysis in response to mental state expression requests | |
WO2021036622A1 (zh) | 交互方法、装置、设备以及存储介质 | |
CN108182098A (zh) | 接待语言选择方法、***及接待机器人 | |
KR20200105446A (ko) | 감정 인식 장치 및 감정 인식 방법 | |
KR102482841B1 (ko) | 인공지능 미러링 놀이 가방 | |
JP2011197276A (ja) | 広告画像表示装置、広告画像表示方法 | |
CN110879946A (zh) | 手势结合ar特效的方法、存储介质、设备及*** | |
CN110009560B (zh) | 图像处理装置 | |
US20230394773A1 (en) | Smart Interactivity for Scanned Objects using Affordance Regions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6753314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |