JP7421010B2 - 情報表示方法、装置及び記憶媒体 - Google Patents
情報表示方法、装置及び記憶媒体 Download PDFInfo
- Publication number
- JP7421010B2 JP7421010B2 JP2023513472A JP2023513472A JP7421010B2 JP 7421010 B2 JP7421010 B2 JP 7421010B2 JP 2023513472 A JP2023513472 A JP 2023513472A JP 2023513472 A JP2023513472 A JP 2023513472A JP 7421010 B2 JP7421010 B2 JP 7421010B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mask
- image screen
- face
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 95
- 239000000463 material Substances 0.000 claims description 168
- 238000012545 processing Methods 0.000 claims description 32
- 230000001815 facial effect Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 25
- 238000002372 labelling Methods 0.000 claims description 22
- 230000008921 facial expression Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000004886 head movement Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000008451 emotion Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 27
- 230000000694 effects Effects 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 241000711573 Coronaviridae Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
ビデオにおける第1のオブジェクトを含む第1の画像画面を取得するステップと、
前記第1の画像画面内に第2のオブジェクトが存在するか否かを決定するステップと、
前記第1の画像画面内に前記第2のオブジェクトが存在し、且つ前記第2のオブジェクトと前記第1のオブジェクトが予め設定された位置関係を満たすと決定した場合、前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせるステップと、を含む情報表示方法を提供する。
ビデオにおける第1のオブジェクトを含む第1の画像画面を取得するための取得モジュールと、
前記第1の画像画面内に第2のオブジェクトが存在するか否かを決定するための処理モジュールと、
前記第1の画像画面内に前記第2のオブジェクトが存在し、且つ前記第2のオブジェクトと前記第1のオブジェクトが予め設定された位置関係を満たすと決定した場合、前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせるための表示モジュールと、を含む情報表示装置を提供する。
少なくとも1つのプロセッサとメモリを含み、
前記メモリはコンピュータ実行命令を記憶し、
前記少なくとも1つのプロセッサは前記メモリに記憶されたコンピュータ実行命令を実行することで、前記少なくとも1つのプロセッサは第1の態様及び第1の態様の様々な可能な設計に記載の情報表示方法を実行する電子機器を提供する。
第1のオブジェクトは顔であり、第2のオブジェクトはマスクであり、予め設定された位置関係を満たすことは、具体的には、顔にマスクが着用されていることである。第1のオブジェクトは顔であり、第2のオブジェクトはサングラスであり、予め設定された位置関係を満たすことは、具体的には、人の顔にサングラスが着用されていることであってもよい。第1のオブジェクトは手であり、第2のオブジェクトは手袋であり、予め設定された位置関係を満たすことは、具体的には、人物の手に手袋が着用されていることであってもよい。上記の例は、単に例として、第1のオブジェクトと第2のオブジェクトとの他の位置関係は、いずれも本開示の実施例の保護範囲に属する。
取得モジュール401は、ビデオにおける第1のオブジェクトを含む第1の画像画面を取得するために用いられ、
処理モジュール402は、前記第1の画像画面内に第2のオブジェクトが存在するか否かを決定するために用いられ、
表示モジュール403は、前記第1の画像画面内に前記第2のオブジェクトが存在し、且つ前記第2のオブジェクトと前記第1のオブジェクトが予め設定された位置関係を満たすと決定した場合、前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせるために用いられる。
処理モジュール402は、具体的には、前記対象画像をマスク認識モデルに入力し、認識結果を得るために用いられ、前記認識結果は前記顔にマスクが着用されているか否かを示すために用いられ、前記マスク認識モデルは軽量機械学習モデルである。
前記第1の画像画面を第1の顔認識モデルに入力し、前記第1の画像画面における顔領域の第1の画像を得て、前記第1の画像を前記対象画像とするために用いられる。
前記第1の画像画面を第2の顔認識モデルに入力し、前記第1の画像画面における顔領域の第1の画像及び前記顔領域のキーポイント情報を得て、
前記キーポイント情報に基づいて前記第1の画像を回転処理して第2の画像を得て、前記第2の画像を前記対象画像とするために用いられる。
構築された初期マスク認識モデルを取得し、
ネガポジ画像サンプルと前記ネガポジ画像サンプルのラベリング結果を取得するために用いられ、ポジティブ画像サンプルに含まれる顔にマスクが着用され、ネガティブ画像サンプルに含まれる顔にマスクが着用されておらず、前記ラベリング結果は、画像サンプルの顔にマスクが着用されているか否かを示すためのラベル及びマスクの位置情報を含み、
処理モジュール402はさらに、前記ネガポジ画像サンプルを前記マスク認識モデルの入力とし、前記ネガポジ画像サンプルのラベリング結果を前記マスク認識モデルの出力とすることにより、前記初期マスク認識モデルをトレーニングして、前記マスク認識モデルを得るために用いられる。
前記第1の画像画面に表示されている前記第1の素材に対するユーザの切替操作を取得するために用いられ、
表示モジュール403はさらに、前記切替操作に応答して前記第1の素材を除去し、前記第1の画像画面に続く第2の画像画面に、前記第1の素材とは異なる第3の素材を重ね合わせるために用いられる。
ビデオにおける第1のオブジェクトを含む第1の画像画面を取得するステップと、
前記第1の画像画面内に第2のオブジェクトが存在するか否かを決定するステップと、
前記第1の画像画面内に前記第2のオブジェクトが存在し、且つ前記第2のオブジェクトと前記第1のオブジェクトが予め設定された位置関係を満たすと決定した場合、前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせるステップと、を含む情報表示方法を提供する。
前記第1の画像画面における前記顔を含む対象画像を取得するステップと、
前記対象画像をマスク認識モデルに入力し、認識結果を得るステップであって、前記認識結果は前記顔にマスクが着用されているか否かを示すために用いられ、前記マスク認識モデルは軽量機械学習モデルであるステップと、を含む。
前記第1の画像画面を第1の顔認識モデルに入力し、前記第1の画像画面における顔領域の第1の画像を得て、前記第1の画像を前記対象画像とするステップを含む。
前記第1の画像画面を第2の顔認識モデルに入力し、前記第1の画像画面における顔領域の第1の画像及び前記顔領域のキーポイント情報を得るステップと、
前記キーポイント情報に基づいて前記第1の画像を回転処理して第2の画像を得て、前記第2の画像を前記対象画像とするステップと、を含む。
初期マスク認識モデルを構築するステップと、
ネガポジ画像サンプルと前記ネガポジ画像サンプルのラベリング結果を取得するステップであって、ポジティブ画像サンプルに含まれる顔にマスクが着用され、ネガティブ画像サンプルに含まれる顔にマスクが着用されておらず、前記ラベリング結果は、画像サンプルの顔にマスクが着用されているか否かを示すためのラベル及びマスクの位置情報を含むステップと、
前記ネガポジ画像サンプルを前記マスク認識モデルの入力とし、前記ネガポジ画像サンプルのラベリング結果を前記マスク認識モデルの出力とすることにより、前記初期マスク認識モデルをトレーニングして、前記マスク認識モデルを得るステップと、を含む。
前記第1の画像画面に続く第2の画像画面内に前記第2のオブジェクトが存在しないと決定した場合、前記第1の素材を除去し、前記第2の画像画面に、前記第1素材とは異なる第2の素材を重ね合わせるステップを含む。
前記第1の画像画面に表示されている前記第1の素材に対するユーザの切替操作を取得するステップと、
前記切替操作に応答して前記第1の素材を除去し、前記第1の画像画面に続く第2の画像画面に、前記第1の素材とは異なる第3の素材を重ね合わせるステップと、を含む。
前記第1の画像画面内に前記第2のオブジェクトが存在しないと決定した場合、前記第2のオブジェクトを着用するようにユーザに提示するための提示情報を前記第1の画像画面に表示するステップを含む。
ビデオにおける第1のオブジェクトを含む第1の画像画面を取得するための取得モジュールと、
前記第1の画像画面内に第2のオブジェクトが存在するか否かを決定するための処理モジュールと、
前記第1の画像画面内に前記第2のオブジェクトが存在し、且つ前記第2のオブジェクトと前記第1のオブジェクトが予め設定された位置関係を満たすと決定した場合、前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせるための表示モジュールと、を含む情報表示装置を提供する。
処理モジュールは、具体的には、前記対象画像をマスク認識モデルに入力し、認識結果を得るために用いられ、前記認識結果は前記顔にマスクが着用されているか否かを示すために用いられ、前記マスク認識モデルは軽量機械学習モデルである。
前記第1の画像画面を第1の顔認識モデルに入力し、前記第1の画像画面における顔領域の第1の画像を得て、前記第1の画像を前記対象画像とするために用いられる。
前記第1の画像画面を第2の顔認識モデルに入力し、前記第1の画像画面における顔領域の第1の画像及び前記顔領域のキーポイント情報を得て、
前記キーポイント情報に基づいて前記第1の画像を回転処理して第2の画像を得て、前記第2の画像を前記対象画像とするために用いられる。
構築された初期マスク認識モデルを取得し、
ネガポジ画像サンプルと前記ネガポジ画像サンプルのラベリング結果を取得するために用いられ、ポジティブ画像サンプルに含まれる顔にマスクが着用され、ネガティブ画像サンプルに含まれる顔にマスクが着用されておらず、前記ラベリング結果は、画像サンプルの顔にマスクが着用されているか否かを示すためのラベル及びマスクの位置情報を含み、
処理モジュールはさらに、前記ネガポジ画像サンプルを前記マスク認識モデルの入力とし、前記ネガポジ画像サンプルのラベリング結果を前記マスク認識モデルの出力とすることにより、前記初期マスク認識モデルをトレーニングして、前記マスク認識モデルを得るために用いられる。
前記第1の画像画面に表示されている前記第1の素材に対するユーザの切替操作を取得するために用いられ、
表示モジュールは、前記切替操作に応答して前記第1の素材を除去し、前記第1の画像画面に続く第2の画像画面に、前記第1の素材とは異なる第3の素材を重ね合わせるために用いられる。
前記メモリはコンピュータ実行命令を記憶し、
前記少なくとも1つのプロセッサは前記メモリに記憶されたコンピュータ実行命令を実行することで、前記少なくとも1つのプロセッサは第1の態様及び第1の態様の様々な可能な設計に記載の情報表示方法を実行する。
Claims (15)
- ビデオにおける第1のオブジェクトを含む第1の画像画面を取得するステップと、
前記第1の画像画面内に第2のオブジェクトが存在するか否かを決定するステップと、
前記第1の画像画面内に前記第2のオブジェクトが存在し、且つ前記第2のオブジェクトと前記第1のオブジェクトが予め設定された位置関係を満たすと決定した場合、前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせるステップと、を含み、
前記第1のオブジェクトは顔であり、前記第2のオブジェクトはマスクであり、前記予め設定された位置関係は、具体的には、前記マスクが前記顔に着用されていることであり、前記第1の素材は前記第1のオブジェクトの感情及び/又は表情の状態を示すために用いられることを特徴とする情報表示方法。 - 前記第1の画像画面内に第2のオブジェクトが存在するか否かを決定する前記ステップは、
前記第1の画像画面における前記顔を含む対象画像を取得するステップと、
前記対象画像をマスク認識モデルに入力し、認識結果を得るステップであって、前記認識結果は前記顔に前記マスクが着用されているか否かを示すために用いられ、前記マスク認識モデルは軽量機械学習モデルであるステップと、を含むことを特徴とする請求項1に記載の方法。 - 前記マスク認識モデルは、チャンネルシャッフルモジュールと、チャンネルスライスモジュールと、2つの1×1畳み込みモジュールと、3×3畳み込みモジュールと、チャンネルマージモジュールと、を含むことを特徴とする請求項2に記載の方法。
- 前記第1の画像画面における前記顔を含む対象画像を取得する前記ステップは、
前記第1の画像画面を第1の顔認識モデルに入力し、前記第1の画像画面における顔領域の第1の画像を得て、前記第1の画像を前記対象画像とするステップを含むことを特徴とする請求項2又は3に記載の方法。 - 前記第1の画像画面における前記顔を含む対象画像を取得する前記ステップは、
前記第1の画像画面を第2の顔認識モデルに入力し、前記第1の画像画面における顔領域の第1の画像及び前記顔領域のキーポイント情報を得るステップと、
前記キーポイント情報に基づいて前記第1の画像を回転処理して第2の画像を得て、前記第2の画像を前記対象画像とするステップと、を含むことを特徴とする請求項2又は3に記載の方法。 - 前記マスク認識モデルのトレーニングプロセスは、
初期マスク認識モデルを構築するステップと、
ネガポジ画像サンプルと前記ネガポジ画像サンプルのラベリング結果を取得するステップであって、ポジティブ画像サンプルに含まれる顔に前記マスクが着用され、ネガティブ画像サンプルに含まれる顔に前記マスクが着用されておらず、前記ラベリング結果は、画像サンプルの顔に前記マスクが着用されているか否かを示すためのラベル及び前記マスクの位置情報を含むステップと、
前記ネガポジ画像サンプルを前記マスク認識モデルの入力とし、前記ネガポジ画像サンプルのラベリング結果を前記マスク認識モデルの出力とすることにより、前記初期マスク認識モデルをトレーニングして、前記マスク認識モデルを得るステップと、を含むことを特徴とする請求項2~5のいずれか一項に記載の方法。 - 前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせた後、前記方法はさらに、
前記第1の画像画面に続く第2の画像画面内に前記第2のオブジェクトが存在しないと決定した場合、前記第2の画像画面内の前記第1の素材を除去し、前記第2の画像画面に前記第1の素材とは異なる第2の素材を重ね合わせるステップを含むことを特徴とする請求項1~6のいずれか一項に記載の方法。 - 前記第1の素材は、写真、ビデオ、動画、又はテキストのうちの少なくとも1種を含み、
前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせた後、前記方法はさらに、
前記第1の画像画面に表示されている前記第1の素材に対するユーザの切替操作を取得するステップと、
前記切替操作に応答して前記第1の素材を除去し、前記第1の画像画面に続く第2の画像画面に、前記第1の素材とは異なる第3の素材を重ね合わせるステップと、を含むことを特徴とする請求項1~6のいずれか一項に記載の方法。 - 前記切替操作は、ジェスチャー操作、顔動作、頭部動作、音声制御、インタフェースの素材選択領域の選択操作、インタフェースのテキスト入力領域の入力操作のいずれかを含むことを特徴とする請求項8に記載の方法。
- 前記第3の素材は、ユーザがインタフェースのテキスト入力領域に入力したテキスト情報又は表情であることを特徴とする請求項8又は9に記載の方法。
- 前記方法はさらに、
前記第1の画像画面内に前記第2のオブジェクトが存在しないと決定した場合、前記第2のオブジェクトを着用するようにユーザに提示するための提示情報を前記第1の画像画面に表示するステップを含むことを特徴とする請求項1~10のいずれか一項に記載の方法。 - ビデオにおける第1のオブジェクトを含む第1の画像画面を取得するための取得モジュールと、
前記第1の画像画面内に第2のオブジェクトが存在するか否かを決定するための処理モジュールと、
前記第1の画像画面内に前記第2のオブジェクトが存在し、且つ前記第2のオブジェクトと前記第1のオブジェクトが予め設定された位置関係を満たすと決定した場合、前記第1の画像画面内の前記第2のオブジェクトが位置する領域に第1の素材を重ね合わせるための表示モジュールと、を含み、
前記第1のオブジェクトは顔であり、前記第2のオブジェクトはマスクであり、前記予め設定された位置関係は、具体的には、前記マスクが前記顔に着用されていることであり、前記第1の素材は前記第1のオブジェクトの感情及び/又は表情の状態を示すために用いられることを特徴とする情報表示装置。 - 少なくとも1つのプロセッサとメモリを含み、
前記メモリはコンピュータ実行命令を記憶し、
前記少なくとも1つのプロセッサは前記メモリに記憶されたコンピュータ実行命令を実行することで、前記少なくとも1つのプロセッサは請求項1~11のいずれか一項に記載の情報表示方法を実行することを特徴とする電子機器。 - コンピュータ実行命令が記憶され、プロセッサが前記コンピュータ実行命令を実行するとき、請求項1~11のいずれか一項に記載の情報表示方法が実現されることを特徴とするコンピュータ可読記憶媒体。
- コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項1~11のいずれか一項に記載の情報表示方法が実現されることを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010874067.3A CN112001872B (zh) | 2020-08-26 | 2020-08-26 | 信息显示方法、设备及存储介质 |
CN202010874067.3 | 2020-08-26 | ||
PCT/CN2021/114665 WO2022042624A1 (zh) | 2020-08-26 | 2021-08-26 | 信息显示方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023541125A JP2023541125A (ja) | 2023-09-28 |
JP7421010B2 true JP7421010B2 (ja) | 2024-01-23 |
Family
ID=73471948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023513472A Active JP7421010B2 (ja) | 2020-08-26 | 2021-08-26 | 情報表示方法、装置及び記憶媒体 |
Country Status (10)
Country | Link |
---|---|
US (1) | US11922721B2 (ja) |
EP (1) | EP4191517A4 (ja) |
JP (1) | JP7421010B2 (ja) |
KR (1) | KR102650900B1 (ja) |
CN (1) | CN112001872B (ja) |
AU (1) | AU2021333957B2 (ja) |
BR (1) | BR112023003503A2 (ja) |
CA (1) | CA3190935A1 (ja) |
MX (1) | MX2023002311A (ja) |
WO (1) | WO2022042624A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001872B (zh) * | 2020-08-26 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 信息显示方法、设备及存储介质 |
CN112488034A (zh) * | 2020-12-14 | 2021-03-12 | 上海交通大学 | 基于轻量化人脸口罩检测模型的视频处理方法 |
CN113516735A (zh) * | 2021-01-12 | 2021-10-19 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读介质及电子设备 |
CN113905177B (zh) * | 2021-09-29 | 2024-02-02 | 北京字跳网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
CN114241521A (zh) * | 2021-12-13 | 2022-03-25 | 北京华夏电通科技股份有限公司 | 一种识别庭审视频画面中法台区域的方法、装置及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004171543A (ja) | 2002-11-07 | 2004-06-17 | Matsushita Electric Ind Co Ltd | 画像処理方法及びその装置 |
JP2006228061A (ja) | 2005-02-18 | 2006-08-31 | Fujitsu Ltd | 顔追跡プログラムおよび顔追跡方法 |
JP2010003117A (ja) | 2008-06-20 | 2010-01-07 | Toyota Central R&D Labs Inc | 対象物判定装置及びプログラム |
JP2017011634A (ja) | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | 撮像装置およびその制御方法、並びにプログラム |
CN109147007A (zh) | 2018-08-01 | 2019-01-04 | Oppo(重庆)智能科技有限公司 | 贴纸加载方法、装置、终端及计算机可读存储介质 |
JP2019527410A (ja) | 2016-06-30 | 2019-09-26 | フィッティングボックス | 画像又はビデオ内の物体を隠す方法及び関連する拡張現実方法 |
CN111325129A (zh) | 2020-02-14 | 2020-06-23 | 上海商汤智能科技有限公司 | 交通工具通勤控制方法及装置、电子设备、介质和车辆 |
CN111507199A (zh) | 2020-03-25 | 2020-08-07 | 杭州电子科技大学 | 一种佩戴口罩行为检测方法及装置 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005316888A (ja) | 2004-04-30 | 2005-11-10 | Japan Science & Technology Agency | 顔認識システム |
KR100974165B1 (ko) * | 2008-02-15 | 2010-08-04 | 한양대학교 산학협력단 | 비선형 회귀 분석을 이용한 얼굴 표정 합성 시스템 및 방법 |
US10872535B2 (en) * | 2009-07-24 | 2020-12-22 | Tutor Group Limited | Facilitating facial recognition, augmented reality, and virtual reality in online teaching groups |
US9695981B2 (en) * | 2012-04-20 | 2017-07-04 | Honeywell International Inc. | Image recognition for personal protective equipment compliance enforcement in work areas |
CN107851214A (zh) | 2015-07-23 | 2018-03-27 | 米雷普里卡技术有限责任公司 | 针对二维阵列处理器的性能增强 |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
JP6558388B2 (ja) * | 2017-03-14 | 2019-08-14 | オムロン株式会社 | 画像処理装置 |
JP6558387B2 (ja) * | 2017-03-14 | 2019-08-14 | オムロン株式会社 | 画像解析装置、画像解析方法、及び画像解析プログラム |
US10592066B2 (en) * | 2017-03-15 | 2020-03-17 | Facebook, Inc. | Visual editor for designing augmented-reality effects and configuring rendering parameters |
JP6855872B2 (ja) * | 2017-03-24 | 2021-04-07 | アイシン精機株式会社 | 顔認識装置 |
CN108229278B (zh) * | 2017-04-14 | 2020-11-17 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
CN107292287B (zh) * | 2017-07-14 | 2018-09-21 | 深圳云天励飞技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
US20190050710A1 (en) * | 2017-08-14 | 2019-02-14 | Midea Group Co., Ltd. | Adaptive bit-width reduction for neural networks |
CN107622240B (zh) * | 2017-09-21 | 2023-10-13 | 百度在线网络技术(北京)有限公司 | 人脸检测方法和装置 |
EP3698269A4 (en) * | 2017-11-22 | 2020-12-09 | Zhejiang Dahua Technology Co., Ltd. | IMAGE PROCESSING METHOD AND SYSTEM |
US10963681B2 (en) * | 2018-01-30 | 2021-03-30 | Alarm.Com Incorporated | Face concealment detection |
CN110689030A (zh) * | 2018-07-04 | 2020-01-14 | 佳能株式会社 | 属性识别装置和方法及存储介质 |
CN109949237A (zh) * | 2019-03-06 | 2019-06-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
CN110189340B (zh) * | 2019-06-03 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN110633677B (zh) * | 2019-09-18 | 2023-05-26 | 威盛电子股份有限公司 | 人脸识别的方法及装置 |
CN110728330A (zh) * | 2019-10-23 | 2020-01-24 | 腾讯科技(深圳)有限公司 | 基于人工智能的对象识别方法、装置、设备及存储介质 |
US20210152751A1 (en) * | 2019-11-19 | 2021-05-20 | Tencent Technology (Shenzhen) Company Limited | Model training method, media information synthesis method, and related apparatuses |
CN111401202A (zh) * | 2020-03-11 | 2020-07-10 | 西南石油大学 | 一种基于深度学习的行人口罩佩戴实时检测方法 |
CN111428604B (zh) * | 2020-03-19 | 2023-06-13 | 上海东普信息科技有限公司 | 面部佩戴口罩识别方法、装置、设备及存储介质 |
CN113435226B (zh) * | 2020-03-23 | 2022-09-16 | 北京百度网讯科技有限公司 | 信息处理方法和装置 |
CN111460962B (zh) * | 2020-03-27 | 2023-05-05 | 武汉大学 | 一种口罩人脸识别方法及*** |
CN111414887B (zh) * | 2020-03-30 | 2021-01-29 | 上海高重信息科技有限公司 | 基于yolov3算法的二次检测口罩人脸识别方法 |
CN111444869A (zh) * | 2020-03-31 | 2020-07-24 | 高新兴科技集团股份有限公司 | 一种口罩佩戴状态识别方法装置和计算机设备 |
CN111582068B (zh) * | 2020-04-22 | 2023-07-07 | 北京交通大学 | 人员口罩佩戴状态检测方法 |
CN111523473B (zh) * | 2020-04-23 | 2023-09-26 | 北京百度网讯科技有限公司 | 口罩佩戴识别方法、装置、设备和可读存储介质 |
CN111541950B (zh) * | 2020-05-07 | 2023-11-03 | 腾讯科技(深圳)有限公司 | 表情的生成方法、装置、电子设备及存储介质 |
CN111444894A (zh) * | 2020-05-08 | 2020-07-24 | 礼德滤材科技(苏州)有限责任公司 | 用于佩戴口罩人群的身份识别方法和*** |
CN111582199B (zh) | 2020-05-12 | 2023-05-23 | 佛山市玖章智能科技有限公司 | 一种人脸识别模型训练方法和人脸识别方法 |
US11501573B1 (en) * | 2020-06-05 | 2022-11-15 | Amazon Technologies, Inc. | Pose-based personal equipment detection |
US20220044007A1 (en) * | 2020-08-05 | 2022-02-10 | Ahmad Saleh | Face mask detection system and method |
CN112001872B (zh) * | 2020-08-26 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 信息显示方法、设备及存储介质 |
-
2020
- 2020-08-26 CN CN202010874067.3A patent/CN112001872B/zh active Active
-
2021
- 2021-08-26 EP EP21860459.3A patent/EP4191517A4/en active Pending
- 2021-08-26 BR BR112023003503A patent/BR112023003503A2/pt unknown
- 2021-08-26 WO PCT/CN2021/114665 patent/WO2022042624A1/zh active Application Filing
- 2021-08-26 JP JP2023513472A patent/JP7421010B2/ja active Active
- 2021-08-26 MX MX2023002311A patent/MX2023002311A/es unknown
- 2021-08-26 CA CA3190935A patent/CA3190935A1/en active Pending
- 2021-08-26 AU AU2021333957A patent/AU2021333957B2/en active Active
- 2021-08-26 KR KR1020237010517A patent/KR102650900B1/ko active IP Right Grant
-
2022
- 2022-08-16 US US17/820,163 patent/US11922721B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004171543A (ja) | 2002-11-07 | 2004-06-17 | Matsushita Electric Ind Co Ltd | 画像処理方法及びその装置 |
JP2006228061A (ja) | 2005-02-18 | 2006-08-31 | Fujitsu Ltd | 顔追跡プログラムおよび顔追跡方法 |
JP2010003117A (ja) | 2008-06-20 | 2010-01-07 | Toyota Central R&D Labs Inc | 対象物判定装置及びプログラム |
JP2017011634A (ja) | 2015-06-26 | 2017-01-12 | キヤノン株式会社 | 撮像装置およびその制御方法、並びにプログラム |
JP2019527410A (ja) | 2016-06-30 | 2019-09-26 | フィッティングボックス | 画像又はビデオ内の物体を隠す方法及び関連する拡張現実方法 |
CN109147007A (zh) | 2018-08-01 | 2019-01-04 | Oppo(重庆)智能科技有限公司 | 贴纸加载方法、装置、终端及计算机可读存储介质 |
CN111325129A (zh) | 2020-02-14 | 2020-06-23 | 上海商汤智能科技有限公司 | 交通工具通勤控制方法及装置、电子设备、介质和车辆 |
CN111507199A (zh) | 2020-03-25 | 2020-08-07 | 杭州电子科技大学 | 一种佩戴口罩行为检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
AU2021333957B2 (en) | 2024-07-04 |
US11922721B2 (en) | 2024-03-05 |
CN112001872B (zh) | 2021-09-14 |
BR112023003503A2 (pt) | 2023-05-09 |
MX2023002311A (es) | 2023-05-08 |
CN112001872A (zh) | 2020-11-27 |
US20220392254A1 (en) | 2022-12-08 |
EP4191517A1 (en) | 2023-06-07 |
WO2022042624A1 (zh) | 2022-03-03 |
AU2021333957A1 (en) | 2023-04-06 |
KR20230051294A (ko) | 2023-04-17 |
CA3190935A1 (en) | 2022-03-03 |
JP2023541125A (ja) | 2023-09-28 |
EP4191517A4 (en) | 2024-02-07 |
KR102650900B1 (ko) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7421010B2 (ja) | 情報表示方法、装置及び記憶媒体 | |
US11587297B2 (en) | Virtual content generation | |
CN110168618B (zh) | 增强现实控制***和方法 | |
US11676319B2 (en) | Augmented reality anthropomorphtzation system | |
US11217020B2 (en) | 3D cutout image modification | |
US11758080B2 (en) | DIY effects image modification | |
CN116194867A (zh) | 扩展现实***的用户界面布局和输入的动态配置 | |
CN112513875A (zh) | 眼部纹理修复 | |
US20190155480A1 (en) | Data entry system with drawing recognition | |
CN112733620A (zh) | 信息提示方法、装置、存储介质及电子设备 | |
US11640700B2 (en) | Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment | |
Lo et al. | Augmediated reality system based on 3D camera selfgesture sensing | |
RU2817182C1 (ru) | Способ отображения информации, устройство и носитель информации | |
AlKassim et al. | Sixth sense technology: Comparisons and future predictions | |
Bari et al. | An Overview of the Emerging Technology: Sixth Sense Technology: A Review | |
EP2956927A1 (en) | Displaying in response to detecting one or more user behaviors one or more second augmentations that are based on one or more registered first augmentations | |
WO2024050264A1 (en) | Multi-dimensional experience presentation using augmented reality | |
CN113377478A (zh) | 文娱行业数据标注方法、装置、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230418 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7421010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |