WO2020075427A1 - 情報処理システム、情報処理方法およびコンピュータプログラム - Google Patents

情報処理システム、情報処理方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2020075427A1
WO2020075427A1 PCT/JP2019/035046 JP2019035046W WO2020075427A1 WO 2020075427 A1 WO2020075427 A1 WO 2020075427A1 JP 2019035046 W JP2019035046 W JP 2019035046W WO 2020075427 A1 WO2020075427 A1 WO 2020075427A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
processing unit
dimensional data
target
user terminal
Prior art date
Application number
PCT/JP2019/035046
Other languages
English (en)
French (fr)
Inventor
山本　健太郎
勇介 高野
太史 熊谷
Original Assignee
株式会社ネイン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ネイン filed Critical 株式会社ネイン
Publication of WO2020075427A1 publication Critical patent/WO2020075427A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD

Definitions

  • the present invention relates to an information processing system, an information processing method, and a computer program.
  • Non-Patent Document 1 a wearable device worn on the ear
  • NEC Corporation "NEC develops prototype of hearable device", [online], May 23, 2017, NEC Corporation press release, [search June 26, 2018], Internet ⁇ https: //jpn.nec.com/press/201705/20170523_01.html>
  • the first reason is that the ear-shaped collection is required when creating a shape that fits the ear of the individual, and the user will go to a store with a dedicated measuring instrument, limiting the sales opportunity. There is.
  • the collected ear mold cannot be made into a product shape as it is, conversion to digital data by a 3D scanner, data cleansing work to remove noise parts unnecessary for molding from the converted data, etc. There is a process that requires human intervention, which is not suitable for mass production.
  • an object of the present invention is to provide an information processing system, an information processing method, and a computer program for generating three-dimensional data of a product more easily than before.
  • An information processing system of the present invention is an information processing system including a user terminal and a server device connected to the user terminal via a network, and the user terminal is a first imaging unit for imaging a mounting target. And a first processing unit and a first communication unit for transmitting and receiving information to and from the server device, the server device includes a second communication unit for transmitting and receiving information to and from the user terminal and an external device, and a second processing unit.
  • the target information including the moving image or the still image captured by the first image capturing unit is information necessary for generating three-dimensional data of a member corresponding to the mounting target.
  • the target information satisfies the information amount necessary for generating the three-dimensional data
  • the three-dimensional data of the member is generated, and the second communication unit , 3D data And transmits to the section device.
  • the first processing unit or the second processing unit can generate information requesting additional target information when the target information does not satisfy the amount of information required to generate three-dimensional data.
  • Generation of three-dimensional data can be performed by the first processing unit.
  • Generation of three-dimensional data can be performed by the second processing unit.
  • the first processing unit or the second processing unit can generate the point cloud data of the mounting target from the target information, and can generate the mesh data of the mounting target from the point cloud data.
  • the first processing unit or the second processing unit can extract the outer shape of the member from the mesh data and generate three-dimensional data corresponding to the mounting target based on the outer shape of the member.
  • the first processing unit or the second processing unit based on the depth information of the mesh data, starting from the deepest point of the mesh data, by slicing the mesh a plurality of times in the height direction to obtain a contour line contour curve member Can be extracted.
  • the first processing unit or the second processing unit can smooth the contour curve by curve interpolation, generate surface data passing through contour lines, and make it three-dimensional data.
  • the first processing unit or the second processing unit selects one template data from the template data of the members stored in a predetermined storage device in advance based on the target information, and expands the selected template data.
  • the size at which at least one point is in contact with the mesh data to be attached can be determined, and the template data of the size can be made the three-dimensional data.
  • the first processing unit or the second processing unit can perform mask processing on the moving image or the still image captured by the first image capturing unit to identify the mounting target and use it as the target information.
  • the first processing unit or the second processing unit can generate a guide image or a guide voice for capturing the wearing target and output the guide image or the guide sound from the user terminal.
  • a processing method of the present invention is a processing method executed in an information processing system including a user terminal and a server device connected to the user terminal via a network, in which the user terminal images a mounting target.
  • the step for generating the three-dimensional data of the member is performed. If, in the second communication unit, characterized in that it comprises a step of transmitting three-dimensional data to an external device.
  • a computer program of the present invention is a computer program executed in an information processing system including a user terminal and a server device connected to the user terminal via a network, and the user terminal captures an image of a wearing target.
  • a first imaging unit a first processing unit, and a first communication unit for transmitting and receiving information to and from the server device
  • the server device and a second communication unit for transmitting and receiving information to and from the user terminal and an external device.
  • a second processing unit, and the first processing unit or the second processing unit generates three-dimensional data of a member whose target information including a moving image or a still image captured by the first imaging unit corresponds to a mounting target.
  • the second communication unit To determine whether the required amount of information is satisfied, and if the result of the determination is that the target information satisfies the amount of information required to generate three-dimensional data, the second communication unit, characterized in that to realize the function of transmitting three-dimensional data to an external device.
  • the information processing system 100 of the present invention includes a user terminal 200 and a server device 300 connected to the user terminal 200 via a network.
  • the user terminal 200 can be an information processing terminal such as a smartphone, a tablet, or a personal computer.
  • the user terminal 200 includes a first imaging unit 210, a first processing unit 220, and a first communication unit 230, as shown in FIG.
  • the first image capturing unit 210 is for capturing an image of a wearing target, and may be a camera unit built in the user terminal 200 or a camera device connected to the user terminal 200 in a wired or wireless manner. it can.
  • the wear target is described as the user's “auricle”, but the wear target is not limited to this, and for example, a wearable device such as a wrist, neck, head, face or finger can be worn. It can be any part of the human body.
  • the first image pickup unit 210 can pick up the attachment target in the form of a moving image or a still image.
  • the first processing unit 220 executes each processing. Details of each process will be described later.
  • the first communication unit 230 is for transmitting and receiving information to and from the server device 300. This transmission / reception shall be performed via the network.
  • the server device 300 includes a second communication unit 310 and a second processing unit 320, as shown in FIG.
  • the second communication unit 310 is for transmitting and receiving information to and from the user terminal 200 and the external device 400. These transmissions and receptions shall be performed via the network.
  • the external device 400 can be connected to the server device 300 via a network, as shown in FIG.
  • the second processing unit 320 executes each processing. Details of each process will be described later.
  • the first processing unit 220 or the second processing unit 320 determines that the target information including the moving image or the still image captured by the first image capturing unit 210 determines the amount of information required to generate the three-dimensional data of the member corresponding to the mounting target. If the target information satisfies the amount of information required to generate the three-dimensional data as a result of the determination, the three-dimensional data of the member is generated.
  • the three-dimensional data is data necessary for manufacturing a member as a three-dimensional shape, and can be data necessary for manufacturing a three-dimensional shape by an external device (such as a 3D printer) described later.
  • the member is integrated with a member to be described later to form a product (earphone 10), and is configured to be in close contact with at least a part of the wearing target (auricle 20).
  • the amount of information necessary to generate the three-dimensional data of this member is about 10 images captured at different angles for a still image, and about several seconds for a moving image for a moving image.
  • FIG. 5 shows an image of a pinna photograph taken at different angles. Note that FIG. 5 shows the captured still image with only the region of the auricle masked by image recognition and machine learning technology.
  • the member can be composed of a speaker for generating sound, a microphone for telephone call or command input by the user, and / or a control button for giving instructions by the user.
  • the microphone and the control button may be integrated with the member, or may be a case separate from the member and designed to communicate with the member by wire or wirelessly.
  • the member preferably has a wireless connection function for connecting to a user terminal or a predetermined server device.
  • the wireless connection function can use Bluetooth (registered trademark) or BLE (Bluetooth Low-Energy) technology.
  • the member may be configured to be connected to the user terminal 200 by wire.
  • the member may further include a blood flow sensor for measuring a pulse wave as a sensing member. It is desirable that the blood flow sensor is provided at a portion to be crimped to an ear hole or an earlobe of a member, or can be crimped and fixed to a user's earlobe with a clip or the like. By doing so, it is possible to measure the pulse wave accurately without being disturbed by noise.
  • the member can include a gyro sensor for measuring the orientation of the head of the user, a geomagnetic sensor (compass), and an acceleration sensor for measuring the movement of the user.
  • a gyro sensor for measuring the orientation of the head of the user
  • a geomagnetic sensor for measuring the movement of the user.
  • an acceleration sensor for measuring the movement of the user.
  • the senor may be provided on an object having a fixed positional relationship with the direction of the user's head, such as glasses or a hat, or may be fixed with a clip or the like, and a member, the user terminal 200, or a wired or wireless connection.
  • the sensor information may be provided to the server device 300.
  • the member may be equipped with a proximity sensor for detecting whether the product is worn by the user. Further, other types of sensors such as an electroencephalogram sensor and GPS may be provided.
  • the second communication unit 310 transmits the three-dimensional data to the external device 400.
  • a 3D printer can be cited as an example of the external device 400, but the device is not particularly limited as long as it is a device that can form three-dimensional data into a three-dimensional shape.
  • the first processing unit 220 or the second processing unit 320 generates information requesting additional target information when the target information does not satisfy the amount of information necessary for generating the three-dimensional data. be able to.
  • the information requesting additional target information is, for example, information requesting the user to capture an additional still image or moving image, and is displayed as text or an image on the display unit of the user terminal, and / or Alternatively, it may be output as voice.
  • Generation of three-dimensional data can be performed by the first processing unit 220.
  • the processing can be stably performed regardless of the communication speed or the communication environment between the user terminal and the server device.
  • Generation of three-dimensional data can also be performed by the second processing unit 320.
  • the processing can be performed at high speed because the processing is performed by the server device having a high processing capacity regardless of the processing capacity of the user terminal.
  • the first processing unit 220 or the second processing unit 320 generates point cloud data of a mounting target from the target information, and generates mesh data of a mounting target from the point cloud data.
  • the first processing unit 220 or the second processing unit 320 can extract the outer shape of the member from the mesh data and generate three-dimensional data corresponding to the mounting target based on the outer shape of the member.
  • the first processing unit 220 or the second processing unit 320 slices the mesh a plurality of times in the height direction, starting from the deepest point of the mesh data, based on the depth information of the mesh data.
  • the contour of the member can be extracted by obtaining a contour-shaped contour curve as shown in FIG.
  • the first processing unit 220 or the second processing unit 320 can smooth the contour curve by curve interpolation and generate surface data passing through contour lines to be three-dimensional data.
  • the first processing unit 220 or the second processing unit 320 selects one template data from the template data of the members stored in the predetermined storage device in advance based on the target information, and the selected one is selected.
  • the template data of the size can be made three-dimensional data.
  • first processing unit 220 or the second processing unit 320 can perform mask processing on the moving image or the still image captured by the first image capturing unit 210 to identify the mounting target and use it as the target information.
  • the first processing unit 220 or the second processing unit 320 can generate a guide image or a guide voice for capturing the wearing target, and output the guide image or the guide sound from the user terminal.
  • the guide image can be, for example, an object showing the outer shape of the mounting target. Then, the user can take an image while looking at the object displayed on the display unit of the user terminal 200 so that the wearing target of the user fits within the object.
  • the first imaging unit 210 is preferably an in-camera provided on the same side as the display unit of the user terminal 200.
  • the wearing target which the first imaging unit 210 is trying to image is displayed on the display unit through the in-camera, but when the viewing unit is difficult to see from the user (for example, when the wearing target is the ear or the head). Is suitable to output a guide voice.
  • This guide voice can be a voice such as "Please move the camera to the right” or "Please move the camera away”.
  • the processing method of the present invention is a processing method executed in an information processing system including a user terminal and a server device connected to the user terminal via a network.
  • the user terminal includes a first image pickup unit for picking up an image of a mounting target, and a first processing unit and a first communication unit for transmitting / receiving information to / from the server device.
  • the details of the first communication unit are as described above. These details are as described in the description of the information processing system.
  • the server device includes a second communication unit for transmitting / receiving information to / from a user terminal and an external device, and a second processing unit. These details are as described in the description of the information processing system.
  • the processing method of the present invention includes step S510 for generating three-dimensional data and step S520 for transmitting the three-dimensional data.
  • step S510 of generating three-dimensional data the target information including the moving image or the still image captured by the first image capturing unit in the first processing unit or the second processing unit is the three-dimensional data of the member corresponding to the mounting target. It is determined whether or not the amount of information required for generation is satisfied. As a result of the determination, if the target information satisfies the amount of information required for generation of three-dimensional data, the three-dimensional data of the member is generated.
  • Step S520 of transmitting the three-dimensional data causes the second communication unit to transmit the three-dimensional data to the external device.
  • the processing method of the present invention is a computer program executed in an information processing system including a user terminal and a server device connected to the user terminal via a network.
  • the user terminal includes a first image pickup unit for picking up an image of a mounting target, and a first processing unit and a first communication unit for transmitting / receiving information to / from the server device. These details are as described in the description of the information processing system.
  • the server device includes a second communication unit for transmitting / receiving information to / from a user terminal and an external device, and a second processing unit. These details are as described in the description of the information processing system.
  • the computer program of the present invention causes the first processing unit or the second processing unit to realize the function of generating three-dimensional data, and the second communication unit to realize the function of transmitting the three-dimensional data. These functions are realized by the first circuit 510 and the second circuit 520 shown in FIG. Each of these circuits corresponds to either the first processing unit 220 or the second processing unit 320 described above.
  • the function of generating three-dimensional data is that the first processing unit or the second processing unit generates three-dimensional data of a member whose target information including a moving image or a still image captured by the first image capturing unit corresponds to a mounting target. If the target information satisfies the information amount necessary for generating the three-dimensional data as a result of the determination, the three-dimensional data of the member is generated.
  • the function to send 3D data causes the second communication unit to send molding data to an external device.
  • an information processing device such as a computer or a mobile phone can be preferably used in order to function as the server device or the terminal device according to the above-described embodiment.
  • Such an information processing apparatus stores a program describing the processing content that realizes each function of the server apparatus or the terminal apparatus according to the embodiment in a storage unit of the information processing apparatus, and the CPU of the information processing apparatus executes the program. It can be realized by reading and executing.
  • the methods described in the embodiments include, as programs that can be executed by a computer (computer), for example, magnetic disks (floppy (registered trademark) disks, hard disks, etc.), optical disks (CD-ROM, DVD, MO, etc.), It can be stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted by a communication medium and distributed.
  • a computer for example, magnetic disks (floppy (registered trademark) disks, hard disks, etc.), optical disks (CD-ROM, DVD, MO, etc.), It can be stored in a recording medium such as a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted by a communication medium and distributed.
  • the programs stored on the medium side include a setting program for configuring software means (including not only execution programs but also tables and data structures) to be executed by the computer in the computer.
  • a computer that realizes the present apparatus reads a program recorded in a recording medium, constructs software means by a setting program in some cases, and executes the above-described processing by controlling the operation by the software means.
  • the recording medium referred to in the present specification is not limited to a medium for distribution, but includes a storage medium such as a magnetic disk or a semiconductor memory provided in a computer or a device connected via a network.
  • the storage unit may function as, for example, a main storage device, an auxiliary storage device, or a cache memory.
  • Information Processing System 100 Information Processing System 200 User Terminal 210 First Imaging Unit 220 First Processing Unit 230 First Communication Unit 300 Server Device 310 Second Communication Unit 320 Second Processing Device 400 External Device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】　本発明は、製品の成形データの生成を自動化するための情報処理システム、処理方法およびコンピュータプログラムを提供することを目的とする。 【解決手段】　ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備え、第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成し、第二通信部は、三次元データを外部装置に送信する。

Description

情報処理システム、情報処理方法およびコンピュータプログラム
　本発明は、情報処理システム、情報処理方法およびコンピュータプログラムに関する。
　近年、耳に装用するウェアラブル機器であるヒアラブルデバイスの発展が著しい。このヒアラブルデバイスの発展に伴って、高度なセンシングデバイスを搭載したモデルが増えていくことが予想される（例えば非特許文献１等）。
　これらセンシングデバイスの大半は人体に密着した状態が望ましく、仮にイヤフォン型のヒアラブルを開発する際には、Ｃｕｓｔｏｍ　ｉｎ-Ｅａｒ　Ｍｏｎｉｔｏｒ（ＩＥＭ）イヤフォン形状を採用するのが適切である。
日本電気株式会社、"ＮＥＣ、ヒアラブルデバイスのプロトタイプを開発"、［online］、２０１７年５月２３日、日本電気株式会社プレスリリース、［平成３０年６月２６日検索］、インターネット＜https://jpn.nec.com/press/201705/20170523_01.html＞
　しかしながら、従来、ＩＥＭイヤフォンは、スタジオ・ミュージシャンや一部のハイアマチュア向けの高価な製品の位置づけであり、敷居が高いものであった。
　その理由としては、第一に、個人の耳にフィットする形状を作る際に耳型の採取が必要で、専用の測定器がある店舗までユーザが出向くことになり販売機会が限定されるという理由がある。
　また、第二に、採取した耳型は、そのままの形では製品形状にはできず、３Ｄスキャナによるデジタルデータへの変換、変換後のデータから成形に不必要なノイズ部分を取り除くデータクレンジング作業など人の手が介する工程が存在しており、量産に不向きであるという理由がある。
　そこで、本発明の目的は、製品の三次元データを従来よりも容易に生成するための情報処理システム、情報処理方法およびコンピュータプログラムを提供することにある。
　本発明の情報処理システムは、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムであって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部と、を備え、第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成し、第二通信部は、三次元データを外部装置に送信することを特徴とする。
　第一処理部または第二処理部は、判定の結果、対象情報が、三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成することができる。
　三次元データの生成は、第一処理部によって行われることができる。
　三次元データの生成は、第二処理部によって行われることができる。
　第一処理部または第二処理部は、対象情報から装着対象の点群データを生成し、点群データから装着対象のメッシュデータを生成することができる。
　第一処理部または第二処理部は、メッシュデータから部材の外形を抽出し、部材の外形に基づいて、装着対象に対応する三次元データを生成することができる。
　第一処理部または第二処理部は、メッシュデータの深度情報に基づき、メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって等高線状の輪郭曲線を得ることにより部材の外形を抽出することができる。
　第一処理部または第二処理部は、輪郭曲線を曲線補間により平滑にし、等高線を通るサーフェスデータを生成して三次元データとすることができる。
　第一処理部または第二処理部は、対象情報に基づいて、予め所定の記憶装置に記憶された、部材のテンプレートデータの中から一のテンプレートデータを選択し、当該選択されたテンプレートデータを拡大または縮小することで、装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、当該サイズのテンプレートデータを三次元データとすることができる。
　第一処理部または第二処理部は、第一撮像部により撮像された動画または静止画に対してマスク処理を行い、装着対象を特定して対象情報とすることができる。
　第一処理部または第二処理部は、装着対象を撮像するためのガイド画像またはガイド音声を生成し、ユーザ端末から出力することができる。
　本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法であって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部と、サーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備え、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させるステップと、第二通信部に、三次元データを外部装置に送信させるステップとを備えることを特徴とする。
　本発明のコンピュータプログラムは、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムであって、ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備え、サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備え、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる機能を実現させ、第二通信部に、三次元データを外部装置に送信させる機能を実現させることを特徴とする。
　本発明によれば、製品の三次元データの生成を自動化することができるようになる。
本発明の情報処理システムのシステム構成を示す概念図である。 本発明の情報処理システムに係るユーザ端末の構成を示す構成図である。 本発明の情報処理システムに係るサーバ装置の構成を示す構成図である。 本発明の情報処理システムに係る装着対象と製品の概念を示す概念図である。 本発明の情報処理システムに係る対象情報の概念を示す概念図である。 本発明の情報処理システムに係る等高線の概念を示す概念図である。 本発明の処理方法を示すフロー図である。 本発明のコンピュータプログラムに関する機能構成図である。
　本発明の情報処理システム、処理方法およびコンピュータプログラムの実施形態について、図面を参照しながら説明する。
　初めに、本発明の情報処理システムの実施形態について図１を参照しながら説明する。
　図１に示されるように、本発明の情報処理システム１００は、ユーザ端末２００と、当該ユーザ端末２００とネットワークを介して接続されるサーバ装置３００とを備える。
　ユーザ端末２００は、スマートフォン、タブレットまたはパーソナルコンピュータ等の情報処理端末とすることができる。
　ユーザ端末２００は、図２に示されるように、第一撮像部２１０と、第一処理部２２０と、第一通信部２３０とを備える。
　第一撮像部２１０は、装着対象を撮像するためのものであって、上記ユーザ端末２００に内蔵されるカメラ部、または、上記ユーザ端末２００に有線または無線により接続されるカメラ装置とすることができる。
　装着対象は、本実施形態においてはユーザの「耳介」であるものとして説明を行うが、これに限られるものではなく、例えば、手首、首、頭、顔または指などのウェアラブルデバイスが装着可能な人体の部位とすることができる。
　この第一撮像部２１０は、装着対象を動画または静止画の形式で撮像することができる。
　第一処理部２２０は、各処理を実行するものである。各処理の詳細については後述する。
　第一通信部２３０は、サーバ装置３００と情報を送受信するためのものである。この送受信は、上記ネットワークを介して行われるものとする。
　サーバ装置３００は、図３に示されるように、第二通信部３１０と、第二処理部３２０とを備える。
　第二通信部３１０は、ユーザ端末２００および外部装置４００と情報を送受信するためのものである。これらの送受信は、上記ネットワークを介して行われるものとする。
　外部装置４００は、図１に示されるように、サーバ装置３００とネットワークを介して接続されることができる。
　第二処理部３２０は、各処理を実行するものである。各処理の詳細については後述する。
　第一処理部２２０または第二処理部３２０は、第一撮像部２１０により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成する。
　三次元データとは、部材を立体形状として製造するために必要なデータであって、後述する外部装置（例えば３Ｄプリンタ等）により立体形状を製造するために必要なデータとすることができる。
　図４に一例として示されるように、部材は、後述する部材と一体化されて製品（イヤフォン１０）となり、装着対象（耳介２０）の少なくとも一部に密着可能に構成されるものである。
　そして、この部材の三次元データの生成に必要な情報量は、静止画であれば、異なるアングルで撮像された１０枚程度、動画であれば、移動するアングルで撮像された数秒程度の情報量とすることができる。図５は、異なるアングルで撮像された耳介の写真のイメージを示したものである。なお、図５は、撮像された静止画を画像認識および機械学習技術により耳介の領域だけをマスクしたものである。
　部材は、音を発生させるためのスピーカ、ユーザによる電話通話またはコマンド入力等のためのマイクロフォンおよび／またはユーザが指示を与えるためのコントロールボタン等で構成されることができる。
　マイクロフォンとコントロールボタンは部材と一体化していても、部材とは別の筐体であって、部材と有線または無線で通信を行なう設計であってもよい。部材は、ユーザ端末または所定のサーバ装置との接続のための無線接続機能を備えていることが望ましい。無線接続機能は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ－Ｅｎｅｒｇｙ）技術を使用することができる。あるいは、部材は、ユーザ端末２００と有線で接続される構成とすることもできる。
　そして、部材は、さらに、センシング部材として、脈波を測定するための血流センサを備えることができる。血流センサは部材の耳穴または耳朶等に圧着される部位に設けられている、あるいは、クリップ等で使用者の耳朶に圧着固定できることが望ましい。このようにすることで、ノイズに妨害されにくく正確な脈波の測定が可能となる。
　加えて、部材は、使用者の頭の向きを測定するためのジャイロセンサ、並びに、地磁気センサ（コンパス）、および、使用者の動きを測定するための加速度センサを備えることができる。これらのセンシング部材は、部材本体内に固定されているのが好ましい。このようにすることで、部材を装着するユーザの頭の位置と方向を正確に測定することが可能となる。
　あるいは、眼鏡や帽子等、ユーザの頭の向きとの位置関係が固定的である物に上記センサを設け、あるいは、クリップ等で固定し、有線または無線接続により、部材、ユーザ端末２００、または、サーバ装置３００にセンサ情報を提供できるようにしてもよい。
　また、部材は、製品がユーザに着用されているかどうかを検知するための近接センサを備えていてよい。さらに、脳波センサ、ＧＰＳ等の他のタイプのセンサを備えていてもよい。
　そして、第二通信部３１０は、三次元データを外部装置４００に送信する。
　外部装置４００の例としては３Ｄプリンタが挙げられるが、三次元データを立体形状に造形可能な装置であれば特に限定されるものではない。
　以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、ＩＥＭイヤフォンなどのヒアラブルデバイスを提供することができるようになる。
　また、第一処理部２２０または第二処理部３２０は、判定の結果、対象情報が、三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成することができる。
　追加の対象情報を要求する情報とは、例えば、ユーザに対して追加の静止画または動画の撮像を要求する情報であって、ユーザ端末の表示部にテキストや画像として表示されるか、および／または、音声として出力されるものとすることができる。
　かかる構成によれば、不完全な三次元データが生成されることを防ぐことができる。
　三次元データの生成は、第一処理部２２０によって行われることができる。第一処理部２２０がユーザ端末のものである場合には、ユーザ端末とサーバ装置との通信速度や通信環境に依らず、安定的に処理を行うことができる。
　三次元データの生成は、第二処理部３２０によって行われることもできる。第二処理部３２０がサーバ装置のものである場合には、ユーザ端末の処理能力に寄らず高い処理能力を有するサーバ装置で処理されるため、高速で処理を行うことができる。
　続いて、対象情報から三次元データを生成する手法の例について説明を行う。なお、以下の例は一例であって他の手法により三次元データを生成することを権利範囲から除外するものではない。
　はじめに、第一処理部２２０または第二処理部３２０は、対象情報から装着対象の点群データを生成し、点群データから装着対象のメッシュデータを生成する。
　そして、第一処理部２２０または第二処理部３２０は、メッシュデータから部材の外形を抽出し、部材の外形に基づいて、装着対象に対応する三次元データを生成することができる。
　より具体的には、第一処理部２２０または第二処理部３２０は、メッシュデータの深度情報に基づき、メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって、図６に一例として示されるような等高線状の輪郭曲線を得ることにより部材の外形を抽出することができる。
　そして、第一処理部２２０または第二処理部３２０は、輪郭曲線を曲線補間により平滑にし、等高線を通るサーフェスデータを生成して三次元データとすることができる。
　あるいは、第一処理部２２０または第二処理部３２０は、対象情報に基づいて、予め所定の記憶装置に記憶された、部材のテンプレートデータの中から一のテンプレートデータを選択し、当該選択されたテンプレートデータを拡大または縮小することで、装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、当該サイズのテンプレートデータを三次元データとすることができる。
　また、第一処理部２２０または第二処理部３２０は、第一撮像部２１０により撮像された動画または静止画に対してマスク処理を行い、装着対象を特定して対象情報とすることができる。
　かかる構成によれば、より制度の高い三次元データを生成することができるようになる。
　また、第一処理部２２０または第二処理部３２０は、装着対象を撮像するためのガイド画像またはガイド音声を生成し、ユーザ端末から出力することができる。
　ガイド画像は、例えば、装着対象の外形を示すオブジェクトとすることができる。そして、ユーザは、ユーザ端末２００の表示部に表示されたオブジェクトを見ながら、このオブジェクト内に自身の装着対象が収まるように撮像を行うことができる。このとき、第一撮像部２１０はユーザ端末２００の表示部と同じ側に設けられたインカメラとするのが好ましい。
　このとき、表示部にはインカメラを通して第一撮像部２１０が撮像しようとしている装着対象が表示されるが、ユーザから表示部が見えにくい場合（例えば、装着対象が耳や頭である場合など）は、ガイド音声を出力させるのが適切である。
　このガイド音声は、例えば、「カメラを右へ移動させてください」、または、「カメラを遠ざけてください」などの音声とすることができる。
　続いて、本発明の処理方法の実施形態について図７を参照しながら説明する。
　本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法である。
　ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備える。この第一通信部の詳細については上述したとおりである。これらの詳細については情報処理システムの説明において記載したとおりである。
　サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。
　そして、本発明の処理方法は、図７に示すように、三次元データを生成させるステップＳ５１０と、三次元データを送信させるステップＳ５２０とを備える。
　三次元データを生成させるステップＳ５１０は、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる。
　三次元データを送信させるステップＳ５２０は、第二通信部に、三次元データを外部装置に送信させる。
　以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、ＩＥＭイヤフォンなどのヒアラブルデバイスを提供することができるようになる。
　最後に、本発明のコンピュータプログラムの実施形態について図８を参照しながら説明する。
　本発明の処理方法は、ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムである。
　ユーザ端末は、装着対象を撮像するための第一撮像部と、第一処理部とサーバ装置と情報を送受信するための第一通信部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。
　サーバ装置は、ユーザ端末および外部装置と情報を送受信するための第二通信部と、第二処理部とを備える。これらの詳細については情報処理システムの説明において記載したとおりである。
　そして、本発明のコンピュータプログラムは、第一処理部または第二処理部に、三次元データを生成させる機能を実現させ、第二通信部に、三次元データを送信させる機能を実現させる。これら機能は、図８に示す第一回路５１０および第二回路５２０によって実現される。これらの回路はそれぞれ上述した第一処理部２２０または第二処理部３２０のいずれかに対応する。
　三次元データを生成させる機能は、第一処理部または第二処理部に、第一撮像部により撮像された動画または静止画を含む対象情報が、装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、対象情報が三次元データの生成に必要な情報量を満たしている場合には、部材の当該三次元データを生成させる。
　三次元データを送信させる機能は、第二通信部に、成形データを外部装置に送信させる。
　以上の構成によれば、製品の三次元データの生成を自動化することができるようになる。これにより、例えば、より低価格で一般ユーザ向けのウェアラブルデバイス、特に、ＩＥＭイヤフォンなどのヒアラブルデバイスを提供することができるようになる。
　また、上述した実施形態に係るサーバ装置又は端末装置として機能させるために、コンピュータ又は携帯電話などの情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係るサーバ装置又は端末装置の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のＣＰＵによって当該プログラムを読み出して実行させることによって実現可能である。 
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
　また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラムとして、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。記憶部は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。
　１００　　情報処理システム
　２００　　ユーザ端末
　２１０　　第一撮像部
　２２０　　第一処理部
　２３０　　第一通信部
　３００　　サーバ装置
　３１０　　第二通信部
　３２０　　第二処理装置
　４００　　外部装置

 

Claims (14)

  1. 　ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムであって、
    　前記ユーザ端末は、
    　　装着対象を撮像するための第一撮像部と、
    　　第一処理部と
    　　前記サーバ装置と情報を送受信するための第一通信部と
    　を備え、
    　前記サーバ装置は、
    　　前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
    　　第二処理部と
    　を備え、
    　前記第一処理部または前記第二処理部は、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定し、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成し、
    　前記第二通信部は、前記三次元データを前記外部装置に送信する、情報処理システム。
  2. 　前記第一処理部または前記第二処理部は、前記判定の結果、前記対象情報が、前記三次元データの生成に必要な情報量を満たしていない場合、追加の対象情報を要求する情報を生成する請求項１に記載の情報処理システム。
  3. 　前記三次元データの生成は、前記第一処理部によって行われることを特徴とする請求項１または２に記載の情報処理システム。
  4. 　前記三次元データの生成は、前記第二処理部によって行われることを特徴とする請求項１または２に記載の情報処理システム。
  5. 　前記第一処理部または前記第二処理部は、
    　　前記対象情報から前記装着対象の点群データを生成し、
    　　前記点群データから前記装着対象のメッシュデータを生成する
    ことを特徴とする請求項１から４のいずれか一項に記載の情報処理システム。
  6. 　前記第一処理部または前記第二処理部は、前記メッシュデータから前記部材の外形を抽出し、前記部材の外形に基づいて、前記装着対象に対応する三次元データを生成することを特徴とする請求項５に記載の情報処理システム。
  7. 　前記第一処理部または前記第二処理部は、前記メッシュデータの深度情報に基づき、前記メッシュデータの最深箇所を起点として、高さ方向で複数回メッシュをスライスすることによって等高線状の輪郭曲線を得ることにより前記部材の外形を抽出することを特徴とする請求項６に記載の情報処理システム。
  8. 　前記第一処理部または前記第二処理部は、前記輪郭曲線を曲線補間により平滑にし、前記等高線を通るサーフェスデータを生成して前記三次元データとすることを特徴とする請求項７に記載の情報処理システム。
  9. 　前記第一処理部または前記第二処理部は、
    　前記対象情報に基づいて、予め所定の記憶装置に記憶された、前記部材のテンプレートデータの中から一のテンプレートデータを選択し、
    　当該選択されたテンプレートデータを拡大または縮小することで、前記装着対象のメッシュデータと少なくとも一点が接するサイズを決定し、
    　当該サイズのテンプレートデータを前記三次元データとする
    ことを特徴とする請求項５に記載の情報処理システム。
  10. 　前記第一処理部または前記第二処理部は、
    　前記第一撮像部により撮像された動画または静止画に対してマスク処理を行い、前記装着対象を特定して前記対象情報とする
    ことを特徴とする請求項１から９のいずれか一項に記載の情報処理システム。
  11. 　前記第一処理部または前記第二処理部は、
    　前記装着対象を撮像するためのガイド音声を生成し、前記ユーザ端末から出力させ、
    　前記ガイド音声は、前記第一撮像部により撮像された動画または静止画に基づいて、前記ユーザと前記ユーザ端末との位置関係に応じて変化する、前記装着対象と前記ユーザ端末との位置に関する音声であることを特徴とする請求項１から１０のいずれか一項に記載の情報処理システム。
  12. 　前記第一処理部または前記第二処理部は、
    　前記装着対象を撮像するためのガイド画像を生成し、前記ユーザ端末から出力する
    ことを特徴とする請求項１から１１のいずれか一項に記載の情報処理システム。
  13. 　ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行される処理方法であって、
    　前記ユーザ端末は、
    　　装着対象を撮像するための第一撮像部と、
    　　第一処理部と
    　　前記サーバ装置と情報を送受信するための第一通信部と
    　を備え、
    　前記サーバ装置は、
    　　前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
    　　第二処理部と
    　を備え、
    　前記第一処理部または前記第二処理部に、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成させるステップと、
    　前記第二通信部に、前記三次元データを前記外部装置に送信させるステップと
    を備える処理方法。
  14. 　ユーザ端末と、当該ユーザ端末とネットワークを介して接続されるサーバ装置とを備える情報処理システムにおいて実行されるコンピュータプログラムであって、
    　前記ユーザ端末は、
    　　装着対象を撮像するための第一撮像部と、
    　　第一処理部と
    　　前記サーバ装置と情報を送受信するための第一通信部と
    　を備え、
    　前記サーバ装置は、
    　　前記ユーザ端末および外部装置と情報を送受信するための第二通信部と、
    　　第二処理部と
    　を備え、
    　前記第一処理部または前記第二処理部に、前記第一撮像部により撮像された動画または静止画を含む対象情報が、前記装着対象に対応する部材の三次元データの生成に必要な情報量を満たしているかを判定させ、当該判定の結果、前記対象情報が前記三次元データの生成に必要な情報量を満たしている場合には、前記部材の当該三次元データを生成させる機能を実現させ、
    　前記第二通信部に、前記三次元データを前記外部装置に送信させる機能を実現させるコンピュータプログラム。
PCT/JP2019/035046 2018-10-10 2019-09-05 情報処理システム、情報処理方法およびコンピュータプログラム WO2020075427A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-191777 2018-10-10
JP2018191777A JP6574295B1 (ja) 2018-10-10 2018-10-10 情報処理システム、情報処理方法およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2020075427A1 true WO2020075427A1 (ja) 2020-04-16

Family

ID=67909567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035046 WO2020075427A1 (ja) 2018-10-10 2019-09-05 情報処理システム、情報処理方法およびコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6574295B1 (ja)
WO (1) WO2020075427A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134517A (ja) * 1997-11-04 1999-05-21 Minolta Co Ltd ３次元形状データ処理装置
JP2004511154A (ja) * 2000-10-06 2004-04-08 フォナック　アクチエンゲゼルシャフト 補聴器シェルの製造方法および製造システム
JP2012239566A (ja) * 2011-05-18 2012-12-10 Nikon Corp 眼鏡用測定装置及び三次元測定装置
US20150382123A1 (en) * 2014-01-16 2015-12-31 Itamar Jobani System and method for producing a personalized earphone

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0273471A (ja) * 1988-09-09 1990-03-13 Nippon Telegr & Teleph Corp <Ntt> 三次元形状推定方法
JPH09185709A (ja) * 1995-12-28 1997-07-15 Olympus Optical Co Ltd 三次元空間映像情報入力システム
JP2003345839A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法及びシステム
JP5206366B2 (ja) * 2008-11-27 2013-06-12 カシオ計算機株式会社 ３次元データ作成装置
JP6095369B2 (ja) * 2010-12-08 2017-03-15 株式会社コンピュータシステム研究所 Ｃａｄ情報生成システム、ｃａｄ情報生成プログラムおよびｃａｄ情報生成方法
JP6191727B1 (ja) * 2016-05-06 2017-09-06 富士ゼロックス株式会社 造形用画像管理システム、造形用画像管理装置、造形用画像管理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134517A (ja) * 1997-11-04 1999-05-21 Minolta Co Ltd ３次元形状データ処理装置
JP2004511154A (ja) * 2000-10-06 2004-04-08 フォナック　アクチエンゲゼルシャフト 補聴器シェルの製造方法および製造システム
JP2012239566A (ja) * 2011-05-18 2012-12-10 Nikon Corp 眼鏡用測定装置及び三次元測定装置
US20150382123A1 (en) * 2014-01-16 2015-12-31 Itamar Jobani System and method for producing a personalized earphone

Also Published As

Publication number Publication date
JP6574295B1 (ja) 2019-09-11
JP2020060945A (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
JP6747538B2 (ja) 情報処理装置
JP5543571B2 (ja) 頭部伝達関数を決定するシステムおよび方法
US10448139B2 (en) Selective sound field environment processing system and method
US10085091B2 (en) Ambient volume modification through environmental microphone feedback loop system and method
US20180124497A1 (en) Augmented Reality Sharing for Wearable Devices
JP2020532914A (ja) 仮想オーディオのスイートスポット適応法
US20210350823A1 (en) Systems and methods for processing audio and video using a voice print
JP6402718B2 (ja) 情報処理装置、制御方法およびプログラム
US20220312128A1 (en) Hearing aid system with differential gain
US11929087B2 (en) Systems and methods for selectively attenuating a voice
US11893997B2 (en) Audio signal processing for automatic transcription using ear-wearable device
JP2015092646A (ja) 情報処理装置、制御方法、およびプログラム
EP2611216A1 (en) Systems and methods for determining head related transfer functions
US11432067B2 (en) Cancelling noise in an open ear system
US20160034252A1 (en) Smart device control
JP2024097913A (ja) 情報処理方法、情報処理装置、およびプログラム
CN113228615B (zh) 信息处理装置、信息处理方法和计算机可读记录介质
JP2019040005A (ja) 読み上げシステム及び読み上げ方法
JP6249754B2 (ja) 撮像装置、撮像システム、通信機器、撮像方法、及び撮像プログラム
US10861228B2 (en) Optical otoscope device
WO2020075427A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US11875791B2 (en) Systems and methods for emphasizing a user&#39;s name
KR20220052922A (ko) 정보 처리 장치, 정보 처리 방법 및 정보 처리 프로그램
CN112330793A (zh) 耳模三维模型的获取方法、耳机定制方法和计算设备
JP2017011454A (ja) ウェアラブルデバイス

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19871979

Country of ref document: EP

Kind code of ref document: A1