WO2006064635A1 - 診断システム - Google Patents

診断システム Download PDF

Info

Publication number
WO2006064635A1
WO2006064635A1 PCT/JP2005/021348 JP2005021348W WO2006064635A1 WO 2006064635 A1 WO2006064635 A1 WO 2006064635A1 JP 2005021348 W JP2005021348 W JP 2005021348W WO 2006064635 A1 WO2006064635 A1 WO 2006064635A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject
unit
data
light
Prior art date
Application number
PCT/JP2005/021348
Other languages
English (en)
French (fr)
Inventor
Shin-Ichiroh Kitoh
Yukio Yoshida
Po-Chieh Hung
Original Assignee
Konica Minolta Holdings, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings, Inc. filed Critical Konica Minolta Holdings, Inc.
Priority to JP2006548732A priority Critical patent/JPWO2006064635A1/ja
Publication of WO2006064635A1 publication Critical patent/WO2006064635A1/ja

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence

Definitions

  • the present invention relates to a diagnostic system, and more particularly to a diagnostic system that performs medical diagnosis and the like from captured images of each part of a human body.
  • a diagnostic system that detects changes in the physiological state of a human body using an imaging device such as a sensor or a CCD camera and analyzes the image data obtained thereby to make a diagnosis such as a medical diagnosis or a beauty diagnosis.
  • an imaging device such as a sensor or a CCD camera
  • Patent Document 1 skin color such as facial color in an image photographed with a digital camera is quantified for objective biometric information obtained, and skin color is not affected by display image color reproduction.
  • a diagnostic system capable of analyzing the above is disclosed.
  • Patent Document 2 describes a physical condition in daily life in a state in which the subject is not conscious of being observed by installing a sensor in a place where a finger or the like is brought into contact in daily life.
  • a diagnostic system for diagnosing health conditions by acquiring data on pulse waves, body temperature, skin color, respiratory rate, etc. is disclosed.
  • Patent Document 3 discloses a diagnostic system capable of performing management'analysis by referring to information via a network on body temperature data measured by a basal body thermometer! .
  • Patent Document 1 JP-A-10-165375
  • Patent Document 2 JP 2000-139856
  • Patent Document 3 JP 2001-353157
  • the diagnostic system described in Patent Document 3 performs medical diagnosis based on body temperature data. In order to perform more accurate diagnosis by comparing data in a normal state and an abnormal state It was desired to acquire and analyze data for more viewpoints.
  • an object of the present invention is to improve the accuracy of discrimination between a normal state and an abnormal state in a diagnostic system that analyzes an image obtained by imaging each part of a human body.
  • the invention described in claim 1 is a diagnostic system, and includes a subject illumination unit that irradiates a subject with a light source of specific color light at the time of photographing, and an image for photographing the subject.
  • An imaging device including an imaging unit; a data management unit that is communicatively connected to the imaging device via a network and manages image data transmitted from the imaging device; and an image transmitted from the imaging device camera
  • a data management device including an image analysis unit that analyzes data and discriminates between a normal state and an abnormal state.
  • the invention according to claim 2 is a diagnostic system, in which a subject illumination unit that irradiates a subject with a plurality of light sources that emit light of different colors, and an image capturing that captures the subject illuminated by the subject illumination unit. And an image analysis unit that separates reflected light on the surface of the subject photographed by the image photographing unit and analyzes information on the reflected light suitable for the part of the subject to be diagnosed to distinguish between a normal state and an abnormal state And is provided.
  • the invention according to claim 3 is a diagnostic system comprising a plurality of light sources that emit different colored lights, a subject illumination unit that irradiates the subject, a subject, and a light source of color light suitable for the subject.
  • the invention according to claim 4 is the diagnostic system according to any one of claims 1 to 4, wherein the image analysis unit calculates a pixel value of image data. It is characterized in that it is converted to color data and expressed on coordinates, and when the coordinates are more than a predetermined interval apart from the coordinates in the normal state, it is judged as abnormal data.
  • the present invention it is easy to detect image data force lesions and abnormalities by irradiating with irradiation of specific color light, and it becomes easy to separate normal state data and abnormal state data. Therefore, it is possible to improve the accuracy of diagnosis based on the discrimination.
  • FIG. 1 is a schematic diagram showing the overall configuration of a diagnostic system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an overall configuration of a diagnostic system according to an embodiment of the present invention.
  • FIG. 3 is a front view showing an image display unit and a subject illumination unit according to an embodiment of the present invention.
  • 4 is a partial enlarged view showing an example of a light source provided in a subject illumination unit according to an embodiment of the present invention.
  • FIG. 5 is a partially enlarged view showing an example of another light source provided in the subject illumination unit according to the embodiment of the present invention.
  • FIG. 6 is a front view showing the arrangement of the color light units that are formed by the light source of the subject illumination unit according to the embodiment of the present invention.
  • FIG. 7 is a front view showing the arrangement of color light units formed by other light sources of the subject illumination section according to the embodiment of the present invention.
  • FIG. 8 is a graph showing an example of an emission spectrum of an LED.
  • FIG. 9 is a graph showing an example of a spectrum of light transmitted by a white light source and an interference filter.
  • FIG. 10 is a graph showing another spectrum example of light transmitted by the white light source and the interference filter.
  • FIG. 11 is a graph showing another spectrum example of light transmitted by the white light source and the interference filter.
  • FIG. 12 is a graph showing another spectrum example of light transmitted by the white light source and the interference filter.
  • FIG. 13 is a graph showing characteristics of a light source provided in a subject illumination unit according to an embodiment of the present invention.
  • FIG. 14 is a graph showing the spectral reflectance of a specific part (a) of a subject.
  • FIG. 15 is a graph showing the spectral reflectance of another specific part (b) of the subject.
  • FIG. 16 is a graph showing reflected light from a specific part (a) of a subject.
  • FIG. 17 is a graph showing reflected light from a specific part (b) of a subject.
  • FIG. 18 is a diagram showing an example of the subject composition.
  • FIG. 19 is a diagram showing an arrangement of image capturing units according to the embodiment of the present invention.
  • FIG. 20 is an example of a composite image by the image photographing unit according to the embodiment of the present invention.
  • FIG. 21 is a diagram showing another arrangement of the image capturing unit according to the embodiment of the present invention.
  • FIG. 22 is a diagram showing another arrangement of the image capturing unit according to the embodiment of the present invention.
  • FIG. 23 is a diagram showing an example of a cut image by the image photographing unit according to the embodiment of the present invention.
  • FIG. 24 is a graph of pixel values obtained by converting reflected light from a specific part (a) of a subject.
  • FIG. 25 is a graph of pixel values obtained by converting reflected light from a specific part (b) of a subject.
  • FIG. 26 is a diagram showing the pixel value of the specific part (a) of the subject on the coordinates as color data.
  • FIG. 27 is a diagram showing pixel values of a specific part (b) of a subject on coordinates as color data.
  • FIG. 28 is a diagram showing an example of a table provided in the system information holding unit according to the embodiment of the present invention.
  • FIG. 29 is a flowchart showing an operation of the diagnostic system according to the embodiment of the present invention.
  • the diagnostic system 1 of the present embodiment is provided with an imaging device 2, and a data management device 13 is connected to the imaging device 2 via a network that can communicate with each other. Yes. Furthermore, one or more external devices 24 are connected to the data management device 13 via a network that can communicate with each other.
  • the imaging device 2 can also be configured to be able to communicate with the external device 24.
  • the network in the present embodiment is not particularly limited as long as it means a communication network capable of data communication.
  • the Internet a LAN (Local Area Network), a WAN (Wide Area Network), a telephone line network, an ISDN (Integrated Services Digital Network) Network, CATV (Cable Television) line, optical communication line, etc. can be included. Moreover, it is good also as a structure which can communicate not only by a wire but by radio
  • the external device 24 is a personal computer or the like, and is preferably installed in a place where some kind of consulting or diagnosis can be received.
  • it may be installed in a public facility such as a hospital or health care facility.
  • the external device 24 may be configured as an Internet site from which consulting information can be obtained, or as a mobile terminal such as a consultant, a doctor, or a store clerk.
  • the imaging device 2 provided in the diagnostic system 1 of the present embodiment includes the following components.
  • the external communication unit 3 is configured to perform information communication with the data management device 13 and the external device 24 by wired or wireless communication means.
  • the imaging device 2 of the present embodiment handles image information, it is desirable that the imaging device 2 be in a communication mode capable of transmitting as fast as possible. Then, the result of image analysis, image data, vital data, and the like are transmitted to the data management device 13 via the external communication unit 3.
  • the image display unit 4 includes a display such as a CRT, a liquid crystal, an organic EL, a plasma, or a projection system, and in addition to a captured image, information given from the external device 24, information obtained by image processing, or imaging Information about the status of each component of device 2 is displayed. Further, it is possible to display a warning when abnormal image data abnormal data is detected, or to have a configuration capable of notifying the detection of abnormal data by voice means.
  • a display such as a CRT, a liquid crystal, an organic EL, a plasma, or a projection system
  • the subject illumination unit 5 is provided at the peripheral edge of the image display unit 4 as shown in FIG. With such a configuration, it is possible to give illumination light with various directional forces to the subject, and to obtain an image with relatively little illumination unevenness.
  • the image display section The subject illumination unit 5 may be disposed only at the upper part or only at the left and right sides of the peripheral edge of 4. It should be noted that the subject illumination unit 5 can be arranged at a location that is not close to the image display unit 4.
  • FIG. 4 is an enlarged view of the dotted line portion of the subject illumination unit 5 shown in FIG.
  • circular light sources that emit different colored lights are arranged in the subject illumination unit 5 of the present embodiment.
  • rectangular light sources can be arranged as shown in FIG.
  • a combination of light sources in a predetermined area as shown by the dotted line in FIG. 5 is used as one color light set, and this color light set is arranged on the peripheral edge of the image display unit 2 as shown in FIG. Yes.
  • the light source power can evenly irradiate the subject with each color light.
  • a rod-shaped light source instead of a circular light source.
  • the colored light set of the rod-shaped light source can be arranged at the peripheral edge of the image display unit 2 as shown in FIG.
  • an artificial light source such as a fluorescent lamp, an incandescent bulb, an LED, a laser, or an organic EL can be used.
  • a strong light source such as a strobe or a high-brightness LED.
  • the light source has light emission characteristics not only in the visible light castle but also in the vicinity (ultraviolet region, near infrared region, infrared region). In order to suppress the influence of ambient light as much as possible, it is desirable to use a light source that can emit high-intensity light such as a strobe.
  • the light source can irradiate time-stable light. Further, it is possible to obtain light whose intensity distribution is spatially suppressed for a user who uses a line light source instead of a point light source. That is, unevenness of illumination to the user is suppressed and a desirable image can be obtained.
  • a force white light source using an LED is used together with an interference filter.
  • Fig. 8 shows the light emission characteristics of the LED
  • Figs. 9 to 12 show examples of the transmitted light spectrum of the white light source and the interference filter.
  • FIG. 13 shows the characteristics of the light source used in this embodiment, and two types of light sources (color light H and color light I) are used among the light sources having the characteristics shown in FIGS.
  • color light H Toshiba Corporation's TLSH series (peak wavelength 623 nm, half width 13 nm)
  • color light I for example, TLPGE1100B (peak wavelength: 562 nm, half-value width: llnm) and other commercially available LEDs can be used.
  • TLPGE1100B peak wavelength: 562 nm, half-value width: llnm
  • other commercially available LEDs can be used.
  • an interference filter a bandpass filter manufactured by Omega Optical Inc., which is commercially available, can be used as an interference filter.
  • FIG. 14 and FIG. 15 show the spectral reflectances of the specific part (a) and another specific part (b) of the subject when healthy (normal) and unhealthy (abnormal).
  • the structure and composition of the body changes, so the spectral reflectance on the subject surface differs from the normal state.
  • which wavelength region is different depends on the subject.
  • the difference between the normal wavelength and the abnormal state is large on the low wavelength side (overlapping the band of colored light A).
  • the mid-range force is high.
  • the difference in the area (overlapping the band of colored light B) is increasing.
  • the spectrum of the reflected light of the subject is the product of the colored light A or the colored light B and the spectral reflectance of the subject as shown in FIG. Yes.
  • the spectrum of the reflected light of the subject becomes the ratio of the colored light A or the colored light B and the spectral reflectance of the subject as shown in FIG. It becomes product.
  • the image capturing unit 6 is configured by one or a plurality of cameras capable of acquiring a still image or a moving image by an image sensor such as a CCD or a CMOS.
  • an image sensor such as a CCD or a CMOS.
  • a camera module that comes with a digital camera, video camera, or other mobile phone.
  • a plurality of image photographing units 6 are arranged at equal intervals to photograph a subject, and an image having a composition that may be synthesized as shown in FIG. 20 is output. It is configured. Further, as shown in FIG. 21, a mechanism capable of three-dimensionally adjusting the position of one image photographing unit 6 may be provided so that the user's head and face can be photographed.
  • the image capturing unit 6 is configured by a combination of a large number of camera modules so that the user can be collectively captured and an image with a predetermined composition can be cut out as shown in FIG. You can configure it.
  • the image capturing unit 6 of the present embodiment has three image channel numbers, but may be a multi-channel (multi-band) having three or more image channels.
  • a general file format such as jpeg or tiff and a raw file corresponding to the raw image are provided.
  • Image processing demosaic processing, gamma processing, color conversion processing, enhancement processing, etc.
  • each parameter of image processing should be referenced.
  • the image capturing unit 6 may be disposed on the back surface of the image display unit 4 or on the same surface. In this embodiment, the image capturing unit 6 is disposed on the back surface of the image display unit 4.
  • the image display unit 4 should be formed of a half-mirror structure material that does not interfere with image capturing and does not cause the user to have a camera. desirable.
  • the image photographing unit 6 captures reflected light from the surface of the subject and converts it into pixel values of each channel corresponding to R, G, B signals of the RGB image.
  • the spectral reflectance in the normal state and the abnormal state in the specific part (a) of the object is as shown in FIG. 16.
  • the reflected light is imaged by the image capturing unit 6 and channel 1 and channel 2 are captured. If the reflected light caused by the color light A or the color light B is separated by, the pixel value of each channel can be obtained as shown in FIG.
  • the separation of the reflected light caused by the color light A or the color light B is performed by the difference in the band of each channel.
  • colored light A is included in the channel 1 band of RGB, and colored light B is included in the channel 2 band. Further, it is also possible to separate the color light A and the color light B by photographing with different timings of light emission. Similarly, the spectral reflectance in the other specific part (b) of the subject is as shown in FIG. 17. When the reflected light caused by the colored light A or colored light B is separated, a pixel value is obtained as shown in FIG. Is possible.
  • the captured image of the specific part (a) of the subject is in channel 1 and the captured image of the specific part (b) is In channel 2, it is easy to separate pixel values in normal and abnormal states.
  • the subject illumination unit 5 illuminates the subject when capturing an image of the face area as described above. It is possible to judge whether it is healthy or abnormal by measuring the movement of the pupil before and after the illumination intensity and wavelength are abruptly changed when photographing the movement of the subject's pupil. It is possible to fulfill the function.
  • the surrounding environment information acquisition unit 7 includes a measuring instrument as an environment information acquisition unit, acquires information on the surrounding environment where the imaging device 2 is installed, and detects abnormal data when analyzing the captured image. It is now possible to support the discrimination.
  • the surrounding environment refers to the intensity and characteristics of ambient illumination light, temperature such as temperature and water temperature, humidity, and atmospheric pressure.
  • temperature such as temperature and water temperature, humidity, and atmospheric pressure.
  • illuminance meter type temperature
  • spectrum meter type e.g., temperature meter type
  • color temperature measurement type e.g., etc.
  • measuring instruments and sensors for measuring each temperature may be used, or information may be obtained from the external device 24 through a network.
  • the IZO unit 8 is a vital sensor (such as a thermometer, a weight scale, a body fat percentage meter, a blood pressure meter, an electrocardiograph, a skin age meter, a bone densitometer, a spirometer) as a vital information acquisition means, It is configured to connect devices that handle portable devices such as force cards, SD cards, and USB memory cards. Measurement data and image data can be input and output from these devices.
  • the vital sensor can be configured as a part of the imaging device 2, it is possible to consider the introduction of any biological information data and to easily introduce the most advanced measurement equipment. It is desirable to connect the necessary vital sensors to the buttock 8 and use it.
  • the temporal change before and after the stimulus is applied to the subject is imaged, and the image power is distinguished from the normal state and the abnormal state of the subject.
  • Stimulation refers to giving light, pushing, applying pressure, changing temperature, adding scent, applying sound, stabting with a needle, painting, injecting, etc.
  • the normal state and the abnormal state can be distinguished using the amount of change of each measured value as feature data.
  • the memory unit 9 is also configured with power such as RAM, ROM, and DIMM, and temporarily stores data necessary for processing in each component of the imaging device 2 so that the imaging device 2 can be operated at high speed and stably. It becomes.
  • the data processing unit 10 includes an image of each part of the subject photographed by the image photographing unit 6, peripheral environment information obtained by the peripheral environment information obtaining unit 7, measurement data and image data input from the IZO unit 8, and the like. Data processing is performed.
  • the data processing unit 10 extracts a region of interest to be diagnosed from the captured image. For example, if the region of interest is the user's face, for example, the user's standard face image is used as the basic image of the template, and the template is subjected to the upper left screen raster operation to perform a template operation. The region with the highest correlation is set as the face region.
  • the user can enclose the face frame with a rectangular pointer, etc., or when the user specifies a point, a rectangle with a specified size centered on the specified position is displayed. It is also possible to provide designated means.
  • the data processing unit 10 transmits the image of the region of interest to the data management device 13 via the external communication unit 3.
  • the image processing unit 6 may be configured to perform image processing when the image processing in the case of a raw file is performed at the time of file output.
  • the data processing unit 10 acquires the ambient light characteristics in the ambient environment information acquisition unit 7 in order to display an image with stable color reproduction for the purpose of viewing even if the ambient light characteristics change.
  • the color data the chromaticity point and brightness of the display white are adjusted.
  • these characteristics are corrected (calibrated) in order to display an image with stable color reproduction regardless of the characteristics of ambient ambient light and light sources.
  • calibration is the power to shoot a test pattern and correct the shot data to a specified value separately. It is desirable that the same processing can be performed without using a test pattern that is relatively expensive and difficult to store. Therefore, it is possible to use the user's teeth and background data at the time of image capture, which seems to change little over time. Multiple users on the same device If is registered, tooth data must be registered for each user.
  • the data processing unit 10 displays on the screen depending on how the illumination is applied.
  • a function is provided to correct the brightness and size of the subject so that it does not change.
  • the distance between the imaging device 2 and the user is estimated from the image captured by the image capturing unit 6.
  • a general method such as a three-dimensional survey method or a stereo measurement method can be used.
  • laser photometry equipment often used in cameras may be attached to the imaging device 2 for measurement.
  • it is possible to estimate the three-dimensional shape of the user by performing distance estimation based on the captured image at each pixel. Further, if the distance between the object and the camera at each pixel is known, the distance between the light source and the subject can be obtained for each pixel, so that the brightness of the display image can be corrected more accurately and in detail.
  • the data processing unit 10 is adapted to identify an individual from a photographed image for user authentication.
  • the face image of the individual photographed at the time of initial registration by the image capturing unit 6, the measured value of the three-dimensional shape of the face, and other characteristic information (information such as the use of glasses, moles, and spots) are automatically generated.
  • the system is configured so that individuals can be identified automatically by checking. This identification is performed, for example, by comparing the correlation between the extracted template image and the basic template image tailored to the individual after extracting the facial part.
  • the user interface unit 11 includes a keyboard, a mouse, a trackball, and the like.
  • the user interface unit 11 allows a user to input an instruction and also allows the user to communicate the status and request of the imaging device 2.
  • a conventional interface such as a keyboard, mouse, or trackball
  • the user interface unit 11 for example, when shooting a subject!
  • the region of interest for diagnosis by the image is the tongue
  • the user is instructed by voice or text to put out the tongue
  • the image is captured by the image capturing unit 6 by guessing that the tongue has come out from the movement of the mouth.
  • the display screen in the image display unit can be switched by voice, gesture, or gesture through the user interface unit 11.
  • the interface unit 10 allows the user to select a face frame. It is possible to provide a means for enclosing a rectangle with a rectangular pointer or the like, or a specifying means for displaying a rectangle of a predetermined size centering on the designated position when the user designates a point.
  • the user interface unit 11 is provided with data acquisition means for the purpose of assisting in determining abnormal data when analyzing a captured image.
  • data acquisition means for the purpose of assisting in determining abnormal data when analyzing a captured image.
  • the data contents to be obtained include self-judgment of the current physical condition (heavy, fever, cold, etc.) and personal data related to the condition (sleeping time, alcohol consumption, smoking, medication information, etc.) ) Is included. It may be acquired interactively by voice, or may be acquired through a user interface such as a touch panel by displaying an inquiry form on the image output device.
  • the tone of the voice is often related to the physical condition at that time, so it is possible to analyze the frequency and tone of the voice and add the analysis result to the inquiry data.
  • the user interface unit 11 is provided with personal authentication means. That is, when a plurality of users use the diagnostic system 1, it is necessary to identify the individual who is currently using it. Therefore, based on the individual identification result obtained by collating with the personal face area image taken at the time of initial registration in the data processing unit 10, it becomes possible to confirm to the person whether the identification result is incorrect or not. And
  • the user interface unit 11 is provided with means for prompting the user to use the diagnostic system 1 by outputting sound at regular intervals.
  • the means for prompting the user to use may be a display on the image display unit 4. That is, in the diagnostic system 1 according to the present embodiment, since it is necessary to check and update the user's healthy state data at regular intervals, it is necessary to use a vital sensor or the like at regular intervals, for example, every month. By prompting, it is possible to update data in a normal state. In addition, depending on the purpose of diagnosis, it may be necessary to use the diagnostic system 1 on a daily or regular basis.
  • the user interface unit 11 displays an alert or emits sound. It is configured to notify outside. However, because it may be due to a schedule such as a long-term business trip or a trip, it is possible to issue an alert in consideration of the individual schedule entered from the data management device 13 via the external communication unit 3. it can.
  • the control unit 12 includes a CPU and a RAM, and drives and controls each component of the imaging device 2. Since the imaging device 2 of the present embodiment also handles moving images, it is desirable that the control unit 12 be configured with a chip capable of controlling high-speed operation as much as possible. In addition, the control unit 12 controls each light source in the subject illumination unit 5 based on an instruction signal transmitted from the data management apparatus via the external communication unit 3 or an instruction signal input from the user interface unit 11. OnZOff is controlled independently. The control based on the above instruction signal It is also possible to estimate the subject by other known methods.
  • the data management device 13 provided in the diagnostic system 1 of the present embodiment is provided with the following components.
  • the external communication unit 14 is configured to perform information communication with the imaging device 2 and the external device 24 by wired or wireless communication means. Similarly to the external communication unit 3, the result of image analysis and image data 'vital data are transmitted to the data management device 13 or the external device 24 via the external communication unit 3.
  • the external device 24 is preferably a place where some kind of consulting can be diagnosed, such as a hospital, a health care facility, a cosmetic-related store or facility, or a hospital.
  • the image analysis unit 15 includes image analysis means, performs image analysis based on image data transmitted from the imaging device 2 to the data management device via the external communication unit 3 and the external communication unit 14, Based on the analysis results, medical diagnoses and other diagnoses have started! /
  • the image power also makes it easier to detect lesions and abnormalities. That is, when the image capturing unit 2 of the imaging device 2 captures the reflected light on the surface of the object and converts it into a pixel value for each channel, the specific part (a) of the subject as shown in FIG. In channel 1, it is easy to separate the pixel values of the normal state and the abnormal state.As shown in FIG. Separation of pixel values is becoming easier.
  • the image analysis means provided in the image analysis unit 15 separates the pixel values of the normal state and the abnormal state for each specific part of the subject based on the image data of the region of interest. Then, each pixel value force tristimulus value data (R GB) in the normal state / abnormal state is calculated, and the reaction color data is calculated by this tristimulus value data primary conversion. It is designed to convert to spatial data. Examples of uniform color spaces include CIE L * a * b *, L * u * v *, ⁇ with standardized brightness directions, and their derived spaces are also included. And by this uniform color space data, As shown in Fig. 26 or Fig.
  • the color data of the healthy state / abnormal state is expressed as coordinates of two or more dimensions (two dimensions in this embodiment), and the coordinates obtained as a result of analyzing the image are the coordinates of the healthy state. If it is far away by a certain scale compared to, it is judged as abnormal data.
  • FIG. 26 shows the coordinates of the color data in the specific part (a)
  • FIG. 27 shows the coordinates of the color data in the other specific part (b).
  • “feature value 1” is a value such as CIE a *, u * or
  • feature value 2” is a value such as CIE b * or V *.
  • Other color data may be measured values other than color data (such as 3D shapes and textures). It is not possible to separate the color light A and the color light B and then separate them.
  • the color data, three-dimensional shape, and texture of the subject are obtained. Measure (estimate) and estimate the amount of hemoglobin, melanin, oxygen saturation, etc. related to the tissue structure under the skin from the estimated data.
  • data such as the number of blinks, the color of the eyes (particularly white eyes), the state of the eyes, and the like may be acquired from the eye image.
  • the diagnosis process is terminated.
  • the result of image analysis is transmitted to the external device 24 via the external communication unit 14.
  • the destination is the above
  • public facilities such as hospitals and health management facilities, cosmetic stores and facilities, hospitals, Internet sites, and mobile terminals are desirable.
  • the image analysis means included in the image analysis unit 15 changes the portion of data that can be transmitted according to the user's permission. Yes. For example, if the user desires to remove or change the image around the eyes and mouth to transmit the image to avoid identifying the individual, the relevant part in the image is automatically extracted, and the part is arbitrarily colored. Change to, add mosaic or blur.
  • transmitted data and data inside the data management device 13 are encrypted by changing the encryption key for each individual.
  • known methods can be used, but biometrics that enables key setting for each individual is desirable.
  • the positional relationship of the constituent elements in the face such as the eyes, nose and mouth of the individual, the height of the nose, the three-dimensional shape such as the shape of the entire face, iris information, etc. are used as the encryption key.
  • the I / O unit 16 is configured to connect portable devices such as CF cards, SD cards, and USB memory cards. It is also possible to connect a measuring device such as a vital sensor to the IZO unit 16 for use.
  • the user interface unit 17 is configured to allow the user to input instructions and to transmit the status and request of the apparatus to the user. Like the user interface unit 11 of the imaging device 2, a configuration that does not place a burden on the user is desirable, but there are cases where complicated processing such as maintenance backup is required by the device administrator, so only the keyboard and mouse are used. You can also However, the user interface unit 17 can be configured so that the user interface unit 11 of the imaging device 2 is not an indispensable component of the data management device 13 and also functions as the user interface unit 17 of the data management device 13. . In this case, the user interface unit 1 of the imaging device 2 Data input / output through 1 is transferred to the data management device 13 via the external communication unit 3 and the external communication unit 14.
  • the display unit 18 includes a display such as a liquid crystal display, and displays an operation status of the data management device 13, an instruction input by the user interface unit 18, and the like. Also, a warning is displayed when abnormal data is detected. The alarm when abnormal data is detected can be configured to be notified by audio means. However, it is also possible to use the image display unit 4 of the imaging device 2 that is not an essential component in the data management device 13 as the display unit 18. In this case, the displayed content is transferred to the image input / output device via the external communication unit 14 and the external communication unit 3.
  • the storage unit 19 includes a memory such as a noffer, and includes a data holding unit 20, a work area unit 21, and a system information holding unit.
  • the data holding unit 20 includes various types of data such as an image of a region of interest to be diagnosed transmitted from the imaging device 2, measurement, biological information, device status, and environmental status, and consulting input from the external device 24. 'It is designed to hold diagnostic data.
  • the data held in the data holding unit 20 is image data or various measurement data.
  • the data holding unit 20 uses the memory effectively by compressing and storing the data determined as “healthy” by the daily health check.
  • the work area unit 21 temporarily stores various data used for data processing in order to perform data processing in the data management device 13 at high speed.
  • the system information holding unit 22 holds system information of the imaging device 2 and the data management device 13.
  • the system information holding unit 22 displays the management number of the LED or filter as the light source included in the subject illumination unit 5 of the imaging device 2, the effective subject, and the feature quantity that can be extracted as shown in FIG. And register and manage!
  • the control unit 12 of the imaging device 2 can control the OnZOff of each light source included in the subject illumination unit 5 independently by this table to give color light suitable for the subject.
  • system information holding unit 22 is a light source provided in the subject illumination unit 5 of the imaging device 2.
  • the spectral characteristics, color data, and characteristics over time of the filter are managed, and the image analysis unit 15 can refer to these data when necessary for image analysis.
  • the system information holding unit 22 uses “measurement values measured from image data determined to be“ healthy ”and“ health state data ”that serves as a basis for diagnosis by image analysis in the image analysis unit 15. Create and hold. If normal state data is created, abnormal state data can be expressed as a complement of normal state data. This healthy state data is updated after confirming the user's healthy state at regular intervals to improve the reliability of the data. That is, in the image display unit 4 or the user interface unit 17, for example, the health state data is updated by prompting the user to use a vital sensor or the like every month. It can also be updated daily based on data from the most recent month. In this way, it is considered that it can cope with changes in physical condition due to the season and aging. It may also be created with reference to a specified number of days, such as 30 days, excluding days that contain abnormal data.
  • the system information holding unit 22 holds a personal schedule transferred from a device such as a device connected to the IZO unit 8 of the imaging device 2 or the heel unit 16 of the data management device 13. Based on the individual schedule held by the system information holding unit 22, the user interface unit 11 generates an alert prompting the use of the diagnostic system 1.
  • the system information holding unit 22 holds the characteristics of each component of the imaging device 2 or the data management device 13. That is, the subject illumination unit 5 of the imaging device 2
  • the characteristics of the image display unit 4, the image capturing unit 6 and the like change over time and usually deteriorate with time. Therefore, by setting the timing for correcting (adjusting) this change over time in the system information holding unit 22 and reading the tag information power time information etc., the characteristics of the imaging device 2 or the data management device can be adjusted according to the specified timing. Measure and correct! This makes it possible to obtain image measurement values that are stable over time.
  • the user instructs the calibration timing or automatically detects the change in the surrounding situation from the image and performs calibration.
  • ⁇ the surrounding situation has changed '' means, for example, that the surrounding environment lighting has changed significantly (e.g., the fluorescent length has been changed, a new window has been installed nearby), or the surrounding has changed (image The background of the room has changed, the room has been redesigned, the position of the device has been changed, etc.). It is possible to determine whether or not to perform calibration according to the degree of difference by comparing the past data with the current data stored in the system information holding unit 22 for the difference in the surrounding situation. .
  • the light source included in the subject illumination unit 5 and the camera or sensor included in the image capturing unit 6 are also considered consumables, and may need to be replaced at regular intervals in order to maintain a stable device. is there. Therefore, information such as the light source and camera (exchange date, etc.) is added to the tag information of the image data or the system information holding unit 22, and if these devices have been used for a certain period or more, they have to be replaced due to damage. In this case, the user interface unit 11 may be configured to issue an alert.
  • the data management unit 22 manages each individual image data held in the data holding unit 20 of the storage unit 19 by attaching a tag (accompanying information). You can attach tags to the header or footer of each data, or you can associate them with each data name in a separate file! / ⁇
  • the contents of the tag include the image shooting date and time, the user name and its attributes, information on the imaging device 2 and the data management device 13, information on the surrounding environment, the captured image and the IZO unit 8 or IZO unit 16. Include measurement data values obtained from connected vital sensors, diagnostic information when subjectively diagnosing captured images, and contents of interview data obtained separately.
  • Tags that can grasp time information such as the shooting date and time for tracking image data in time series, and other data context are essential.
  • information required for the imaging device 2 and the data management device 13 is information on the subject illumination unit 5 related to estimating measurement data from images, characteristics of the image capturing unit 6 and characteristics of the imaging device 2, This is information on a data processing method in the data processing unit 10.
  • Such hardware and software information is generally managed by version, and this embodiment follows that idea. Therefore, describe the version number of each tag.
  • software for image analysis or the like may be upgraded to improve functions (including improved accuracy of measurement values).
  • the version is upgraded, the measured value is recalculated and updated to the new measured value using the tag contents in the image data and the new software. Therefore, the tag content is newly updated.
  • each image data is divided into directories in units (one roll) for each individual user. This makes it easier to manage data for each individual.
  • the place where the imaging device 2 or the data management device 13 provided in the diagnostic system 1 of the present embodiment is installed may be near a water area such as a washroom or bathroom. Therefore, it is desirable to take measures such as anti-fogging and coating to prevent fogging with moisture. In addition, considering the installation in a place where dust tends to accumulate, it is desirable to have antifouling seals and other measures against dirt and dust.
  • the image capturing unit 6 captures a subject.
  • the data processing unit 10 includes the image of the subject captured by the image capturing unit 6, the ambient environment information acquired by the ambient environment information acquiring unit 7, the measurement data and image data input from the IZO unit 8, or the user interface unit.
  • the input information such as the user instruction input data input from 11 is analyzed, the image is displayed on the image display unit 4, and the light source of the subject illumination unit 5 is adjusted.
  • the face area image of the individual photographed at the time of initial registration by the image photographing unit 6 and the image acquired by the image photographing unit 6 are analyzed, and the individual data that is registered is automatically verified to identify the individual. (Step S1).
  • the user interface unit 11 confirms the individual identification result by the data processing unit 10 by the personal authentication means (step S2). As a result, if the identification of the individual is wrong, the data processing unit 10 identifies the individual again (Step S3, Step Sl).
  • the user interface unit 11 makes an inquiry about the health condition (step S3, step S4). Through this inquiry, you can obtain your current physical condition (heavy, fever, cold, etc.) and personal data related to your condition (sleeping time, alcohol, smoking, medication information, etc.).
  • the image capturing unit 6 captures an image of a part to be diagnosed in the subject.
  • the subject irradiating unit 5 shoots by irradiating a plurality of light sources (step S5). That is, the power to use an LED as a light source and the power to use a white light source together with an interference filter
  • a plurality of light sources two types of light sources among the light sources having the characteristics shown in FIGS. Use colored light H and colored light I).
  • the difference between the normal state and the abnormal state on the low wavelength side (which overlaps the band of the colored light A) is large.
  • the image photographing unit 6 captures the reflected light from the subject surface and converts it into a pixel value. At that time, the reflected light caused by each color light is separated by the channel, thereby identifying the subject. The pixel values in the normal state and the abnormal state are easily separated for each part. Furthermore, the data processing unit 10 extracts a region of interest from the captured image (step S6).
  • the captured image of the region of interest is transmitted from the imaging device 2 to the data management device 13 via the external communication unit 3 and the external communication unit 14 (step S7).
  • the captured image of the region of interest transmitted to the data management device 13 is held by the data holding unit 20 of the storage unit 19. Then, the data management unit 22 manages each individual image data held in the data holding unit 20 with a tag (accompanying information).
  • the image analysis unit 15 separates the pixel values of the normal state and the abnormal state for each specific part of the subject based on the image data of the region of interest held by the data holding unit 20 of the storage unit 19 (step S8 ).
  • the tristimulus value data RGB
  • the reaction color data is calculated by this tristimulus value data primary conversion
  • the uniform color space data is calculated from the reaction color data.
  • the color data of the healthy state / abnormal state is expressed as coordinates of two or more dimensions (two dimensions in this embodiment), and the coordinates of the healthy state and the unhealthy state are represented.
  • are compared step S10).
  • the healthy state data is held in the system information holding unit 22 of the storage unit 19.
  • capillary blood vessels can be enhanced by irradiating narrow-band colored light centered around 550 °. It seems to be effective in detecting abnormalities at the part where capillaries such as fingertips gather.
  • the color light B shown in FIG. 8 or FIG. 10 may be used.
  • the subject's color data, three-dimensional shape, and texture are analyzed. Measure (estimate) the power of those estimated data.
  • the amount of moglobin, the amount of melanin, oxygen saturation, etc. can also be estimated.
  • data such as the number of blinks, the color of the eyes (especially white eyes), the condition of the eyes, and the like may be acquired from the eye image
  • the diagnosis process is terminated (step S12).
  • the diagnosis result is displayed on the display unit 18 or the image display unit 4 (step S14), and the image analysis result is externally displayed.
  • the data is transmitted to the external device 24, that is, an external consultant or a medical institution via the communication unit 14 (step S15).
  • the destination is preferably a place where you can receive some kind of consulting and diagnosis as described above. It is done.
  • the image analysis means included in the image analysis unit 15 is configured to mosaic the portion of data that can be transmitted according to the user's permission when sending image data to a consultant or the like through the external communication unit 3 or the external communication unit 14. Or change by blur.
  • the transmitted data and the data inside the data management device 13 are encrypted by changing the encryption key for each individual.
  • a measured value is obtained by using average data of general persons registered in advance.
  • a temporary measurement value can be obtained by using an average value of data of a user who uses the diagnosis system 1. In this case, after the lapse of a predetermined period, the actual data of the user is switched and the measured value is updated with respect to the temporary image data up to that time.
  • an alert for prompting the use of the diagnostic system 1 is displayed on the image display unit 4, the user interface unit 11, or the display unit 18 every predetermined period.
  • the data is updated every predetermined period and the reliability of the diagnosis result is ensured.
  • the system information holding unit 22 sets and designates the timing for correcting (adjusting) the change with time of the characteristics of each device constituting the diagnostic system 1 in order to obtain a stable image measurement value over time. Measure and correct the characteristics of each device according to the timing.
  • the user instructs the calibration timing or automatically from the image. Calibration is performed by dynamically detecting changes in the surrounding situation.
  • the user interface unit 11 issues an alert to prompt replacement.
  • the lesion or abnormality of the subject appears in the narrow band characteristics of the spectral surface of the subject surface. Since the subject is illuminated with colored light and photographed, abnormalities can be easily detected from the image data.
  • the diagnostic system of the present invention it becomes easier to detect image data force lesions and abnormalities by irradiating with a specific color light, and separation of normal state and abnormal state data. Therefore, it is possible to improve the accuracy of diagnosis by distinguishing between a normal state and an abnormal state.
  • the “diagnostic system” in the present application may take any form as long as it has a system configuration. Moreover, it can be said that even if the components included in the diagnostic system are combined as a single device or configured by a plurality of devices, they fall within the scope of the present invention.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

 人体の各部位を撮影した画像を解析する診断システムにおいて、健常状態と異常状態の判別による診断の精度を向上させることを目的とする。診断システム1に、撮影時に特定の色光の光源で被写体を照射する被写体照明部5と、前記光源による被写体の反射光を画素値に変換して撮像する画像撮影部6とを備える撮像装置2と、撮像装置2とネットワークを介して通信自在に接続され、撮像装置2から送信された画像データを管理するデータ管理部22と、撮像装置2から送信された画像データを解析して健常状態と異常状態とを判別する画像解析部15とを備えるデータ管理装置13とを設ける。

Description

明 細 書
診断システム
技術分野
[0001] 本発明は診断システムに関し、特に人体の各部位の撮影画像から医療診断などを 行う診断システムに関する。
背景技術
[0002] 従来、人体の生理状態の変化をセンサや CCDカメラなどの撮像装置によって検知 し、それによつて得られた画像データを解析して医療診断や美容診断などの診断を 行う診断システムが開発されている。
[0003] 例えば、特許文献 1には、デジタルカメラで撮影した画像における顔色などの皮膚 色力 得られる客観的生体情報の定量ィ匕を図ることで、ディスプレイの画像色再現に 左右されず皮膚色を解析することのできる診断システムが開示されている。
[0004] また、特許文献 2には、 日常生活において手指などを接触させる場所にセンサを設 置することにより、被観察者が観察されていることを意識しない状態で日常生活にお ける体調 (脈波、体温、肌の色、呼吸数など)に関するデータを取得し、健康状態を 診断する診断システムが開示されている。
[0005] また、特許文献 3には、基礎体温計で計測した体温データにつ!、て、ネットワークを 介して情報を参照することにより管理'分析を行うことができる診断システムが開示さ れている。
特許文献 1 :特開平 10— 165375号
特許文献 2 :特開 2000— 139856号
特許文献 3 :特開 2001— 353157号
発明の開示
発明が解決しょうとする課題
[0006] しかし、特許文献 1記載の診断システムでは、ディスプレイの画像色再現に左右さ れず皮膚色を解析するために撮影画像のデータを定量化する旨が記載されて ヽる 力 顔の撮影時にぉ 、て正確なデータを得るための撮像装置自体の構成にっ 、て は何ら記載されて 、なかった。
[0007] また、特許文献 2に記載の診断システムでは、日常生活における体調に関するデ ータを取得するため、「手指が接触しやすい位置」又は「音声を発しやすい位置」に センサを設ける旨が記載されているが、日常的にとる姿勢や向き、動作など力も正確 にデータを取得するためのセンサ自体の構成については何ら記載されていな力つた
[0008] また、特許文献 3に記載の診断システムは、体温データに基づ 、て医療診断を行う ものであるが、健常状態と異常状態におけるデータを比較してより正確な診断を行う ためにはより多数の視点力もデータを取得して解析することが望まれていた。
[0009] 本発明は上述した点に鑑み、人体の各部位を撮影した画像を解析する診断システ ムにおいて、健常状態と異常状態の判別の精度を向上させることを目的としている。 課題を解決するための手段
[0010] 上記課題を解決するため請求の範囲第 1項に記載の発明は、診断システムであつ て、撮影時に特定の色光の光源で被写体を照射する被写体照明部と、被写体を撮 像する画像撮影部とを備える撮像装置と、前記撮像装置とネットワークを介して通信 自在に接続され、前記撮像装置から送信された画像データを管理するデータ管理部 と、前記撮像装置カゝら送信された画像データを解析して健常状態と異常状態とを判 別する画像解析部とを備えるデータ管理装置と、が設けられたことを特徴とする。 請求の範囲第 2項に記載の発明は、診断システムであって、異なる色光を発光する 複数の光源により被写体を照射する被写体照明部と、前記被写体照明部により照射 された被写体を撮像する画像撮影部と、前記画像撮影部で撮影された被写体表面 の反射光を分離し、診断対象である被写体の部位に適した反射光の情報を解析して 健常状態と異常状態とを判別する画像解析部と、が設けられたことを特徴とする。 請求の範囲第 3項に記載の発明は、診断システムであって、異なる色光を発光する 複数の光源を有し、被写体を照射する被写体照明部と、被写体と、被写体に適した 色光の光源との相関情報を保持するシステム情報保持部と、前記相関情報をもと〖こ 、前記複数の光源のうち被写体に適した色光の光源を動作させるよう前記被写体照 明部を制御する制御部と、被写体に適した色光の光源により照射された被写体を撮 像する画像撮影部と、前記画像撮影部で撮影された画像データを解析して健常状 態と異常状態とを判別する画像解析部と、が設けられたことを特徴とする。
[0011] 請求の範囲第 4項に記載の発明は、請求の範囲第 1項〜第 4項のいずれ力 1項に 記載の診断システムであって、前記画像解析部は画像データの画素値を色彩デー タに変換して座標上に表し、その座標が健常状態の座標と比較して所定の間隔以上 離れている場合は異常データと判断することを特徴とする。
発明の効果
[0012] 本発明によれば、特定の色光の照射により照射して画像データ力 病変や異常を 検出しやすくなり、健常状態と異常状態のデータの分離が容易となるので、健常状態 と異常状態の判別による診断の精度を向上させることができる。
図面の簡単な説明
[0013] [図 1]本発明の実施形態に係る診断システムの全体構成を示す概略図である。
[図 2]本発明の実施形態に係る診断システムの全体構成を示すブロック図である。
[図 3]本発明の実施形態に係る画像表示部及び被写体照明部を示す正面図である 圆 4]本発明の実施形態に係る被写体照明部が備える光源の例を示す部分拡大図 である。
[図 5]本発明の実施形態に係る被写体照明部が備える他の光源の例を示す部分拡 大図である。
[図 6]本発明の実施形態に係る被写体照明部の光源が構成する色光ユニットの配置 を示す正面図である。
[図 7]本発明の実施形態に係る被写体照明部の他の光源が構成する色光ユニットの 配置を示す正面図である。
[図 8]LEDの放射スペクトル例を表すグラフである。
[図 9]白色光源と干渉フィルタによる透過光のスペクトル例を表すグラフである。
[図 10]白色光源と干渉フィルタによる透過光の他のスペクトル例を表すグラフである。
[図 11]白色光源と干渉フィルタによる透過光の他のスペクトル例を表すグラフである。
[図 12]白色光源と干渉フィルタによる透過光の他のスペクトル例を表すグラフである。 [図 13]本発明の実施形態に係る被写体照明部が備える光源の特性を表すグラフで ある。
[図 14]被写体の特定部位 (a)の分光反射率を表すグラフである。
[図 15]被写体の他の特定部位 (b)の分光反射率を表すグラフである。
[図 16]被写体の特定部位 (a)の反射光を示すグラフである。
[図 17]被写体の特定部位 (b)の反射光を示すグラフである。
[図 18]被写体の構図につ 、て好ま U、例を示す図である。
[図 19]本発明の実施形態に係る画像撮影部の配置を示す図である。
[図 20]本発明の実施形態に係る画像撮影部による合成画像の例である。
[図 21]本発明の実施形態に係る画像撮影部の他の配置を示す図である。
[図 22]本発明の実施形態に係る画像撮影部の他の配置を示す図である。
[図 23]本発明の実施形態に係る画像撮影部による切出画像の例を示す図である。
[図 24]被写体の特定部位 (a)の反射光を変換した画素値のグラフである。
[図 25]被写体の特定部位 (b)の反射光を変換した画素値のグラフである。
[図 26]被写体の特定部位 (a)の画素値を色彩データとして座標上に表した図である
[図 27]被写体の特定部位 (b)の画素値を色彩データとして座標上に表した図である
[図 28]本発明の実施形態に係るシステム情報保持部が備えるテーブルの例を示す 図である。
[図 29]本発明の実施形態に係る診断システムの作用を示すフローチャートである。 発明を実施するための最良の形態
[0014] 以下、本発明の実施形態について図面を参照して説明する。
[0015] 図 1に示すように、本実施形態の診断システム 1には撮像装置 2が備えられており、 撮像装置 2には互いに通信可能なネットワークを介してデータ管理装置 13が接続さ れている。さらに、データ管理装置 13には互いに通信可能なネットワークを介して一 つ以上の外部装置 24が接続されている。なお、撮像装置 2についても外部装置 24と 通信可能な構成にすることも可能である。 [0016] 本実施形態におけるネットワークはデータ通信可能である通信網を意味するもので あれば特に限定されず、例えばインターネット、 LAN (Local Area Network)、 WAN ( Wide Area Network)、電話回線網、 ISDN (Integrated Services Digital Network)回 線網、 CATV (Cable Television)回線、光通信回線などを含めることができる。また、 有線のみならず無線によって通信可能な構成としてもよい。
[0017] 外部装置 24とはパソコンなどであり、何らかのコンサルティングや診断が受けられる 場所に設置されていることが望ましい。例えば、本実施形態に係る診断システム 1で 健康に関するデータを得る場合は、病院や健康管理施設などの公共施設に設置し ておくことが考えられる。また、美容に関するデータの場合は、コスメティック関係の店 や施設'病院などに設置しておくことが考えられる。また、外部装置 24をコンサルティ ング情報が得られるインターネットサイトや、コンサルタントや医師、店員などの携帯 端末として構成してもよい。
[0018] 図 2に示すように、本実施形態の診断システム 1が備える撮像装置 2には以下の各 構成部分が設けられている。
[0019] 外部通信部 3は、有線又は無線の通信手段によりデータ管理装置 13及び外部装 置 24と情報通信ができるように構成されている。なお、本実施形態の撮像装置 2は画 像情報を扱うため、できる限り高速伝送できる通信形態であることが望ましい。そして 、この外部通信部 3を経由して、画像解析の結果や画像データ'バイタルデータなど をデータ管理装置 13に送信するようになって!/、る。
[0020] 画像表示部 4は、 CRT,液晶,有機 EL,プラズマ又は投影方式などのディスプレイ から構成され、撮影画像の他、外部装置 24から与えられた情報、画像処理によって 得られた情報又は撮像装置 2の各構成部分の状態に関する情報などを表示するよう になっている。また、撮影画像力 異常データが検出された際の警告を表示すること や、音声手段により異常データの検出を音声で知らせることが可能な構成とすること ちでさる。
[0021] 被写体照明部 5は、図 3に示すように、画像表示部 4の周辺縁部に設けられている 。このような構成により、被写体に対して様々な方向力も照明光を与えることができ、 比較的照明むらの少ない画像を得ることができるようになつている。また、画像表示部 4の周辺端部の上部のみ又は左右部のみに被写体照明部 5を配置してもよい。なお 、画像表示部 4に近接しな 、場所に被写体照明部 5を配置することも可能である。
[0022] 図 4は図 3に示す被写体照明部 5の点線部分を拡大した図である。図 4に示すよう に、本実施形態の被写体照明部 5にはそれぞれ異なる色光を発光する円形光源が 配列されている。また、図 5に示すように矩形光源を配列することも可能である。そし て、図 5の点線部に示すような所定のエリアの光源を組み合わせたものを 1つの色光 セットとして、この色光セットを図 6に示すように画像表示部 2の周辺縁部に配列して いる。このような構成により、光源力も各色光を被写体に均等に照射できるようになつ ている。なお、円形光源ではなく棒状光源を使用することも可能であり、その場合は 図 7に示すように棒状光源の色光セットを画像表示部 2の周辺縁部に配置することも できる。
[0023] 被写体照明部 5が備える光源としては、蛍光ランプ, 白熱電球, LED,レーザー, 有機 ELなどの人工光源などを使用することが可能であるが、撮影画像への周辺環 境光の影響を抑えるために、強度が強いストロボ、高輝度 LEDなどの光源を使うこと が望ましい。また、光源は可視光城だけでなくその周辺 (紫外域、近赤外、赤外領域 )にも発光特性をもつものが望ましい。また、環境光の影響をできるだけ抑えるために はストロボのような輝度の高 ヽ光を照射できる光源であることが望ま 、が、被写体の 動画を撮影する場合は、強度やスペクトルなどの特性が長時間安定した光を照射で きる光源であることが望ましい。また、点光源より線'面光源とした方力 ユーザに対し て空間的に強度の分布が抑えられた光を得ることができる。すなわち、ユーザへの照 明むらが抑えられて望ましい画像が得られる。
[0024] 本実施形態の光源としては LEDを使用する力 白色光源を干渉フィルタと共に使 用する。なお、白色光源を使用する場合は、白色光源の前面に 1枚以上の干渉フィ ルタを配置し、照明光の特性を狭帯域化させる。ここで、図 8に LEDの発光特性を、 図 9〜図 12に白色光源と干渉フィルタの透過光スペクトル例を示す。また、図 13は 本実施形態において用いる光源の特性を示すものであり、図 9〜図 12に示す特性を 有する光源のうち 2種類の光源 (色光 H及び色光 I)を使用している。例えば、色光 H としては株式会社東芝の TLSHシリーズ (ピーク波長 623nm、半値幅 13nm)を、色光 Iと しては TLPGE1100B (ピーク波長 562nm、半値幅 llnm)、その他市販されている各社 の LEDを使用することが可能である。また、干渉フィルタとしては Omega Optical社の バンドパスフィルタなど市販されて 、る各社のフィルタを用いることができる。
[0025] 図 14及び図 15に被写体の特定部位 (a)及び別の特定部位 (b)における健康 (正 常)時と不健康 (異常)時の分光反射率を示す。一般に、被写体が不健康な場合は 体の組織や構成が変化するため健常状態とは被写体表面における分光反射率が異 なる。ただし、どの波長領域が違うかは被写体依存である。図 14に示す特定部位 (a) の例では健常状態と異常状態で低波長側 (色光 Aの帯域に重なる)の差異が大きぐ 図 15に示す特定部位 (b)の例では中域力 高域 (色光 Bの帯域に重なる)の差異が 大きくなつている。そして、色光 A及び色光 Bを被写体の特定部位 (a)に対して照射 すると、被写体の反射光のスペクトルは図 16に示すように色光 A又は色光 Bと被写体 の分光反射率の積となっている。同様に、色光 A及び色光 Bを被写体の他の特定部 位 (b)に対して照射すると、被写体の反射光のスペクトルは図 17に示すように色光 A 又は色光 Bと被写体の分光反射率の積となって 、る。
[0026] 図 2に戻り、画像撮影部 6は、 CCDや CMOSなどの撮像素子により静止画又は動 画を取得することができる 1つ又は複数のカメラによって構成されている。例えば、デ ジタルカメラ、ビデオカメラ、その他携帯電話などに付属のカメラモジュールなどによ り構成してちょい。
ここで、図 18に示すように、被写体の画像は、被写体の立ち位置や身長に関わらず 安定した構図で撮影することが望ましい。そこで、本実施形態では、図 19に示すよう に複数の画像撮影部 6を等間隔に配置して被写体を撮影し、図 20のように撮影画像 を合成してよい構図の画像を出力するように構成されている。また、図 21に示すよう に、 1台の画像撮影部 6の位置を三次元的に調整できる機構を設けて、ユーザの頭 部 ·顔などを撮影可能なように構成してもよい。また、図 22に示すように、多数のカメ ラモジュールの組み合わせで画像撮影部 6を構成し、ユーザを一括撮影して、図 23 に示すように所定の構図の画像を切り出すことができるように構成してもよ 、。
[0027] さらに、上述のように構図が固定された画像ではなぐ被写体の動きと連動して構図 が変わるような画像を得ることが望ましい場合、例えば被写体が表示画面に近づくと アップになる場合などは、 1つ以上のカメラで撮影された画像を合成して、表示座標 の原点を固定してそのまま表示することができる。
[0028] また、本実施形態の画像撮影部 6は 3個の画像チャンネル数を備えているが、 3個 以上の画像チャンネルをもつマルチチャンネル (マルチバンド)としてもよい。撮影画 像のフォーマットとしては、 jpeg, tiffなどの一般的なフォーマット及び生画像に対応 する rawファイルを備えている。 rawファイルの場合の画像処理 (デモザイク処理、ガ ンマ処理、色変換処理、強調処理など)は、ファイル出力時に行われるようにしてもよ いし、行われないようにしてもよい。ただし、画像処理の各パラメータは参照できるよう にしておく。なお、画像撮影部 6は画像表示部 4の背面又は同じ面に配置してもよい 力 本実施形態では画像表示部 4の背面に配置している。また、画像表示部 4の背 面に配置する場合は、画像表示部 4は画像撮影に支障なくユーザからはカメラの存 在がわ力もないようなハーフミラー的な構造'材質で構成するのが望ましい。
[0029] また、画像撮影部 6は被写体表面の反射光を撮像して、 RGB画像の R, G, B各信 号に対応する各チャンネルの画素値に変換するようになっている。上述のように、被 写体の特定部位 (a)における健常状態と異常状態の分光反射率は図 16に示すよう になる力 この反射光を画像撮影部 6で撮像してチャンネル 1及びチャンネル 2で色 光 A又は色光 Bに起因する反射光を分離すると、図 24に示すように各チャンネルの 画素値を得ることができる。ここで、色光 A又は色光 Bに起因する反射光の分離は各 チャンネルの帯域の違いによって行っている。例えば、色光 Aは RGBのうちチャンネ ル 1の帯域に含まれ、色光 Bはチャンネル 2の帯域に含まれる。また、色光 Aと色光 B との発光のタイミングをずらして撮影することにより分離することも可能である。同様に 、被写体の他の特定部位 (b)における分光反射率は図 17に示すようになる力 色光 A又は色光 Bに起因する反射光を分離すると、図 25に示すように画素値を得ることが できる。
[0030] このように、色光 A又は色光 Bに起因する反射光を分離することで、被写体の特定 部位 (a)の撮影画像はチャンネル 1にお 、て、特定部位 (b)の撮影画像はチャンネ ル 2において、健常状態及び異常状態における画素値の分離が容易となっている。 なお、被写体照明部 5は、上述のように顔領域の画像を撮影する際に被写体を照明 する機能を果たすほか、被写体の瞳孔の動きを撮影する際に、照明の強さや波長を 急激に変化させ、その照射前後の瞳孔の動きを計測することにより健康か異常かを 判断することを可能とする機能も果たすことができるようになって 、る。
[0031] 図 2に戻り、周辺環境情報取得部 7は、環境情報取得手段としての計測計を備え、 撮像装置 2が設置される周辺環境の情報を取得して撮像画像の解析時に異常デー タの判別を支援することができるようになつている。ここで周辺環境とは、環境照明光 の強度や特性,気温や水温などの温度,湿度,気圧,などをいう。また、環境照明光 の取得方法としては、(a)照度計タイプ (b)スペクトル計測計タイプ (c)色温度計測タイプ などがあるが、すべてを包含できる (b)のタイプが望ましい。また、その他の温度、湿度 、気圧については、それぞれを計測する計測器具やセンサを用いてもよいし、ネット ワークを通じて外部装置 24から情報を入手してもよ 、。
[0032] IZO部 8は、バイタル情報取得手段としてのバイタルセンサー(体温計、体重計、 体脂肪率計、血圧計、心電計、肌年齢計測計、骨密度計、肺活量計など)や、 CF力 ード、 SDカード、 USBメモリカードなどの可搬型デバイスを扱う機器を接続できるよう に構成されており、これらの機器から計測データや画像データの入出力を行うように なっている。なお、バイタルセンサーは撮像装置 2の一部分として構成することも可能 だが、任意の生体情報データの導入を考慮できるように、また、最先端の計測機器を 簡単に導入できるように、本実施形態のように必要なバイタルセンサーを ΙΖΟ部 8に 接続して使用する形態とすることが望ましい。
[0033] また、 I/O部 8に接続したノ《イタルセンサーを刺激付加手段として、被写体に刺激 を付加した前後の経時変化を撮像し、その画像力 被写体の平常状態と異常状態を 区別することもできる。ここで刺激とは、光を与える、押す、圧力を加える、温度を変え る、香りを加える、音を加える、針などで刺す、物を塗る、物を注入する、などを指す。 例えば、圧力センサなどにより肌の一部を圧迫し、圧迫前後の状態を計測することに より、各計測値の変化量を特徴データとして平常状態と異常状態を区別することがで きる。また、皮膚を水やお湯、もしくは遠赤外線などにより温め、その前後の状態を観 察することで、血液の流れの変化を測定し、その変化の仕方が平常時と相違するか 否かを判断することもできる。 [0034] メモリ部 9は、 RAM、 ROM, DIMMなど力も構成され、撮像装置 2の各構成部分 における処理に必要なデータを一時的に蓄えることによって、撮像装置 2を高速かつ 安定に動作させるようになって 、る。
[0035] データ処理部 10は、画像撮影部 6で撮影した被写体の各部位の画像、周辺環境 情報取得部 7で取得した周辺環境情報、 IZO部 8から入力された計測データや画像 データなどのデータ処理を行うようになっている。
[0036] すなわち、まず、データ処理部 10は撮影画像の中から診断の対象となる興味領域 の抽出を行うようになっている。例えば、興味領域がユーザの顔である場合は、例え ば予め登録されて 、るユーザの標準的な顔画像をテンプレートの基本画像とし、そ のテンプレートを画面左上力 ラスター操作を行いテンプレートと画像の相関が一番 高い箇所を顔領域とするようになつている。また、興味領域からさらに部位を指定する 場合は、ユーザが顔枠を矩形ポインタなどで囲んで指定する手段や、ユーザがボイ ントを指定すると、指定位置を中心として所定の大きさの矩形が表示される指定手段 などを設けることも可能である。そして、興味領域の抽出を行うと、データ処理部 10は 外部通信部 3を経由してデータ管理装置 13にその興味領域の画像を送信するように なっている。
[0037] なお、画像撮影部 6において rawファイルの場合の画像処理がファイル出力時に行 われて ヽな ヽ場合は、データ処理部 10で画像処理を行うように構成することも可能 である。
[0038] また、データ処理部 10は、環境光の特性が変わっても見た目的に色再現の安定し た画像を表示するために、環境光の特性を周辺環境情報取得部 7で取得し、その色 彩データに応じて表示白色の色度点や明るさを調整するようになっている。すなわち 、周辺環境光や光源の特性に関わらず、安定した色再現で画像を表示するために、 これらの特性を補正(キャリブレーション)するようになつている。通常、キヤリブレーシ ヨンではテストパターンを撮影しその撮影データが別途指定の設定値になるように補 正する力 比較的高価で保管しにくいテストパターンを使用しないで同じ処理ができ るほうが望ましい。そこで、経時的にほとんど変化しないと思われる、ユーザの歯や画 像撮影時の背景データを使用することができる。その際、同一装置に複数のユーザ が登録されている場合はユーザごとに歯のデータを登録しておく必要がある。
[0039] また、データ処理部 10には、画像撮影部 6にお ヽて同じ構図で被写体を撮影する 場合において、被写体がカメラの光軸方向に動く場合に、照明のあたり方によって画 面上の被写体の明るさや大きさが変わらないように、それを補正する機能が設けられ ている。この場合においては、画像撮影部 6で撮影された画像から撮像装置 2とユー ザとの距離を推定する。この方法としては、三次元測量法、ステレオ計測法などの一 般的な方法を使用することができる。また、カメラでよく使われるレーザー測光用機器 を撮像装置 2に取り付けて計測してもよい。また、撮影画像による距離推定を各画素 で行うことで、ユーザの三次元形状の推定が可能となる。また、各画素における被写 体とカメラとの距離がわかると、光源と被写体との距離が画素ごとに得られるので、よ り正確 '詳細に表示画像の明るさを補正することができる。
[0040] さらに、データ処理部 10は、ユーザの個人認証のために撮影画像から個人の特定 を行うようになっている。すなわち、画像撮影部 6で初期登録時に撮影された個人の 顔領域画像と、顔の三次元形状の計測値、その他特徴的な情報 (めがねの使用、ほ くろ、しみなどの情報)などを自動的、もしくは手動的に取得してメモリ部 9に登録して おき、その後の使用では、画像撮影部 6で撮影された画像を解析して、メモリ部 9〖こ 登録されて!、る個人データから自動的に照合し個人を特定することができるように構 成されている。この特定は、例えば顔部位を抽出した後に個人にあわせた基本となる テンプレート画像と抽出された画像との相関をとり比べることによって行う。
[0041] ユーザインターフェイス部 11は、キーボード、マウス、トラックボールなどから構成さ れ、ユーザの指示入力を可能とすると共に、ユーザに撮像装置 2の状況や要求を伝 達することを可能としている。なお、キーボード、マウス、トラックボールなど従来のイン ターフェイスを使用することも可能だが、ユーザの負担が少ない装置構成とすること が望まし 、ことから、画像表示部 4と一体にしてタツチパネルとしてインターフェイスを 構成することができる。また、スピーカーやマイクなどの音響設備を備えることによりュ 一ザの音声や身振り、ジエスチヤ (手話など高度なコミュニケート手段も含む)によつ てコミュニケートできる構成とすることが望まし 、。
[0042] このユーザインターフェイス部 11では、例えば被写体の撮影時にお!、て、撮影画 像による診断の興味領域が舌であった場合、ユーザに舌をだすように音声もしくは文 字で指示をだし、口の動きから舌がでたことを推測して画像撮影部 6により撮影させ ることもできる。また、ユーザインターフェイス部 11を通じた音声、身振り、ジエスチヤ によって、画像表示部における表示画面の切り替えを行うようにすることもできる。
[0043] また、データ処理部 10において撮影画像の中から診断の対象となる興味領域の抽 出を行い、さらに興味領域力も部位を指定する場合において、インターフェイス部 10 にお 、てユーザが顔枠を矩形ポインタなどで囲んで指定する手段や、ユーザがボイ ントを指定すると指定位置を中心として所定の大きさの矩形が表示される指定手段な どを設けることができる。
[0044] また、ユーザインターフェイス部 11には、撮像画像の解析時に異常データの判別を 支援する目的でデータ取得手段が設けられている。例えば、ユーザインターフェイス 部 11において撮影毎に問診を行えるシステムを構築しておくことができる。具体的に は、単純に健康、不調を区別するボタンを押すようにするだけでもよい。その際に取 得するデータ内容としては、現在の体調の自己判断 (体が重い、熱がある、寒気がす る、など)や、調子に関わる個人データ (睡眠時間や飲酒、喫煙、投薬情報など)が含 まれる。音声で対話式に取得してもいいし、画像出力装置に問診票を表示してタツチ パネルなどのユーザインターフェイスで取得してもよい。また、音声で取得する場合、 声の調子がそのときの体調に関係する場合が多いので、声の周波数やトーンを解析 して解析結果を問診データに加えても良い。
[0045] また、ユーザインターフェイス部 11には個人認証手段が設けられて 、る。すなわち 、複数のユーザが診断システム 1を使用する場合、現在使用している個人を特定する 必要がある。そこで、データ処理部 10における初期登録時に撮影された個人の顔領 域画像などとの照合による個人の特定結果に基づき、特定結果に間違 、がな 、かど うかを本人に確認できるようになって 、る。
[0046] 確認方法としては、(a)音声で「あなたは〇〇さんですか?」と尋ねる、 (b)画像表示 部 4に「あなたは〇〇さんですか?」と表示する、という方法がある。また、これに対す る回答方法は、(c)声で答える、(d)ジエスチヤ、身振りで答える(うなずぐ首を縦に振る (肯定)、首を横に振る (否定)など)、などの方法がある。これにより、目の悪い人、視 力の落ちて 、る人、耳の悪 、人などにも優 、装置となる。
[0047] そして、特定結果が正 、場合は、通常の処理を続行し、特定が誤って 、た場合 は、(e)データ処理部 10における照合結果が次に高い個人を特定して同様に尋ねる 、(!)ユーザに名前の入力を促す (音声の場合は「あなたの名前は?」と聞き、ユーザ は診断システム 1に登録している名前を答える。表示の場合は、「あなたの名前は?」 と表示すると同時に登録者リストを表示し、ユーザはその中から選択する)、 のいず れかの処理を行うことができる。 なお、個人の特定手段としては、他の単純な方法と して、メニューに登録者の名前を表示し、ユーザが自ら選択して指示する方法がある
[0048] また、ユーザインターフェイス部 11には、一定期間ごとに音声の出力などによって ユーザに診断システム 1の使用を促す手段が設けられている。なお、ユーザへの使 用を促す手段は画像表示部 4への表示であってもよい。すなわち、本実施形態の診 断システム 1にお 、ては一定期間ごとにユーザの健常状態データを確認 '更新する 必要があるので、一定期間ごと、例えば一ヶ月ごとにバイタルセンサーなどの使用を ユーザに促すことにより、健常状態のデータの更新を行うことが可能となっている。さ らに、診断の目的によっては日常的もしくは定期的な診断システム 1の使用が必要な 場合がある。そこで、ユーザの不在などにより診断システム 1が使用されない状況が 続いた場合や、定期的に画像撮影部 2による撮影が行われない場合は、ユーザイン ターフェイス部 11がァラートを表示又は音声を発することによって外部に通報するよ うに構成されている。ただし、長期出張や旅行などのスケジュールが理由であることも 考えられるので、データ管理装置 13から外部通信部 3を経由して入力された個人の スケジュールを考慮してァラートを出すようにすることもできる。
[0049] 制御部 12は、 CPU及び RAMを備え、撮像装置 2の各構成部分を駆動制御するよ うになつている。本実施形態の撮像装置 2は動画像も扱うため、制御部 12はできる限 り高速動作 '制御が可能なチップにより構成することが望ましい。また、制御部 12は、 外部通信部 3を経由してデータ管理装置力 送信される指示信号又はユーザインタ 一フェイス部 11から入力される指示信号に基づいて、被写体照明部 5における各光 源の OnZOffを独立に制御するようになっている。なお、上記指示信号に基づく制 御を行うほか、他の公知な方法によって被写体を推定することも可能である。
[0050] 次に、図 2に示すように、本実施形態の診断システム 1が備えるデータ管理装置 13 には以下の各構成部分が設けられて 、る。
[0051] 外部通信部 14は、有線又は無線の通信手段により、撮像装置 2及び外部装置 24 と情報通信ができるように構成されている。そして、外部通信部 3と同様に、この外部 通信部 3を経由して、画像解析の結果や画像データ'バイタルデータなどをデータ管 理装置 13又は外部装置 24に送信するようになっている。ここで、外部装置 24は病院 や健康管理施設、コスメティック関係の店や施設 '病院など、何らかのコンサルティン グゃ診断が受けられる所が望まし 、。
[0052] 画像解析部 15は、画像解析手段を備え、撮像装置 2から外部通信部 3及び外部通 信部 14を経由してデータ管理装置に送信された画像データに基づいて画像解析を 行 、、その解析結果より医療診断などの診断を行うようになって!/、る。
[0053] ここで本実施形態においては、上述したように、人肌など対象物の病変や異常が被 写体の分光スペクトルの狭い帯域の特性に現れることに着目し、被写体照明部 5によ つて、そうした帯域の影響が強調できる照明を照射して撮影することで画像力も病変 や異常を検出しやすくしている。すなわち、撮像装置 2の画像撮影部 2において被写 体表面の反射光が撮像され、チャンネルごとに画素値に変換されると、図 24に示す ように被写体の特定部位 (a)につ 、てはチャンネル 1にお 、て健常状態と異常状態 の画素値の分離が容易となっており、図 25に示すように被写体の他の特定部位 (b) についてはチャンネル 2において健常状態と異常状態との画素値の分離が容易とな つている。
[0054] そして、画像解析部 15が備える画像解析手段は、興味領域の画像データに基づき 、被写体の特定部位ごとに健常状態と異常状態の画素値を分離するようになってい る。その後、健常状態 ·異常状態におけるそれぞれの画素値力 三刺激値データ (R GB)をそれぞれ算出し、この三刺激値データ力 プライマリ変換によって反応色デー タを算出し、この反応色データ力 均等色空間データに変換するようになっている。 均等色空間の一例として、 CIEの L*a*b*, L*u*v*,明度方向が規格ィ匕された ^ などがあり、それらの派生空間も含まれる。そして、この均等色空間データによって、 図 26又は図 27に示すように健常状態 ·異常状態の色彩データを二次元以上 (本実 施形態では二次元)の座標として表し、画像を解析した結果得られた座標が健常状 態の座標と比較してある一定の尺度で離れている場合は異常データと判断するよう になっている。ここで、図 26は特定部位 (a)における色彩データの座標を示すもので あり、図 27は他の特定部位 (b)における色彩データの座標を示すものである。また、 図 26又は図 27における「特徴量 1」とは例えば CIEの a*や u*や といった値であり 、「特徴量 2」とは例えば CIEの b*や V*や といった値である。なお、他の色彩デー タゃ色彩データ以外の計測値(3次元形状やテクスチャなど)であってもよ 、。なお、 色光 Aと色光 Bを同時に照射してから分離するのではなぐ色光 Aと色光 Bと別々に照 射して画像を撮影してから画像解析を行ってもょ 、。
[0055] 健常状態と異常状態の判断としては、例えば、 620nm付近を中心とする狭帯域の色 光を照射すると血液中のヘモグロビンの画像に対する関与が強調されるということが 知られており、血流が途絶えてしまうような異常の検知に効果的と思われる。この場合 、図 8又は図 11の色光 Hを用いることにより、画像解析による健常状態と異常状態と の判別の精度が向上する。
[0056] また、 550應付近を中心とする狭帯域の色光を照射すると毛細血管の強調ができる という報告もある。指先など毛細血管が集まる部分での異常を検知するのに効果的と 思われる。この場合、図 8又は図 10の色光 Iを用いることにより、画像解析による健常 状態と異常状態との判別の精度が向上するといえる。
[0057] また、画像撮影部 6によって時系列的に、すなわち静止画により連続的に撮影又は 動画により撮影された被写体の撮影画像を解析することにより、被写体の色彩データ や三次元形状、テクスチャを計測 (推定)し、それらの推定データから皮膚下の組織 構造にかかわるヘモグロビン量、メラニン量、酸素飽和度などを推定することもできる 。また、目の画像から、まばたき回数や目(特に白目)の色、目やにの状況などのデ ータを取得してもよい。
[0058] 画像解析部 15は、画像解析により健康と診断した場合は、診断処理を終了するよ うになつている。一方、画像解析により不健康と診断した場合は、画像解析の結果を 外部通信部 14を経由して外部装置 24に送信するようになっている。送信先は、上述 のように何らかのコンサルティングや診断を受けられる所が望ましぐ例えば病院や健 康管理施設などの公共施設、コスメティック関係の店や施設'病院、インターネットサ イト、携帯端末などが考えられる。
[0059] また、画像解析部 15が備える画像解析手段は、外部通信部 14を通じてコンサルタ ントなどに画像データを送付する場合、ユーザの許容に応じて伝送できるデータの 部位を変更するようになっている。例えば、個人の特定を回避するために目や口の 周りの画像を除去又は変更して伝送することをユーザが希望した場合、画像内の該 当部を自動抽出し、その部位を任意の色に変更したり、モザイクやぼかしを入れたり する。
[0060] また個人情報を安全に秘匿するために、伝送されるデータやデータ管理装置 13の 内部のデータは、各個人ごとに暗号キーを変更して暗号化する。キーの作製方法は 、公知の方法がそれぞれ使用できるが、個人ごとのキー設定を可能とするバイオメトリ タスが望ましい。この場合、個人の目、鼻、口などの顔内構成要素の位置関係や鼻 の高さや、顔全体の形状などの三次元形状、虹彩情報などを暗号キーとする。
[0061] なお、上述した撮像装置 2のデータ処理部 10におけるユーザの個人認証のための 撮影画像の解析をデータ管理装置 13の画像解析部 15にお ヽて行 、、その特定結 果を外部通信部 14から撮像装置 2に送信するようにしてもょ ヽ。
I/O部 16は、 CFカード、 SDカード、 USBメモリカードなどの可搬型デバイスを接続 できるように構成されている。なお、 IZO部 16にバイタルセンサーなどの計測装置を 接続して使用するようにしてもょ 、。
[0062] ユーザインターフェイス部 17は、ユーザの指示入力を可能にすると共に、ユーザに 装置の状況や要求を伝達することができるように構成されて ヽる。撮像装置 2のユー ザインターフェイス部 11と同様に、ユーザに負担をかけない構成が望ましいが、メン テナンスゃバックアップなど装置管理者による複雑な処理が必要な場合もあるので、 キーボードやマウスのみを使用することもできる。ただし、ユーザインターフェイス部 1 7はデータ管理装置 13において必須の構成部分ではなぐ撮像装置 2のユーザイン ターフェイス部 11がデータ管理装置 13のユーザインターフェイス部 17としての機能 を兼ねる構成とすることもできる。この場合、撮像装置 2のユーザインターフェイス部 1 1を通じて入出力されるデータは外部通信部 3及び外部通信部 14を経由してデータ 管理装置 13に転送される。
[0063] 表示部 18は、液晶などのディスプレイを備え、データ管理装置 13の動作状況ゃュ 一ザインターフェイス部 18による指示入力などを表示するようになっている。また、撮 影画像力 異常データが検出された際の警告を表示する。異常データが検出された 際の警告としては、音声手段によって知らせるように構成することも可能である。ただ し、表示部 18もデータ管理装置 13において必須の構成部分ではなぐ撮像装置 2の 画像表示部 4を用いることもできる。その場合、表示される内容は、外部通信部 14及 び外部通信部 3を経由して画像入出力装置に転送される。
記憶部 19は、ノ ッファなどのメモリを備えており、データ保持部 20、作業領域部 21 及びシステム情報保持部から構成されて 、る。
[0064] データ保持部 20は、撮像装置 2から送信された診断対象となる興味領域の画像、 計測、生体情報、装置状況、環境状況などの各種データや、外部装置 24から入力さ れたコンサルティング '診断データなどを保持するようになっている。ここで、データ保 持部 20にお 、て保持されるデータは画像データや各種計測データであり、特に画 像データはデータサイズが大きいのでデータ保存に工夫が必要となる。そこで、デー タ保持部 20は、日常の健康チェックで「健康」と判断されたデータを圧縮して保存す ることで、メモリを有効に使用するようになっている。
[0065] 作業領域部 21は、データ管理装置 13におけるデータ処理を高速に行うため、デー タ処理に使用する各種データを一時的に保持するようになって!/、る。
[0066] システム情報保持部 22は、撮像装置 2やデータ管理装置 13のシステム情報を保 持するようになっている。
まず、システム情報保持部 22は、撮像装置 2の被写体照明部 5が備える光源として の LED又はフィルタの管理番号と、効果的な被写体と、抽出できる特徴量を、図 28 のようにテーブルィ匕して登録 ·管理して!/、る。撮像装置 2の制御部 12はこのテーブル によって被写体照明部 5が備える各光源の OnZOffを独立に制御して被写体に適し た色光を与えることが可能となって 、る。
また、システム情報保持部 22は、撮像装置 2の被写体照明部 5が備える光源ゃフィ ルタの分光特性、色彩データ、経時的な特性などを管理しており、画像解析部 15が 画像の解析上必要な場合にこれらのデータを参照できるようになって 、る。
[0067] また、システム情報保持部 22は、「健康」と判断された画像データから計測された計 測値を用いて、画像解析部 15における画像解析による診断の基準となる「健常状態 データ」を作成して保持するようになっている。なお、健常状態データを作成すれば 異常状態データは健常時データの補集合として表すことができる。この健常状態デ ータは、データの信頼性を高めるため、一定期間ごとにユーザの健常状態を確認し た上で更新されるようになっている。すなわち、画像表示部 4又はユーザインターフエ イス部 17において、例えば一ヶ月ごとにバイタルセンサーなどの使用をユーザに促 すことによって、健常状態データの更新を行うようになっている。また、最近一力月の データを基に毎日更新していくこともできる。これにより、季節や加齢による体調の変 化にも対応できると考えられる。また、異常データを含む日を除いて、 30日間など所 定の日数を参考にして作成してもよい。
[0068] また、診断システム 1の導入時又は新 、ユーザを登録して間もな 、時は、ユーザ 個人の肌の色やその他の特徴についての情報が少なぐ健常状態又は異常状態の データを構成することができない。そこで、システム情報保持部 22に予め一般人の平 均的なデータを登録しておき、初回から所定の期間はその平均データ使用して仮の 計測値を得るようになつている。また、診断システム 1を使用するユーザの平均データ を使用して仮の計測値を得ることもできる。そして、所定の期間経過後はユーザの実 データに切り替えて、それまでの画像データに対して計測値を更新するようになって いる。なお、「所定の期間」はシステム情報保持部 22に予め登録しておく。
[0069] また、システム情報保持部 22は、撮像装置 2の IZO部 8又はデータ管理装置 13の ΙΖΟ部 16に接続されたデバイスなどカゝら転送された個人のスケジュールを保持して いる。そして、システム情報保持部 22が保持する個人のスケジュールに基づいて、ュ 一ザインターフェイス部 11は診断システム 1の使用を促すアラートを発生するようにな つている。
[0070] さらに、システム情報保持部 22は撮像装置 2又はデータ管理装置 13の各構成部 分の特性を保持するようになっている。すなわち、撮像装置 2の被写体照明部 5,画 像表示部 4,画像撮影部 6などは経時的に特性が変動し、通常は時間とともに劣化 する。そこで、システム情報保持部 22にこの経時変化の補正 (調整)を行うタイミング を設定し、タグ情報力 時刻情報などを読み取ることにより、指定したタイミングに従 つて撮像装置 2又はデータ管理装置の特性を計測 ·補正するようになって!/、る。これ により、経時的に安定した画像計測値を得ることができるようになって 、る。
[0071] また、定期的に行うキャリブレーションとは別に、周辺状況が変化したときに、ユー ザがキャリブレーションのタイミングを指示、もしくは、画像から自動的に周辺状況の 変化を検知して、キャリブレーションを行うようになっている。ここで「周辺状況が変ィ匕」 とは、例えば、周辺環境照明が大きく変わった (蛍光長などの照明を交換した、近く に新しい窓をつけたなど)場合や、周囲が変わった (画像の背景が変わった、部屋を 模様替えした、装置の置き位置を変えたなど)場合が考えられる。周辺状況の違いは 、システム情報保持部 22に保存されて 、る過去のデータと現状のデータを比較して 、違いの程度に応じてキャリブレーションをするかどうかを判断することなどが可能で ある。
[0072] さらに、被写体照明部 5が備える光源や画像撮影部 6が備えるカメラ又はセンサは 消耗品とも考えられ、安定な装置を維持するためには、一定期間ごとに交換が必要と なる場合がある。そこで、光源やカメラなどの情報 (交換日など)を画像データのタグ 情報又はシステム情報保持部 22に加え、これらのデバイスの使用が一定期間以上と なった場合又は破損により交換が必要になった場合は、ユーザインターフェイス部 1 1にお 、てァラートを出す構成とすることも考えられる。
[0073] データ管理部 22は、記憶部 19のデータ保持部 20において保持される各個人の画 像データにタグ (付帯情報)を付けて管理する。タグの付け方は、各データのヘッダ やフッダに付帯させても 、 、し、各データ名と関連づけて別ファイルにまとめてもよ!/ヽ
[0074] ここで、タグの内容は、画像の撮影日時、ユーザの名前およびその属性、撮像装置 2及びデータ管理装置 13の情報、周辺環境の情報、撮像画像や IZO部 8又は IZO 部 16に接続したバイタルセンサーから取得された計測データ値、撮像画像を主観的 に診断したときの診断情報、別途取得された問診データの内容などを含める。特に、 時系列的に画像データを追跡するための撮影日時などの時間情報や、その他デー タの前後関係を把握できるようなタグは必須である。
また、撮像装置 2及びデータ管理装置 13の情報として必要なのは、画像から計測デ ータを推定するのに関係する被写体照明部 5の情報、画像撮影部 6の特性や撮像装 置 2の特性、データ処理部 10におけるデータ処理方法の情報である。これらハードウ エアやソフトウェアの情報はバージョンで管理されることが一般的で、本実施形態に おいてもその考えを踏襲する。したがって、タグにはそれぞれのバージョン No.を記載 する。
[0075] また、画像解析のためのソフトウェアなどは、機能向上 (計測値の精度向上含む)の ためにバージョンアップされる場合がある。バージョンアップされたときは、画像デー タ内のタグ内容と新しいソフトウェアを用いて、計測値を計算しなおし新しい計測値に 更新する。したがって、タグ内容は新しく更新されるようになっている。
[0076] さらに、保持された画像データを可搬型メモリに保持し持ち運ぶ場合に、メモリの容 量制限を考慮する場合がある。そこで、画像データとタグデータを分けやすい形にし ておくと、持ち運び時は画像データをメモリに入れないようにできる。タグデータを別 ファイルで管理する方法が望ましい。また、そうすることで、タグデータだけに特殊な 処理を加えやすくなる。
[0077] また、各画像データは、ユーザ各個人ごとを単位(1ロール)としてディレクトリ分けす るようになっている。これにより、個人ごとにデータを管理しやすくなる。
[0078] なお、本実施形態の診断システム 1が備える撮像装置 2又はデータ管理装置 13が 設置される場所としては、洗面所や浴室など水周りの近くが考えられる。したがって、 湿気で曇らないように、曇り止め加工やコーティングなどの防水対策を施すことが望 ましい。また、ほこりがたまりやすい場所に設置することも考えて、防汚シールなどの 汚れやほこり対策があることが望ま 、。
[0079] 次に、上述の診断システム 1の作用について、図 29のフローチャートを参照して説 明する。
[0080] ユーザが診断システム 1の使用を開始すると、まず、画像撮影部 6が被写体の撮影 を行う。 [0081] データ処理部 10は、画像撮影部 6で撮影した被写体の画像、周辺環境情報取得 部 7で取得した周辺環境情報、 IZO部 8から入力された計測データや画像データ又 はユーザインターフェイス部 11から入力されたユーザの指示入力データなどの入力 情報を解析し、画像表示部 4に画像の表示を行うと共に、被写体照明部 5の光源など を調整する。また、画像撮影部 6で初期登録時に撮影された個人の顔領域画像と、 画像撮影部 6が取得した画像を解析して、登録されて ヽる個人データから自動的に 照合し個人を特定する (ステップ S1)。
[0082] 次に、ユーザインターフェイス部 11は、データ処理部 10による個人の特定結果を 個人認証手段によって確認する (ステップ S2)。その結果、個人の特定が誤っていた 場合は再びデータ処理部 10が個人の特定を行う(ステップ S3,ステップ Sl)。
[0083] 一方、個人の特定が正し力つた場合は、ユーザインターフェイス部 11が健康状態 についての問診を行う(ステップ S3,ステップ S4)。この問診により、現在の体調の自 己判断 (体が重い、熱がある、寒気がする、など)や、調子に関わる個人データ(睡眠 時間や飲酒、喫煙、投薬情報など)が得られる。
[0084] 次に、画像撮影部 6が被写体のうち診断対象となる部位の画像を撮影する。この際 、被写体照射部 5が複数の光源を照射して撮影を行う (ステップ S5)。すなわち、光 源としては LEDを使用する力、白色光源を干渉フィルタと共に使用する力 本実施 形態の被写体照明部 5では、図 8〜図 12に示す特性を有する光源のうち 2種類の光 源 (色光 H及び色光 I)を使用する。これにより、図 14に示す特定部位 (a)の例では、 健常状態と異常状態で低波長側 (色光 Aの帯域に重なる)の差異が大きぐ図 15に 示す特定部位 (b)の例では、中域力 高域 (色光 Bの帯域に重なる)の差異が大きく なる。そして、色光 A及び色光 Bを被写体の特定部位 (a)に対して照射すると、被写 体の反射光のスペクトルは図 16に示すように色光 A又は色光 Bと被写体の分光反射 率の積となる。同様に、色光 A及び色光 Bを被写体の他の特定部位 (b)に対して照 射すると、被写体の反射光のスペクトルは図 17に示すように色光 A又は色光 Bと被写 体の分光反射率の積となる。
[0085] そして、画像撮影部 6は、被写体表面の反射光を撮像して画素値に変換する。その 際、チャンネルによって各色光に起因する反射光を分離することで、被写体の特定 部位ごとに健常状態及び異常状態における画素値を分離しやすくする。さらに、デ ータ処理部 10は撮影画像の中から興味領域の抽出を行う(ステップ S6)。
[0086] 撮像装置 2から外部通信部 3及び外部通信部 14を経由して、興味領域の撮影画 像をデータ管理装置 13に送信する (ステップ S7)。
[0087] データ管理装置 13に送信された興味領域の撮影画像は記憶部 19のデータ保持 部 20が保持する。そして、データ管理部 22は、データ保持部 20において保持される 各個人の画像データにタグ (付帯情報)を付けて管理する。
[0088] 次に、画像解析部 15は記憶部 19のデータ保持部 20が保持する興味領域の画像 データに基づき、被写体の特定部位ごとに健常状態と異常状態の画素値を分離する (ステップ S8)。そして健常状態 ·異常状態におけるそれぞれの画素値力も三刺激値 データ (RGB)をそれぞれ算出し、この三刺激値データ力 プライマリ変換によって反 応色データを算出し、この反応色データから均等色空間データに変換する (ステップ S9)。そして、この均等色空間データによって、図 26に示すように健常状態 ·異常状 態の色彩データを二次元以上 (本実施形態では二次元)の座標として表し、健常状 態と非健康時の座標を比較する (ステップ S10)。その結果、得られた座標が健常状 態の座標と比較してある一定の尺度で離れて ヽる場合は異常データと判断する (ス テツプ Sl l)。なお、健常状態データは記憶部 19のシステム情報保持部 22において 保持されている。
[0089] この健常状態と異常状態の判断としては、例えば、 620nm付近を中心とする狭帯域 の色光を照射すると血液中のヘモグロビンの画像に対する関与が強調されるという 報告があり、血流が途絶えてしまうような異常の検知に効果的と思われる。この場合、 図 8又は図 11の色光 Hを用いると良い。
[0090] また、 550應付近を中心とする狭帯域の色光を照射すると毛細血管の強調ができる という報告もある。指先など毛細血管が集まる部分での異常を検知するのに効果的と 思われる。この場合、図 8又は図 10の色光 Bを用いると良い。
[0091] また、画像撮影部 6によって時系列的(静止画を連続的に、動画的に)に撮影され た被写体の撮影画像を解析することにより、被写体の色彩データや三次元形状、テ タスチヤを計測 (推定)し、それらの推定データ力 皮膚下の組織構造に力かわるへ モグロビン量、メラニン量、酸素飽和度などを推定することもできる。また、目の画像か ら、まばたき回数や目(特に白目)の色、目やにの状況などのデータを取得してもよい
[0092] 画像解析部 15が画像解析により健康と診断した場合は、診断処理を終了する (ス テツプ S12)。一方、画像解析部 15が画像解析により不健康と診断した場合は (ステ ップ S13)、診断結果を表示部 18又画像表示部 4に表示すると共に (ステップ S14)、 画像解析の結果を、外部通信部 14を経由して外部装置 24、すなわち外部のコンサ ルタントや医療機関に送信する (ステップ S 15)。送信先は、上述のように何らかのコ ンサルティングや診断を受けられる所が望ましぐ例えば病院や健康管理施設などの 公共施設、コスメティック関係の店や施設'病院、インターネットサイト、携帯端末など が考えられる。
[0093] また、画像解析部 15が備える画像解析手段は、外部通信部 3又は外部通信部 14 を通じてコンサルタントなどに画像データを送付する場合、ユーザの許容に応じて伝 送できるデータの部位をモザイクやぼかしにより変更する。また、個人情報を安全に 秘匿するために、伝送されるデータやデータ管理装置 13の内部のデータは、各個人 ごとに暗号キーを変更して暗号化する。
[0094] なお、診断システムの導入時又は新 、ユーザを登録して間もな 、ときは、予め登 録された一般人の平均的なデータを使用して計測値を得る。また、診断システム 1を 使用するユーザのデータの平均値を使用して仮の計測値を得ることもできる。この場 合、所定の期間経過後に、ユーザの実データに切り替えて、それまでの仮の画像デ ータに対して計測値を更新する。
[0095] また、所定の期間ごとに画像表示部 4、ユーザインターフェイス部 11又は表示部 18 において診断システム 1の使用を促すァラートが表示される。これにより、所定の期間 ごとにデータが更新され、診断結果の信頼性が確保される。
[0096] また、システム情報保持部 22は、経時的に安定した画像計測値を得るため、診断 システム 1を構成する各装置の特性の経時変化を補正 (調整)するタイミングを設定し 、指定したタイミングに従って各装置の特性を計測 '補正する。また、周辺状況が変 化したときに、ユーザがキャリブレーションのタイミングを指示、もしくは、画像から自 動的に周辺状況の変化を検知して、キャリブレーションを行う。さらに、消耗品につい て使用が一定期間以上となった場合又は破損により交換が必要になった場合は、ュ 一ザインターフェイス部 11にお 、てァラートを出すことにより交換を促す。
[0097] 以上より、本実施形態の診断システム 1によれば、被写体の病変や異常は被写体 表面の分光スぺ外ルの狭い帯域の特性に現れるが、そうした帯域の影響が強調で きる特定の色光によって被写体を照射して撮影するので、画像データから病変ゃ異 常を検出しやすくなる。
[0098] また、健常状態と異常状態における被写体表面の分光反射率がどの波長領域に おいて顕著に相違するかは被写体依存だが、この波長領域に対応した各色光に起 因する反射光をチャンネルによって分離するので、特定の被写体に対して特定のチ ヤンネルで健常状態と異常状態の画素値の分離が容易となる。
[0099] さらに、座標上において健常状態と異常状態のデータを視覚により容易に判別す ることがでさる。
[0100] 以上詳細に説明したように、本発明の診断システムによれば、特定の色光の照射 により照射して画像データ力 病変や異常を検出しやすくなり、健常状態と異常状態 のデータの分離が容易となるので、健常状態と異常状態の判別による診断の精度を 向上させることができる。
[0101] また、特定の被写体に対して特定のチャンネルで健常状態と異常状態の画素値の 分離が容易となる。
[0102] さらに、座標上において健常状態と異常状態のデータを視覚により容易に判別す ることがでさる。
[0103] なお、本願における「診断システム」は、システム構成となって ヽればどのような形態 であっても構わない。また、診断システムに含まれる各構成要素を一つの装置として まとめたものや複数の装置で構成したものであっても本願発明の範疇に入るといえる

Claims

請求の範囲
[1] 撮影時に特定の色光の光源で被写体を照射する被写体照明部と、被写体を撮像 する画像撮影部とを備える撮像装置と、
前記撮像装置とネットワークを介して通信自在に接続され、前記撮像装置から送信 された画像データを管理するデータ管理部と、前記撮像装置から送信された画像デ ータを解析して健常状態と異常状態とを判別する画像解析部とを備えるデータ管理 装置と、が設けられたことを特徴とする診断システム。
[2] 異なる色光を発光する複数の光源により被写体を照射する被写体照明部と、 前記被写体照明部により照射された被写体を撮像する画像撮影部と、
前記画像撮影部で撮影された被写体表面の反射光を分離し、診断対象である被 写体の部位に適した反射光の情報を解析して健常状態と異常状態とを判別する画 像解析部と、
が設けられたことを特徴とする診断システム。
[3] 異なる色光を発光する複数の光源を有し、被写体を照射する被写体照明部と、 被写体と、被写体に適した色光の光源との相関情報を保持するシステム情報保持部 と、
前記相関情報をもとに、前記複数の光源のうち被写体に適した色光の光源を動作さ せるよう前記被写体照明部を制御する制御部と、
被写体に適した色光の光源により照射された被写体を撮像する画像撮影部と、 前記画像撮影部で撮影された画像データを解析して健常状態と異常状態とを判別 する画像解析部と、
が設けられたことを特徴とする診断システム。
[4] 前記画像解析部は画像データの画素値を色彩データに変換して座標上に表し、そ の座標が健常状態の座標と比較して所定の間隔以上離れている場合は異常データ と判断することを特徴とする請求の範囲第 1項〜第 3項の何れか 1項に記載の診断シ ステム。
PCT/JP2005/021348 2004-12-17 2005-11-21 診断システム WO2006064635A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006548732A JPWO2006064635A1 (ja) 2004-12-17 2005-11-21 診断システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-366508 2004-12-17
JP2004366508 2004-12-17

Publications (1)

Publication Number Publication Date
WO2006064635A1 true WO2006064635A1 (ja) 2006-06-22

Family

ID=36587696

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/021348 WO2006064635A1 (ja) 2004-12-17 2005-11-21 診断システム

Country Status (2)

Country Link
JP (1) JPWO2006064635A1 (ja)
WO (1) WO2006064635A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136778A (ja) * 2006-12-05 2008-06-19 Ministry Of National Defense Chung Shan Inst Of Science & Technology 医療情報と映像を結ぶ遠隔監視システム及びその方法
WO2008150343A1 (en) * 2007-05-22 2008-12-11 Eastman Kodak Company Monitoring physiological conditions
JP2009273605A (ja) * 2008-05-14 2009-11-26 Konica Minolta Medical & Graphic Inc 動態画像診断支援システム
JP2013506523A (ja) * 2009-10-06 2013-02-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム
WO2014030439A1 (ja) * 2012-08-20 2014-02-27 オリンパス株式会社 生体状態観察システム、生体状態観察方法、およびプログラム
WO2014087502A1 (ja) * 2012-12-05 2014-06-12 パイオニア株式会社 計測装置、プローブ部及び接続ケーブル
JP2014518647A (ja) * 2011-04-12 2014-08-07 ダイムラー・アクチェンゲゼルシャフト 少なくとも1人の車両乗員を監視する方法及び装置、及び少なくとも1つのアシスタント装置を作動させるための方法
JP2014226515A (ja) * 2013-05-27 2014-12-08 セコム株式会社 診断支援システム
TWI556793B (zh) * 2015-07-09 2016-11-11 國立臺灣科技大學 非接觸式即時生理訊號及動作偵測方法
US9517029B2 (en) 2011-06-06 2016-12-13 Sony Corporation Image processing device, image processing method, image processing system, program, and recording medium
JP2017080517A (ja) * 2017-01-19 2017-05-18 パイオニア株式会社 計測装置、プローブ部及び接続ケーブル
JP2017220807A (ja) * 2016-06-08 2017-12-14 株式会社日立システムズ 音声データ収集システム
WO2018078868A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
WO2018078867A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、動物の診断方法及びプログラム
WO2018078866A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
JP2022038639A (ja) * 2020-08-27 2022-03-10 キヤノンメディカルシステムズ株式会社 診断支援装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173182A (ja) * 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
JPH11194051A (ja) * 1998-01-05 1999-07-21 Matsushita Electric Ind Co Ltd 肌色領域検出装置及び方法
WO2004012461A1 (ja) * 2002-07-26 2004-02-05 Olympus Optical Co., Ltd. 画像処理システム
JP2004209227A (ja) * 2002-12-27 2004-07-29 Unilever Nv 皮膚の画像診断方法および装置
JP2004344583A (ja) * 2003-05-26 2004-12-09 Minolta Co Ltd 診断支援システムおよび端末装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173182A (ja) * 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
JPH11194051A (ja) * 1998-01-05 1999-07-21 Matsushita Electric Ind Co Ltd 肌色領域検出装置及び方法
WO2004012461A1 (ja) * 2002-07-26 2004-02-05 Olympus Optical Co., Ltd. 画像処理システム
JP2004209227A (ja) * 2002-12-27 2004-07-29 Unilever Nv 皮膚の画像診断方法および装置
JP2004344583A (ja) * 2003-05-26 2004-12-09 Minolta Co Ltd 診断支援システムおよび端末装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136778A (ja) * 2006-12-05 2008-06-19 Ministry Of National Defense Chung Shan Inst Of Science & Technology 医療情報と映像を結ぶ遠隔監視システム及びその方法
WO2008150343A1 (en) * 2007-05-22 2008-12-11 Eastman Kodak Company Monitoring physiological conditions
JP2009273605A (ja) * 2008-05-14 2009-11-26 Konica Minolta Medical & Graphic Inc 動態画像診断支援システム
JP2013506523A (ja) * 2009-10-06 2013-02-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム
US8938097B2 (en) 2009-10-06 2015-01-20 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
US9524548B2 (en) 2009-10-06 2016-12-20 Koninklijke Philips N.V. Method and system for obtaining a first signal for analysis to characterize at least one periodic component thereof
US10140532B2 (en) 2011-04-12 2018-11-27 Daimler Ag Method and device for monitoring at least one vehicle occupant, and method for operating at least one assistance device
JP2014518647A (ja) * 2011-04-12 2014-08-07 ダイムラー・アクチェンゲゼルシャフト 少なくとも1人の車両乗員を監視する方法及び装置、及び少なくとも1つのアシスタント装置を作動させるための方法
US9517029B2 (en) 2011-06-06 2016-12-13 Sony Corporation Image processing device, image processing method, image processing system, program, and recording medium
WO2014030439A1 (ja) * 2012-08-20 2014-02-27 オリンパス株式会社 生体状態観察システム、生体状態観察方法、およびプログラム
JPWO2014087502A1 (ja) * 2012-12-05 2017-01-05 パイオニア株式会社 計測装置、プローブ部及び接続ケーブル
US10070797B2 (en) 2012-12-05 2018-09-11 Pioneer Corporation Measuring apparatus, probe portion, and connecting cable
WO2014087502A1 (ja) * 2012-12-05 2014-06-12 パイオニア株式会社 計測装置、プローブ部及び接続ケーブル
JP2014226515A (ja) * 2013-05-27 2014-12-08 セコム株式会社 診断支援システム
TWI556793B (zh) * 2015-07-09 2016-11-11 國立臺灣科技大學 非接觸式即時生理訊號及動作偵測方法
JP2017220807A (ja) * 2016-06-08 2017-12-14 株式会社日立システムズ 音声データ収集システム
JPWO2018078868A1 (ja) * 2016-10-31 2018-10-25 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
WO2018078866A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
WO2018078867A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、動物の診断方法及びプログラム
WO2018078868A1 (ja) * 2016-10-31 2018-05-03 株式会社オプティム コンピュータシステム、物体の診断方法及びプログラム
JPWO2018078867A1 (ja) * 2016-10-31 2019-09-05 株式会社オプティム コンピュータシステム、動物の診断方法及びプログラム
JPWO2018078866A1 (ja) * 2016-10-31 2019-10-10 株式会社オプティム コンピュータシステム、植物の診断方法及びプログラム
US10643328B2 (en) 2016-10-31 2020-05-05 Optim Corporation Computer system, and method and program for diagnosing objects
US10685231B2 (en) 2016-10-31 2020-06-16 Optim Corporation Computer system, and method and program for diagnosing plants
US11100642B2 (en) 2016-10-31 2021-08-24 Optim Corporation Computer system, and method and program for diagnosing animals
JP2017080517A (ja) * 2017-01-19 2017-05-18 パイオニア株式会社 計測装置、プローブ部及び接続ケーブル
JP2022038639A (ja) * 2020-08-27 2022-03-10 キヤノンメディカルシステムズ株式会社 診断支援装置

Also Published As

Publication number Publication date
JPWO2006064635A1 (ja) 2008-06-12

Similar Documents

Publication Publication Date Title
WO2006064635A1 (ja) 診断システム
JP2007125151A (ja) 診断システム及び診断装置
JP5119921B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
CN108289613B (zh) 用于生理监测的***、方法和计算机程序产品
US9986913B2 (en) Method and system for analyzing physical conditions using digital images
CN105636506B (zh) 用于远程光体积描记法的自动相机调节
US7477767B2 (en) Systems and methods for analyzing skin conditions of people using digital images
AU2008223050B2 (en) Quantitative analysis of skin characteristics
US20090043210A1 (en) Data detection device and data detection method
US20100041968A1 (en) Image capture in combination with vital signs bedside monitor
US20120078113A1 (en) Convergent parameter instrument
JP2007295946A (ja) 酒気帯び検知システム及び酒気帯び検知方法
US20140221843A1 (en) Near-infrared imaging for diagnosis of sinusitis
WO2016067892A1 (ja) 健康度出力装置、健康度出力システムおよびプログラム
JPWO2014002255A1 (ja) 健康管理支援装置、方法およびプログラム
KR101862696B1 (ko) 실사와 컴퓨터 그래픽스 영상을 이용한 생체 정보 표시 시스템 및 그의 표시 방법
JP7051083B2 (ja) 心理状態判定方法、判定装置、判定システムおよび判定プログラム
JP2016052414A (ja) 概日リズム検査装置、概日リズム検査システムおよび概日リズム検査方法
JP2005094185A (ja) 画像処理システム、画像処理装置、および撮像制御方法
JP2007086872A (ja) 管理システム
WO2007035829A2 (en) Systems and methods for analyzing skin conditions of people using digital images
JP2004344583A (ja) 診断支援システムおよび端末装置
TWI489306B (zh) Health status assessment methods and the use of the method of health assessment system
KR20140092486A (ko) 패치형 생체 신호 측정 장치
WO2022191269A1 (ja) 肌状態測定システム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006548732

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05809157

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 5809157

Country of ref document: EP