System including devices and algorithms to evaluate scalp and hair health

Abstract

A device for detecting a scalp condition, wherein the scalp condition comprises at least a presence or absence of dandruff, including at least one camera configured to visualize a user's scalp, a diffusion cone disposed around the at least one camera, a lighting module comprising at least one light source, wherein the at least one light source is configured to emit light in a plurality of lighting conditions, and a processor configured to receive image data from the at least one camera captured during at least one lighting condition of the plurality of lighting conditions, and transmit the image data to a smart device to detect the scalp condition.

Description

SYSTEM INCLUDING DEVICES AND ALGORITHMS TO EVALUATE SCALP AND HAIR HEALTHSUMMARY

[0001] This summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This summary is not intended to identify key features of the claimed subject matter, nor is it intended to be used as an aid in determining the scope of the claimed subject matter.

[0002] In one aspect, disclosed herein is a device for detecting a scalp condition, a hair condition, or both, where the scalp condition comprises at least a presence or absence of dandruff, and the hair condition comprises a presence or absence of the hair condition, including at least one camera configured to visualize a user’s scalp, a diffusion cone disposed around the at least one camera, a lighting module including at least one light source, where the at least one light source is configured to emit light in a plurality of lighting conditions, and a processor configured to receive image data from the at least one camera captured during at least one lighting condition of the plurality of lighting conditions, and transmit the image data to a smart device to detect the scalp condition, the hair condition, or both.

[0003] In some embodiments, the image data comprises a set of images at one location of the user’s scalp under each lighting condition of the plurality of lighting conditions. In some embodiments, the plurality of lighting conditions includes a white light condition, a cross-polarized light condition, an ultraviolet (UV) light condition, or a combination thereof. In some embodiments, in the white light condition, white light is emitted in at least one brightness mode of a plurality of brightness modes.

[0004] In some embodiments, the at least one camera is a triple lens camera, and where each lens of the triple lens camera has a different focal length.

[0005] In another aspect, disclosed herein is a system for detecting a scalp condition, a hair condition, or both where the scalp condition comprises at least a presence or absence of dandruff, and the hair condition comprises a presence of an absence of the hair condition the system including the device as described herein and a smart device, where the smart device comprises a smart device processor, and where the smart device processor is configured to receive the image data from the device, input an image of the image data under a lighting condition of the plurality of lighting conditions, determine one  or more areas of one or more detected features at a pixel level of the image, and display the one or more areas as an overlay over the image data.

[0006] In some embodiments, the smart device processor is further configured to segment, at a pixel level, the image data, locate segmented dandruff, classify the segmented dandruff based on a number of dandruff, a size of dandruff, and a shape of dandruff based on statistical dandruff data, output a score for a severity of dandruff, and display contoured segments of the dandruff as the overlay over the image data.

[0007] In some embodiments, the smart device processor is further configured to segment hair strands in the image data based on color, determine a position and a direction of the hair strands, measure individual diameters of one or more of the hair strands, determine a mean hair diameter, output a hair score based on the hair condition, where the hair score comprises a mean diameter of the hair strands, a percentage of white or grey hairs, a detection of root color, or a combination thereof. In some embodiments, the smart device processor is further configured to estimate a number of hair roots in the image data, and output the hair score, wherein the hair score further comprises a probability of hair loss.

[0008] In some embodiments, a 3-layer convolutional neural network (CNN) with a same structure with a different sets of weights is used to predict the severity of dandruff score and a redness level of the scalp.

[0009] In some embodiments, the smart device processor is further configured to display hair strands and roots of the image data in a plurality of colors on a black background, and where the plurality of colors corresponds to individual diameters of one or more of the hair strands. In some embodiments, the smart device processor is further configured to indicate on the displayed image data when a hair strand is below a diameter threshold.

[0010] In some embodiments, the smart device processor is further configured to detect one or more colors on a pixel level in the image data indicative of porphyrins; , determine a number, a size, a shape, or a combination thereof of the porphyrins, output a porphyrin score, and display contours of the detected porphyrins as the overlay over the image data.

[0011] In yet another aspect, disclosed herein is a method of detecting a scalp condition, where the scalp condition comprises at least a presence or absence of dandruff, the method comprising placing the device described herein on the user’s scalp, emitting  light in a plurality of lighting conditions, capturing image data of the user’s scalp under each lighting condition of the plurality of lighting conditions, transmitting the image data to a smart device processor, analyzing each image of the image data under each lighting condition of the plurality of lighting conditions, detecting one or more areas of one or more detected features at a pixel level of the image, and displaying the detected areas overlaid on the image data.

[0012] In some embodiments, the method further comprises segmenting, at a pixel level, dandruff in the image data, classifying the segmented dandruff based on number of dandruff, size of dandruff, and shape of dandruff based on statistical dandruff data, outputting a score for a severity of dandruff, and displaying contoured segments of the dandruff as the overlay over the image data.

[0013] In some embodiments, the method further comprises segmenting, at a pixel level, hair strands in the image data based on color, determining a position and a direction of the hair strands, measuring individual diameters of one or more of the hair strands, determining a mean hair diameter, and outputting a hair score, wherein the hair score comprises a mean diameter of the hair strands, a percentage of white or grey hairs, a detection of root color, or a combination thereof.

[0014] In some embodiments, the method further comprises estimating a number of hair roots in the image data, and outputting a hair score, wherein the hair score comprises a probability of hair loss.

[0015] In some embodiments, the method further comprises storing the image data, the one or more areas, the one or more scalp conditions, or a combination thereof as historical data, and tracking the historical data over time to determine a change in the one or more scalp conditions.

[0016] In some embodiments, the method further comprises detecting one or more colors on a pixel level in the image data indicative of porphyrins, determining a number, a size, a shape, or a combination thereof of the porphyrins, outputting a porphyrin score, and displaying contours of the detected porphyrins as the overlay over the image data.

[0017] In some embodiments, the method further comprises recommending one or more treatments for the one or more scalp conditions.

[0018] DESCRIPTION OF THE DRAWINGS

[0019] The foregoing aspects and many of the attendant advantages of this invention will become more readily appreciated as the same become better understood by  reference to the following detailed description, when taken in conjunction with the accompanying drawings, wherein:

[0020] FIGURE 1A is a perspective side view of an example device for detecting a scalp condition, in accordance with the present technology;

[0021] FIGURE 1B is a perspective front view of an example device for detecting a scalp condition, in accordance with the present technology;

[0022] FIGURE 1C is a perspective front view of another example device for detecting a scalp condition, in accordance with the present technology;

[0023] FIGURE 1D is an example optical sensor for detecting a scalp condition, in accordance with the present technology;

[0024] FIGURE 2 is an example illustration of a plurality of brightness modes, in accordance with the present technology;

[0025] FIGURES 3A-3C are example image data of a scalp under different light conditions of a plurality of light conditions, in accordance with the present technology.

[0026] FIGURE 4A is a block diagram of an example system for detecting a scalp condition, in accordance with the present technology;

[0027] FIGURE 4B is an another block diagram of an example system for detecting a scalp condition, in accordance with the present technology;

[0028] FIGURE 4C is an example system for detecting a scalp condition, in accordance with the present technology;

[0029] FIGURE 5 is an illustration of an example device in use, in accordance with the present technology;

[0030] FIGURES 6A-6J are example visualizations, in accordance with the present technology;

[0031] FIGURE 7 is an example method for detecting a scalp condition, in accordance with the present technology;

[0032] FIGURE 8 is another example method for detecting a scalp condition, in accordance with the present technology;

[0033] FIGURE 9 is yet another example method for detecting a scalp condition, in accordance with the present technology; and

[0034] FIGURES 10A-10G show an example of model training and validation for dandruff scoring, segmentation, and hair segmentation.DETAILED DESCRIPTION

[0035] Dandruff is a common condition that causes the skin on the scalp to flake. Symptoms include flaking and sometimes mild itchiness. It can result in social or self-esteem problems. While dandruff can be detected with a visual inspection, it can be difficult to determine a classification of the dandruff, whether a dandruff treatment is working, and what may be the cause of the dandruff. For example, dandruff may be cause by fungal Malassezia, a natural organism found on the skin and scalp. Dandruff may also be caused by oily hair, psoriasis, or eczema. In each case, treatments differ.

[0036] Porphyrins are intermediate metabolites in the biosynthesis of vital molecules, including heme, cobalamin, and chlorophyll. Bacterial porphyrins are known to be proinflammatory, with high levels linked to inflammatory skin diseases. Porphyrins on the scalp can cause inflammation, redness, sores, and acne. It can also be difficult to detect porphyrins on the scalp, and thus difficult to treat them.

[0037] Further, an individual may wish to know and / or treat other scalp conditions, such as hair health, the presence of grease, hair strand diameter, hair diversity / thickness, grey hair, and the like.

[0038] Described herein is a scalp and / or hair reader, or device empowered by machine learning algorithms to quantitatively analyze consumers’ scalp and hair health based on images. The device is used to capture scalp images with multiple lighting modes. Detection results on scalp and hair health are analyzed and delivered to consumers. Scores on scalp dandruff level, porphyrin level, hair diameter, and hair root number count based on the images captured by the device are predicted by algorithms. In some embodiments, the analysis is based on a global scalp health index and / or a global hair fall risk index, which are correlations based on the output of the algorithms and / or answers to a user questionnaire. Care needed areas on the observed scalp and diversity of fiber diameters are also be detected and visualized by algorithms. Recommended products and treatments can be provided based on the analysis results.

[0039] In some embodiments, a set of algorithms is used that take the raw scalp images as input and predict scores corresponding to the scalp dandruff level, porphyrin level, redness level, mean hair diameter, and root number, respectively. Besides the score predictions, visualizations of segmented dandruffs, porphyrins, hair fibers, and hair roots are masked by algorithms. The algorithms for score prediction and the visualization of all the above-mentioned scalp and hair parameters are constructed based on deep learning  models and conventional image processing methods. In one example, the deep learning models include convolutional neural network (CNN) based deep learning models. Statistical data, such as the number count, the distribution of dandruff / porphyrin’ size, and hair fiber diameters, are analyzed by the algorithms. To secure the accuracy of the algorithms, a large dataset of scalp images was collected. The algorithms were trained and tested based on the specially collected dataset for a high accuracy.

[0040] FIG. 1A is a perspective side view of an example device 100 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the device 100 includes a diffusion cone 105, a body 110, one or more actuators 115A, 115B, 115C, a processor 120, a power indicator 125, and a battery 130.

[0041] In some embodiments, the diffusion cone 105 is a protrusion located at a frontside of the body 110. The diffusion cone may be configured to be widest towards the body 110 and taper as it extends from the body 110. In some embodiments, a length of the diffusion cone is determined based on a distance needed for an optical sensor (such as shown in FIG. 1B) to capture image data of a scalp when an end of the diffusion cone 105 contacts the scalp (as shown in FIG. 5) . In some embodiments, the diffusion cone 105 is configured to block light from a light source (such as shown in FIGS 1B-1D) so that an optical sensor may capture image data of the scalp under a particular light condition, as described in detail herein.

[0042] While the body 110 is illustrated as a cylinder in FIG. 1A, it should be understood that the body 110 may be any form factor. In some embodiments, the body 110 is rounded, angular, organically shaped, or the like. In some embodiments, the body 110 is comprised of plastic, metal, ceramic, or a combination thereof. In some embodiments, the body 110 is configured to be held in a hand of an operator or user. In some embodiments, a hair clamp (not pictured in FIG. 1A) may be used to hold hair in place and allow the device 100 to better visualize the scalp and / or hair.

[0043] The one or more actuators 115A, 115B, 115C may be configured to perform a variety of functions, including, but not limited to, turning the device 100 ON / OFF, emitting or ceasing the emitting of light from a light source (as shown in FIGS 1B-1D) , changing a lighting condition or light mode of the light, as explained herein, capturing image data of the scalp, and / or pairing the device 100 with another device (such as smart device 1000 in FIG. 4C) over a wireless connection, such as Wi-Fi, Bluetooth LTETM, Zigbee or the like. In some embodiments, the actuators 115A, 115B, 115C are buttons, but  in other embodiments, the actuators 115A, 115B, 115C may be switches, touch type capacitance buttons, levers, or the like.

[0044] One skilled in the art should understand that processor 120 is internal to the body 110 but is illustrated in FIG. 1A for clarity. In some embodiments, processor 120 is configured to capture and store image data from one or more optical sensors (as shown in FIGS 1B-1D) , control one or more light sources, and / or transmit image data to another device (such as smart device 1000 in FIG. 4C) . In some embodiments, the processor is configured to communicatively couple with a smart device over a wireless or wired connection.

[0045] In some embodiments, the device 100 includes a power indicator 125. In some embodiments, the power indicator 125 indicates a power level of the device. In some embodiments, the power indicator 125 is configured to emit a variety of colors to transmit a status of the device 100, such as green for charged, red for low power, yellow for charging, or the like. In some embodiments, the power indicator 125 may indicate a status of the device that is not related to the power of the device 100, such as by blinking to indicate the device 100 is pairing with an external device, a flash to indicate image data has been captured, a color associated with a particular light condition, or the like.

[0046] The battery 130 may be internal or external to device 100. In some embodiments, the battery 130 may be accessed by removing an end of the device 100. In some embodiments, the battery 130 is a single use battery, but in other embodiments, the battery 130 is a rechargeable battery, or a capacitor. In some embodiments, the battery 130 may be charged through a wired or wireless connection.

[0047] In operation, the device 100 is configured to be held by a user or operator, such as a beauty salon technician or pharmacist. In some embodiments, the operator places the diffusion cone 105 onto a client’s scalp, such as shown in FIG. 5. In some embodiments, the operator moves the client’s hair out of the way, such as by manually moving the hair, brushing the hair, or securing the hair with a clip or other fastener. In some embodiments, the diffusion cone 105 separates one or more optical sensors, light sources, or the like from the scalp, so as to capture image data and / or emit light in a plurality of light conditions (as described in FIGS 1B-1D) . The operator may actuate the one or more actuators 115A, 115B, 115C to begin and / or end image data capture. After capturing the image data under one or more light conditions, the processor 120 may transmit the image data to an external device for processing and / or detecting a scalp condition. As used  herein, a scalp condition includes at least a presence or absence of dandruff, a presence or absence of porphyrin, a presence or absence of grease, a presence or absence of grey hair, a hair thickness, a probability of hair loss, a hair diversity, and / or a presence or absence of redness. In some embodiments, diagnosis of the hair and / or scalp condition is determined with a single “spot, ” that is where a plurality of images is taken from a single location on the scalp. In other embodiments, diagnosis of the hair and / or scalp condition is determined with multiple “spots. ” In such embodiments, a user or operator may move the device 100 over multiple locations on the scalp. Image data from each of these locations may be analyzed separately, or together, to determine a hair and / or scalp condition. In some embodiments, the device 100 may direct the user to move the device 100 to multiple locations, such as with a vibration, alert, tone, or other instruction.

[0048] FIG. 1B is a perspective front view of an example device 100 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the device 100 includes a diffusion cone 105, a body 110, a light source 135, and an optical device 140. In FIG. 1B, an end of the diffusion cone 105 is shown. In some embodiments, on the body 110, but inside the diffusion cone 105, is the light source 135 and the optical device 140.

[0049] In some embodiments, the light source 135 is a light-emitting diode (LED) . In some embodiments, the light source 135 is configured to emit light in a plurality of light conditions (as shown in FIGS 3A-3C) . In some embodiments, the plurality of light conditions includes white light (i.e., light emitted at a wavelength of 400-700 nm) , cross-polarized light (i.e., where two polarizers with perpendicular orientation to one another are used on incident and reflected lights) , and / or ultraviolet (UV) light (i.e., light emitted at a wavelength of 100-400 nm) . In some embodiments, the light source 135 is also configured to emit white light at a plurality of brightness modes (such as shown and described in FIG. 2) .

[0050] In some embodiments, the optical device 135 is a camera. In some embodiments, the optical device 135 is configured to capture image data of a scalp. In some embodiments, the optical device 135 is a single lens camera. In some embodiments, the optical devices 135 is communicatively coupled with a processor (such as processor 120) . In some embodiments, the optical device 135 transmits the captured image data to the processor.

[0051] In operation, a user or operator places the diffusion cone 105 onto the scalp. The light source 135 emits light at a first light condition of the plurality of light conditions. The optical sensor 140 may then capture image data of the scalp under the first light condition. In some embodiments, the image data is one or more pictures, but in other embodiments, the image data may be a video. The light source 135 may then emit a second light condition of the plurality of light conditions. The optical sensor 140 may then capture image data of the scalp under the first light condition. This repeats until the optical sensor 140 captures image data under either all light conditions of the plurality of light conditions or a predetermined subset of the light conditions of the plurality of light conditions. A processor (such as processor 120) may then transmit the image data captured by the optical sensor 140 to an external device (such as smart device 1000 in FIG. 4C) .

[0052] FIG. 1C is a perspective front view of another example device 100 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the device 100 includes a plurality of light sources 135A, 135B, 135C.

[0053] In some embodiments, each light source of the plurality of light sources 135A, 135B, 135C is configured to emit a different light condition of the plurality of light conditions. For example, if there are three light sources of the plurality of light sources 135A, 135B, 135C, a first light source 135A may to emit white light, a second light source 135B may emit cross-polarized light, and a third light source 135C may emit UV light.

[0054] FIG. 1D is an example optical sensor 140 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the optical sensor 140 is a camera. In some embodiments, the optical sensor 140 is a triple lens camera. In some embodiments, the optical sensor has a first lens 145A, a second lens 145B, and a third lens 145C. In some embodiments, where each lens 145A, 145B, 145C of the triple lens camera has a different focal length.

[0055] In operation, each lens in the optical sensor 140 is configured to capture image data at a predetermined focal length, so that multiple focal length images of the scalp may be captured. In some embodiments, instead of a triple lens camera, the optical sensor 140 is a plurality of optical sensors, where each optical sensor is configured to capture image data at a plurality of focal lengths.

[0056] FIG. 2 is an example illustration of a plurality of brightness modes, in accordance with the present technology. In some embodiments, the one or more light sources (such as shown in FIGS 1B-1C) are configured to emit light in a plurality of  brightness (or “light” ) modes. While five modes are shown in FIG. 2, it should be understood any number of light modes may be emitted by the one or more light sources. In some embodiments, as the number of the light mode increases, the brightness level of the light decreases (i.e., Mode 5 is the darkest and Mode 0 is the brightest) . In some embodiments, a processor (such as processor 120) controls the brightness mode based on detected light from an optical sensor (such as optical sensor 140) . In some embodiments, one or more actuators (such as one or more actuators 115A, 115B, 115C) may be actuated to control the brightness mode.

[0057] FIGS 3A-3C are example image data of a scalp under different light conditions of a plurality of light conditions, in accordance with the present technology. FIG. 3A shows image data of a scalp under white light, FIG. 3B shows an image of the scalp under cross polarized light, and FIG. 3C shows an image of a scalp under UV light. Under each light condition, different scalp conditions may be detectable, such as dandruff, redness, irritation, acne, inflammation, and / or porphyrins.

[0058] For example, under white light, such as shown in FIG. 3A, hair segmentation algorithms may be applied to detect hair characteristics such as hair color (such as black hairs and white hairs) , hair roots, hair root color , and the like. Under cross-polarized light, such as shown in FIG. 3B, acne, inflammatory dermatoses, redness, dandruff, and ecchymosis may be detectable. Under UV light, as shown in FIG. 3C, porphyrins may be detectable, as shown by the lighter spots (or “detected areas” ) .

[0059] FIG. 4A is a block diagram of an example system 4000 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the system 4000 includes a device 100 (such as shown in FIGS 1A-1D) , a smart device (or “scalp reader system” ) 1000, and an application 1040. In some embodiments, the application 1040 is downloaded on the smart device 1000, but in other embodiments, it can be separate from the smart device, such as on a browser of another external device.

[0060] As shown in FIGS 1A-1D, the device 100 may include a camera module (or optical device) 140, a lighting adjust module (or light source) 135, and a transmission module (or processor) 120. As described herein, in operation, the device 100 captures image data with the camera module 140 under a plurality of light conditions emitted by the lighting adjust module 135 and transmits this image data to the smart device 1000 with the transmission module 120.

[0061] In some embodiments, the scalp reader system 1000 includes an image capture module 10, a feature scoring module 20, and a result analysis module 30.

[0062] In some embodiments, the image capture module 10 is configured to receive a set of scalp images (or “image data” ) under three or more lighting conditions (such as shown in FIGS 3A-3C) .

[0063] In some embodiments, the feature scoring module 20 receives one image under a specific lighting condition at a time as an input and outputs a corresponding score that reflects one or more scalp conditions (such as dandruff or redness level for an image under a cross-polarized lighting condition) . In some embodiments, the feature scoring module 20 applies a deep learning algorithm to the input to determine the score. For example, in some embodiments, the feature scoring module 20 applies deep learning models (such as a 3-layer convolutional neural network (CNN) ) with a same structure but different sets of weights to predict the score of dandruff level and redness level, respectively.

[0064] In some embodiments, the result analysis module 30 is configured to, based on the above score, generate an analysis report on the scalp and hair health to give scores on a scalp condition, such as dandruff, redness, hair fiber diameter, hair root count, hair fall risk level, porphyrin level, etc. In some embodiments, the result analysis module 30 applies a deep learning algorithm to the input to determine the score. The smart device 1000 may include any number of additional modules, such as shown in FIG. 4B.

[0065] The application 1040 may be located on the smart device 1000. In some embodiments, the application 1040 includes a live-streaming module 1041, a transmission module 1042, and one or more display modules 1043.

[0066] In some embodiments, the live-streaming module 1041 is configured to display or show the image data received by the device 100. For example, if the image data is a video or live stream, the live streaming module 1041 may show the image data in real time as an operator moves the device of an individual’s scalp. In some embodiments, the image data is one or more photos. In such embodiments, the live-streaming module 1041 may be omitted, or may be configured to display the image data as photos.

[0067] The transmission module 1042 is configured to transmit information to an operator of the device and / or to the one or more algorithms of the smart device 1000 for processing.

[0068] In some embodiments, the display module 1043 is configured to display one or more overlays over the image data associated with a detected scalp condition, as explained in detail herein.

[0069] In one example, the system of FIG. 4A is configured to detect dandruff and / or redness of a scalp. In such embodiments, the image capture module 10 obtains a set of scalp images at one location under three lighting modes. The feature scoring module 20, inputs one image of the image data under a specific light mode a time and outputs the corresponding score that reflects the scalp conditions (for dandruff or redness level) . Deep learning models (such as 3-layer CNN) with a same structure but different sets of weights are used to predict the score of dandruff level and redness level, respectively.

[0070] FIG. 4B is another block diagram of an example system 4000 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the system 4000 also includes one or more scoring modules, one or more segmentation modules, one or more postprocessing modules, a statistic module, a segment tracking module, a score calculator, and a visualization module. In some embodiments, each of these modules are located on a smart device (such as smart device 1000) . In some embodiments, one or more of these modules may be omitted.

[0071] In block 405, raw images are obtained. Generally, the system 4000 is configured to receive image data from a device (such as device 100) . This image data may be referred to as “raw images. ” Raw images can also be images taken by the device that have not been filtered or altered.

[0072] In block 410A a scoring module applied an algorithm to the raw images based on the lighting condition each image was captured under, one or more colors of the image, or both. For example, if the raw image was taken in white light, the scoring module may generate a redness score, such as a percentage of redness present on the image, a shade of redness or the like. As another example, if the raw image was taken in UV light, the scoring module may detect porphyrins based on one or more colors in the raw image.

[0073] In block 415A, scores are generated by the scoring module. In some embodiments, only a single score is generated, such as a redness score. In some embodiments, multiple scores are generated at once, such as a dandruff score and a redness score.

[0074] Returning to block 405, in some embodiments, the raw images are also input to one or more segmentation modules.

[0075] In block 410B, the one or more segmentation modules receive the raw images as input and output individual segments of features of the hair and / or scalp. In some embodiments, one or more areas of one or more detected features at a pixel level of the image are determined by the segmentation module.

[0076] In block 415B, induvial segments of the detected features are output. In some embodiments, features include dandruff, hair strands (or “fibers” ) , hair roots, or the like. In some embodiments, blocks 410A and 410B occur, either simultaneously or sequentially. In some embodiments, only block 410A or 410B are performed.

[0077] In block 420, one or more postprocessing modules receive the scores and / or the individual segments of features from blocks 415A and / or 415B, respectively. In some embodiments, the postprocessing modules include a statistic module 425A, a segment tracking module 425B, a score calculator 425C, and / or a visualization module 425D.

[0078] In blocks 430A and 430B, the output from one or more of the post-processing modules are used to generate an analysis report (430A) and / or visualize one or more care need areas or regions (430B) .

[0079] In block 435, products and / or treatments are recommended. In some embodiments, the products and / or treatments are recommended by the application 1040.

[0080] In one example, the system 400 is configured to determine one or more scalp conditions, such as dandruff, hair quality, and / or hair roots. In such examples, the image capture module (such as image capture module 10) is used to obtain a set of scalp images at one location under a plurality of lighting conditions. In some embodiments, the plurality of lighting conditions includes white light, UV light, and / or cross-polarized light. Next, the feature segmentation module 410B receives an input of one image of the image data under a specific light model a time and outputs areas of detected features at pixel level with a probability (between 0-1) for scalp or hair conditions. In some embodiments deep learning models (such as U-net) with the same structure and different sets of weights are used to segment dandruff, and hair fiber / root, respectively. For dandruff segmentation model, the outputs are dandruff class and the scalp class by pixels. For hair segmentation model, the outputs are 5 classes of black fiber, black fiber root, white fiber, white fiber root, scalp by pixels.

[0081] A segments tracking module (425B) is implemented specifically for hair fiber detection. As a part of the segments tracking module, a fiber tracking function is  configured to locate the position and direction of fibers at pixel level based on the segmented hair fiber result.

[0082] In some embodiments, a statistical analysis module (425A) is implemented. For dandruff, the statistical analysis module locates the segmented dandruff class at pixel level and calculates the number, size, and shape of dandruffs. For dandruff, the types of dandruff are classified based on the statistical data of dandruff segments. For hair fiber, a diameter sampler function was made to collect the individual fiber diameters by sampling. For hair root, a density estimator function may count the number of hair roots.

[0083] In some embodiments, a score calculating module (425C) may be implemented. In some embodiments, the score calculating module determines the mean, median, quarters of the dandruff size and / or hair fiber. The diameter may be calculated by a function. For hair fiber, score of hair fiber diameter is calculated based on mean fiber diameter. Similarly, a score of hair fall risk is calculated by a hair diversity function and optionally, information collected by a questionnaire. The hair diversity function may classify the sampled fibers based on diameter into 3 classes from thin to thick. A hair diversity score is calculated based on the comparison result of the mean diameter and the number of the fibers for the 3 fiber classes.

[0084] In some embodiments, a visualization module (425D) is implemented. For dandruff, contours of segmented dandruffs on the raw images are masked by visualization functions (as shown in FIGS 6A-6f) . In some embodiments, for hair, the hair fibers and roots are masked in different colors with a black background of scalp is functionalized. In some embodiments, for thin fibers that are at a diameter below a threshold value, a pointer will be showed on the raw image by a visualization function.

[0085] In another example, the system 4000 may detect a presence / absence and / or severity score of porphyrins. In such embodiments, the image capture module obtains a set of scalp images at one location under three lighting modes. The feature detection module receives as an input one image under UV light mode a time. The feature detection module detects areas of a specific color that indicates the porphyrins in UV images. In some embodiments, a traditional image processing method based on python-opencv package may be used to screen out the pixels with color in the range of the determined RGB values. Then, the feature scoring module can determine the number, size, shape of the detected porphyrins calculated by a function. A porphyrin score may be calculated based on the area  fraction of porphins in the raw image. The visualization module may display contours of detected porphyrins on the raw images are masked by visualization functions.

[0086] FIG. 4C is an example system 4000 for detecting a scalp condition, in accordance with the present technology. As explained herein, in some embodiments, the system 4000 includes a device 100 and a smart device 1000. The smart device 1000 may house an application 1040 described herein. In some embodiments, the device 100 and the smart device 1000 are communicatively coupled, such as through a wireless connection. Example wireless connections include Wi-Fi, Zigbee, and Bluetooth LTE.

[0087] FIG. 5 is an illustration of an example device 100 in use, in accordance with the present technology. An operator, such as a hairdresser, pharmacist, dermatologist, or the like can visualize an individual’s scalp by placing the diffusion cone onto the scalp. In some embodiments, an operator may use the device and application to provide more professional and personalized scalp and hair care service in the hair salons. Highly accurate and quantitative results describing the scalp and hair health based on multiple parameters can be delivered to help establish a scientific product / treatment service based on diagnosis in hair salon.

[0088] FIGS 6A-6J are example visualizations, in accordance with the present technology. In some embodiments, after processing the raw image data and detecting the one or more scalp conditions, the smart device 100, through an application, displays the image data including one or more overlays.

[0089] FIGS 6A-6F are visual representations of the visualizations used to show concepts with clarity, while FIGS 6G-6J are photographs of similar example visualizations. Accordingly, in FIGS. 6A-6F, the smart device 1000, image data 1002, hair strands 1007A, 1007B, 1007C…and a score 1003 are shown.

[0090] For example, FIG. 6A and 6G both show a scalp image without an overlay. In such examples, no scalp conditions were detected. As shown in 6A, the image data 1002 shows multiple hair strands 1007A, 1007B, 1007C... and no areas of detection, as no scalp conditions were detected. A score 1003 is output based on whether (and what severity) of scalp conditions were detected.

[0091] In FIG. 6B, porphyrins 1008A, 1008B…are shown as an overlay on the image data 1002. Accordingly, the score 1003 would reflect the presence of porphyrins and / or an intensity of porphyrins based on size, shape, and or number of porphyrins.

[0092] In FIG. 6C, dandruff flakes 1009A, 1009B…are shown as an overlay on the image data 1002. Accordingly, the score 1003 would reflect the presence of dandruff, a classification of dandruff, or both, based on the size, shape, and / or number of dandruff flakes.

[0093] In FIG. 6D, hair strands are shown with different dash varieties to represent different thicknesses. FIG. 6D is a visual representation of the photograph of FIG. 6J. In some embodiments, hair strand thickness is indicated by different colors. In some embodiments, hair strand thickness may be classified in other ways, such as with labels as shown in FIG. 6J. Hair strand thickness, as explained herein, is determined based on hair strand diameter. The score 1003 of FIG. 6D would be based on a number of hair strands in each of the diameter categories. In some embodiments, a low score 1003 is indicative of potential hair loss.

[0094] In some embodiments, thin hairs are indicated with one or more indicators, as shown graphically in FIG. 6E and photographically in FIG. 6I. In some embodiments, the one or more indicators 1011A, 1011B, 1011C are pointers or arrows.

[0095] In FIG. 6H, hair roots are identified. In some embodiments, the overlay visualizes strands of hair and / or the roots of hair.

[0096] In FIG. 6F, multiple overlays are shown on one image 1002. In some embodiments, multiple of the visualizations shown in FIGS 6A-6J may be generated and overlaid over a single image. For example, FIG. 6F shows multiple skin conditions, including detected porphyrins 1008A, 1008B…, dandruff 1009A, 1009B…and thin hair indicators 1011A, 1011B, 1011C. In such cases, all of these features may be shown on a single image 1002. While score 1003 may be a general hair or scalp health score, in some embodiments, an independent score 1003 is generated for each condition (i.e., a dandruff score, a porphyrin score, a hair diversity score, and the like) .

[0097] FIG. 7 is an example method 700 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the method 700 may be carried out with a device (such as device 100) having an optical sensor (such as optical sensor 140) and a light source (such as light source 135) . The device may be communicatively coupled to a smart device (such as smart device 1000) having an application (such as application 4000) . The device, smart device, and application may be referred to herein as a system (such as system 4000) . In some embodiments, the system includes one or more scoring modules, one or more segmentation modules, one or more  postprocessing modules, a statistic module, a segment tracking module, a score calculator, and a visualization module (as shown in FIGS 4A-4C) . In some embodiments, each of these modules are located on a smart device. In some embodiments, one or more of these modules may be omitted.

[0098] In block 705, the device is placed on a user’s scalp. In some embodiments, this may be done by a hairdresser, a pharmacist, a dermatologist, or the like.

[0099] In block 710, light is emitted from the light source in a plurality of lighting modes (or conditions) . In some embodiments, the plurality of lighting conditions includes white light, UV light, and / or cross-polarized light. In some embodiments, the light is emitted at one of a plurality of brightness modes (such as shown in FIG. 3) .

[0100] In block 715, image data of the user’s scalp is captured with the optical device. Image data (or “raw images” ) may be video or static images. In some embodiments, image data is a live feed (or “live stream” ) of the scalp in real-time. In some embodiments, image data is captured during each lighting condition (or a subset of lighting conditions) of the plurality of lighting conditions. For example, one image of the image data may be captured in white light, cross-polarized light, and UV light.

[0101] In block 720, the image data is transmitted to the smart device. In some embodiments, this is facilitated by a processor (such as processor 120) over a wired or wireless connection (such as Wi-Fi, Bluetooth LTE, or Zigbee) .

[0102] In block 725, each image of the image data is analyzed with one or more algorithms as described herein. For example, in some embodiments, each image of the image data is analyzed with the one or more scoring modules, the one or more segmentation modules, the one or more postprocessing modules, the statistic module, the segment tracking module, the score calculator, and / or the visualization module.

[0103] In block 730, areas of detected features are detected at a pixel level (such as with the segmentation module described herein) . In some embodiments, detected features include dandruff, redness, porphyrins, hair thickness, hair diversity, and the like.

[0104] In block 735, the detected areas (or features) are shown visually as an overlay over the image data. Examples of this visual overlay are shown and described in FIGS 6A-6J. In some embodiments, the visual overlay is accompanied with a score (such as score 1003) and / or a report. In some embodiments, the score and / or the report provide a diagnosis of the one or more scalp conditions. In some embodiments, the report may also provide a recommendation for treatment.

[0105] FIG. 8 is another example method 800 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the method 800 may be carried out with a device (such as device 100) having an optical sensor (such as optical sensor 140) and a light source (such as light source 135) . The device may be communicatively coupled to a smart device (such as smart device 1000) having an application (such as application 4000) . The device, smart device, and application may be referred to herein as a system (such as system 4000) . In some embodiments, the system includes one or more scoring modules, one or more segmentation modules, one or more postprocessing modules, a statistic module, a segment tracking module, a score calculator, and a visualization module (as shown in FIGS 4A-4C) . In some embodiments, each of these modules are located on a smart device. In some embodiments, one or more of these modules may be omitted. In some embodiments, method 800 is a subset of method 700.

[0106] In block 805, dandruff is segmented at a pixel level, as described in FIG. 4B. In some embodiments, a 3-layer CNN algorithm is used to segment the dandruff.

[0107] In block 810, the segmented dandruff is classified. Classification can include size of dandruff, shape of dandruff, a number of dandruff, and / or type of dandruff.

[0108] In block 815, a score is output for the severity / presence of the dandruff. In some embodiments, the score is based on the classification in block 810. In some embodiments, the visual overlay is accompanied with a report. In some embodiments, the score and / or the report provide a diagnosis of the one or more scalp conditions. In some embodiments, the report may also provide a recommendation for treatment.

[0109] In block 820, the identified (or segmented) dandruff is displayed as an overlay over the image data, as shown in FIG. 6B.

[0110] FIG. 9 is yet another example method 900 for detecting a scalp condition, in accordance with the present technology. In some embodiments, the method 900 may be carried out with a device (such as device 100) having an optical sensor (such as optical sensor 140) and a light source (such as light source 135) . The device may be communicatively coupled to a smart device (such as smart device 1000) having an application (such as application 4000) . The device, smart device, and application may be referred to herein as a system (such as system 4000) . In some embodiments, the system includes one or more scoring modules, one or more segmentation modules, one or more postprocessing modules, a statistic module, a segment tracking module, a score calculator, and a visualization module (as shown in FIGS 4A-4C) . In some embodiments, each of  these modules are located on a smart device. In some embodiments, one or more of these modules may be omitted. In some embodiments, method 900 is a subset of method 700.

[0111] In block 905, hair strands are segmented at a pixel level, as described in FIG. 4B. In some embodiments, a U-net algorithm is used to segment the hair strands.

[0112] In block 910, the segmented hair strands are measured to determine a diameter of the hair strands. In some embodiments, a direction of the hair strands and / or a color of the hair strands may also be determined.

[0113] In block 915, a mean hair diameter is determined based on the measurements of block 910.

[0114] In block 920, a number of hair roots is estimated. This can be done by detecting the hair roots as shown in FIG. 6H.

[0115] In block 925, a score is output for the hair. In some embodiments, the score is based on the measurements and metrics of blocks 910, 915, and 920. In some embodiments, the hair score includes a thickness of the hair, a probability of hair loss, a number of (or percentage of) grey hairs, a hair diversity, and the like. In some embodiments, a visual overlay may also be displayed, such as shown in FIGS. 6G-6J. In some embodiments, the visual overlay is accompanied with a report. In some embodiments, the score and / or the report provide a diagnosis of the one or more scalp conditions. In some embodiments, the report may also provide a recommendation for treatment.

[0116] It should be understood that all methods 700, 800, and 900 should be interpreted as merely representative. In some embodiments, process blocks of all methods 700, 800, and 900 may be performed simultaneously, sequentially, in a different order, or even omitted, without departing from the scope of this disclosure.

[0117] EXAMPLE

[0118] FIGS 10A-10E show an example of model training and validation for dandruff scoring and segmentation. The development of the algorithm goes through several stages including data collection, manual labelling, algorithm training, algorithm validation and so on.

[0119] FIG. 10A is an example method of the process of generating a dandruff score.

[0120] In block 305, a raw image under a cross-polarized (Xpol) lighting condition is obtained.

[0121] In block 310, a single image of the raw images is read (such as by system 400) .

[0122] In block 315, a function (defined as img_array_norm_320) normalizes the image and determines a presence or absence of dandruff through segmentation (as shown in FIG. 10D) .

[0123] In block 320, the segmented image is modified with a function (defined as model_dandruff_score) which compares the detected dandruff with the model described herein.

[0124] In block 325, a predicted dandruff score is generated with about 0～5 as a base.

[0125] In block 330, this score is converted.

[0126] In block 335, a predetermined dandruff score is generated with about 0～100 as a base.

[0127] The model was trained on 4000 cross polarized images for different people covering multiple types of scalp and hair problems to construct a wide dataset for algorithm development. Each image was labeled with a Eurosyn average dandruff score from experts, using the raw cross-polarized images. This data was then fed to a model having a 3-layer CNN network structure.

[0128] FIG. 10B is a graph of the average error (mean standard deviation among experts) . The whole dataset of raw images was collected from over 200 volunteers covering multiple scalp and hair tones / types from Asian, Caucasian, and African American people. The whole dataset consists over 10K images. For the whole dataset, over 10 experts were hired to mark the degree of dandruff level on one single image. The labels are determined as the mean of the experts’ scores for model training, which work as the groundtruth of the dataset. The average manual error (mean standard deviation) of the experts’ scores is at 0.49 (for a 0-5 scale) for dandruff level, which works as a benchmark for algorithm evaluation. For the dandruff scoring prediction module, a 3-layer CNN model was trained based on a training dataset consisting of 4000 cross-polarized light mode images. During the training process, the weights, hyperparameters, and the structure of the neural network were adjusted to obtain the best candidate. As shown in FIG. 10B, the average error was 0.49 for the Eurosyn score.

[0129] FIG. 10C is a graph of the mean absolute error (MAE) of the model on the test data. A test dataset with a size of 10%of the training dataset (400 images for dandruff  scoring model) was built to evaluate the trained model. For the evaluation of the model, the predicted dandruff score was compared with the groundtruth (mean of the experts’ scores) and the absolute error was recorded for each image. The mean absolute error of the trained model on the test dataset is at 0.150, which is way lower than the manual error of the experts’ marking as mentioned before, thereby showing the advance of the trained algorithm.

[0130] FIG. 10D is a representative image of model training for dandruff segmentation for visualization. Likewise, the dandruff segmentation model was trained in a similar way as the dandruff scoring model. The structure of the segmentation model was selected as a U-net model. The training dataset consists of hundreds of images with manually masked contours of dandruffs (in different types) . The test dataset also follows a 10%of the training dataset.

[0131] FIG, 10E shows a graph of receiver operating characteristics (ROC) . For a segmentation task, the F1 score or the ROC_AUC which can be considered as a combination of precision and recall was used to evaluate the trained model. For dandruff segmentation, the average ROC_AUC reaches a 0.959 for the test dataset, which is considered as a high-accurate model.

[0132] FIGS 10F-10G show an example of model training and validation for hair root scoring and segmentation. In FIG. 10F, a representative hair root scoring and segmentation method for visualization is shown. The model was trained on 172 white-light lighting condition masked images (124 from a hair reader and 48 from a scalp reader (such as device 100) ) . Each image was labeled manually. In this case, a U-net structure model was used.

[0133] The model was validated for root detection (testing on 20 images –10 normal and 10 dark) . An F1 score was determined of 0.886. Table 1 shows the results of this validation.

[0134] Table 1

[0135] FIG. 10G is a graph showing a representative test of predicted and actual test results. Precision is defined as shown in equation 1.

[0136] Where TP is true positive, and FP is false positive.

[0137] Recall is defined as shown in equation 2.

[0138] Where TP is true positive and FN is false negative.

[0139] F1 score is defined by equation 3.

[0140] The model was also validated for hair diameter. 85%matched from QNR response by HD (N=66) in Quali @JP.

[0141] While illustrative embodiments have been illustrated and described, it will be appreciated that various changes can be made therein without departing from the spirit and scope of the invention.

[0142] The present application may reference quantities and numbers. Unless specifically stated, such quantities and numbers are not to be considered restrictive, but representative of the possible quantities or numbers associated with the present application. Also, in this regard, the present application may use the term “plurality” to reference a quantity or number. In this regard, the term “plurality” is meant to be any number that is more than one, for example, two, three, four, five, etc. The terms “about, ” “approximately, ” “near, ” etc., mean plus or minus 5%of the stated value. For the purposes of the present disclosure, the phrase “at least one of A, B, and C, ” for example, means (A) , (B) , (C) , (A and B) , (A and C) , (B and C) , or (A, B, and C) , including all further possible permutations when greater than three elements are listed.

[0143] Embodiments disclosed herein may utilize circuitry in order to implement technologies and methodologies described herein, operatively connect two or more components, generate information, determine operation conditions, control an appliance, device, or method, and / or the like. Circuitry of any type can be used. In an embodiment, circuitry includes, among other things, one or more computing devices such as a processor  (e.g., a microprocessor) , a central processing unit (CPU) , a digital signal processor (DSP) , an application-specific integrated circuit (ASIC) , a field-programmable gate array (FPGA) , or the like, or any combinations thereof, and can include discrete digital or analog circuit elements or electronics, or combinations thereof.

[0144] An embodiment includes one or more data stores that, for example, store instructions or data. Non-limiting examples of one or more data stores include volatile memory (e.g., Random Access memory (RAM) , Dynamic Random Access memory (DRAM) , or the like) , non-volatile memory (e.g., Read-Only memory (ROM) , Electrically Erasable Programmable Read-Only memory (EEPROM) , Compact Disc Read-Only memory (CD-ROM) , or the like) , persistent memory, or the like. Further non-limiting examples of one or more data stores include Erasable Programmable Read-Only memory (EPROM) , flash memory, or the like. The one or more data stores can be connected to, for example, one or more computing devices by one or more instructions, data, or power buses.

[0145] In an embodiment, circuitry includes a computer-readable media drive or memory slot configured to accept signal-bearing medium (e.g., computer-readable memory media, computer-readable recording media, or the like) . In an embodiment, a program for causing a system to execute any of the disclosed methods can be stored on, for example, a computer-readable recording medium (CRMM) , a signal-bearing medium, or the like. Non-limiting examples of signal-bearing media include a recordable type medium such as any form of flash memory, magnetic tape, floppy disk, a hard disk drive, a Compact Disc (CD) , a Digital Video Disk (DVD) , Blu-Ray Disc, a digital tape, a computer memory, or the like, as well as transmission type medium such as a digital and / or an analog communication medium (e.g., a fiber optic cable, a waveguide, a wired communications link, a wireless communication link (e.g., transmitter, receiver, transceiver, transmission logic, reception logic, etc. ) . Further non-limiting examples of signal-bearing media include, but are not limited to, DVD-ROM, DVD-RAM, DVD+RW, DVD-RW, DVD-R, DVD+R, CD-ROM, Super Audio CD, CD-R, CD+R, CD+RW, CD-RW, Video Compact Discs, Super Video Discs, flash memory, magnetic tape, magneto-optic disk, MINIDISC, non-volatile memory card, EEPROM, optical disk, optical storage, RAM, ROM, system memory, web server, or the like.

[0146] The detailed description set forth above in connection with the appended drawings, where like numerals reference like elements, are intended as a description of various embodiments of the present disclosure and are not intended to represent the only  embodiments. Each embodiment described in this disclosure is provided merely as an example or illustration and should not be construed as preferred or advantageous over other embodiments. The illustrative examples provided herein are not intended to be exhaustive or to limit the disclosure to the precise forms disclosed. Similarly, any steps described herein may be interchangeable with other steps, or combinations of steps, in order to achieve the same or substantially similar result. Generally, the embodiments disclosed herein are non-limiting, and the inventors contemplate that other embodiments within the scope of this disclosure may include structures and functionalities from more than one specific embodiment shown in the figures and described in the specification.

[0147] In the foregoing description, specific details are set forth to provide a thorough understanding of exemplary embodiments of the present disclosure. It will be apparent to one skilled in the art, however, that the embodiments disclosed herein may be practiced without embodying all the specific details. In some instances, well-known process steps have not been described in detail in order not to unnecessarily obscure various aspects of the present disclosure. Further, it will be appreciated that embodiments of the present disclosure may employ any combination of features described herein.

[0148] The present application may include references to directions, such as “vertical, ” “horizontal, ” “front, ” “rear, ” “left, ” “right, ” “top, ” and “bottom, ” etc. These references, and other similar references in the present application, are intended to assist in helping describe and understand the particular embodiment (such as when the embodiment is positioned for use) and are not intended to limit the present disclosure to these directions or locations.

[0149] The present application may also reference quantities and numbers. Unless specifically stated, such quantities and numbers are not to be considered restrictive, but exemplary of the possible quantities or numbers associated with the present application. Also, in this regard, the present application may use the term “plurality” to reference a quantity or number. In this regard, the term “plurality” is meant to be any number that is more than one, for example, two, three, four, five, etc. The term “about, ” “approximately, ” etc., means plus or minus 5%of the stated value. The term “based upon” means “based at least partially upon. ”

[0150] The principles, representative embodiments, and modes of operation of the present disclosure have been described in the foregoing description. However, aspects of the present disclosure, which are intended to be protected, are not to be construed as limited  to the particular embodiments disclosed. Further, the embodiments described herein are to be regarded as illustrative rather than restrictive. It will be appreciated that variations and changes may be made by others, and equivalents employed, without departing from the spirit of the present disclosure. Accordingly, it is expressly intended that all such variations, changes, and equivalents fall within the spirit and scope of the present disclosure as claimed.

Claims

1.A device for detecting a scalp condition, a hair condition, or both, wherein the scalp condition comprises at least a presence or absence of dandruff, and the hair condition comprises a presence or absence of the hair condition, comprising:at least one camera configured to visualize a user’s scalp;a diffusion cone disposed around the at least one camera;a lighting module comprising at least one light source, wherein the at least one light source is configured to emit light in a plurality of lighting conditions; anda processor configured to:receive image data from the at least one camera captured during at least one lighting condition of the plurality of lighting conditions; andtransmit the image data to a smart device to detect the scalp condition, the hair condition, or both.2.The device of Claim 1, wherein the image data comprises a set of images at one location of the user’s scalp under each lighting condition of the plurality of lighting conditions.3.The device of Claim 1, wherein the plurality of lighting conditions includes a white light condition, a cross-polarized light condition, an ultraviolet (UV) light condition, or a combination thereof.4.The device of Claim 3, wherein in white light condition, white light is emitted in at least one brightness mode of a plurality of brightness modes.5.The device of Claim 1, wherein the at least one camera is a triple lens camera, and where each lens of the triple lens camera has a different focal length.6.A system for detecting a scalp condition, a hair condition, or both wherein the scalp condition comprises at least a presence or absence of dandruff, and the hair condition comprises a presence of an absence of the hair condition the system comprising:the device of Claim 1; anda smart device, wherein the smart device comprises a smart device processor, and wherein the smart device processor is configured to:receive the image data from the device;input an image of the image data under a lighting condition of the plurality of lighting conditions;determine one or more areas of one or more detected features at a pixel level of the image; anddisplay the one or more areas as an overlay over the image data.7.The system of Claim 6, wherein the smart device processor is further configured to:segment, at a pixel level, the image data;locate segmented dandruff;classify the segmented dandruff based on a number of dandruff, a size of dandruff, and a shape of dandruff based on statistical dandruff data;output a score for a severity of dandruff; anddisplay contoured segments of the dandruff as the overlay over the image data.8.The system of Claim 6, wherein the smart device processor is further configured to:segment hair strands in the image data based on color;determine a position and a direction of the hair strands;measure individual diameters of one or more of the hair strands;determine a mean hair diameter; andoutput a hair score based on the hair condition, wherein the hair score comprises a mean diameter of the hair strands, a percentage of white or grey hairs, a detection of root color, or a combination thereof.9.The system of Claim 8, wherein the smart device processor is further configured to:estimate a number of hair roots in the image data; andoutput the hair score, wherein the hair score further comprises a probability of hair loss.10.The system of Claim 6, wherein a 3-layer convolutional neural network (CNN) with a same structure with a different sets of weights is used to predict the severity of dandruff score and a redness level of the scalp.11.The system of Claim 10, wherein the smart device processor is further configured to display hair strands and roots of the image data in a plurality of colors on a black background, and wherein the plurality of colors corresponds to individual diameters of one or more of the hair strands.12.The system of Claim 10, wherein the smart device processor is further configured to:indicate on the displayed image data when a hair strand is below a diameter threshold.13.The system of Claim 6, wherein the smart device processor is further configured to:detect one or more colors on a pixel level in the image data indicative of porphyrins;determine a number, a size, a shape, or a combination thereof of the porphyrins;output a porphyrin score; anddisplay contours of the detected porphyrins as the overlay over the image data.14.A method of detecting a scalp condition, wherein the scalp condition comprises at least a presence or absence of dandruff, the method comprising:placing the device of Claim 1 on the user’s scalp;emitting light in a plurality of lighting conditions;capturing image data of the user’s scalp under each lighting condition of the plurality of lighting conditions;transmitting the image data to a smart device processor;analyzing each image of the image data under each lighting condition of the plurality of lighting conditions;detecting one or more areas of one or more detected features at a pixel level of the image; anddisplaying the detected areas overlaid on the image data.15.The method of Claim 14, further comprising:segmenting, at a pixel level, dandruff in the image data;classifying the segmented dandruff based on number of dandruff, size of dandruff, and shape of dandruff based on statistical dandruff data;outputting a score for a severity of dandruff; anddisplaying contoured segments of the dandruff as the overlay over the image data.

Images