Data-based personalized site-specific care advising model powered with artificial-intelligence

Abstract

Described is a computer-implemented system (CIS), a computer-implemented method (CIM), and / or or machine learning algorithm (MLA) that generates anatomically site-specific advice on topical anatomy healthcare, such as oral hygiene care based on images initially generated using a mobile phone (e.g., a smart phone) or other hand-held devices. The CIS, CIM, or MLA contains a generative artificial intelligence (AI) platform operably linked to a graphical user interface (GUI) and a discriminative AI platform. The discriminative AI platform generates topical, anatomical images contain the state of health of specific sites on the anatomy, while the generative AI platform generates anatomically site-specific health-based advice based on the image generated by the discriminative AI platform, and transmits the advice to the GUI. The disclosed CIM, CIS, or MLA provides new platforms that utilize AI to provide, automatically and instantaneously, personalized oral hygiene care.

Description

DATA-BASED PERSONALIZED SITE-SPECIFIC CARE ADVISING MODEL POWERED WITH ARTIFICIAL-INTELLIGENCETechnical Field:

[0001] This invention is generally related to healthcare, particularly a computer-implemented system / method for analyzing data (image-based and / or text based) on one or more tissues (such as from the mouth, e.g., gingivae) , providing advice on care (e.g., oral hygiene) based on the state of health on specific sites of the one or more tissuesBackground:

[0002] Gum disease is a globally prevalent disease affecting up to 50%of the world's population. It affects the supporting tissue of teeth and leads to destruction of alveolar bond, tooth loss, resulting in difficulties in eating, speaking, compromised appearance as well as many systemic diseases. The cause of gum diseases is mainly due to the accumulation of dental plaque along the gum margin, resulting in localized gum inflammation. Inflammatory gum diseases are preventable with self-oral hygiene measures such as tooth brushing and interdental cleaning. This inflammatory disease is, however, a site-specific inflammatory response to locally deposited dental plaque and can only be resolved by proper mechanical cleaning of individual sites. Therefore, inflammatory gum diseases or disorders, such as bleeding gum, still occur in significant adult populations even though most adults in these populations brush their teeth twice a day and use additional hygiene measures such as mouthwash and toothpick. In a recent survey in one specific region, almost all the elderly brushed their teeth at least once per day. However, >90%of them still had inflamed gums and >45%had poor oral cleanliness.

[0003] Inflammatory gum disease is chronic in nature and, therefore, most individuals in a population are not aware of the presence of this disease until the disease is at an advance or late stage where most preventive and / or simple treatments are ineffective. Because of time constraints and concerns about the cost of professional treatment, a significant number of the world’s population does not have regular dental check-up. In the elderly population, in particular, access to dental care is more restricted due to increased financial and / or physical limitations. In situations with unnoticeable disease progression, insufficient oral hygiene practice, and limited access to dental care, the prevalence of inflammatory gum diseases will  be higher, and it could lead to severe consequences up to tooth-loss. The associated inflammatory mediators also affect the general health and are linked with diseases such as endocrine disease such as diabetes, and cardiovascular diseases including stroke and hypertension. To solve these problems, readily accessible in-hand and / or at-home delivery of personalized oral hygiene advice would be a therapeutic solution for both prevention and maintenance purpose of inflammatory gum diseases.

[0004] Therefore, it is an object of the invention to provide a computer-implemented system and / or method that can analyze data (e.g., imaged-based, text-based, or a combination thereof) and make health-based recommendations (e.g., on oral hygiene care) .

[0005] It is also an object of the invention to provide a computer-implemented system and / or method that can analyze data (e.g., imaged-based, text-based, or a combination thereof) and make health-based, personalized recommendations (e.g., on personal oral hygiene care) .

[0006] It is another object of the invention to provide a computer-implemented system and / or method containing a generative artificial intelligence platform that can analyze data (e.g., imaged-based, text-based, or a combination thereof) and make health-based recommendations (e.g., on oral hygiene care) .

[0007] It is another object of the invention to provide a computer-implemented system and / or method containing a generative artificial intelligence platform that can analyze data (e.g., imaged-based, text-based, or a combination thereof) and make health-based, personalized recommendations (e.g., on personal oral hygiene care) .Summary of Invention:

[0008] A computer-implemented system (CIS) and / or a computer-implemented method (CIM) that is not limited to any particular hardware or operating system is provided. The CIS or CIM generates anatomically site-specific advice on topical anatomy healthcare. In a preferred form, the CIS and / or CIM generate anatomically site-specific healthcare advice, such as oral hygiene care based on intraoral images initially generated using a mobile phone (e.g., a smart phone) or other hand-held devices.

[0009] In a preferred form, the CIS contains a generative artificial intelligence (AI) platform operably linked to a graphical user interface (GUI) . The generative AI  platform, developed based on dental professional advice (e.g., advice by a dentist) , generates anatomically site-specific health-based advice, preferably personalized, by analyzing an intraoral image, and transmits the site-specific health-based advice to the GUI for an individual in need of the advice. Preferably, the intraoral image contains results of periodontal health, such as (i) healthy, (ii) diseased, and (iii) questionable, on specific areas of the gum. The generative AI platform contains a generative machine learning algorithm that has been trained and / or tested to produce the anatomically site-specific healthcare advice, such as oral hygiene care. The anatomically site-specific advice can include brushing techniques or flossing recommendations, such as gentle brushing with soft bristle toothbrush (such as when defect is in marginal gingivae) , interdental brushing (such as when defect is in interdental gingivae) , or a combination thereof.

[0010] Preferably, the CIS further contains a discriminative AI platform operably linked to the generative AI platform. Preferably, the discriminative AI platform is operably linked to an end-user device from which initial data to be analyzed by the CIS is collected and / or transmitted. The discriminative AI platform can be on a server that is the same of different from the server containing the generative AI platform. In some forms, the discriminative AI platform is on an end-user device (such as a mobile phone, e.g., a smartphone) that also contains the generative AI platform. The discriminative AI platform performs site-specific periodontal anatomy disease detection based preferably on a digital pixelated photograph. Upon completion, the discriminative AI platform generates intraoral image-based data that are transmitted to the generative AI platform. Based on this information and the location of disease, the disclosed generative AI platform, provides personalized site-specific advice on how to keep the gum clean and / or healthy.

[0011] Also described is a computer-implemented method (CIM) for generating anatomically site-specific healthcare advice on oral hygiene care, using the disclosed CISs. Preferably, the CIM involves (i) analyzing an intraoral image-based data, and (ii) displaying anatomically site-specific advice on oral hygiene care to a graphical user interface (GUI) based on the analysis in step (i) . Prior to step (i) , the intraoral image in step the CIS generates an intraoral image-based data, by analyzing a digital pixelated photograph. Preferably, the intraoral image-based data, is generated using a discriminative AI platform described above.

[0012] Also described are methods of using the disclosed CIS or CIM. The CIS or CIM is one of general applicability and is not limited to data from a patient population in a specific geographical region of the world. Preferably, the CIS or CIM is used to provide information about an individual’s oral health status and to provide healthcare advice on how to improve the individual’s health status, where needed. Users can use a mobile phone (e.g., smartphone) and an instant messenger app (e.g., WhatsApp or WeChat) to capture a photograph of their anterior teeth and upload the photograph to CIS housed on a server. In some forms, the need for a server is obviated, such as where a mobile phone (e.g., smartphone) has the requisite computation power to perform analyses using the CIS and / or CIM. Alternatively, users can install a mobile application or website and send out a photograph (s) to the CIS. The CIS or CIM includes a means to perform a quality check of the photograph and will instruct users to retake photograph if needed. Based on the photograph, the CIS or CIM identifies the gum and then labels specific sites with labels such as: (i) healthy, (ii) diseased, and (iii) questionable. Based on the status of the area (e.g., gum) and its location, the CIS or CIM provides advice on how to improve the health state of one or more areas of the gum. Preferably, the advice is image-based (e.g., photographic based) , personalized to the individual’s needs, and / or powered by the generative AI platform.

[0013] The disclosed CIM or CIS provides new platforms that utilize AI to provide, automatically and instantaneously, personalized topical, anatomical healthcare advice (e.g., oral hygiene care, epidermal care, mucosal care, etc. ) for diseased anatomy based on one or more photographs generated using a mobile phone (e.g., a smartphone) .Brief Description of Drawings:

[0014] FIG. 1 is a flowchart showing a non-limiting example of how the proposed personalized site-specific oral hygiene care advising AI model works.

[0015] FIG. 2 is a non-limiting example of a system architecture diagram. It depicts a flowchart showing how a non-limiting personalized site-specific oral hygiene advising AI model works.

[0016] FIG. 3 is a non-limiting example of a personalized site-specific oral hygiene advice labelled on site of gum inflammation which is marked by an intermediate layer between the teeth and the remainder of the gums.Detailed Description of the Invention:

[0017] I. Definitions

[0018] “Discriminative artificial intelligence” or “discriminative AI” refers to a set of machine learning techniques / algorithms that typically make predictions or inferences based on analysis of input data. Discriminative AI platforms are also known as predictive artificial intelligence.

[0019] “Generative artificial intelligence” or “generative AI” refers to a set of machine learning techniques / algorithms that enable human-like creative tasks to be performed with the help of machine learning models.

[0020] “Intraoral” refers to the anatomy of the inside of the mouth or components inside the mouth such as gums and teeth.

[0021] “Operably linked” refers to the connection of at least two components in a CIS via technology including, but not limited to, ethernet, Bluetooth, near field communication, WiFi, integrated circuits, or a combination thereof.

[0022] II. Computer-implemented systems and methods

[0023] i. Computer-implemented System

[0024] A computer-implemented system (CIS) that is not limited to any particular hardware or operating system is provided for processing and / or analyzing imaging and / or non-imaging input data is described. In particular, the CIS is capable of generating health-based advice, preferably personalized, health-based advice, by analyzing topical, anatomical data from a subject. In more preferred forms, the health-based advice is anatomically site-specific, containing instructions on how to attend to subsections of the anatomy of interest. The data are preferably image-based, text-based, or a combination thereof. In more preferred forms, the data are image-based.

[0025] The CIS contains a generative artificial intelligence (AI) platform operably linked to a graphical user interface (GUI) . The generative AI platform generates health-based advice, preferably personalized, health-based advice, by analyzing topical, anatomical data from a subject. The data are preferably image-based, text-based, or a combination thereof. In more preferred forms, the data are image-based. The anatomical data can be intraoral, mucosal, or epidermal, preferably intraoral. The generative machine learning algorithm is designed to generate advice that resembles human-created output, such as instructions on how to take care of a topical  anatomy. The algorithm analyzes and learns from existing data and then generates advice based on that analysis. In some forms, the generative machine learning algorithm assesses topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or a combination thereof; epidermal image-based data, epidermal text-based data, or a combination thereof; mucosa image-based data, mucosa text-based data, or a combination thereof) to generate healthcare advice. Preferably, the topical, anatomical data contains site-specific information on the state of health of specific sites on the anatomy of interest. In preferred forms, the topical, anatomical data are intraoral image-based data, text-based data, or a combination thereof, and contain results of periodontal health. In more preferred forms, the image-based data, text-based data, or combination thereof, contain site-specific periodontal disease information. In some forms, the site-specific periodontal disease information involves marginal gingivae, attached gingivae, interdental gingivae, oral mucosa, alveolar mucosa, or a combination thereof.

[0026] Current work involving CISs in healthcare settings typically involves detecting the presence or absence of a disease / disorder, or various stages of a disease / disorder. These traditional methods then involve healthcare counselling by a healthcare professional in the relevant field. However, no reports are currently available involving CISs that provide advice and / or suggestions on appropriate steps to remediate the detected disease / order. Providing such advice is particularly absent where the advice is based on site-specific anatomical health. Such advice is highly relevant especially in resource-limited settings when immediate expert interpretation is not readily available, subject are concerned with healthcare costs, and / or have limited physical access to sites of healthcare. The disclosed CIS can automatically deliver the site-specific, topical, anatomical care advice (e.g., oral hygiene care advice, epidermal care advice, or mucosa care advice) upon detection of inflammation. Such advice includes clear and exact instructions on how to take care of specific site of inflamed anatomy (e.g., gum, epidermis, or mucosa) .

[0027] Also described is a machine learning algorithm operably linked to a processor, a GUI, or a combination thereof. As used herein, a processor is a hardware component of a device that executes instructions and calculations to run programs and the device’s operating system. Such a device typically electronically acquires, stores, analyzes, processes, and / or outputs data or other information. Examples include, but are not limited to smartphone, laptop, desktop computer,  mainframe, watch, tablet, etc. The machine learning algorithm contains a generative AI platform configured to process topical, anatomical data (such as an intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis-image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) . Optionally, output from the machine language algorithm is transmittable to the GUI.

[0028] The disclosed generative AI platforms can be trained on a variety of data types, such as images, texts, or a combination thereof. The generative AI platform works by first being trained on an appropriate-sized dataset of existing data relevant to the advice it will generate. This could be, for example, a dataset of images, texts, or a combination thereof. The generative AI platform then uses these training data to create a mathematical model that represents the patterns and structures in the data. Once the model has been created, the generative AI platform can generate healthcare based advice by using the learned patterns and structures to produce output that is similar to the original dataset.

[0029] In some forms, the generative machine learning algorithm has been trained to produce anatomically site-specific advice on topical anatomy. In preferred forms, the advice can be on oral hygiene care, epidermal care, or mucosal care, more preferably oral hygiene care. In some forms, the generative machine learning algorithm has been trained and tested based on advice from a professional in the relevant field. For instance, in the case of the epidermis, the generative machine learning algorithm is trained and tested based on advice from a dermatologist. In the case of oral hygiene care, the generative machine learning algorithm is trained and tested based on advice from a healthcare professional including, but not limited to calibrated professionals selected from dental professional, periodontist, etc., preferably a dentist. Preferably, the dentist is specialized in either periodontics for periodontal diseases, or in oral medicine for dental mucosal diseases.

[0030] In training the generative AI platform, both of a generator and discriminator need to be trained. The discriminator determines whether the advice is given by a health care professional (e.g., dentist, periodontist, dermatologist, etc. ) or by the generator. During the discriminator training, input data (e.g., intraoral images, epidermal images, mucosal images) and other information, along with true and fake advice are used to update its parameters. Since the input is multimodal, it can include encoder, recurrent neural network architectures in order to enable the discriminator  to predict. In the generator training phase, the generator updates its parameters from the error feedback from the discriminator. The generator performs cross-domain generation, which takes, as an example, an intraoral photograph and possibly along with other information as input and produces site-specific advice in text as output. Random vector may also be used when one or more multimodal inputs are not available.

[0031] When the topical anatomy is intraoral, the anatomically site-specific advice can include brushing techniques or flossing recommendations, such as gentle brushing with soft bristle toothbrush (such as when inflammation is in marginal gingivae) , interdental brushing and / or flossing (such as when inflammation is in interdental gingivae) , smoking cessation, avoiding deleterious foods such as betel nut, etc., or a combination thereof.

[0032] In some forms, the present CIS includes a generative AI platform powered by a generative machine learning algorithm, developed via coding techniques. In some forms, the generative machine learning algorithm involves supervised, unsupervised, or semi-supervised algorithms. In some forms, the machine learning module comprises neural networks selected from recurrent neural networks, convolutional neural networks, and artificial neural networks. The CIS contains a generator and discriminator during training. After training the generator is used for advice generation. In a non-limiting example, the generator accepts as input: (1) an image (e.g., an intraoral photograph) ; and (2) optionally other information including a random vector. It is a conditioned generator which takes the image (e.g., an intraoral photograph) in conditional advice generation. The generator first performs inflammation segmentation and produces segmentation image with inflammation severity in pixel level. Then the segmented image, the input image (e.g., intraoral photograph) , and the random vector are fed into a deep encoder to generate a latent vector. The generator can also detect mucosal changes such as red-or white-colored mucosa lesions. It is then decoded to text advice by using a neural network architecture such as recurrent neural network (such as Long short-term memory network (LSTM) , transformer, etc. ) .

[0033] In some forms, the generative AI platform is on an end-user device, such as a mobile phone (e.g., a smartphone) . In some forms, the generative AI platform is on a server. Preferably, the server is operably linked to a GUI, such as that described above. The GUI displays the relevant healthcare advice produced by the generative  AI platform. In some forms, the healthcare advice is displayed on the GUI within twenty-four hours, within 18 hours, within 12 hours, within 6 hours, within 2 hours, within 1 hour, within 30 minutes, within 15 minutes, within 5 minutes, within 1 min, within 30 seconds, within 20 seconds, within 10 seconds, or within a second following input of topical, anatomical data by the CIS. Preferably, the healthcare advice is displayed within 10 seconds. The GUI can be a digital screen such as the screen of smartphone, laptop, desktop computer, watch, tablet, etc.

[0034] Preferably, the CIS further contains a discriminative AI platform operably linked to the generative AI platform. Preferably, the discriminative AI platform is operably linked to an end-user device from which initial data to be analyzed by the CIS is collected and / or transmitted. In some forms, the discriminative AI platform is on an end-user device, such as a mobile phone (e.g., a smartphone) that also contains the generative AI platform. The discriminative AI platform can be on a server that is the same of different from the server containing the generative AI platform. Preferably, the discriminative AI platform and the generative AI platform are on the same server. The discriminative AI platform performs site-specific topical anatomy (e.g., periodontal anatomy) disease detection based preferably on a digital pixelated photograph. Upon completion, the discriminative AI platform generates topical, anatomical data (e.g., intraoral image-based data, intraoral text-based data, or combination thereof; epidermal imaged-based data, epidermal text-based data, or combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) that are transmitted to the generative AI platform. Preferably, the data analyzed by the discriminative AI platform are a digital pixelated photograph, such as one obtained using a mobile phone (e.g., smartphone) or other handheld devices. A discriminative AI platform that can be incorporated in the disclosed CIS has been clinically tested with over 90%accuracy in gum disease detection. Therefore, the discriminative AI platform can be used to detect gum disease accurately. Based on this information and the location of disease, the disclosed generative AI platform, developed based on dental professional advice (e.g., advice by a dentist) , can provide personalized site-specific advice on how to keep the gum clean and / or healthy.

[0035] In some forms, the present machine learning algorithm includes a generative AI platform powered by a generative machine learning algorithm, developed via coding techniques. In some forms, the generative machine learning algorithm  involves supervised, unsupervised, or semi-supervised algorithms. In some forms, the machine learning module contains neural networks selected from recurrent neural networks, convolutional neural networks, and artificial neural networks. The machine learning algorithm contains a generator and discriminator during training. After training the generator is used for advice generation. In a non-limiting example, the generator accepts as input: (1) an image (e.g., an intraoral photograph) ; and (2) optionally other information including a random vector. It is a conditioned generator which takes the image (e.g., an intraoral photograph) in conditional advice generation. The generator first performs inflammation segmentation and produces segmentation image with inflammation severity in pixel level. Then the segmented image, the input image (e.g., intraoral photograph) , and the random vector are fed into a deep encoder to generate a latent vector. It is then decoded to text advice by using a neural network architecture such as recurrent neural network (such as Long short-term memory network (LSTM) , transformer, etc. ) .

[0036] In some forms, the generative AI platform of the machine learning algorithm is on a server. Preferably, the server is operably linked to a GUI, such as that described above. The GUI displays the relevant healthcare advice produced by the generative AI platform. In some forms, the healthcare advice is displayed on the GUI within twenty-four hours, within 18 hours, within 12 hours, within 6 hours, within 2 hours, within 1 hour, within 30 minutes, within 15 minutes, within 5 minutes, within 1 min, within 30 seconds, within 20 seconds, or within 10 seconds following input of topical, anatomical data by the machine learning algorithm. Preferably, the healthcare advice is displayed within 10 seconds. The GUI can be a digital screen such as the screen of smartphone, laptop, desktop computer, watch, tablet, etc.

[0037] Preferably, the machine learning algorithm further contains a discriminative AI platform operably linked to the generative AI platform. Preferably, the discriminative AI platform is operably linked to an end-user device from which initial data to be analyzed by the machine learning algorithm is collected and / or transmitted. The discriminative AI platform can be on a server that is the same of different from the server containing the generative AI platform. Preferably, the discriminative AI platform and the generative AI platform are on the same server or end-user device (such as a mobile phone, e.g., a smartphone) . The discriminative AI platform performs site-specific topical anatomy (e.g., periodontal anatomy)  disease detection based preferably on a digital pixelated photograph. Upon completion, the discriminative AI platform generates topical, anatomical data (e.g., intraoral image-based data, intraoral text-based data, or combination thereof; epidermal imaged-based data, epidermal text-based data, or combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) that are transmitted to the generative AI platform. Preferably, the data analyzed by the discriminative AI platform are a digital pixelated photograph, such as one obtained using a mobile phone (e.g., smartphone) or other handheld devices. A discriminative AI platform that can be incorporated in the disclosed machine learning algorithm has been clinically tested with over 90%accuracy in gum disease detection. Therefore, the discriminative AI platform can be used to detect gum disease accurately. Based on this information and the location of disease, the disclosed generative AI platform, developed based on dental professional advice (e.g., advice by a dentist) , can provide personalized site-specific advice on how to keep the gum clean and / or healthy.

[0038] A non-limiting discriminative AI platform for automatic site-specific multiple level gum disease detection is described in GH Li, et al., 2021 15th International Symposium on Medical Information and Communication Technology (ISMICT) , the contents of which are hereby incorporated by reference in their entirety.

[0039] An Architecture and Training for Generating

[0040] a Personalized Site-specific Oral Hygiene Advice

[0041] A non-limiting proposed computer-implemented system with AI capabilities can be composed of two stages for providing oral hygiene advice:

[0042] 1. a first stage involving low level gum inflammation and conditions detection, with an output that can be a multiple level segmentation result preferably in pixel level; and

[0043] 2. a higher-level generative advice network to infer advice (preferably comprehensive advice) from the input gum inflammation detection sub-systems. Preferably, the generative advice network infers the advice with the guidance from an object detection module, and users’ medical and sociodemographic data such as age, ethnicity, diabetic status, and smoking status, etc. It is understood that an object detection module can involve the use of one or more neural networks to localize and classify one or more objects in an image.

[0044] a. System Design

[0045] The output of a first stage is a multiple severity level label map indicating diseased, questionable, healthy gum conditions, or a combination thereof, at the pixel level. Preferably, the dimensions of the label map are the same as those of the input image. The first stage preferably involves a semantic segmentation module with enhanced accuracy and validated with clinical photographs. The semantic segmentation could be implemented using neural network models such as DeepLab or its variant, Vision Transformer, Encoder-Decoder (U-Net) networks, etc.

[0046] In a second stage, an object detection module preferably first identifies gum margin positions at free gingiva margins (around a tooth) and interdental papilla (between two teeth) . The object detector may be implemented using YOLO (You Only Look Once) , SSD (Single Shot MultiBox Detector) , RetinaNet; Faster R-CNN, Mask R-CNN, Cascade R-CNN; DETR (Detection Transformer) , Swin Transformer, etc. The detected region of interest (ROI) proposals can be fed into a generative advice network as visual embeddings along with the gum condition from the first stage. Medical and sociodemographic data can also be encoded into embeddings, such as “demographic embeddings” , preferably using one-hot encoding or learned embeddings. The combined embeddings can be aligned to a shared space using a multi-modal model such as VisualBERT, LXMERT. The combined embeddings can serve as input to an inference generation model that can generate natural language inferences. These natural language inferences involve one or more site-specific oral hygiene instructions. This advice may include direction (e.g., vertical, horizontal and / or mixing) , duration, pattern / style, speed and pressure level of applying brushing. The advice may also include suggestion of dental tools such as types of dental floss, toothbrush, toothpicks, toothpaste, etc. Further explanation of the advice may also be given by the system.

[0047] b. Data Collection and Pre-processing

[0048] Intraoral photograph with annotations of ground truth medical professional (e.g., an expert dentist) diagnosis result of gum health conditions can be collected. Natural language descriptions or annotations that correspond to the segmented regions and detected regions can be collected or generated. Preferably, these annotations describe the relationships and interactions between gum health condition to their causes in the images, and site-specific oral hygiene instructions.

[0049] c. Image Segmentation and Object Detection

[0050] Pre-trained models are adopted to perform image segmentation of gum inflammation detection and object detection of gum margin positions on the dataset. These can generate ROI proposal and pixel level segmentation of gum health condition. That is, the bounding boxes with position class labels and segmentation result.

[0051] d. Model Training

[0052] In some forms, a Natural Language inference (NLI) model that takes the position and image embeddings as input features and predicts the relationship between the objects described in the text embeddings can be trained. This model can be based on architectures such as CLIP (Contrastive Language–Image Pretraining) , VisualBERT, LXMERT (Learning Cross-Modality Encoder Representations from Transformers) , LSTM (Long Short-Term Memory) , GRU (Gated Recurrent Unit) networks, or transformer-based models, etc. Pre-train networks, various backbones and data augmentation techniques can be adopted to increase the diversity of the training data.

[0053] e. System Architecture Diagram

[0054] A non-limiting CIS with AI capabilities is illustrated in FIG. 2. In this non-limiting example, the workflow is as follows:

[0055] (e1) Demographic data Input → Demographic Embeddings

[0056] (e2) Intraoral photograph→Segmentation results → Image Encoder (ResNet / Vision transformer) → Visual Embeddings #1

[0057] (e3) Intraoral photograph→Object detection results → Visual Embeddings #2

[0058] (e4) Demographic Embeddings, Visual Embeddings ←→ Combined Embeddings

[0059] (e5) Output: Inferences / Descriptions

[0060] The different aspects, (e1) to (e5) or subsets of aspects within each of (e1) to (e5) , of the system can be performed in series, in parallel, or a combination of thereof. In some forms, (e1) , (e2) , and (e3) are performed in parallel. In some forms, (e1) , (e2) , and (e3) are performed in series not in any specific order. Preferably, (e1) , (e2) and (e3) , are performed before (e4) and (e5) . Preferably, (e4) is performed before (e5) .

[0061] The system can include selections from (e1) to (e5) , such as: (e1) ; (e2) ; (e3) ; (e1) and (e4) ; (e2) and (e4) ; (e3) and (e4) ; (e1) , (e4) , and (e5) ; (e1) , (e2) , and (e3) ;  (e2) , (e4) , and (e5) ; (e3) , (e4) , and (e5) ; (e1) , (e2) , (e3) , and (e4) ; (e1) , (e2) , (e3) , and (e5) ; (e1) , (e2) , (e3) , (e4) , and (e5) , etc.

[0062] FIG. 3 shows a non-limiting example of personalized site-specific oral hygiene advice labeled on site of gum inflammation which is marked by an intermediate layer between the teeth and the remainder of the gums. At interdental papilla, oral hygiene advice is to apply interdental brushing; at free gingiva margins, oral hygiene advice is to apply gentle brushing at force of 10N.

[0063] ii. Computer-implemented methods

[0064] Also described is a computer-implemented method (CIM) for generating anatomically site-specific health advice on topical anatomy healthcare (such as oral hygiene care, epidermal care, mucosal care, etc. ) , which involves using any of the CISs described above. Preferably, the CIM involves (i) analyzing anatomical data (such as an intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis-image based data, epidermis text-based data, or a combination thereof; mucosa image-based data, mucosa text-based data, or a combination thereof) , and (ii) displaying anatomically site-specific advice anatomical healthcare (on oral hygiene care, epidermal care, mucosal care, etc. ) to a graphical user interface (GUI) based on the analysis in step (i) . Preferably wherein step (i) and / or step (ii) are performed using any of the CISs described above.

[0065] In preferred forms, the CIS further involves generating intraoral image-based, intraoral text-based data, or combination thereof; or epidermis image-based data, epidermis text-based data, or combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof, by analyzing a digital pixelated photograph prior to transmitting topical, anatomical data to the generative AI platform discussed above. In these forms, the intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof, is generated using a discriminative AI platform described above.

[0066] III. Methods of using

[0067] The described CIS, CIM, or machine learning algorithm can be utilized to analyze topical, anatomical data and provide healthcare advice based on an analysis these data. The CIS, CIM, or machine learning algorithm is one of general applicability and is not limited to data from a patient population in a specific  geographical region of the world. Preferably, the data are image-based data, text-based data, or a combination thereof, such as imaged-based data obtained using a mobile phone (e.g., smartphone) or other hand-held devices.

[0068] Preferably, the CIS, CIM, or machine learning algorithm is used to provide information about an individual’s oral health status and to provide healthcare advice on how to improve the individual’s health status, where needed. Users can use a mobile phone (e.g., smartphone) and an instant messenger app (e.g., WhatsApp or WeChat) to capture a photograph of his / her anterior teeth and upload the photograph to CIS or machine learning algorithm, preferably housed on a server. Alternatively, users can install a mobile application or website and send out a photograph (s) to the CIS or machine learning algorithm. Optionally, the CIS, CIM, or machine learning algorithm can include a means to perform a quality check of the photograph and will instruct users to retake photograph if needed. Based on the photograph, CIS, CIM, or machine learning algorithm can identify the topical anatomy (preferably the CIS, CIM, or machine learning algorithm identifies the gum) and then provides feedback. The feedback can include labels such as: (i) healthy, (ii) diseased, and (iii) questionable, on specific areas of the anatomy, preferably specific areas of the gum. Based on the status of the area (e.g., gum) and its location, the CIS, CIM, or machine learning algorithm provides advice on how to remediate one or more areas of the anatomy. For instance, in the case of gum, the advice can include cleaning the area such as using a toothbrush, dental floss, interdental brush, etc. Preferably, the advice is image-based (e.g., photographic based) , personalized to the individual’s needs, and / or powered by the generative AI platform.

[0069] In the non-limiting case of gums, the disease pattern of periodontal disease is site-specific, such that certain sites are more prone to periodontal disease in an individual than others. Therefore, adopting oral hygiene care advising generated using the disclosed CIS, CIM, or machine learning algorithm with a personalized approach and / or with emphasis on specific sites of disease is very rational. Moreover, individuals can clearly know what to do and follow the advice easily, so that the effectiveness can be much more powerful in self-care approach. Individuals merely adhere to the advice generated by the CIS, CIM, or machine learning algorithm to take care of the inflamed gum and preferably reverse the identified disease / disorder a healthy state. Further, individuals can check the progress of their  gum health by periodically taking and uploading images and comparing feedback with prior generated advice.

[0070] The disclosed CIM, CIS, or machine learning algorithm provides new platforms that utilize AI to provide (preferably, automatically and instantaneously) personalized topical, anatomical healthcare advice (e.g., oral hygiene care, epidermal care, mucosal care, etc. ) for diseased anatomy based on data (preferably photograph) generated using a mobile phone (e.g., a smartphone) . In particular, personalized oral hygiene care advice based on the individual’s gum conditions provides a more desirable in an oral health promotion strategy. Accordingly, the application of artificial intelligence on health advising provides a readily accessible means and expert healthcare assistant for daily living.

[0071] The disclosed CISs, CIMs, and machine learning algorithms can be further understood through the following enumerated paragraphs or embodiments.

[0072] 1. A computer-implemented system (CIS) containing a generative artificial intelligence (AI) platform operably linked to a graphical user interface (GUI) , wherein the platform (i) transmits anatomically site-specific health advice (such as advice on oral hygiene care, epidermal care, mucosal care, etc. ) to the GUI based on topical, anatomical data (such as an intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis-image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) .

[0073] 2. The CIS of paragraph 1, wherein the generative AI platform comprises a generative machine learning algorithm.

[0074] 3. The CIS of paragraph 2, wherein the generative machine learning algorithm has been trained to produce the anatomically site-specific health advice (such as advice on oral hygiene care, epidermal care, mucosal care, etc) .

[0075] 4. The CIS of paragraph 2 or 3, wherein the generative machine learning algorithm assesses the topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or a combination thereof; or epidermis image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) .

[0076] 5. The CIS of any one of paragraphs 1 to 4, wherein the topical, anatomical data (such as intraoral image-based, intraoral text-based data, or a combination thereof) contain results of periodontal health.

[0077] 6. The CIS of any one of paragraphs 1 to 5, wherein the topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or combination thereof) , contain site-specific periodontal disease information.

[0078] 7. The CIS of paragraph 6, wherein the site-specific periodontal disease information involves marginal gingivae, attached gingivae, interdental gingivae, oral mucosa, alveolar mucosa, or a combination thereof.

[0079] 8. The CIS of any one of paragraphs 1 to 7, wherein the generative AI model is trained on image data types, text data types, or a combination thereof.

[0080] 9. The CIS of any one of paragraphs 1 to 8, wherein the generative AI model is trained and tested based on a dental professional’s advice, preferably a dentist.

[0081] 10. The CIS of any one of paragraphs 1 to 9, wherein the generative AI platform contains a convolutional neural network, fully connected network, encoder, decoder, LSTM, transformer, or attention module.

[0082] 11. The CIS of any one of paragraphs 1 to 10, wherein the anatomically site-specific advice contains brushing techniques or flossing recommendations involving gentle brushing with soft bristle toothbrush (such as when inflammation is in marginal gingivae) , interdental brushing (such as when inflammation is in interdental gingivae) , or a combination thereof.

[0083] 12. The CIS of any one of paragraphs 1 to 11, wherein the generative AI platform is on a server or an end-user device.

[0084] 13. The CIS of any one of paragraphs 1 to 12, further containing a discriminative AI platform operably linked to the generative AI platform.

[0085] 14. The CIS of paragraph 13, wherein the discriminative AI platform performs site-specific topical anatomy (e.g., periodontal anatomy) disease detection based preferably on a digital pixelated photograph.

[0086] 15. The CIS of paragraph 14, wherein the discriminative AI platform generates the topical, anatomical data (e.g., intraoral image-based data, intraoral text-based data, or combination thereof) after analyzing the digital pixelated photograph.

[0087] 16. The CIS of any one of paragraphs 13 to 15, wherein the discriminative AI platform is (i) on a server that is the same of different from the server containing the generative AI platform, preferably the same server, or (ii) is on an end-user device that contains the generative AI platform.

[0088] 17. The CIS of any one of paragraphs 1 to 16, wherein the GUI is a digital screen such as the screen of smartphone, laptop, desktop computer, watch, tablet, etc.

[0089] 18. A machine learning algorithm operably linked to a processor, a GUI, or a combination thereof, wherein the machine learning algorithm comprises a generative AI platform configured to process topical, anatomical data (such as an intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis-image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) , and optionally wherein output from the machine language algorithm is transmittable to the GUI.

[0090] 19. The machine learning algorithm of paragraph 18, wherein the generative AI platform comprises a generative machine learning algorithm.

[0091] 20. The machine learning algorithm of paragraph 19, wherein the generative machine learning algorithm has been trained to produce the anatomically site-specific health advice (such as advice on oral hygiene care, epidermal care, mucosal care, etc) .

[0092] 21. The machine learning algorithm of paragraph 19 or 20, wherein the generative machine learning algorithm assesses the topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) .

[0093] 22. The machine learning algorithm of any one of paragraphs 18 to 21, wherein the topical, anatomical data (such as intraoral image-based, intraoral text-based data, or a combination thereof) contain results of periodontal health.

[0094] 23. The machine learning algorithm of any one of paragraphs 18 to 22, wherein the topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or combination thereof) , contain site-specific periodontal disease information.

[0095] 24. The machine learning algorithm of paragraph 23, wherein the site-specific periodontal disease information involves marginal gingivae, attached gingivae, interdental gingivae, oral mucosa, alveolar mucosa, or a combination thereof.

[0096] 25. The machine learning algorithm of any one of paragraphs 18 to 24, wherein the generative AI platform is trained on image data types, text data types, or a combination thereof.

[0097] 26. The machine learning algorithm of any one of paragraphs 18 to 25, wherein the generative AI platform is trained and tested based on a dental professional’s advice, preferably a dentist.

[0098] 27. The machine learning algorithm of any one of paragraphs 18 to 26, wherein the generative AI platform comprises a convolutional neural network, fully connected network, encoder, decoder, LSTM, transformer, or attention module.

[0099] 28. The machine learning algorithm of any one of paragraphs 18 to 27, wherein the anatomically site-specific advice comprises brushing techniques or flossing recommendations comprising gentle brushing with soft bristle toothbrush (such as when inflammation is in marginal gingivae) , interdental brushing (such as when inflammation is in interdental gingivae) , or a combination thereof.

[0100] 29. The machine learning algorithm of any one of paragraphs 18 to 29, further comprising a discriminative AI platform operably linked to the generative AI algorithm.

[0101] 30. The machine language algorithm of paragraph 30, wherein the discriminative AI algorithm performs site-specific topical anatomy (e.g., periodontal anatomy) disease detection based preferably on a digital pixelated photograph.

[0102] 31. The machine language algorithm of paragraph 30 or 31, wherein the discriminative AI platform generates the topical, anatomical data (e.g., intraoral image-based data, intraoral text-based data, or combination thereof) after analyzing the digital pixelated photograph.

[0103] 32. The machine language algorithm of any one of paragraphs 30 to 32, wherein the discriminative AI platform generates the topical, anatomical data (e.g., intraoral image-based data, intraoral text-based data, or combination thereof) after analyzing the digital pixelated photograph.

[0104] 33. The machine language algorithm of any one of paragraphs 30 to 33, wherein the discriminative AI platform is on a server that is the same or different from the server containing the generative AI platform, preferably the same server.

[0105] 34. The machine language algorithm of any one of paragraphs 18 to 34, wherein the GUI is a digital screen such as the screen of smartphone, laptop, desktop computer, watch, tablet, etc.

[0106] 35. A computer-implemented method (CIM) for generating anatomically site-specific advice on topical anatomy healthcare (such as oral hygiene care, epidermal care, mucosal care, etc. ) the CIM involving:

[0107] (i) analyzing anatomical data (such as an intraoral image-based data, intraoral text-based data, or a combination thereof; epidermal-image based data,  epidermal text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) , and

[0108] (ii) displaying anatomically site-specific advice anatomical healthcare (on oral hygiene care, epidermal care, mucosal care, etc. ) to a graphical user interface (GUI) based on the analysis in step (i) ,

[0109] preferably wherein step (i) and / or step (ii) are performed using the CIS of any one of paragraphs 1 to 17 or the machine learning algorithm of any one of paragraphs 18 to 35.

[0110] 37. The CIM of paragraph 36, further comprising generating the intraoral image-based, intraoral text-based data, or combination thereof; epidermis image-based data, epidermis text-based data, or combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof, by analyzing a digital pixelated photograph prior to step (i) .

[0111] 39. The CIM of paragraph 36 or 37, wherein the intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof, is generated using a discriminative AI platform.

[0112] Those skilled in the art will recognize, or be able to ascertain using no more than routine experimentation, many equivalents to the specific embodiments of the invention described herein. Such equivalents are intended to be encompassed by the following claims.

Claims

1.A computer-implemented system (CIS) comprising a generative artificial intelligence (AI) platform operably linked to a graphical user interface (GUI) , wherein the platform (i) transmits anatomically site-specific health advice (such as advice on oral hygiene care, epidermal care, mucosal care, etc. ) to the GUI based on topical, anatomical data (such as an intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis-image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) .2.The CIS of claim 1, wherein the generative AI platform comprises a generative machine learning algorithm.3.The CIS of claim 2, wherein the generative machine learning algorithm has been trained to produce the anatomically site-specific health advice (such as advice on oral hygiene care, epidermal care, mucosal care, etc) .4.The CIS of claim 2 or 3, wherein the generative machine learning algorithm assesses the topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) .5.The CIS of any one of claims 1 to 4, wherein the topical, anatomical data (such as intraoral image-based, intraoral text-based data, or a combination thereof) contain results of periodontal health.6.The CIS of any one of claims 1 to 5, wherein the topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or combination thereof) , contain site-specific periodontal disease information.7.The CIS of claim 6, wherein the site-specific periodontal disease information involves marginal gingivae, attached gingivae, interdental gingivae, oral mucosa, alveolar mucosa, or a combination thereof.8.The CIS of any one of claims 1 to 7, wherein the generative AI model is trained on image data types, text data types, or a combination thereof.9.The CIS of any one of claims 1 to 8, wherein the generative AI model is trained and tested based on a dental professional’s advice, preferably a dentist.10.The CIS of any one of claims 1 to 9, wherein the generative AI platform comprises a convolutional neural network, fully connected network, encoder, decoder, LSTM, transformer, or attention module.11.The CIS of any one of claims 1 to 10, wherein the anatomically site-specific advice comprises brushing techniques or flossing recommendations comprising gentle brushing with soft bristle toothbrush (such as when inflammation is in marginal gingivae) , interdental brushing (such as when inflammation is in interdental gingivae) , or a combination thereof.12.The CIS of any one of claims 1 to 11, wherein the generative AI platform is on a server or an end-user device.13.The CIS of any one of claims 1 to 12, further comprising a discriminative AI platform operably linked to the generative AI platform.14.The CIS of claim 13, wherein the discriminative AI platform performs site-specific topical anatomy (e.g., periodontal anatomy) disease detection based preferably on a digital pixelated photograph.15.The CIS of claim 14, wherein the discriminative AI platform generates the topical, anatomical data (e.g., intraoral image-based data, intraoral text-based data, or combination thereof) after analyzing the digital pixelated photograph.16.The CIS of any one of claims 13 to 15, wherein the discriminative AI platform is (i) on a server that is the same of different from the server containing the generative AI platform, preferably the same server, or (ii) is on an end-user device that contains the generative AI platform.17.The CIS of any one of claims 1 to 16, wherein the GUI is a digital screen such as the screen of smartphone, laptop, desktop computer, watch, tablet, etc.18.A machine learning algorithm operably linked to a processor, a GUI, or a combination thereof, wherein the machine learning platform comprises a generative AI platform configured to process topical, anatomical data (such as an intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis-image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) , and optionally wherein output from the machine language algorithm is transmittable to the GUI.19.The machine learning algorithm of claim 18, wherein the generative AI platform comprises a generative machine learning algorithm.20.The machine learning algorithm of claim 19, wherein the generative machine learning algorithm has been trained to produce the anatomically site-specific health advice (such as advice on oral hygiene care, epidermal care, mucosal care, etc) .21.The machine learning algorithm of claim 19 or 20, wherein the generative machine learning algorithm assesses the topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis image-based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) .22.The machine learning algorithm of any one of claims 18 to 21, wherein the topical, anatomical data (such as intraoral image-based, intraoral text-based data, or a combination thereof) contain results of periodontal health.23.The machine learning algorithm of any one of claims 18 to 22, wherein the topical, anatomical data (such as intraoral image-based data, intraoral text-based data, or combination thereof) , contain site-specific periodontal disease information.24.The machine learning algorithm of claim 23, wherein the site-specific periodontal disease information involves marginal gingivae, attached gingivae, interdental gingivae, oral mucosa, alveolar mucosa, or a combination thereof.25.The machine learning algorithm of any one of claims 18 to 24, wherein the generative AI platform is trained on image data types, text data types, or a combination thereof.26.The machine learning algorithm of any one of claims 18 to 25, wherein the generative AI platform is trained and tested based on a dental professional’s advice, preferably a dentist.27.The machine learning algorithm of any one of claims 18 to 26, wherein the generative AI platform comprises a convolutional neural network, fully connected network, encoder, decoder, LSTM, transformer, or attention module.28.The machine learning algorithm of any one of claims 18 to 27, wherein the anatomically site-specific advice comprises brushing techniques or flossing recommendations comprising gentle brushing with soft bristle toothbrush (such as when inflammation is in marginal gingivae) , interdental brushing (such as when inflammation is in interdental gingivae) , or a combination thereof.29.[Rectified under Rule 91, 16.10.2024]The machine learning algorithm of any one of claims 18 to 28, further comprising a discriminative AI platform operably linked to the generative AI algorithm.30.[Rectified under Rule 91, 16.10.2024]The machine language algorithm of claim 29, wherein the discriminative AI algorithm performs site-specific topical anatomy (e.g., periodontal anatomy) disease detection based preferably on a digital pixelated photograph.31.[Rectified under Rule 91, 16.10.2024]The machine language algorithm of claim 29 or 30, wherein the discriminative AI platform generates the topical, anatomical data (e.g., intraoral image-based data, intraoral text-based data, or combination thereof) after analyzing the digital pixelated photograph.32.[Rectified under Rule 91, 16.10.2024]The machine language algorithm of any one of claims 29 to 31, wherein the discriminative AI platform generates the topical, anatomical data (e.g., intraoral image-based data, intraoral text-based data, or combination thereof) after analyzing the digital pixelated photograph.33.[Rectified under Rule 91, 16.10.2024]The machine language algorithm of any one of claims 29 to 32, wherein the discriminative AI platform is on a server that is the same or different from the server containing the generative AI platform, preferably the same server.34.[Rectified under Rule 91, 16.10.2024]The machine language algorithm of any one of claims 18 to 33, wherein the GUI is a digital screen such as the screen of smartphone, laptop, desktop computer, watch, tablet, etc.35.[Rectified under Rule 91, 16.10.2024]A computer-implemented method (CIM) for generating anatomically site-specific advice on topical anatomy healthcare (such as oral hygiene care, epidermal care, mucosal care, etc. ) the CIM comprising:(i) analyzing anatomical data (such as an intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis-image based data, epidermis text-based data, or a combination thereof; or mucosa image-based data, mucosa text-based data, or a combination thereof) , and(ii) displaying anatomically site-specific advice anatomical healthcare (on oral hygiene care, epidermal care, mucosal care, etc. ) to a graphical user interface (GUI) based on the analysis in step (i) ,preferably wherein step (i) and / or step (ii) are performed using the CIS of any one of claims 1 to 17 or the machine language algorithm of any one of claims 18 to 34.36.[Rectified under Rule 91, 16.10.2024]The CIM of claim 35, further comprising generating the intraoral image-based, intraoral text-based data, or combination thereof; or epidermis image-based data, epidermis text-based data, or combination thereof; mucosa image-based data, mucosa text-based data, or a combination thereof, by analyzing a digital pixelated photograph prior to step (i) .37.[Rectified under Rule 91, 16.10.2024]The CIM of claim 35 or 36, wherein the intraoral image-based data, intraoral text-based data, or a combination thereof; epidermis image-based data, epidermis text-based data, or a combination thereof; mucosa image-based data, mucosa text-based data, or a combination thereof, is generated using a discriminative AI platform.

Images