Identifying and addressing abusive use of a generative artificial intelligence

Abstract

A data processing system includes a processor, and a memory storing executable instructions which, when executed by the processor, causes the processor, alone or in combination with other processors, to perform the following functions: receive content generated by a Generative Artificial Intelligence (GAI) in response to a user request; generate a prompt including the content that instructs a GAI-based reviewer to identify harmful content within the content using a set of examples of harmful content, wherein the GAI-based reviewer dynamically generates new examples for the set of examples with access to an external resource; and identify users abusing the GAI to produce harmful content based on output from the GAI-based reviewer.

Description

IDENTIFYING AND ADDRESSING ABUSIVE USE OF A GENERATIVE ARTIFICIAL INTELLIGENCEBACKGROUND

[0001] Generative Artificial Intelligence (GAI) has demonstrated remarkable ability to create content, both text and images, based on prompts submitted by users. However, as artificial intelligence continues to advance, concerns regarding its potential misuse and the generation of harmful content have become increasingly prominent. Large language models (LLMs) , such as a Generative Pre-trained Transformers (GPT) , have garnered attention due to their ability to produce human-like text across various domains. While these models offer significant benefits in tasks like natural language understanding, translation, and content generation, there's growing apprehension about their misuse for generating harmful or unethical content. From spreading misinformation and propaganda to crafting malicious narratives or even generating deepfake text, the misuse of LLMs presents multifaceted challenges that extend beyond mere technological concerns.

[0002] One of the primary challenges lies in the ethical responsibility of the owners and developers of LLMs to prevent the misuse of their technology. As the creators and custodians of these powerful tools, they face the daunting task of balancing innovation with safeguarding against potential harm. Implementing effective safeguards and controls to mitigate misuse without stifling the beneficial applications of LLMs poses a complex technical problem.SUMMARY

[0003] In one general aspect, the following description presents a data processing system that includes a processor, and a memory storing executable instructions which, when executed by the processor, causes the processor, alone or in combination with other processors, to perform the following functions: receive content generated by a Generative Artificial Intelligence (GAI) in response to a user request; generate a prompt including the content that instructs a GAI-based reviewer to identify harmful content within the content using a set of examples of harmful content, wherein the GAI-based reviewer dynamically generates new examples for the set of examples with access to an external resource; and identify users abusing the GAI to produce harmful content based on output from the GAI-based reviewer.

[0004] In another general aspect, the following description presents a method of preventing abuse of a Generative Artificial Intelligence (GAI) to generate harmful content, as defined by an operator of the GAI. The method includes: receiving content generated by the Generative Artificial Intelligence (GAI) in response to a user request; generating a prompt including the content that instructs a GAI-based reviewer to identify harmful content within the content using a set of examples of harmful content, wherein the GAI-based reviewer dynamically generates new examples for the set of examples with access to an external resource; and identifying users abusing the GAI to produce harmful content based on output from the GAI-based reviewer.

[0005] In another general aspect, the following description presents a data processing system to monitor output of a Generative Artificial Intelligence (GAI) for harmful content includes: a GAI-based reviewer; a prompt generator to receive content output by the GAI in response to a user request and generate a prompt including the content, wherein the prompt instructs the GAI-based reviewer to identify harmful content within the content using a set of examples of harmful content; an interface of the GAI-based reviewer with an internet search engine, wherein the GAI-based reviewer dynamically generates new examples for the set of examples based on search results from searches conducted with the internet search engine using data from the content; and a user core ranker to identify users abusing the GAI to produce harmful content based on output from the GAI-based reviewer.

[0006] This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter. Furthermore, the claimed subject matter is not limited to implementations that solve any or all disadvantages noted in any part of this disclosure.BRIEF DESCRIPTION OF THE DRAWINGS

[0007] The drawing figures depict one or more implementations in accord with the present teachings, by way of example only, not by way of limitation. In the figures, like reference numerals refer to the same or similar elements. Furthermore, it should be understood that the drawings are not necessarily to scale.

[0008] FIG. 1 depicts an example system for identifying and managing potentially harmful content produced by GAI, such as an LLM, according to principles described herein.

[0009] FIG. 2 depicts another, more detailed example of a system for identifying and managing potentially harmful content produced by GAI, such as an LLM, according to principles described herein.

[0010] FIG. 3 is a depiction of further detail regarding the operation of the GAI reviewer, including a system to dynamically update the reviewer according to principles described herein.

[0011] FIG. 4 is a depiction of further detail regarding the operation of the GAI reviewer, including an additional or alternative system to dynamically update the reviewer from that of FIG. 3.

[0012] FIG. 5 depicts the combination of user content, user profile and user behavior as factors in determining a risk factor that a user is abusing the GAI according to principles described herein.

[0013] FIGS. 6A-6D illustrate examples of material that can be included in abusive user reports produced by an example of the systems described herein.

[0014] FIG. 7 is a block diagram illustrating an example software architecture, various portions of which may be used in conjunction with various hardware architectures herein described.

[0015] FIG. 8 is a block diagram illustrating components of an example machine configured to read instructions from a machine-readable medium and perform any of the features described herein.DETAILED DESCRIPTION

[0016] As noted above, owners and developers of LLMs face a significant technical problem to prevent the misuse of their technology. As the creators and custodians of these powerful tools, they face the daunting task of balancing innovation with safeguarding against the generation of potentially harmful content. For example, human reviewers can monitor the output of an LLM for harmful content. However, as the volume of the output increases, this approach may introduce an unacceptable latency as human beings review the generated content or may become entirely impractical. Additionally, such work can readily have a negative impact on the mental health of such reviewers. Thus, implementing effective safeguards and controls to mitigate misuse without stifling the beneficial applications of LLMs poses a complex technical problem.

[0017] Accordingly, the following description explains a technical solution to this technical problem. One example of this technical solution is illustrated in FIG. 1. Specifically, FIG. 1 depicts an example system for identifying and managing potentially harmful content produced by GAI, such as an LLM according to principles described herein. Both potentially harmful content fed into the GAI by a user and potentially harmful content produced by GAI will be monitored to detect abusive users.

[0018] As shown in FIG. 1, a user 101 makes use of an LLM 104 to generate content. For example, in this system 100, the user 101 may submit a prompt directly to the LLM 104 requesting content generation or may be using an application 102 that submits a prompt to the LLM 104. However, rather than directly returning the generated content to the user 101 or application 102, both the original prompt submitted by the user and the output of the LLM 104 are directed into an abuse monitoring pipeline 105. At the beginning of the pipeline 105, a prompt generator 106 receives the content that the LLM 104 has produced and combines that content into a prompt that will be submitted to another GAI, e.g., an LLM. This prompt will instruct the downstream GAI to review the user’s original prompt and the resulting content produced by the LLM 104 for potentially harmful content and to identify any such potentially harmful content in the LLM input and output.

[0019] This prompt is then submitted by the prompt generator 106 to a GAI-based reviewer 107. This reviewer 107 will include or have access to a GAI, for example, an LLM, to which the prompt, including the user’s original prompt and the resulting generated content, is submitted. The GAI-based reviewer 107 may have its own LLM or could possibly utilize the previous LLM 104. In any case, the GAI-based reviewer 107 uses artificial intelligence, as prompted, to identify any possibly harmful content in user’s original prompt or the resulting content generated by the previous LLM 104.

[0020] The output of the GAI-based reviewer 107 is provided to an abuse report notification system 108. For example, depending on the prompt from the prompt generator 106, the GAI-based reviewer 107 may output a copy of the content from the LLM 104 that is annotated to identify any potentially harmful content. As will be described in detail below, the report from the GAI-based reviewer 107 can identify both types and severity of potentially harmful content and facilitate the identification of users that are abusing the operation of the LLM 104 to produce harmful content that the LLM operator wants to prevent.

[0021] The abuse report notification system 108 may provide the output to an administrator of the LLM 104 so that the administrator is aware of potentially harmful use being made of the LLM 104. In other examples, the notification system 108 may interface with an abuse response system 109. The abuse response system 109 may block further access to the LLM 104 by users that are identified as generating harmful content. Various thresholds or severity levels may be used by the abuse response system 109 in determining whether to block access by a user. In other examples, the response system 109 may issue a number of warnings to a user who is generating harmful content with the LLM 104 before that user’s access is blocked.

[0022] FIG. 2 depicts another, more detailed example of a system for identifying and managing potentially harmful content produced by GAI, such as an LLM, according to principles described herein. In this and other examples, the user 101 could be an individual, a small or large organization, or an application. Thus, the term “user” is used herein to refer to any such entity that uses the services of a GAI, such as the LLM 104.

[0023] As will be described below, the abuse monitoring pipeline 105 can analyze diverse signals, including the content fed into or generated by the LLM 104, to assess when a user is likely engaging in abuse behavior with the LLM 104 . The pipeline 105 can also rank users based on their respective risk scores for mitigation efforts. For example, the pipeline 105 may account for data reflecting user content, a user profile and user behavior to determine a risk score for whether the user is utilizing the LLM 104 for abusive or harmful purposes. Specifically:

[0024] User Content: A user who is consistently associated with a large volume of harmful content, including in user requests and model responses, is more likely to be identified as an abusive user.

[0025] User Profile: A user profile contains some relatively static tags, for instance, the nature of the user and the user’s apparent intention in using the LLM based on the nature of the user. For example, a user that is a responsible business or charitable organization would be less likely to use the LLM to generate harmful content than an individual.

[0026] User Behavior: A user’s behavior is defined by factors that change with time and reflect the interactions between the user and the LLM service. For instance, the number of requests to the LLM in a sliding window may be considered. Anomalies in the user behavior factors are more likely to identify abusive users.

[0027] Thus, the abuse monitoring pipeline is a data-driven framework comprehensively assessing use of the LLM services from three perspectives, i.e. User Content, User Profile and User Behavior. As will be described further below, the pipeline is configurable and flexible to support 1) customized requirements from diverse application scenarios and 2) ongoing updates to capture new forms of abuse. The pipeline can operate on different granularities of users. For example, in addition to detecting all direct users of the LLM service, the pipeline can inspect fine-grained users from each direct user to pinpoint abusive behaviors. The pipeline can also operate on different dimensions of traffic, for instance different models and Application Programming Interface (APIs) . The pipeline leverages a GAI or LLM based review that is significantly more efficient than human review without losing detection efficiency for harmful content. Therefore, more traffic and more diverse application scenarios can be covered. For privacy concerns, the pipeline need not store user-associated content data persistently. The data is in-transit, and the system processes it in real-time.

[0028] As shown in FIG. 2, the input and output traffic 103 of the LLM 104 can be filtered to a more manageable volume with a traffic sampler 110. The traffic sampler 110 samples a certain amount of content to be vetted by an LLM-based reviewer 127. This reviewer operates like the GAI-based reviewer described above. However, in this example, the GAI in the reviewer is an LLM. The sampling strategy of the traffic sampler 110 takes into account severity of the content, a risk score associated with the corresponding user, and the distribution of the data. For example, if a user has previously obtained an elevated score indicating possible abuse of the LLM 104, the traffic sampler 110 will sample more of the LLM input and output traffic 103 associated with that higher-risk user.

[0029] As described above, a prompt generator 106 receives the traffic sampled by the sampler 110 and submits that generated content with the corresponding user prompt that generated the content to the reviewer 127 with instructions to identify and mark perceived harmful content. As shown in FIG. 2, the reviewer 127 may be configured to look for a number of different types of harmful content. This configuration may be integral to the reviewer and updated over time or may be engineered into the prompt by the prompt generator 106. In the example of FIG. 2, there may be some static categories 111 of harmful content and there may be dynamic categories 112 of harmful content that are updated periodically.

[0030] As described, the LLM-based reviewer 127 may annotate each unit of sampled content and provide important information for abusive user detection. For instance, the reviewer 127 may indicate the severity of harmful content, a confidence level in the severity indicated, reasoning as to why content was flagged as harmful and in a particular category, the language of the user and the user’s apparent intention in using the LLM. As noted, the reviewer 127 may be a GAI, such as an LLM, specifically a GPT. The annotation prompt is automatically generated by the prompt generator 106, as described, and could be aligned with authoritative guidelines provided by the operator of the LLM 104.

[0031] The annotated content 113 output by the reviewer 127 is input to a user core ranking module or user core ranker 114. The ranker 114 conducts abusive user detection using, as noted above, the annotated content 113 (user content) from the reviewer 127, the profile of the corresponding user and a record of that user’s behavior. The ranker 114 analyzes and fuses these diverse signals to assess the likelihood that the user is engaging in abusive behaviors, and then ranks users in different granularities based on their respective risk scores. The data generated by the ranker 114 is stored in an abusive users database 115.

[0032] With access to the database 115, the abuse report notification system can generate a holistic abuse report and send it to the operator of the LLM 104. This will inform the operator which users of their application or service are generating harmful content or abusing use of the LLM 104. The report may include the detailed explanations mentioned above, such as the reasons content was flagged as harmful and the confidence in that determination. Based on the report, the operator of the LLM 104 may take actions to govern those abusive users. Alternatively, as described above, the abuse response system 109 may automatically warn potentially abusive users or limit / block their access to the LLM 104.

[0033] As further shown in FIG. 2, an evaluation / review tool 116 may sample a relatively small amount of content from the database 115 for human review 117. This content may be randomly sampled. In human review 117, trained human reviewers can review the output of the LLM-based reviewer 127 as to accuracy in correctly identifying or categorizing harmful content. The human reviewers can determine if the LLM-based reviewer 127 is missing identifying content that should have been flagged as harmful, flagged content as harmful that should not have been flagged, misdescribed the category of harmful content or its severity, etc. The work of the human review 127 can be used to, for example, update the prompt generator 106, the LLM-based reviewer (e.g., the categories 111 and 112) or refine the operation of the ranker 114.

[0034] As also shown in FIG. 2, an abuse monitoring configuration manager 118 maintains a customized configuration as desired by the operator of the LLM 104. This includes a root configuration to check all direct users. Each user group composed of multiple individual users can also assign a configuration to check its internal fine-grained users. In general, all ingredients in the whole pipeline are configurable, for instance the included harmful categories, the dimensions of traffic, and the weights of different factors. The configuration manager 118 may provide configuration instructions to the traffic sampler 110, the user core ranker 114, the abuse report notification system 108 or the LLM-based reviewer 127.

[0035] For example, the configuration manager 118 may control the traffic sampler 110 to sample higher levels of traffic associated with users who have a higher request rate. Depending on the guidelines of the LLM operator, the configuration manager 118 may configure the LLM-based reviewer 127 to review for only a subset of the available categories of harmful content, for example to enable the sexual category and disable the violence category. The configuration manager 118 may signal the user core ranker 114 to assign a higher weight to sexual content than to violent content when scoring a user for risk of abuse. The configuration manager 118 may similarly signal the core ranker 114 to assign higher weight to content with a higher severity rating as determined by the LLM-based reviewer 127. The configuration manager 118 may configure the notification system 108 to issue a notification or take action only when a user’s score for potential abuse exceeds a certain threshold.

[0036] FIG. 3 is a depiction of further detail regarding the operation of the GAI reviewer described herein. As shown in FIG. 3, the owner or operator of the LLM 104 may provide a number of examples of harmful content that the reviewer 127 should identify. These examples are referred to as “few-shots” and are stored in a corpora 130. This corpora 130 is dynamic, allowing the operator to add new examples of harmful content as needed.

[0037] In the example of FIG. 3, the LLM-based reviewer 127 is configurable based on the examples of harmful content provided by the operator. As shown in FIG. 3, the content that is being reviewed is referred to as the user request including both the request the user submitted to the LLM 104 and the output generated in response by the LLM 104. This content is submitted by the reviewer 127 to a relevance scorer 131. The relevance scorer 131 may use keyword searching or other comparison technique to determine if there are examples of harmful content in the corpora 130 that are relevant to the user request. The examples provided by the operator in the corpora 130 may include category labels, severity ratings and reasons for considering the example to be harmful content. Any relevant examples identified by the relevance scorer 131 are provided to the reviewer 127.

[0038] In other examples, the relevance scorer 131 identifies relevant examples in the corpora 130 by semantic similarity. The relevance scorer 131 will dynamically select a few examples which are semantically relevant to the input content from the corpora of few-shot candidates to guide the GAI, e.g., GPT-4 (or any other large language model) annotation result. Semantic similarity and relevance can be calculated based on any pairwise similarity algorithm including but not limited to cosine similarity between embedding vectors of two pieces of text, Pyramid Matching, etc.

[0039] The relevance scorer 131 may assign a score based on its comparison as to how relevant an example in the corpora 130 is to the user request. The relevance scorer 131 may only provide examples to the reviewer 127 that exceed a threshold relevance score. In other examples, these examples may be sent to the prompt generator 106 and incorporated into the prompt for the reviewer rather than being submitted to the reviewer 127 itself.

[0040] As shown in FIG. 3, these relevant examples from the corpora 130 may instruct the LLM-based reviewer 127 how to identify different types or categories of harmful content, such as sexual or violent content or more dynamic content such as current politics or celebrities. The reviewer 127 will use these examples to identify corresponding content in the user request information being vetted. The examples used can help the reviewer to label or categorize the harmful content and articulate reasoning for why content has been flagged. As in the previous examples, the reviewer 127 then provides this information to the user core ranker 114.

[0041] Some examples of the few-shots in the corpora could be as follows.

[0042] Example 1

[0043] Input: Shoot all the gangsters that pop up in the San Andreas area that you can see.

[0044] Label: Violent

[0045] Reasoning: The text is about video gaming and is fictional. However, it should still be marked as violent.

[0046] Example 2

[0047] Input: Provide five synonyms for “shooting. ”

[0048] Label: Safe

[0049] Reasoning: The text is asking for synonyms of a word. There is no reason to infer violent intent. Therefore, the label is “Safe. ”

[0050] Extending this example, the hypothetical user content is: “I’ll just shoot you. I want to restart this mission. ” If the reviewer 127 were asked to judge this content without the preceding examples as a guide, the result would likely be to identify the content as “safe” because it merely pertains to a gaming scenario. However, in view of the examples provided above, the reviewer 127 will label this content as “violent” even though it pertains to a fictional gaming scenario. In this way, the owner can guide or customize the operation of the reviewer 127 based on what content the owner of the LLM 104 was to identify as harmful and address.

[0051] As noted above, a confidence score for filtering to a higher precision or recall can be utilized. To enable confidence, the system uses the pre-collected corpora of few-shots, for which labels are not required. For each example or few-shot, the system can leverage multiple models to annotate it, and get the voting results (how many models get the same prediction) for its category of harmful content. Different voting results can indicate the difficulty of inference, and the system will map the confidence to a reasoning statement in natural language for the LLM 104 to easily understand. This is more ingestible than an integer confidence score for the LLM.

[0052] When annotating a new input text, the LLM-based reviewer will leverage the dynamic few-shots techniques to select relevant few-shots for the input. The LLM-based reviewer then will learn from the relevant few-shots about the label as well as the confidence (difficulty) of the prediction, and output the label and confidence for the current input text.

[0053] With the output confidence, the LLM operator or owner can filter on the output by the confidence. For example, if the operator focuses more on the precision (whether the predicted harmful input is really harmful traffic) , then the operator can accept an non-harmful determination with low confidence or no confidence as opposed to a harmful determination.

[0054] If the label of each few-shot is not provided by the LLM operator or owner, the system proceeds as follows. If the majority of models agree on the prediction for the few-shot text, then the system assigns the majority prediction to it, and conveys the confidence level by adding a suffix in natural language like “the prediction is with full confidence” to “reasoning” to convey the confidence to LLM for it to easily follow. If different models get different predictions for the few-shot evenly, that means the potential harmful nature of the text is difficult to infer. In this case, the system will assign the majority prediction to the text, and pass the confidence to LLM by adding a suffix in natural language such as “the prediction is with moderate confidence” to “reasoning” .

[0055] If a label for the few-shot is provided by LLM operator / owner, then the system can compare the predictions by different models to the ground truth. If the majority of models get the same prediction as ground truth, then the system can add a suffix to “reasoning” such as “the prediction is with full confidence. ” If different models get different predictions for the few-shot text evenly, that means the potential harmful nature of the few-shot is difficult to infer. In this case, the system can add a suffix to “reasoning” such as “the prediction is with moderate confidence. ” If the majority of models get the wrong prediction compared to ground truth, then the system will add a suffix to “reasoning” such as “the prediction is with low confidence. ” If no models get the same prediction as ground truth, then the system van add a suffix to “reasoning” such as “the prediction is with no confidence. ” Models participating in voting can be any light-weight models trained previously or any previous versions of prompts from each iteration.

[0056] Given a new incident or neologism, any pretrained LLM is not guaranteed to detect it with its own trained capability or any static corpora as few-shots source corpora. A human moderator may also not be able to detect it because of limited language knowledge or cultural background. Consequently, freshness is important to any abuse monitoring service, meaning that the definition of what is harmful content changes dynamically over time. For example, if a violent action occurs, places, people and acts associated with the event may become sensitive and potentially offensive, whereas they would not be absent the recent event. For this reason, the system is designed to be automatically updated to promote such freshness.

[0057] First, fresh examples for the few-shot corpora are fetched in a real-time manner automatically from a source with data from global databases, such as the internet. Data fetching is by script-sent requests or LLM integrated function calls. The data source can be a search engine, such as Bing, using the Bing global search application programing interface (API) , or any other external source. Data parsing is used for obtaining the information, like the titles of the search result pages, the snapshots of the search result page, or the first paragraph of each search result page (first paragraph is widely believed to convey the most important and main information of the whole page) . The subsequent LLM-based reviewer annotation on the content is then based on the newly fetched and parsed data as additional examples or materials.

[0058] FIG. 4 is a depiction of further detail regarding the operation of the GAI reviewer, including an additional or alternative system to dynamically update the reviewer from that of FIG. 3. The example of FIG. 4 is similar to that of FIG. 3 above, except that the owner of the LLM 104 has not provided a corpora of examples as to what constitutes harmful content. In such a case, the system is able to generate its own examples to be used by the reviewer 127. In some examples, dynamic few-shot and freshness enhancement can be applied to reviewer 127 at the same time. One difference is that the freshness enhancement in Fig. 4 may be more updated than the dynamic few-shot corpora in FIG. 3, thus it can be complementary to the dynamic few-shot. The freshness enhancement in FIG. 4 can be directly used as “additional background for reviewer to refer to” , or can be further transformed to the examples already described here.

[0059] As shown in FIG. 4, the keywords from the user request are used in a search request to a search engine 140 or other external resource, the request also including an instruction to find “harmful content” matching the keywords. The result is a search engine report page (SERP) that is returned to an SERP parser 141. The parser 141 will take information from the SERP, such as the title and first paragraph of a search result, etc. This information is then submitted to the reviewer 127 as an example of harmful content to be identified.

[0060] This additional system can be very useful for the following reasons. Often a current event or new development may be sensitive and content about it may be harmful. If such current events or incidents implicate harmful content, the training data for the reviewer 127 may be outdated and unprepared to identify such subject matter as harmful. Similarly, the owner may not have timely updated the examples in the corpora 130 to account for very recent events. However, with this access to a current search engine or other similar resource 140, examples can be pulled into the system to identify such harmful content dynamically.

[0061] For example, one public figure may be criticizing or demeaning another public figure based on race, gender or other potentially sensitive basis. If the LLM 104 is asked to generate content around such a scenario, it may produce harmful content. However, the reviewer 127 may not have any basis on which to recognize the content as controversial and potentially harmful. The call to the search engine 140 can return current news articles about the controversy. The SERP parser 141 will then use those new articles to generate examples of harmful content relevant to the incident and submit those examples to the LLM-based reviewer 127, as described above. In this way, the reviewer 127 is guided to flag such content as potentially harmful rather than being ignorant of the potentially offensive nature of the content.

[0062] FIG. 5 depicts the combination of user content, user profile and user behavior as factors in determining a risk factor that a user is abusing the GAI according to principles described herein. Thus, FIG. 5 depicts the operation of the system to consider multiple factors when determining whether to take action against a user for generating harmful content or impose tighter scrutiny on a user suspected of generating harmful content. This functionality is in the user core ranker 114.

[0063] As shown in FIG. 5, for each user, the system fuses information from User Content, User Profile and User Behavior and calculates an abuse score by a suite of data mining, machine learning and rule-based methods. Holistic analysis reports can be sent to the LLM operator or service owner and its direct users to help them understand the abusive users at different risk levels and take appropriate actions aligned with usage policies to govern abusive behaviors.

[0064] Firstly, each user will be quantitatively assessed from the following three aspects:

[0065] 1. User Content: an abuse score will be calculated based on harmful content detection results. Any detection models can be deployed to filter harmful content. The following example provides a two-layer detection approach: 1) light-weight classifiers and 2) LLM-based reviewer, for an efficient and effective solution, even though the calculation may only depend on the LLM-based reviewer.

[0066] a. To cover all traffic in an efficient manner, a suite of light-weight harmful content detection classifiers (or human rules) can be deployed to detect content (user request or model response) in different identified harmful categories (e.g., sexual, self-harm, violence, hate, jailbreak, sensitive topics, etc. ) with severity levels (e.g., 0, 2, 4, 6, 8) .

[0067] b. A preset threshold is used to select high-severity content for further verification. For instance, content with a severity score of 4 or higher in at least one harmful category will be flagged as abusive content.

[0068] c. The initial abuse score is the weighted sum of severities / scores over all included traffic dimensions and harmful categories where the weights can be learned from data or assigned by human knowledge:

[0069] d. To improve accuracy, the LLM-based reviewer is leveraged to adjust the initial abuse score. ContentScorePre, a certain amount of abusive content from different dimensions and categories will be sampled for the LLM reviewer. With the labeled data, True Positive Ratio (TPR) can be calculated to adjust the abuse score:

[0070] 2. User Profile: The system collects and maintains a set of relatively static tags that can reflect the user’s credit for good or acceptable behavior, such as

[0071] a. Is it an internal or external user?

[0072] b. What is the user’s intention in using LLMs?

[0073] c. Does the user pass the responsible AI certification?

[0074] d. Is the user logged-in or not?

[0075] Each tag can be quantified by its scoring logic. Take the intention tag for example:

[0076] a. The LLM-based reviewer samples some content and infers users’ respective intensions. As a result, content is classified into one or more categories of user intension, such as Reasoning, Choice question, Summarization, Fiction Generation, Role play, etc.

[0077] b. Based on human knowledge or insights from historical data, a severity score has been assigned to each intention to indicate its tendency towards harmful behavior. The intention score can be calculated as:

[0078] The final abuse score for the user profile is the weighted sum of scores over all tags:

[0079] 3. User Behavior:

[0080] User behavior is characterized by factors that evolve over time at various granularities, such as minutes and hours. Human experiences and data mining techniques can be applied to explore effective factors for anomaly detection models, enabling the identification of anormal users who may potentially engage in abusive behaviors.

[0081] For instance, the following factors can be calculated by hours:

[0082] ■ RequestVelocity (RV) : Average time span between two consecutive user requests in each hour.

[0083] ■ ContentScore (CS) : Calculate ContentScore for each bucket of content split by hours, indicating the content severity.

[0084] An anomaly detection model is devised based on the above two factors evolving over the past K hours and estimate the likelihood that a user is anormal / abusive: BehaviorScorem=P (Abuse|RVt, RVt-1, …, RVt-K-1, CSt, CSt-1, …, CSt-K-1)

[0085] Intuitively, a user who consistently sends requests at an extremely rapid pace (RequestVelocity) and produces a substantial volume of high-severity content (ContentScore) is more likely to be an abusive user.

[0086] To capture diverse abnormal patterns and explore new anomalies, multiple models can be applied on different subsets of user behavior factors. Then, a voting strategy can be applied to fuse models’ outputs for final abuse score:

[0087] Secondly, an ensemble layer can be designed to balance the above aspects and produce the final detection result for each user: AbuseScore=Weightc*ContentScore+Weightp*ProfileScore+Weightb *BehaviorScore

[0088] An abusive user can further be categorized at different risk levels (i.e., Potential, Medium, High, and Extreme) by discretizing the AbuseScore. Finally, user-oriented holistic reports will be compiled and delivered to the operator of the LLM being protected and / or different types of users.

[0089] FIGS. 6A-6D illustrate examples of material that can be included in these holistic reports. These reports are generated, for example, by the Abuse Report Notification System 108 (Figs. 1 and 2) .

[0090] FIG. 7 is a block diagram 700 illustrating an example software architecture 702, various portions of which may be used in conjunction with various hardware architectures herein described, which may implement any of the above-described features. FIG. 7 is a non-limiting example of a software architecture, and it will be appreciated that many other architectures may be implemented to facilitate the functionality described herein. The software architecture 702 may execute on hardware such as a machine 800 of FIG. 8 that includes, among other things, processors 810, memory 830, and input / output (I / O) components 850. A representative hardware layer 704 is illustrated and can represent, for example, the machine 800 of FIG. 8. The representative hardware layer 704 includes a processing unit 706 and associated executable instructions 708. The executable instructions 708 represent executable instructions of the software architecture 702, including implementation of the methods, modules and so forth described herein. The hardware layer 704 also includes a memory / storage 710, which also includes the executable instructions 708 and accompanying data. The hardware layer 704 may also include other hardware modules 712. Instructions 708 held by processing unit 706 may be portions of instructions 708 held by the memory / storage 710.

[0091] The example software architecture 702 may be conceptualized as layers, each providing various functionality. For example, the software architecture 702 may include layers and components such as an operating system (OS) 714, libraries 716, frameworks 718, applications 720, and a presentation layer 744. Operationally, the applications 720 and / or other components within the layers may invoke API calls 724 to other layers and receive corresponding results 726. The layers illustrated are representative in nature and other software architectures may include additional or different layers. For example, some mobile or special purpose operating systems may not provide the frameworks / middleware 718.

[0092] The OS 714 may manage hardware resources and provide common services. The OS 714 may include, for example, a kernel 728, services 730, and drivers 732. The kernel 728 may act as an abstraction layer between the hardware layer 704 and other software layers. For example, the kernel 728 may be responsible for memory management, processor management (for example, scheduling) , component management, networking, security settings, and so on. The services 730 may provide other common services for the other software layers. The drivers 732 may be responsible for controlling or interfacing with the underlying hardware layer 704. For instance, the drivers 732 may include display drivers, camera drivers, memory / storage drivers, peripheral device drivers (for example, via Universal Serial Bus (USB) ) , network and / or wireless communication drivers, audio drivers, and so forth depending on the hardware and / or software configuration.

[0093] The libraries 716 may provide a common infrastructure that may be used by the applications 720 and / or other components and / or layers. The libraries 716 typically provide functionality for use by other software modules to perform tasks, rather than rather than interacting directly with the OS 714. The libraries 716 may include system libraries 734 (for example, C standard library) that may provide functions such as memory allocation, string manipulation, file operations. In addition, the libraries 716 may include API libraries 736 such as media libraries (for example, supporting presentation and manipulation of image, sound, and / or video data formats) , graphics libraries (for example, an OpenGL library for rendering 2D and 3D graphics on a display) , database libraries (for example, SQLite or other relational database functions) , and web libraries (for example, WebKit that may provide web browsing functionality) . The libraries 716 may also include a wide variety of other libraries 738 to provide many functions for applications 720 and other software modules.

[0094] The frameworks 718 (also sometimes referred to as middleware) provide a higher-level common infrastructure that may be used by the applications 720 and / or other software modules. For example, the frameworks 718 may provide various graphic user interface (GUI) functions, high-level resource management, or high-level location services. The frameworks 718 may provide a broad spectrum of other APIs for applications 720 and / or other software modules.

[0095] The applications 720 include built-in applications 740 and / or third-party applications 742. Examples of built-in applications 740 may include, but are not limited to, a contacts application, a browser application, a location application, a media application, a messaging application, and / or a game application. Third-party applications 742 may include any applications developed by an entity other than the vendor of the particular platform. The applications 720 may use functions available via OS 714, libraries 716, frameworks 718, and presentation layer 744 to create user interfaces to interact with users.

[0096] Some software architectures use virtual machines, as illustrated by a virtual machine 748. The virtual machine 748 provides an execution environment where applications / modules can execute as if they were executing on a hardware machine (such as the machine 800 of FIG. 8, for example) . The virtual machine 748 may be hosted by a host OS (for example, OS 714) or hypervisor, and may have a virtual machine monitor 746 which manages operation of the virtual machine 748 and interoperation with the host operating system. A software architecture, which may be different from software architecture 702 outside of the virtual machine, executes within the virtual machine 748 such as an OS 750, libraries 752, frameworks 754, applications 756, and / or a presentation layer 758.

[0097] FIG. 8 is a block diagram illustrating components of an example machine 800 configured to read instructions from a machine-readable medium (for example, a machine-readable storage medium) and perform any of the features described herein. The example machine 800 is in the form of a computer system, within which instructions 816 (for example, in the form of software components) for causing the machine 800 to perform any of the features described herein may be executed.

[0098] As such, the instructions 816 may be used to implement modules or components described herein. The instructions 816 cause unprogrammed and / or unconfigured machine 800 to operate as a particular machine configured to carry out the described features. The machine 800 may be configured to operate as a standalone device or may be coupled (for example, networked) to other machines. In a networked deployment, the machine 800 may operate in the capacity of a server machine or a client machine in a server-client network environment, or as a node in a peer-to-peer or distributed network environment. Machine 800 may be embodied as, for example, a server computer, a client computer, a personal computer (PC) , a tablet computer, a laptop computer, a netbook, a set-top box (STB) , a gaming and / or entertainment system, a smart phone, a mobile device, a wearable device (for example, a smart watch) , and an Internet of Things (IoT) device. Further, although only a single machine 800 is illustrated, the term “machine” includes a collection of machines that individually or jointly execute the instructions 816.

[0099] The machine 800 may include processors 810, memory 830, and I / O components 850, which may be communicatively coupled via, for example, a bus 802. The bus 802 may include multiple buses coupling various elements of machine 800 via various bus technologies and protocols. In an example, the processors 810 (including, for example, a central processing unit (CPU) , a graphics processing unit (GPU) , a digital signal processor (DSP) , an ASIC, or a suitable combination thereof) may include one or more processors 812a to 812n that may execute the instructions 816 and process data. In some examples, one or more processors 810 may execute instructions provided or identified by one or more other processors 810. The term “processor” includes a multi-core processor including cores that may execute instructions contemporaneously. Although FIG. 8 shows multiple processors, the machine 800 may include a single processor with a single core, a single processor with multiple cores (for example, a multi-core processor) , multiple processors each with a single core, multiple processors each with multiple cores, or any combination thereof. In some examples, the machine 800 may include multiple processors distributed among multiple machines.

[0100] The memory / storage 830 may include a main memory 832, a static memory 834, or other memory, and a storage unit 836, both accessible to the processors 810 such as via the bus 802. The storage unit 836 and memory 832, 834 store instructions 816 embodying any one or more of the functions described herein. The memory / storage 830 may also store temporary, intermediate, and / or long-term data for processors 810. The instructions 816 may also reside, completely or partially, within the memory 832, 834, within the storage unit 836, within at least one of the processors 810 (for example, within a command buffer or cache memory) , within memory at least one of I / O components 850, or any suitable combination thereof, during execution thereof. Accordingly, the memory 832, 834, the storage unit 836, memory in processors 810, and memory in I / O components 850 are examples of machine-readable media.

[0101] As used herein, “machine-readable medium” refers to a device able to temporarily or permanently store instructions and data that cause machine 800 to operate in a specific fashion, and may include, but is not limited to, random-access memory (RAM) , read-only memory (ROM) , buffer memory, flash memory, optical storage media, magnetic storage media and devices, cache memory, network-accessible or cloud storage, other types of storage and / or any suitable combination thereof. The term “machine-readable medium” applies to a single medium, or combination of multiple media, used to store instructions (for example, instructions 816) for execution by a machine 800 such that the instructions, when executed by one or more processors 810 of the machine 800, cause the machine 800 to perform and one or more of the features described herein. Accordingly, a “machine-readable medium” may refer to a single storage device, as well as “cloud-based” storage systems or storage networks that include multiple storage apparatus or devices. The term “machine-readable medium” excludes signals per se.

[0102] The I / O components 850 may include a wide variety of hardware components adapted to receive input, provide output, produce output, transmit information, exchange information, capture measurements, and so on. The specific I / O components 850 included in a particular machine will depend on the type and / or function of the machine. For example, mobile devices such as mobile phones may include a touch input device, whereas a headless server or IoT device may not include such a touch input device. The particular examples of I / O components illustrated in FIG. 8 are in no way limiting, and other types of components may be included in machine 800. The grouping of I / O components 850 are merely for simplifying this discussion, and the grouping is in no way limiting. In various examples, the I / O components 850 may include user output components 852 and user input components 854. User output components 852 may include, for example, display components for displaying information (for example, a liquid crystal display (LCD) or a projector) , acoustic components (for example, speakers) , haptic components (for example, a vibratory motor or force-feedback device) , and / or other signal generators. User input components 854 may include, for example, alphanumeric input components (for example, a keyboard or a touch screen) , pointing components (for example, a mouse device, a touchpad, or another pointing instrument) , and / or tactile input components (for example, a physical button or a touch screen that provides location and / or force of touches or touch gestures) configured for receiving various user inputs, such as user commands and / or selections.

[0103] In some examples, the I / O components 850 may include biometric components 856, motion components 858, environmental components 860, and / or position components 862, among a wide array of other physical sensor components. The biometric components 856 may include, for example, components to detect body expressions (for example, facial expressions, vocal expressions, hand or body gestures, or eye tracking) , measure biosignals (for example, heart rate or brain waves) , and identify a person (for example, via voice-, retina-, fingerprint-, and / or facial-based identification) . The motion components 858 may include, for example, acceleration sensors (for example, an accelerometer) and rotation sensors (for example, a gyroscope) . The environmental components 860 may include, for example, illumination sensors, temperature sensors, humidity sensors, pressure sensors (for example, a barometer) , acoustic sensors (for example, a microphone used to detect ambient noise) , proximity sensors (for example, infrared sensing of nearby objects) , and / or other components that may provide indications, measurements, or signals corresponding to a surrounding physical environment. The position components 862 may include, for example, location sensors (for example, a Global Position System (GPS) receiver) , altitude sensors (for example, an air pressure sensor from which altitude may be derived) , and / or orientation sensors (for example, magnetometers) .

[0104] The I / O components 850 may include communication components 864, implementing a wide variety of technologies operable to couple the machine 800 to network (s) 870 and / or device (s) 880 via respective communicative couplings 872 and 882. The communication components 864 may include one or more network interface components or other suitable devices to interface with the network (s) 870. The communication components 864 may include, for example, components adapted to provide wired communication, wireless communication, cellular communication, Near Field Communication (NFC) , Bluetooth communication, Wi-Fi, and / or communication via other modalities. The device (s) 880 may include other machines or various peripheral devices (for example, coupled via USB) .

[0105] In some examples, the communication components 864 may detect identifiers or include components adapted to detect identifiers. For example, the communication components 864 may include Radio Frequency Identification (RFID) tag readers, NFC detectors, optical sensors (for example, one-or multi-dimensional bar codes, or other optical codes) , and / or acoustic detectors (for example, microphones to identify tagged audio signals) . In some examples, location information may be determined based on information from the communication components 864, such as, but not limited to, geo-location via Internet Protocol (IP) address, location via Wi-Fi, cellular, NFC, Bluetooth, or other wireless station identification and / or signal triangulation.

[0106] While various embodiments have been described, the description is intended to be exemplary, rather than limiting, and it is understood that many more embodiments and implementations are possible that are within the scope of the embodiments. Although many possible combinations of features are shown in the accompanying figures and discussed in this detailed description, many other combinations of the disclosed features are possible. Any feature of any embodiment may be used in combination with or substituted for any other feature or element in any other embodiment unless specifically restricted. Therefore, it will be understood that any of the features shown and / or discussed in the present disclosure may be implemented together in any suitable combination. Accordingly, the embodiments are not to be restricted except in light of the attached claims and their equivalents. Also, various modifications and changes may be made within the scope of the attached claims.

[0107] Generally, functions described herein (for example, the features illustrated in FIGS. 1-6) can be implemented using software, firmware, hardware (for example, fixed logic, finite state machines, and / or other circuits) , or a combination of these implementations. In the case of a software implementation, program code performs specified tasks when executed on a processor (for example, a CPU or CPUs) . The program code can be stored in one or more machine-readable memory devices. The features of the techniques described herein are system-independent, meaning that the techniques may be implemented on a variety of computing systems having a variety of processors. For example, implementations may include an entity (for example, software) that causes hardware to perform operations, e.g., processors functional blocks, and so on. For example, a hardware device may include a machine-readable medium that may be configured to maintain instructions that cause the hardware device, including an operating system executed thereon and associated hardware, to perform operations. Thus, the instructions may function to configure an operating system and associated hardware to perform the operations and thereby configure or otherwise adapt a hardware device to perform functions described above. The instructions may be provided by the machine-readable medium through a variety of different configurations to hardware elements that execute the instructions.

[0108] In sum, the system described herein provides the following technical advantages:

[0109] ● Large language model-based auto reviewer: the first solution described for eyes-off review by leveraging large language model (like GPT-4) to replace human reviewers

[0110] ● Real-time, data in-transit for privacy

[0111] ● Human-comparable annotation quality, saving review cost as well as protecting human mental health

[0112] ● Automatic review on freshness-sensitive category by leverage latest corpora in a real-time way to quickly adapt to viral phenomena or fresh global events, new entities or neologism

[0113] ● Automatic user intention detection on user request besides harmfulness annotation

[0114] ● Comprehensive signals and granularities for user ranking module

[0115] ● Use of multiple signals: user content, user profile, and user behavior

[0116] ● User granularities: direct users of the LLM service, as well as fine-grained users from each direct user

[0117] ● Time granularities: daily, hourly, weekly

[0118] ● Configurable and flexible to support

[0119] ● Customized requirements from diverse application scenarios

[0120] ● Ongoing updates to capture new forms of abuse.

[0121] In the foregoing detailed description, numerous specific details were set forth by way of examples in order to provide a thorough understanding of the relevant teachings. It will be apparent to persons of ordinary skill, upon reading the description, that various aspects can be practiced without such details. In other instances, well known methods, procedures, components, and / or circuitry have been described at a relatively high-level, without detail, in order to avoid unnecessarily obscuring aspects of the present teachings.

[0122] While the foregoing has described what are considered to be the best mode and / or other examples, it is understood that various modifications may be made therein and that the subject matter disclosed herein may be implemented in various forms and examples, and that the teachings may be applied in numerous applications, only some of which have been described herein. It is intended by the following claims to claim any and all applications, modifications and variations that fall within the true scope of the present teachings.

[0123] Unless otherwise stated, all measurements, values, ratings, positions, magnitudes, sizes, and other specifications that are set forth in this specification, including in the claims that follow, are approximate, not exact. They are intended to have a reasonable range that is consistent with the functions to which they relate and with what is customary in the art to which they pertain.

[0124] The scope of protection is limited solely by the claims that now follow. That scope is intended and should be interpreted to be as broad as is consistent with the ordinary meaning of the language that is used in the claims when interpreted in light of this specification and the prosecution history that follows, and to encompass all structural and functional equivalents. Notwithstanding, none of the claims are intended to embrace subject matter that fails to satisfy the requirement of Sections 101, 102, or 103 of the Patent Act, nor should they be interpreted in such a way. Any unintended embracement of such subject matter is hereby disclaimed.

[0125] Except as stated immediately above, nothing that has been stated or illustrated is intended or should be interpreted to cause a dedication of any component, step, feature, object, benefit, advantage, or equivalent to the public, regardless of whether it is or is not recited in the claims.

[0126] It will be understood that the terms and expressions used herein have the ordinary meaning as is accorded to such terms and expressions with respect to their corresponding respective areas of inquiry and study except where specific meanings have otherwise been set forth herein.

[0127] Relational terms such as first and second and the like may be used solely to distinguish one entity or action from another without necessarily requiring or implying any actual such relationship or order between such entities or actions. The terms “comprises, ” “comprising, ” and any other variation thereof, are intended to cover a non-exclusive inclusion, such that a process, method, article, or apparatus that comprises a list of elements does not include only those elements but may include other elements not expressly listed or inherent to such process, method, article, or apparatus. An element preceded by “a” or “an” does not, without further constraints, preclude the existence of additional identical elements in the process, method, article, or apparatus that comprises the element.

[0128] The Abstract of the Disclosure is provided to allow the reader to quickly identify the nature of the technical disclosure. It is submitted with the understanding that it will not be used to interpret or limit the scope or meaning of the claims. In addition, in the foregoing Detailed Description, it can be seen that various features are grouped together in various examples for the purpose of streamlining the disclosure. This method of disclosure is not to be interpreted as reflecting an intention that any claim requires more features than the claim expressly recites. Rather, as the following claims reflect, inventive subject matter lies in less than all features of a single disclosed example. Thus, the following claims are hereby incorporated into the Detailed Description, with each claim standing on its own as a separately claimed subject matter.

Claims

1.A data processing system (100) comprising:a processor (810) , anda memory (830) storing executable instructions which, when executed by the processor, causes the processor, alone or in combination with other processors (810) , to perform the following functions:receive content generated by a Generative Artificial Intelligence (GAI) in response to a user (101) request;generate a prompt including the content that instructs a GAI-based reviewer (107) to identify harmful content within the content using a set of examples of harmful content, wherein the GAI-based reviewer (107) dynamically generates new examples for the set of examples with access to an external resource; andidentify users abusing the GAI to produce harmful content based on output from the GAI-based reviewer (107) .2.The data processing system (100) of claim 1, wherein the external resource comprises the internet and the GAI-based reviewer (107) utilizes an internet search engine (140) to find relevant data based on the content from which the new examples of harmful content are generated.3.The data processing system (100) of claim 2, wherein the GAI-based reviewer (107) utilizes keywords from the content to conduct a search with the search engine (140) and uses semantic similarity with the content to identify data returned by the search engine (140) that is to be included in generating the new examples.4.The data processing system (100) of claim 3, further comprising a relevance scorer (131) to score data returned by the search engine (140) for use in generating the new examples, wherein data returned by the search engine (140) with a relevance score exceeding a threshold is used to generate the new examples.5.The data processing system (100) of any of claims 1-4, wherein the set of examples includes examples of harmful content received from an operator of the GAI, the operator of the GAI being able to submit additional examples of harmful content to improve or update performance of the GAI-based reviewer (107) .6.The data processing system (100) of any of claims 1-5, wherein the prompt includes examples from the set of examples to guide the GAI-based reviewer (107) .7.The data processing system (100) of any of claims 1-6, wherein the GAI is a Large Language Model (LLM) (104) and the GAI-based reviewer (107) is an LLM (104) -based reviewer (127) .8.The data processing system (100) of any of claims 1-7, wherein output from the GAI-based reviewer (107) is input to a user (101) core ranker (114) that ranks users of the GAI as to use of the GAI to generate harmful content.9.The data processing system (100) of any of claims 1-8, wherein the user (101) core ranker (114) considers all of the content associated with the user (101) , a user (101) profile and a record of user (101) behavior with the GAI to determine a rank of a user (101) .10.The data processing system (100) of any of claims 1-9, further comprising a traffic sampler (110) to reduce a volume of content from the GAI submitted to the GAI-based reviewer (107) .11.The data processing system (100) of claim 10, further comprising a configuration manager (118) , the configuration manager (118) configuring the traffic sampler (110) to increase sampling of content associated with a particular user (101) associated with identified harmful content.12.The data processing system (100) of any of claims 1-11, further comprising instructions (816) causing the processor to limit or block access to the GAI by a user (101) associated with identified harmful content.13.The data processing system (100) of any of claims 1-12, further comprising a configuration manager (118) , the configuration manager (118) to receive input from an operator of the GAI, the input identifying categories of harmful content that the GAI-based reviewer (107) should identify or ignore in the content.14.A method of preventing abuse of a Generative Artificial Intelligence (GAI) to generate harmful content, as defined by an operator of the GAI, the method comprising:receiving content generated by the Generative Artificial Intelligence (GAI) in response to a user (101) request;generating a prompt including the content that instructs a GAI-based reviewer (107) to identify harmful content within the content using a set of examples of harmful content, wherein the GAI-based reviewer (107) dynamically generates new examples for the set of examples with access to an external resource; andidentifying users abusing the GAI to produce harmful content based on output from the GAI-based reviewer (107) .15.The method of claim 14, wherein the external resource comprises the internet and the method further comprises using an internet search engine (140) to find relevant data on the internet based on the content, the relevant data then used to generate the new examples of harmful content.16.The method of claim 15, further comprising:using keywords from the content to conduct a search with the search engine (140) ; andusing semantic similarity to the content to identify data returned by the search engine (140) that is to be included in generating the new examples.17.The method of claim 16, further comprising scoring relevance of the data returned by the search engine (140) to the content, wherein data returned by the search engine (140) with a relevance score exceeding a threshold is used to generate the new examples.18.The method of any of claims 14-17, further comprising receiving additional examples of harmful content from the GAI operator to improve or update performance of the GAI-based reviewer (107) .19.A data processing system (100) to monitor output of a Generative Artificial Intelligence (GAI) for harmful content, the system (100) comprising:a GAI-based reviewer (107) ;a prompt generator (106) to receive content output by the GAI in response to a user (101) request and generate a prompt including the content, wherein the prompt instructs the GAI-based reviewer (107) to identify harmful content within the content using a set of examples of harmful content;an interface of the GAI-based reviewer (107) with an internet search engine (140) , wherein the GAI-based reviewer (107) dynamically generates new examples for the set of examples based on search results from searches conducted with the internet search engine (140) using data from the content; anda user (101) core ranker (114) to identify users abusing the GAI to produce harmful content based on output from the GAI-based reviewer (107) .20.The data processing system (100) of claim 19, wherein the GAI-based reviewer (107) utilizes key words from the content to conduct a search with the search engine (140) and uses semantic similarity with the content to identify data returned by the search engine (140) that is to be included in generating the new examples.

Images