Method, device and product for recommendation

Abstract

There are proposed methods, devices, and computer program products for recommendation. In the method, a first group of state data associated with a first group of entities in a recommendation system is obtained. A second group of state data associated with a second group of entities in the recommendation system is obtained. A first and a second group of objects that are to be recommended to the first and second groups of entities are determined by a machine learning model based on the first and second groups of state data respectively, so that an association relationship between a first and a second group of state transitions of the first and second groups of entities meets a predetermined condition. With these implementations, recommendation quality may be continuously improved and the disparity in retention may be minimized across groups of entities over time while enforcing retention fairness in a long term.

Description

METHOD, DEVICE AND PRODUCT FOR RECOMMENDATIONFIELD

[0001] The present disclosure generally relates to computer technology, and more specifically, to methods, devices, and computer program products for recommendation.BACKGROUND

[0002] Recommendation systems, powered by advanced algorithms and vast amounts of data, aim to predict, and suggest content, products, or services that are most likely to interest an individual user. To continuously adapt to changing user preferences, evolving trends of content popularity, and dynamic market conditions, most industrial recommendation systems actively update their algorithms by regularly incorporating new training data, e.g., user feedback on the recommendations. However, these systems tend to exacerbate the performance disparities among different groups of users, leading to polarization within the user population. At this point, it is desired to enforce retention fairness across user population.SUMMARY

[0003] In a first aspect of the present disclosure, there is provided a method for recommendation. In the method, a first group of state data associated with a first group of entities in a recommendation system is obtained. A second group of state data associated with a second group of entities in the recommendation system is obtained. A first and a second group of objects that are to be recommended to the first and second groups of entities are determined respectively by a machine learning model based on the first and second groups of state data, so that an association relationship between a first and a second group of state transitions of the first and second groups of entities meets a predetermined condition.

[0004] In a second aspect of the present disclosure, there is provided an electronic device. The electronic device comprises: a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method according to the first aspect of the present disclosure.

[0005] In a third aspect of the present disclosure, there is provided a computer program product, the computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform a method according to the first aspect of the present disclosure.

[0006] This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter.

[0007] BRIEF DESCRIPTION OF THE SEVERAL VIEWS OF THE DRAWINGS

[0008] Through the more detailed description of some implementations of the present disclosure in the accompanying drawings, the above and other objects, features and advantages of the present disclosure will become more apparent, wherein the same reference generally refers to the same components in the implementations of the present disclosure.

[0009] Fig. 1 illustrates an example recommendation system according to the machine learning technique;

[0010] Fig. 2 illustrates an example diagram for the recommendation solution according to implementations of the present disclosure;

[0011] Fig. 3 illustrates an example diagram of inputs and outputs of the environment model according to implementations of the present disclosure;

[0012] Fig. 4 illustrates an example diagram for the optimization problem according to implementations of the present disclosure;

[0013] Fig. 5 illustrates an example diagram 500 of pseudocode for implementing the proposed solution according to implementations of the present disclosure;

[0014] Fig. 6 illustrates an example flowchart of a method for recommendation according to implementations of the present disclosure; and

[0015] Fig. 7 illustrates a block diagram of a computing device in which various implementations of the present disclosure can be implemented.DETAILED DESCRIPTION

[0016] Principle of the present disclosure will now be described with reference to some implementations. It is to be understood that these implementations are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0017] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0018] References in the present disclosure to “one implementation, ” “an implementation, ” “an example implementation, ” and the like indicate that the implementation described may include a particular feature, structure, or characteristic, but it is not necessary that every implementation includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same implementation. Further, when a particular feature, structure, or characteristic is described in connection with an example implementation, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other implementations whether or not explicitly described.

[0019] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example implementations. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0020] The terminology used herein is for the purpose of describing particular implementations only and is not intended to be limiting of example implementations. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0021] Principle of the present disclosure will now be described with reference to some implementations. It is to be understood that these implementations are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below. In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0022] It may be understood that data involved in the present technical solution (including but not limited to the data itself, the acquisition or use of the data) should comply with requirements of corresponding laws and regulations and relevant rules.

[0023] It may be understood that, before using the technical solutions disclosed in various implementation of the present disclosure, the user should be informed of the type, scope of use, and use scenario of the personal information involved in the present disclosure in an appropriate manner in accordance with relevant laws and regulations, and the user’s authorization should be obtained.

[0024] For example, in response to receiving an active request from the user, prompt information is sent to the user to explicitly inform the user that the requested operation will need to acquire and use the user’s personal information. Therefore, the user may independently choose, according to the prompt information, whether to provide the personal information to software or hardware such as electronic devices, applications, servers, or storage media that perform operations of the technical solutions of the present disclosure.

[0025] As an optional but non-limiting implementation, in response to receiving an active request from the user, the way of sending prompt information to the user, for example, may include a pop-up window, and the prompt information may be presented in the form of text in the pop-up window. In addition, the pop-up window may also carry a selection control for the user to choose “agree” or “disagree” to provide the personal information to the electronic device.

[0026] It may be understood that the above process of notifying and obtaining the user authorization is only illustrative and does not limit the implementation of the present disclosure. Other methods that satisfy relevant laws and regulations are also applicable to the implementation of the present disclosure.

[0027] As mentioned above, an issue in recommendation systems is retention disparities among different user groups. For ease of illustration, the recommendation system in Fig. 1 may be taken as an example to illustrate the user retention issue in the recommendation system. Fig. 1 illustrates an example recommendation system 100 according to the machine learning technique. As illustrated in Fig. 1, the recommendation system 100 may recommend an object 120 to an entity 110. Here, the entity 110 may include a plurality of users or a plurality of user groups. Different users or user groups may have different interests. By way of example, the object 120 may be news, a video, a product, etc. It is to be understood that the recommendation system 100 is merely an example, which may be integrated in other application, such as short video application, online shopping application, etc.

[0028] Based on the recommended object 120, the entity 110 may perform an action and then an event 130 is received. There may be two e in the event 130, that is, viewing the object 120 or passing the object 120. In a case where the event 130 is viewing the object 120, a reward 140 corresponding to the event 130 may be higher (e.g., 1) . In a case where the event 130 is passing the object 120, the reward 140 corresponding to the event 130 may be lower (e.g., 0) . Alternatively and / or in addition, there may be other cases in the event 130 which are liking the object 120, disliking the object 120 or making a comment about the object 1201, and these cases may correspond to different rewards. In the present disclosure, viewing the object 120 or passing the object 120 may be taken as an example of the event 130.

[0029] For an entity 110, a higher reward 140 for the object 120 may indicate that the entity 110 is interested in the object 120 and the recommendation system 100 may tend to recommend more objects similar to the object 120 to the entity 110.

[0030] As discussed, the recommendation system 100 may lead to polarization within the user population. To make it more explicit, consider the recommendation system 100 is a news recommendation system and the entity 110 includes two user groups, one favoring international news and another favoring entertainment news, while the latter group is much larger in size. Due to the focus on minimizing overall loss in RRM, the recommendation algorithm tends to prioritize the optimization for the larger group’s preference for entertainment news, resulting in a higher error rate and diminishing user experience in the smaller group that prefers international news. This, in turn, makes users in the smaller group more likely to abandon the system, which further shrinks its group size and their impact on the overall training objective of RRM. Consequently, the recommendation algorithm faces even greater challenges in capturing the preferences of the smaller group, i.e., a death spiral.

[0031] Therefore, given the primary objective to improve long-term user engagement in industrial recommendation systems and the significant commercial benefits from a diverse user population, it is crucial to depolarize and equalize retention across different user groups. This also forms a new notion of user-side fairness, which may be referred to as retention fairness in the present disclosure. However, the previous solution on user-side fairness in recommendation system fails to address this type of long-term fairness, primarily because of their focus on balancing instantaneous performance a user (or user groups) receives, measured  by specific metrics, such as the prediction error disparity across different user groups at each time step of RRM. However, equalizing recommendation performance based on instantaneous metrics does not suggest equalized long-term retention. Instead, enforcing retention fairness causes a forward-looking approach that minimizes the disparity in retention across user groups over time, while the recommendation algorithm is being improved to maximize the recommendation utility. This goal is highly non-trivial, since the retention dynamics of different users are unknown and closely tied to the recommendations provided.

[0032] In some related works, extensive solution has been conducted to explore and address fairness concerns in recommendation scenarios. One widely adopted approach for the recommendation system is the repeated risk minimization (RRM) procedure, where the algorithm is updated by minimizing empirical loss on newly collected data, and then deployed to gather new data for next-step training. The procedure is repeated for iterative algorithmic refinement over time. However, most existing work on user-side group fairness primarily focuses on balancing group performance on instantaneous metrics (e.g., prediction error) at a specific time step of RRM. However, these approaches cannot address retention fairness, which requires equalized user retention over time.

[0033] Some recent work has approached long-term group fairness as a reinforcement learning problem, primarily focusing on a sequential binary decision making setting. However, these settings differ fundamentally from recommendation scenarios in two key aspects. Firstly, most of them focus on an episodic setting, which assumes the decision making process will repeatedly restart from the initial state, which is equivalent to having all users back to the recommender system when a predefined time horizon comes to its end. But in reality, it is not possible to regain users who have left the platform. Secondly, in this line of solution, the actions themselves (such as granting a loan) directly determine the level of fairness (such as the difference in loan approval rates among user groups) . In contrast, a recommendation decision, i.e., what to recommend, involves unknown impacts on in user retention among groups. This significantly complicates policy learning and constraint satisfaction.

[0034] While the specific model architectures may vary, industrial recommendation systems commonly employ a RRM procedure to regularly incorporate new training data, e.g.,  user feedback on the latest recommendations, so as to provide up-to-date recommendations tailored to users’ evolving preferences. Formally, let denote the recommendation policy at time t parameterized by θt, and denote the user interactions gathered by the previously deployed recommendation policy RRM updates the recommendation policy at time t + 1 to minimize the following loss:

[0035] In the formular, l (u, a; θt) represents the loss associated with the interaction pair of user u and recommendation a from policy Various types of loss l (u, a; θt) have been explored in practice, such as cross entropy loss, RL-based loss, etc.

[0036] Numerous studies have shown that the RRM procedure in formula (1) exacerbates retention disparities among different user groups. As shown in previous studies, minority groups, with limited observations in and thus less impact on the training objective in formula (1) , tend to experience worse recommendation quality when is deployed. Worse still, discouraged by subpar recommendations, such users are more likely to leave the platform, resulting in a further disparity in the sizes of training samples in and their influence on the RRM training at time t + 1. This creates a detrimental feedback loop where minority groups suffer progressively inferior user experiences, leading to a continued shrinkage in group sizes.

[0037] While it is crucial to thoroughly investigate and address fairness concerns on long-term user retention, it has been overlooked in previous solution on user-side fairness in recommendation systems. Previous solution primarily focuses on enforcing fairness at a single step of RRM with respect to the instantaneous metric using collected data so far, such as minimizing prediction error gaps across user groups on This however has no guarantee on mitigating retention disparities in a long term, since smaller errors on an instantaneous metric (e.g., prediction error at time t) do not imply higher long-term user retention at all. This motivates the proposed framework in the present disclosure for recommendation algorithm optimization subject to the retention fairness constraint.

[0038] In view of the above, the present disclosure proposes a recommendation solution by presenting a learning framework that iteratively updates its recommendation algorithm while enforcing long-term retention fairness, named as ReFair (Retention Fairness) . To tackle the aforementioned challenges, the present disclosure develops a model-based reinforcement learning (RL) solution, where the environment model is estimated to assist policy learning. At a high level, ReFair iteratively executes two steps. The first step is to estimate an individual user’s reward feedback and retention after the user takes a system-provided recommendation. The second step is to improve the recommendation algorithm to maximize user satisfaction subject to retention fairness across user groups, both for the long-term. But because the estimations may be inaccurate, relying solely on the estimated environment can lead to sub-optimal recommendation performance and also have no guarantee on the retention fairness. To address these issues, the present disclosure proposes a surrogate optimization approach that explicitly considers the uncertainty of the estimated environment. It incorporates an extra bonus to encourage exploration, while relaxing the retention fairness constraint based on the uncertainty of environment model estimation. Policy gradient is then leveraged to solve the surrogate optimization problem. Theoretical analysis demonstrates that ReFair achieves a sub-linear regret on cumulative reward and retention fairness violation, under a linear environment assumption. Experiments on two real-world datasets further demonstrate ReFair’s effectiveness in optimizing user satisfaction and ensuring retention fairness, both in a long term.

[0039] Referring to Fig. 2 for more details about the recommendation solution. Fig. 2 illustrates an example diagram 200 for the recommendation solution according to implementations of the present disclosure. As illustrated in Fig. 2, a first group of state data 212 associated with a first group of entities 210 in a recommendation system and a second group of state data 222 associated with a second group of entities 220 in the recommendation system may be obtained. Further, a machine learning model 230 is proposed in the present disclosure. Based on the first groups of state data 212 and the second groups of state data 222, a first group of objects 214 and a second group of objects 224 that are to be recommended to the first groups of entities 210 and second groups of entities 220 are respectively determined by the machine learning model 230. Here, the first and second groups of objects 214 and 224  lead an association relationship between a first group of state transitions 216 and a second group of state transitions 226 of the first groups of entities 210 and the second groups of entities 220 meets a predetermined condition 240. By way of example, the first group of objects 214 and / or the second group of objects 224 may be news, videos, products, etc.

[0040] It is to be noted that although the present disclosure chooses to focus on addressing retention fairness between two groups of entities, but the developed framework and algorithm can be easily extended to scenarios with multiple groups of entities.

[0041] With these implementations of the present disclosure, the proposed solution may continuously improve recommendation quality, minimize the disparity in retention across groups of entities over time while enforcing retention fairness in a long term so that the retention of different groups of entities may meet a condition and the smaller group of entities may not abandon the recommendation system.

[0042] As implementations of the present disclosure focus on continuously improving the recommendation policy over time, implementations of the present disclosure formulate the problem using a Markov Decision Process (MDP) and introduce an absorbing state o to explicitly capture users’ retention dynamics. Specifically, implementations of the present disclosure construct the following MDP

[0043] For ease of illustration, the following will define the symbols in MDP firstly.  (represented by a vector and also referred to state data) indicates a continuous state space describing the latent states of users. Here su, t=o suggests user u leaves the platform (e.g., the recommendation system 100 or the application integrating the recommendation system 100) at time t. Otherwise, su, t encodes the latent state at time t of user u based on the user’s historical interactions with the system (e.g., capturing and summarizing overall satisfaction of the system so far) .   (also referred to objects that are to be recommended) indicates a discrete action space, containing all the recommendation candidates.  indicates that  is the state transition probability, where denotes the probability that user u leaves the platform after being recommended content a under state su, t. r indicates that is the reward function, where r (su, t, a) ∈ [0, 1] represents the reward (e.g., rating) that the system obtains when recommending content a to user u at time t.  Notably, once the user leaves the platform, no further reward can be obtained, i.e., r (o, a) = 0 for all a∈A. ρ0 indicates the initial user state distribution at t = 0. γ indicates the discount factor for future rewards.

[0044] In implementations of the present disclosure, with respect to an entity in the first group of entities 210, a state transition of the entity may include any of: the entity leaving the recommendation system, and the entity being within the recommendation system, the predetermined condition represents that a difference between a first proportion of entities leaving the recommendation system in the first group of entities 210 and a second proportion of entities leaving the recommendation system in the second group of entities 220 meets a predetermined threshold. In an example, based on the symbols defined above, su, t=o may denote an entity u leaves the recommendation system at time t and su, t≠o may denote an entity u is within the recommendation system at time t. With these implementations, the association relationship may be controlled and there may not be a large difference between the first proportion and the second proportion, and thus retention disparities among groups of entities may be mitigated.

[0045] In implementations of the present disclosure, the machine learning model may be determined by determining, by an environment model, a first and a second group of reference reward data (sometime referred to as ) associated with a first and a second group of reference entities, respectively; and determining, by the environment model, a first and a second group of reference state transitions (sometime referred to as ) associated with the first and second groups of reference entities, respectively. In an example, the reference reward data may be a score between 0 and 1. Referring to Fig. 3 for more details about the environment model. Fig. 3 illustrates an example diagram 300 of inputs and outputs of the environment model according to implementations of the present disclosure. As illustrated in Fig. 3, an environment model 310 is a pre-trained model which is built to simulate a recommendation system 312 thereby avoiding users churn in the recommendation system 312. The input of the environment model 310 may include state data 320 and an object 322, and the output of the environment model 310 may include reward data 330 and a state transition 332.

[0046] Implementations of the present disclosure employ two MDPs to represent two distinct user groups (as an example of the first group of entities 210 and the second group of  entities 220) , such as those interested in entertainment news and international news in the previous example, respectively. These two MDPs share the same state space, action space, and discount factor, but they can differ in terms of initial state distributions, transitions, and reward functions. Implementations of the present disclosure use superscripts g∈ {a, b} to denote the two groups. For example,  and denote the initial state distributions of the two groups, respectively. To simplify the notations, variables without superscripts are utilized to represent the entire user population. For example, ρ0 denotes the initial state distribution over all users. At each time step t = 0, 1, ... T, the system samples an item from its latest recommendation policy which is a probability distribution over all recommendation candidates. The sampled item, denoted as is then recommended to user u.

[0047] In implementations of the present disclosure, the machine learning model may be further determined by establishing an objective function for the machine learning model based on the first and second groups of reference reward data, and updating the machine learning model based on the objective function under a constraint that the first and second groups of reference state transitions meet the predetermined condition. The optimization problem of the present disclosure is to find the that maximizes the cumulative reward from all users and concurrently realizes retention fairness between the two groups of users. Referring to Fig. 4 for more details about the optimization problem. Fig. 4 illustrates an example diagram 400 for the optimization problem 410 according to implementations of the present disclosure. As illustrated in Fig. 4, the optimization problem 410 includes an objective function 420 and a constraint 430. The objective function 420 needs to be optimized under the constraint 430. An example of the objective function 420 may be as follows:

[0048] In formula (2) ,  may be computed based on the probability of state of each user transiting to other states at a time point when an object is recommended to the user,  r (su, t+k, au, t+k) represents reward data based on state data and objects to be recommended and γk represents a discount factor. The constraint 430 for formula (2) may be as follows:

[0049] The constraint 430 indicates that the difference between the first group of entities stay on the recommendation system and the second group of entities stay on the recommendation system is less than or equal to a predetermined value ∈ (as an example of the predetermined threshold) . With these implementations, the machine learning model may be updated based on data obtained from a simulated environment and thus users churn in the actual recommendation system may be avoided.

[0050] In implementations of the present disclosure, the objective function 420 may include a maximum of a sum of the first and second groups of reference reward data. Take formula (2) as an example of the objective function 420, the goal of formula (2) is to find a πθ(i.e., a recommendation policy) to maximize a sum of the first and second groups of reference reward data. In an example, γ may be a discount factor to discount to the reference reward data. With these implementations, by maximizing the cumulative reward from all users in two groups, retention fairness may be realized between these two groups.

[0051] In implementations of the present disclosure, a plurality of reference rewards at a plurality of time points associated with first the reference entity may be determined by the machine learning model 230, respectively. Take formula (2) as an example of the object function for illustration, a plurality of reference rewards from time point t to T, that is  may be determined by the machine learning model 230.

[0052] In implementations of the present disclosure, the first reference reward data based on a weighted sum of the plurality of reference rewards may be determined. As can be seen in formula (2) , γ as a discount factor is used to determine the weighted sum of the plurality of reference rewards across time. Here, the discount factor may attenuate the long-term impact and thus improve the long-term accuracy of the model. With these implementations, by discounting the plurality of reference rewards across time, a more accurate reward may be determined and thus a better long-term recommendation policy may be generated based on the accurate reward.

[0053] According to the constraint for formula (2) , the constraint captures the retention fairness requirement at each time step t, where d (·) ,  and denote the state distribution in the whole population, user group a and b at time t, respectively. The hyper-parameter w is pre-defined to capture varying degrees of fairness requirements. For example, w = 1 indicates an equalization of retention between the two groups.  is an abbreviation for chooses to stay on the platform after being recommended to content au, t.

[0054] In implementations of the present disclosure, with respect to a first reference entity in the first group of reference entities, a first reference state transition associated with the first reference entity may be determined by the environment model 310 based on a first reference state of the first reference entity and a first reference object that is recommended to the first reference entity. Still referring to Fig. 3, the environment model 310 may determine the state transition 332 (such as the first reference state transition) based on the state data 320 (such as the first reference state) and object 322 (such as the first reference object) . In an example, the first reference state transition may be denoted as where t represents time step, s represents state data and a represents the object recommended to the entity. With these implementations, an estimated state transition may be determined and thus a more accurate recommendation policy may be provided to different groups of entities.

[0055] In implementations of the present disclosure, the first reference reward data associated with the first reference entity may be determined based on the first reference state of the first reference entity and the first reference object. Still referring to Fig. 3, the environment model 310 may determine the reward data 320 (such as the first reference reward data) based on the state data 320 (such as the first reference state) and object 322 (such as the first reference object) . In an example, the first reference reward data may be denoted as  where t represents time step, s represents state data and a represents the object recommended to the entity. Further, the environment model 310 may determine the second reference reward data in a similar way based on the second reference state of the second reference entity and the second reference object.

[0056] In implementations of the present disclosure, the first reference reward data may be updated with an uncertainty factor (sometime also referred to as bonus term, denoted as bt) of the environment model. Implementations of the present disclosure devise a surrogate optimization problem that guides policy learning under the estimated environment, subject to the environment model’s estimation uncertainty. The surrogate optimization problem is constructed based on formula (2) by introducing an exploration bonus term and relaxation of fairness constraint.

[0057] Regarding exploration bonus, relying solely on the estimated reward without considering its inaccuracy can mislead policy learning, e.g., overlook better recommendation policies under the ground-truth reward. A provably effective approach is to learn from calibrated rewards, i.e., the principle of optimism in the face of uncertainty. Specifically, the present disclosure calibrates the estimated reward function with an exploration bonus term bt(·, ·) that captures uncertainties in environment estimation and assigns higher values to currently under-explored actions as follows:

[0058] In formula (3) ,  represents the first reference reward data, bt (s, a) represents the uncertainty factor and represents the updated first reference reward data.

[0059] In implementations of the present disclosure, the uncertainty factor may be determined based on the first reference state transition of the first reference entity. In an example, to make the calibration in formula (3) valid, bt (·, ·) is required to consistently overestimate (i.e., be larger than) the true rewards, which can be formally defined in the following. An exploration bonus (also referred to as uncertainty factor) bt represents  is valid if, for the following condition holds:

[0060] where denotes the value of state s in the environment and With these implementations, additional exploration bonus is proposed and the inaccuracies in the estimated environment model may be addressed.

[0061] In implementations of the present disclosure, a relaxed constraint may be determined based on the uncertainty factor of the environment model and the constraint, and the machine learning model may be updated based on the objective function under the relaxed constraint that the first and second groups of reference state transitions meet the predetermined condition. To address the influence of inaccuracies in the estimated transition dynamics when measuring retention fairness, implementations of the present disclosure propose to relax the fairness constraint in formula (2) as follows:

[0062] where ct represents the relaxation (also referred to as the relaxed constraint) due to the uncertainty in the estimated As time progresses and more data is collected, the relaxation factor ct decreases along with the decreasing uncertainty in the estimated transition dynamics This allows the relaxed constraint to gradually approaches the desired ground-truth constraint in formula (2) . Therefore, the total violation of retention fairness during policy learning depends on the rate of shrinkage of ct.

[0063] In addition to its rate of shrinkage, ct also needs to ensure that the set of policies satisfying the relaxed constraint include the optimal policy at time t, even if the estimated dynamics are not accurate yet. This requirement is referred to as the compatibility of ct. Let represent the optimal policy for formula (2) . The compatibility of ct may be formally defined as follows. ct is compatible, if is included in the policy set that satisfies the constraint, for all t:

[0064] With these implementations, soft constraint relaxation is proposed and the inaccuracies in the estimated environment model may be addressed.

[0065] Let denote the Q-function under the calibrated rewards in formula (3) . Together with the uncertainty-driven relaxed constraint in formula (4) ,  may be learned by optimizing the following surrogate problem of formula (2) at time t:

[0066] The constraint for formula (6) may be Various constrained policy optimization algorithms may be employed to solve formula (6) . And later the present disclosure proves that solving this surrogate optimization problem leads to sublinear regret in recommendation performance and sublinear cumulative fairness constraint violation.

[0067] In implementations of the present disclosure, the environment model may be determined by determining reference reward data based on an interaction between a reference entity and a reference object that is recommended to the reference entity and obtaining a reference state transition of the reference entity. In addition, the environment model may be determined based on reference state data of the reference entity, the reference object, the reference reward data, and the reference state transition.

[0068] Under the context of recommender system optimization subject to retention fairness constraints, conventional value-based or policy-based reinforcement learning (RL) solutions become infeasible, as policy training by directly interacting with the environment (i.e., the users) may not be afforded. More specifically, applying a policy that is not well optimized can cause deviations in the interaction trajectory from being satisfactory, leading to either poor cumulative rewards or significant violations of retention fairness. In particular, once a user abandons the platform, there is no way for the system to get the user back.

[0069] Therefore, implementations of the present disclosure appeal to a model-based RL solution, which builds an environment model based on the estimated transition dynamics and reward function at time t. The recommendation policy is then learned under the estimated environment. However, directly substituting the ground-truth reward function r and transition dynamics with their estimates to optimize formula (2) is not feasible. This is because the estimates cannot be perfect. Relying solely on the estimated rewards may lead to sub-optimal recommendation performance, while enforcing fairness based on the inaccurate estimations of transition dynamics can be misleading and thus fail to effectively ensure retention fairness. As a result, implementations of the present disclosure have to explicitly factor uncertainty of the estimated environment model into policy optimization, which closely couples the two iterative steps in ReFair, which are environment learning and policy  optimization with the estimated environment. In environment learning, the estimated reward function and transition dynamics along with the associated uncertainties required in the subsequent policy optimization step may be provided. In policy optimization with the estimated environment, the recommendation policy under the estimated environment at time t may be updated with respect to the uncertainty of the estimated environment. With these implementations, an efficient environment model may be determined to simulate the recommendation system and thus a better object may be recommended by the recommendation system in the actual application.

[0070] It is to be noted that the solution proposed by implementations of the present disclosure may be applied to multiple user groups. To extend ReFair (as an example name of the proposed solution) to scenarios with K user groups, the present disclosure only need to formulate the retention fairness constraints among K groups. A straightforward approach is to enforce retention fairness between every pair of groups as in formula (4) , resulting in K (K-1)  / 2 constraints. The same constrained policy optimization algorithms as developed in the present disclosure can then be directly applied to obtain the recommendation policy.

[0071] In the following, the present disclosure delves into the details of learning the environment model and deriving the valid exploration bonus term bt and compatible constraint relaxation ct accordingly.

[0072] To theoretically analyze the performance difference between learning through the surrogate optimization problem in formula (6) and the ideal optimization problem in formula (2) , the present disclosure assumes the following linear structure in the ground-truth reward function r and transition dynamics P:

[0073] In this formula, φ is a known state-action feature map φ:  and are the unknown ground-truth parameters associated with the reward and transition dynamics for state s, respectively. Without loss of generality, the present disclosure assumes ‖φ (s, a) ‖≤ 1 for all and ≤for any  vector v over with ‖v‖∞ ≤ 1. Here, μ* represents the stacked vector across For simplicity, rs, awill also be used to represent r (s, a) in the subsequent description.

[0074] At time t, the logged user-item interactions from previous timesteps are denoted as  Based on the estimated model parameters and the reward and transition dynamics may be computed as follows:

[0075] where

[0076] The optimization problems above have closed-form solutions:

[0077] with

[0078] Based on the closed-form solution in formula (8) , the valid exploration bonus btand compatible constraint relaxation ct in the following lemma.

[0079] In a Lemma, denote Assume the linear structure in formula (7) holds, and For a fixed with probability at least  for all t, s and a, the following constructions of exploration bonus bt and compatible ct are valid,

[0080] Herein,  and U denotes the number of users in the system.

[0081] The present disclosure adopts a slow switching technique to reduce computation overhead in updating the environment model. The idea is that the environment model is only updated when enough new data has been collected, via checking the determinant of the covariance matrix Λt. Specifically, assume the most recent model update happened at time t, the present disclosure chooses to update the model at time t′only if det (Λt′) ≥2det (Λt) .

[0082] To theoretically inspect the performance of learning through surrogate optimization, the present disclosure considers the following regret. For recommendation performance, the present disclosure tracks cumulative regret bound in T rounds:

[0083] where denotes the expected cumulative rewards obtained by following the optimal policy at time t.

[0084] For retention fairness, the present disclosure considers cumulative violation of fairness over T rounds:

[0085] Based on the exploration bonus bt and compatible constraint relaxation ctderived in the above Lemma, along with the slow switching technique, the present disclosure may bound the regret in long-term recommendation performance and total retention fairness violation of the recommendation policy learned through the surrogate optimization problem in formula (6) in the following theorem. Assume the assumption in the above Lemma holds. With probability at least learning through the surrogate optimization problem in formula (6) has the following upper bounds on the cumulative regret for recommendation performance and total violation of retention fairness over T rounds:

[0086] In the following, the present disclosure presents a practical approach for solving the surrogate optimization problem defined in formula (6) . To ensure monotonic improvement, the present disclosure adopts the local policy search method to iteratively improve the policy.  Additionally, the present disclosure replaces the second constraint in formula (6) with a square norm constraint, which is differentiable everywhere, facilitating more efficient and stable gradient-based optimization. As a result, the present disclosure reformulates the surrogate optimization problem at time t in formula (6) as follows:

[0087] Then, a primal-dual gradient update algorithm may be employed to solve formula (9) , which first finds the optimal update policy in the nonparameterized policy space and then projects it back into the parametric policy space. An example implementation of the ReFair may be referred to Fig. 5, which illustrates an example diagram 500 of pseudocode for implementing the proposed solution according to implementations of the present disclosure.

[0088] The above has illustrated respective steps of the present disclosure and the following will describe an experimental environment of implementing these steps. In the following, the present disclosure empirically evaluates the performance of ReFair on two real-world recommendation datasets. The present disclosure assesses the effectiveness of the algorithm in terms of both long-term recommendation quality and retention fairness among groups.

[0089] Two benchmark recommendation datasets with long-term user activity records will be adopted. To evaluate the long-term performance of a recommendation algorithm, it is crucial to allow the algorithm to interact with users. The present disclosure focuses on evaluating the algorithms on the two benchmark datasets by training an environment simulator to mimic an interactive environment.

[0090] In the experiments, the present disclosure cluster users into two distinct preference groups based on user feature / ID embeddings learned from the environment simulator. The present disclosure focuses on the setting where w = 1, defined in formula (2) , which corresponds to equalizing the long-term user retention of the two user groups.

[0091] Then ReFair may be compared with some baselines. Each algorithm is executed for 10 runs with different random seeds. As a result, regarding a cumulative reward and  retention disparity, ReFair has a better performance than other baselines on both benchmark recommendation datasets.

[0092] Overall, the present disclosure introduces a novel fairness notion concerning long term retention across different user groups, driven by the necessity of diverse long-term user engagement in recommender systems. The present disclosure proposes the first framework that enables continuous improvement of recommendation algorithms while enforcing retention fairness. To tackle the challenge of unknown user retention dynamics, the present disclosure proposes ReFair, a model-based reinforcement learning approach that alternates between environment estimation and fairness control with respect to the uncertainty of environment estimation. A rigorous theoretical analysis demonstrates that ReFair achieves a sub-linear regret on cumulative reward and constraint violation, when the underlying MDP possesses a linear structure. Furthermore, empirical experiments conducted on two real-world recommendation datasets validate the effectiveness of ReFair in optimizing long-term user satisfaction and ensuring retention fairness.

[0093] The above paragraphs have described details for recommendation. According to implementations of the present disclosure, a method is provided for recommendation. Reference will be made to Fig. 6 for more details about the method, where Fig. 6 illustrates an example flowchart of a method 600 for recommendation according to implementations of the present disclosure. At a block 610, a first group of state data associated with a first group of entities in a recommendation system is obtained. At a block 620, a second group of state data associated with a second group of entities in the recommendation system is obtained. At a block 630, a first and a second group of objects that are to be recommended to the first and second groups of entities are determined by a machine learning model based on the first and second groups of state data respectively, so that an association relationship between a first and a second group of state transitions of the first and second groups of entities meets a predetermined condition.

[0094] In implementations of the present disclosure, with respect to an entity in the first group of entities, a state transition of the entity comprises any of: the entity leaving the recommendation system, and the entity being within the recommendation system, the predetermined condition represents that a difference between a first proportion of entities  leaving the recommendation system in the first group of entities and a second proportion of entities leaving the recommendation system in the second group of entities meets a predetermined threshold.

[0095] In implementations of the present disclosure, the machine learning model is determined by: determining, by an environment model, a first and a second group of reference reward data associated with a first and a second group of reference entities, respectively; determining, by the environment model, a first and a second group of reference state transitions associated with the first and second groups of reference entities, respectively; and establishing an objective function for the machine learning model based on the first and second groups of reference reward data; and updating the machine learning model based on the objective function under a constraint that the first and second groups of reference state transitions meet the predetermined condition.

[0096] In implementations of the present disclosure, the objective function comprises: a maximum of a sum of the first and second groups of reference reward data.

[0097] In implementations of the present disclosure, determining the first group of reference state transitions comprises: with respect to a first reference entity in the first group of reference entities, determining, by the environment model, a first reference state transition associated with the first reference entity based on a first reference state of the first reference entity and a first reference object that is recommended to the first reference entity.

[0098] In implementations of the present disclosure, determining the first group of reference reward data comprises: determining, by the environment model, the first reference reward data associated with the first reference entity based on the first reference state of the first reference entity and the first reference object; and updating the first reference reward data with an uncertainty factor of the environment model.

[0099] In implementations of the present disclosure, the uncertainty factor is determined based on the first reference state transition of the first reference entity.

[0100] In implementations of the present disclosure, determining the first reference reward data comprises: determining, by the machine learning model, a plurality of reference rewards at a plurality of time points associated with first the reference entity, respectively; and  determining the first reference reward data based on a weighted sum of the plurality of reference rewards.

[0101] In implementations of the present disclosure, updating the machine learning model based on the objective function further comprises: determining a relaxed constraint based on the uncertainty factor of the environment model and the constraint; and updating the machine learning model based on the objective function under the relaxed constraint that the first and second groups of reference state transitions meet the predetermined condition.

[0102] In implementations of the present disclosure, the environment model is determined by:determining reference reward data based on an interaction between a reference entity and a reference object that is recommended to the reference entity; obtaining a reference state transition of the reference entity; and determining the environment model based on reference state data of the reference entity, the reference object, the reference reward data, and the reference state transition.

[0103] According to implementations of the present disclosure, an apparatus is provided for recommendation. The apparatus comprises: a first obtaining module, configured for obtaining a first group of state data associated with a first group of entities in a recommendation system; a second obtaining module, configured for obtaining a second group of state data associated with a second group of entities in the recommendation system; and a determining module, configured for determining, by a machine learning model based on the first and second groups of state data, a first and a second group of objects that are to be recommended to the first and second groups of entities respectively, so that an association relationship between a first and a second group of state transitions of the first and second groups of entities meets a predetermined condition. The apparatus further comprise other modules being configured for implementing other steps in the above method.

[0104] According to implementations of the present disclosure, an electronic device is provided for implementing the method 600. The electronic device comprises: a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method for recommendation. The method comprises: obtaining a first group of state data associated with a first group of entities in a recommendation system; obtaining a second group of state data  associated with a second group of entities in the recommendation system; and determining, by a machine learning model based on the first and second groups of state data, a first and a second group of objects that are to be recommended to the first and second groups of entities respectively, so that an association relationship between a first and a second group of state transitions of the first and second groups of entities meets a predetermined condition.

[0105] In implementations of the present disclosure, with respect to an entity in the first group of entities, a state transition of the entity comprises any of: the entity leaving the recommendation system, and the entity being within the recommendation system, the predetermined condition represents that a difference between a first proportion of entities leaving the recommendation system in the first group of entities and a second proportion of entities leaving the recommendation system in the second group of entities meets a predetermined threshold.

[0106] In implementations of the present disclosure, the machine learning model is determined by: determining, by an environment model, a first and a second group of reference reward data associated with a first and a second group of reference entities, respectively; determining, by the environment model, a first and a second group of reference state transitions associated with the first and second groups of reference entities, respectively; and establishing an objective function for the machine learning model based on the first and second groups of reference reward data; and updating the machine learning model based on the objective function under a constraint that the first and second groups of reference state transitions meet the predetermined condition.

[0107] In implementations of the present disclosure, the objective function comprises: a maximum of a sum of the first and second groups of reference reward data.

[0108] In implementations of the present disclosure, determining the first group of reference state transitions comprises: with respect to a first reference entity in the first group of reference entities, determining, by the environment model, a first reference state transition associated with the first reference entity based on a first reference state of the first reference entity and a first reference object that is recommended to the first reference entity.

[0109] In implementations of the present disclosure, determining the first group of reference reward data comprises: determining, by the environment model, the first reference  reward data associated with the first reference entity based on the first reference state of the first reference entity and the first reference object; and updating the first reference reward data with an uncertainty factor of the environment model.

[0110] In implementations of the present disclosure, the uncertainty factor is determined based on the first reference state transition of the first reference entity.

[0111] In implementations of the present disclosure, determining the first reference reward data comprises: determining, by the machine learning model, a plurality of reference rewards at a plurality of time points associated with first the reference entity, respectively; and determining the first reference reward data based on a weighted sum of the plurality of reference rewards.

[0112] In implementations of the present disclosure, updating the machine learning model based on the objective function further comprises: determining a relaxed constraint based on the uncertainty factor of the environment model and the constraint; and updating the machine learning model based on the objective function under the relaxed constraint that the first and second groups of reference state transitions meet the predetermined condition.

[0113] In implementations of the present disclosure, the environment model is determined by:determining reference reward data based on an interaction between a reference entity and a reference object that is recommended to the reference entity; obtaining a reference state transition of the reference entity; and determining the environment model based on reference state data of the reference entity, the reference object, the reference reward data, and the reference state transition.

[0114] According to implementations of the present disclosure, a computer program product, the computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform the method 600.

[0115] Fig. 7 illustrates a block diagram of a computing device 700 in which various implementations of the present disclosure can be implemented. It would be appreciated that the computing device 700 shown in Fig. 7 is merely for purpose of illustration, without suggesting any limitation to the functions and scopes of the present disclosure in any manner. The computing device 700 may be used to implement the above method in implementations of the present disclosure. As shown in Fig. 7, the computing device 700 may be a  general-purpose computing device. The computing device 700 may at least comprise one or more processors or processing units 710, a memory 720, a storage unit 730, one or more communication units 740, one or more input devices 750, and one or more output devices 760.

[0116] The processing unit 710 may be a physical or virtual processor and can implement various processes based on programs stored in the memory 720. In a multi-processor system, multiple processing units execute computer executable instructions in parallel so as to improve the parallel processing capability of the computing device 700. The processing unit 710 may also be referred to as a central processing unit (CPU) , a microprocessor, a controller, or a microcontroller.

[0117] The computing device 700 typically includes various computer storage medium. Such medium can be any medium accessible by the computing device 700, including, but not limited to, volatile and non-volatile medium, or detachable and non-detachable medium. The memory 720 can be a volatile memory (for example, a register, cache, Random Access Memory (RAM) ) , a non-volatile memory (such as a Read-Only Memory (ROM) , Electrically Erasable Programmable Read-Only Memory (EEPROM) , or a flash memory) , or any combination thereof. The storage unit 730 may be any detachable or non-detachable medium and may include a machine-readable medium such as a memory, flash memory drive, magnetic disk, or another other media, which can be used for storing information and / or data and can be accessed in the computing device 700.

[0118] The computing device 700 may further include additional detachable / non-detachable, volatile / non-volatile memory medium. Although not shown in Fig. 7, it is possible to provide a magnetic disk drive for reading from and / or writing into a detachable and non-volatile magnetic disk and an optical disk drive for reading from and / or writing into a detachable non-volatile optical disk. In such cases, each drive may be connected to a bus (not shown) via one or more data medium interfaces.

[0119] The communication unit 740 communicates with a further computing device via the communication medium. In addition, the functions of the components in the computing device 700 can be implemented by a single computing cluster or multiple computing machines that can communicate via communication connections. Therefore, the computing device 700 can operate in a networked environment using a logical connection with one or more other servers, networked personal computers (PCs) or further general network nodes.

[0120] The input device 750 may be one or more of a variety of input devices, such as a mouse, keyboard, tracking ball, voice-input device, and the like. The output device 760 may be one or more of a variety of output devices, such as a display, loudspeaker, printer, and the like.  By means of the communication unit 740, the computing device 700 can further communicate with one or more external devices (not shown) such as the storage devices and display device, with one or more devices enabling the user to interact with the computing device 700, or any devices (such as a network card, a modem, and the like) enabling the computing device 700 to communicate with one or more other computing devices, if required. Such communication can be performed via input / output (I / O) interfaces (not shown) .

[0121] In some implementations, instead of being integrated in a single device, some, or all components of the computing device 1000 may also be arranged in cloud computing architecture. In the cloud computing architecture, the components may be provided remotely and work together to implement the functionalities described in the present disclosure. In some implementations, cloud computing provides computing, software, data access and storage service, which will not require end users to be aware of the physical locations or configurations of the systems or hardware providing these services. In various implementations, the cloud computing provides the services via a wide area network (such as Internet) using suitable protocols. For example, a cloud computing provider provides applications over the wide area network, which can be accessed through a web browser or any other computing components. The software or components of the cloud computing architecture and corresponding data may be stored on a server at a remote position. The computing resources in the cloud computing environment may be merged or distributed at locations in a remote data center. Cloud computing infrastructures may provide the services through a shared data center, though they behave as a single access point for the users. Therefore, the cloud computing architectures may be used to provide the components and functionalities described herein from a service provider at a remote location. Alternatively, they may be provided from a conventional server or installed directly or otherwise on a client device.

[0122] The functionalities described herein can be performed, at least in part, by one or more hardware logic components. For example, and without limitation, illustrative types of hardware logic components that can be used include Field-Programmable Gate Arrays (FPGAs) , Application-specific Integrated Circuits (ASICs) , Application-specific Standard Products (ASSPs) , System-on-a-chip systems (SOCs) , Complex Programmable Logic Devices (CPLDs) , and the like.

[0123] Program code for carrying out the methods of the subject matter described herein may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general-purpose computer, special purpose computer, or other programmable data processing apparatus such that the program code, when  executed by the processor or controller, causes the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may be executed entirely or partly on a machine, executed as a stand-alone software package partly on the machine, partly on a remote machine, or entirely on the remote machine or server.

[0124] In the context of this disclosure, a machine-readable medium may be any tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine-readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random-access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0125] Further, while operations are illustrated in a particular order, this should not be understood as requiring that such operations are performed in the particular order shown or in sequential order, or that all illustrated operations are performed to achieve the desired results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the subject matter described herein, but rather as descriptions of features that may be specific to particular implementations. Certain features that are described in the context of separate implementations may also be implemented in combination in a single implementation. Rather, various features described in a single implementation may also be implemented in multiple implementations separately or in any suitable sub-combination.

[0126] Although the subject matter has been described in language specific to structural features and / or methodological acts, it is to be understood that the subject matter specified in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

[0127] From the foregoing, it will be appreciated that specific implementations of the presently disclosed technology have been described herein for purposes of illustration, but that  various modifications may be made without deviating from the scope of the disclosure. Accordingly, the presently disclosed technology is not limited except as by the appended claims.

[0128] Implementations of the subject matter and the functional operations described in the present disclosure can be implemented in various systems, digital electronic circuitry, or in computer software, firmware, or hardware, including the structures disclosed in this specification and their structural equivalents, or in combinations of one or more of them. Implementations of the subject matter described in this specification can be implemented as one or more computer program products, i.e., one or more modules of computer program instructions encoded on a tangible and non-transitory computer readable medium for execution by, or to control the operation of, data processing apparatus. The computer readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter effecting a machine-readable propagated signal, or a combination of one or more of them. The term “data processing unit” or “data processing apparatus” encompasses all apparatus, devices, and machines for processing data, including by way of example a programmable processor, a computer, or multiple processors or computers. The apparatus can include, in addition to hardware, code that creates an execution environment for the computer program in question, e.g., code that constitutes processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more of them.

[0129] A computer program (also known as a program, software, software application, script, or code) can be written in any form of programming language, including compiled or interpreted languages, and it can be deployed in any form, including as a stand-alone program or as a module, component, subroutine, or other unit suitable for use in a computing environment. A computer program does not necessarily correspond to a file in a file system. A program can be stored in a portion of a file that holds other programs or data (e.g., one or more scripts stored in a markup language document) , in a single file dedicated to the program in question, or in multiple coordinated files (e.g., files that store one or more modules, sub programs, or portions of code) . A computer program can be deployed to be executed on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.

[0130] Processors suitable for the execution of a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a  read only memory or a random access memory or both. The essential elements of a computer are a processor for performing instructions and one or more memory devices for storing instructions and data. Generally, a computer will also include, or be operatively coupled to receive data from or transfer data to, or both, one or more mass storage devices for storing data, e.g., magnetic, magneto optical disks, or optical disks. However, a computer need not have such devices. Computer readable media suitable for storing computer program instructions and data include all forms of nonvolatile memory, media, and memory devices, including by way of example semiconductor memory devices, e.g., EPROM, EEPROM, and flash memory devices. The processor and the memory can be supplemented by, or incorporated in, special purpose logic circuitry.

[0131] It is intended that the specification, together with the drawings, be considered exemplary only, where exemplary means an example. As used herein, the use of “or” is intended to include “and / or” , unless the context clearly indicates otherwise.

[0132] While the present disclosure contains many specifics, these should not be construed as limitations on the scope of any disclosure or of what may be claimed, but rather as descriptions of features that may be specific to particular implementations of particular disclosures. Certain features that are described in the present disclosure in the context of separate implementations can also be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation can also be implemented in multiple implementations separately or in any suitable sub-combination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination can in some cases be excised from the combination, and the claimed combination may be directed to a sub-combination or variation of a sub-combination.

[0133] Similarly, while operations are illustrated in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. Moreover, the separation of various system components in the implementations described in the present disclosure should not be understood as requiring such separation in all implementations. Only a few implementations and examples are described and other implementations, enhancements and variations can be made based on what is described and illustrated in the present disclosure.

Claims

1.A method for recommendation, comprising:obtaining a first group of state data associated with a first group of entities in a recommendation system;obtaining a second group of state data associated with a second group of entities in the recommendation system; anddetermining, by a machine learning model based on the first and second groups of state data, a first and a second group of objects that are to be recommended to the first and second groups of entities respectively, so that an association relationship between a first and a second group of state transitions of the first and second groups of entities meets a predetermined condition.2.The method according to claim 1, wherein with respect to an entity in the first group of entities, a state transition of the entity comprises any of: the entity leaving the recommendation system, and the entity being within the recommendation system, the predetermined condition represents that a difference between a first proportion of entities leaving the recommendation system in the first group of entities and a second proportion of entities leaving the recommendation system in the second group of entities meets a predetermined threshold.3.The method according to claim 1, wherein the machine learning model is determined by:determining, by an environment model, a first and a second group of reference reward data associated with a first and a second group of reference entities, respectively;determining, by the environment model, a first and a second group of reference state transitions associated with the first and second groups of reference entities, respectively; andestablishing an objective function for the machine learning model based on the first and second groups of reference reward data; andupdating the machine learning model based on the objective function under a constraint that the first and second groups of reference state transitions meet the predetermined condition.4.The method according to claim 3, wherein the objective function comprises: a maximum of a sum of the first and second groups of reference reward data.5.The method according to claim 3, wherein determining the first group of reference state transitions comprises: with respect to a first reference entity in the first group of reference entities,determining, by the environment model, a first reference state transition associated with the first reference entity based on a first reference state of the first reference entity and a first reference object that is recommended to the first reference entity.6.The method according to claim 5, wherein determining the first group of reference reward data comprises:determining, by the environment model, the first reference reward data associated with the first reference entity based on the first reference state of the first reference entity and the first reference object; andupdating the first reference reward data with an uncertainty factor of the environment model.7.The method according to claim 6, wherein the uncertainty factor is determined based on the first reference state transition of the first reference entity.8.The method according to claim 6, wherein determining the first reference reward data comprises:determining, by the machine learning model, a plurality of reference rewards at a plurality of time points associated with first the reference entity, respectively; anddetermining the first reference reward data based on a weighted sum of the plurality of reference rewards.9.The method according to claim 7, wherein updating the machine learning model based on the objective function further comprises:determining a relaxed constraint based on the uncertainty factor of the environment model and the constraint; andupdating the machine learning model based on the objective function under the relaxed constraint that the first and second groups of reference state transitions meet the predetermined condition.10.The method according to claim 3, wherein the environment model is determined by:determining reference reward data based on an interaction between a reference entity and a reference object that is recommended to the reference entity;obtaining a reference state transition of the reference entity; anddetermining the environment model based on reference state data of the reference entity, the reference object, the reference reward data, and the reference state transition.11.An electronic device, comprising a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method for recommendation, the method comprising:obtaining a first group of state data associated with a first group of entities in a recommendation system;obtaining a second group of state data associated with a second group of entities in the recommendation system; anddetermining, by a machine learning model based on the first and second groups of state data, a first and a second group of objects that are to be recommended to the first and second groups of entities respectively, so that an association relationship between a first and a second group of state transitions of the first and second groups of entities meets a predetermined condition.12.The device of claim 11, wherein with respect to an entity in the first group of entities, a state transition of the entity comprises any of: the entity leaving the recommendation system, and the entity being within the recommendation system, the predetermined condition represents that a difference between a first proportion of entities leaving the recommendation system in the first group of entities and a second proportion of entities leaving the recommendation system in the second group of entities meets a predetermined threshold.13.The device of claim 11, the machine learning model is determined by:determining, by an environment model, a first and a second group of reference reward data associated with a first and a second group of reference entities, respectively;determining, by the environment model, a first and a second group of reference state transitions associated with the first and second groups of reference entities, respectively; andestablishing an objective function for the machine learning model based on the first and second groups of reference reward data; andupdating the machine learning model based on the objective function under a constraint that the first and second groups of reference state transitions meet the predetermined condition.14.The device of claim 13, wherein the objective function comprises: a maximum of a sum of the first and second groups of reference reward data.15.The device of claim 13, wherein determining the first group of reference state transitions comprises: with respect to a first reference entity in the first group of reference entities,determining, by the environment model, a first reference state transition associated with the first reference entity based on a first reference state of the first reference entity and a first reference object that is recommended to the first reference entity.16.The device of claim 15, wherein determining the first group of reference reward data comprises:determining, by the environment model, the first reference reward data associated with the first reference entity based on the first reference state of the first reference entity and the first reference object; andupdating the first reference reward data with an uncertainty factor of the environment model.17.The device of claim 16, wherein the uncertainty factor is determined based on the first reference state transition of the first reference entity.18.The device of claim 16, wherein determining the first reference reward data comprises:determining, by the machine learning model, a plurality of reference rewards at a plurality of time points associated with first the reference entity, respectively; anddetermining the first reference reward data based on a weighted sum of the plurality of reference rewards.19.The device of claim 17, wherein updating the machine learning model based on the objective function further comprises:determining a relaxed constraint based on the uncertainty factor of the environment model and the constraint; andupdating the machine learning model based on the objective function under the relaxed constraint that the first and second groups of reference state transitions meet the predetermined condition.20.A non-transitory computer program product, the non-transitory computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform a method for recommendation, the method comprising:obtaining a first group of state data associated with a first group of entities in a recommendation system;obtaining a second group of state data associated with a second group of entities in the recommendation system; anddetermining, by a machine learning model based on the first and second groups of state data, a first and a second group of objects that are to be recommended to the first and second groups of entities respectively, so that an association relationship between a first and a second group of state transitions of the first and second groups of entities meets a predetermined condition.

Images