Method, system, and computer program product for optimization of decision tree models based on sensitivity coefficient

Abstract

Provided is a method for optimization of a decision tree machine learning model based on a sensitivity coefficient that includes receiving a dataset for a population, where the dataset includes a plurality of data instances associated with a plurality of features, generating the decision tree model based on a set of parameters associated with the decision tree model and the dataset, where generating the decision tree model includes determining a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, determining a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features, and performing an action based on an output of the decision tree model that resulted from an input associated with an account. Systems and computer program products are also provided.

Description

METHOD, SYSTEM, AND COMPUTER PROGRAM PRODUCT FOR OPTIMIZATION OF DECISION TREE MODELS BASED ON SENSITIVITY COEFFICIENTBACKGROUND

[0001] 1. Field

[0002] The present disclosure relates generally to systems, devices, products, apparatus, and methods for developing decision tree machine learning models and, in some non-limiting embodiments or aspects, to a method, system, and computer program product for optimization of a decision tree model based on a sensitivity coefficient.

[0003] 2. Technical Considerations

[0004] Machine learning may refer to a field of computer science that uses statistical techniques to provide a computer system with the ability to learn (e.g., to progressively improve performance of) a task with data without the computer system being explicitly programmed to perform the task. In some instances, a machine learning model may be developed for a set of data so that the machine learning model may perform a task (e.g., a task associated with a prediction) with regard to the set of data.

[0005] An incentive program may be a formal scheme used to encourage a specific action or behavior by a person during a period of time. An incentive program may include a reward program associated with an account (e.g., a credit card account) , where the user (e.g., a cardholder) may receive an offer from an entity (e.g., an entity associated with a credit card network, a transaction service provider, a financial institution that issued the credit card, and / or the like) that can be redeemed for a discount during a payment transaction (e.g., a purchase) , free goods and / or services, money to be applied against a balance of the account, money to be received by the user, and / or the like. In some instances, the incentive program may include an offer based on points, coupons, and / or the like, where the offer includes terms that state that the user may receive a set value of points, a coupon, and / or the like, when the user conducts a payment transaction using the account issued by the financial institution. In this way, the financial institution may seek to encourage the user to make a purchase using the account issued by the financial institution, instead of using  cash, instead of using a credit card account issued by another financial institution, and / or the like, by providing the user with such an offer.

[0006] In some instances, a machine learning model may be developed to provide predictions for an incentive program regarding a user. For example, a machine learning model may be developed to provide a prediction for the incentive program regarding the user based on historical transaction data for the user and / or for users that conduct similar transactions. In other situations, multiple machine learning models may be developed to provide a prediction for the incentive program regarding a user based on historical transaction data for users that are part of an exposed group (e.g., a test group) and other users that are part of a control group.

[0007] However, a machine learning model developed for one set of data may not be applicable to a certain problem in another set of data. For example, a machine learning model developed for a first data set associated with a particular geographic area and / or demographic may not be applicable to a certain problem in a second set of data associated with a different geographic area and / or demographic. This may lead to the creation a of large number of machine learning models developed for each set of data and also a large amount of data for each machine learning model.SUMMARY

[0008] Accordingly, systems, devices, products, apparatus, and / or methods for optimization of a decision tree machine learning model based on a sensitivity coefficient are disclosed that overcome some or all of the deficiencies of the prior art.

[0009] According to some non-limiting embodiments or aspects, provided is a computer-implemented method comprising receiving, with at least one processor, a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features; generating the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein generating the decision tree model comprises: determining a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; determining a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the  plurality of features; and performing an action based on an output of the decision tree model that resulted from an input associated with an account.

[0010] According to some non-limiting embodiments or aspects, provided is a system comprising: at least one processor programmed or configured to: receive a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features; generate the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein, when generating the decision tree model, the at least one processor is programmed or configured to: determine a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; determine a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features; and perform an action based on an output of the decision tree model that resulted from an input associated with an account.

[0011] According to some non-limiting embodiments or aspects, provided is a computer program product comprising at least one non-transitory computer-readable medium including one or more instructions that, when executed by at least one processor, cause the at least one processor to: receive a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features; generate the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein, the one or more instructions that cause the at least one processor to generate the decision tree model, cause the at least one processor to: determine a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; determine a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features; and perform an action based on an output of the decision tree model that resulted from an input associated with an account.

[0012] Further non-limiting embodiments or aspects are set forth in the following numbered clauses:

[0013] Clause 1: A computer-implemented method, comprising: receiving, with at least one processor, a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features; generating the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein generating the decision tree model comprises: determining a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; determining a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features; and performing an action based on an output of the decision tree model that resulted from an input associated with an account.

[0014] Clause 2: The computer-implemented method of clause 1, further comprising: partitioning the dataset into a training dataset and a validation dataset.

[0015] Clause 3: The computer-implemented method of clause 1 or 2, wherein generating the decision tree model comprises: training the decision tree model based on the training dataset, wherein training the decision tree model comprises: determining a first recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; and validating the decision tree model based on the validation dataset, wherein validating the decision tree model comprises: determining a second recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; and determining that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity.

[0016] Clause 4: The computer-implemented method of any of clauses 1-3, wherein generating the decision tree model comprises: training the decision tree model based on the training dataset, wherein training the decision tree model comprises: ranking each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order of features; and validating the decision tree model based on the validation dataset, wherein validating the decision  tree model comprises: ranking each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order of features; and determining that the first ranked order of features is the same as the second ranked order of features.

[0017] Clause 5: The computer-implemented method of any of clauses 1-4, wherein the set of parameters associated with the decision tree model comprises at least one of the following: a root node split that specifies that a minimum portion of a split of a root node of the decision tree model should be no less than 30%of a population size for the root node; a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node; an R square value for each node of the decision tree model is greater than 0.6; or any combination thereof.

[0018] Clause 6: The computer-implemented method of any of clauses 1-5, wherein the dataset comprises a control group and a plurality of test groups.

[0019] Clause 7: The computer-implemented method of any of clauses 1-6, wherein performing the action comprises: generating a recommendation for performing a level of activity for the account; and transmitting the recommendation for performing a level of activity.

[0020] Clause 8: A system, comprising: at least one processor programmed or configured to: receive a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features; generate the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein, when generating the decision tree model, the at least one processor is programmed or configured to: determine a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; determine a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features; and perform an action based on an output of the decision tree model that resulted from an input associated with an account.

[0021] Clause 9: The system of clause 8, wherein the at least one processor is further programmed or configured to: partition the dataset into a training dataset and a validation dataset.

[0022] Clause 10: The system of clause 8 or 9, wherein, when generating the decision tree model, the at least one processor is programmed or configured to: train the decision tree model based on the training dataset, wherein when training the decision tree model, the at least one processor is programmed or configured to: determine a first recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; and validate the decision tree model based on the validation dataset, wherein, when validating the decision tree model, the at least one processor is programmed or configured to: determine a second recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; determine that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity.

[0023] Clause 11: The system of any of clauses 8-10, wherein, when generating the decision tree model, the at least one processor is programmed or configured to: train the decision tree model based on the training dataset, wherein, when training the decision tree model, the at least one processor is programmed or configured to: rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order of features; and validate the decision tree model based on the validation dataset, wherein, when validating the decision tree model, the at least one processor is programmed or configured to: rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order of features; and determine that the first ranked order of features is the same as the second ranked order of features.

[0024] Clause 12: The system of any of clauses 8-11, wherein the set of parameters associated with the decision tree model comprises at least one of the following: a root node split that specifies that a minimum portion of a split of a root node of the decision tree model should be no less than 30%of a population size for the root node; a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node; an R square value for each node of the decision tree model is greater than 0.6; or any combination thereof.

[0025] Clause 13: The system of any of clauses 8-12, wherein the dataset comprises a control group and a plurality of test groups.

[0026] Clause 14: The system of any of clauses 8-13, wherein, when performing the action, the at least one processor is programmed or configured to: generate a recommendation for performing a level of activity for the account; and transmit the recommendation for performing a level of activity.

[0027] Clause 15: A computer program product, the computer program product comprising at least one non-transitory computer-readable medium including one or more instructions that, when executed by at least one processor, cause the at least one processor to: receive a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features; generate the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein, the one or more instructions that cause the at least one processor to generate the decision tree model, cause the at least one processor to: determine a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; determine a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features; and perform an action based on an output of the decision tree model that resulted from an input associated with an account.

[0028] Clause 16: The computer program product of clause 15, wherein the one or more instructions further cause the at least one processor to: partition the dataset into a training dataset and a validation dataset.

[0029] Clause 17: The computer program product of clause 15 or 16, wherein, the one or more instructions that cause the at least one processor to generate the decision tree model, cause the at least one processor to: train the decision tree model based on the training dataset, wherein the one or more instructions that cause the at least one processor to train the decision tree model, cause the at least one processor to: determine a first recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; and validate the decision tree model based on the validation dataset, wherein, the one or more instructions that  cause the at least one processor to validate the decision tree model, cause the at least one processor to: determine a second recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; determine that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity.

[0030] Clause 18: The computer program product of any of clauses 15-17, wherein, the one or more instructions that cause the at least one processor to generate the decision tree model, cause the at least one processor to: train the decision tree model based on the training dataset, wherein, the one or more instructions that cause the at least one processor to train the decision tree model, cause the at least one processor to:rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order of features; and validate the decision tree model based on the validation dataset, wherein, the one or more instructions that cause the at least one processor to validate the decision tree model, cause the at least one processor to: rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order of features; and determine that the first ranked order of features is the same as the second ranked order of features.

[0031] Clause 19: The computer program product of any of clauses 15-18, wherein the set of parameters associated with the decision tree model comprises at least one of the following: a root node split that specifies that a minimum portion of a split of a root node of the decision tree model should be no less than 30%of a population size for the root node; a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node; an R square value for each node of the decision tree model is greater than 0.6; or any combination thereof.

[0032] Clause 20: The computer program product of any of clauses 15-19, wherein, the one or more instructions that cause the at least one processor to perform the action, cause the at least one processor to: generate a recommendation for performing a level of activity for the account; and transmit the recommendation for performing a level of activity.

[0033] These and other features and characteristics of the present disclosure, as well as the methods of operation and functions of the related elements of structures and the combination of parts and economies of manufacture, will become more  apparent upon consideration of the following description and the appended claims with reference to the accompanying drawings, all of which form a part of this specification, wherein like reference numerals designate corresponding parts in the various figures. It is to be expressly understood, however, that the drawings are for the purpose of illustration and description only and are not intended as a definition of the limits of the present disclosure. As used in the specification and the claims, the singular form of “a, ” “an, ” and “the” include plural referents unless the context clearly dictates otherwise.BRIEF DESCRIPTION OF THE DRAWINGS

[0034] Additional advantages and details of the present disclosure are explained in greater detail below with reference to the exemplary embodiments that are illustrated in the accompanying figures, in which:

[0035] FIG. 1 is a diagram of a non-limiting embodiment or aspect of an environment in which systems, devices, products, apparatus, and / or methods, described herein, may be implemented according to the principles of the present disclosure;

[0036] FIG. 2 is a diagram of a non-limiting embodiment or aspect of components of one or more devices of FIG. 1;

[0037] FIG. 3 is a flowchart of a non-limiting embodiment or aspect of a process for optimization of a decision tree model based on a sensitivity coefficient; and

[0038] FIGS. 4A-4E are diagrams of an implementation of a non-limiting embodiment or aspect of a process for implementing a communication interface layer for managing online services.DETAILED DESCRIPTION

[0039] For purposes of the description hereinafter, the terms “end, ” “upper, ” “lower, ” “right, ” “left, ” “vertical, ” “horizontal, ” “top, ” “bottom, ” “lateral, ” “longitudinal, ” and derivatives thereof shall relate to the disclosure as it is oriented in the drawing figures. However, it is to be understood that the disclosure may assume various alternative variations and step sequences, except where expressly specified to the contrary. It is also to be understood that the specific devices and processes illustrated in the attached drawings, and described in the following specification, are simply exemplary embodiments or aspects of the disclosure. Hence, specific dimensions and other  physical characteristics related to the embodiments or aspects of the embodiments disclosed herein are not to be considered as limiting unless otherwise indicated.

[0040] No aspect, component, element, structure, act, step, function, instruction, and / or the like used herein should be construed as critical or essential unless explicitly described as such. In addition, as used herein, the articles “a” and “an” are intended to include one or more items and may be used interchangeably with “one or more” and “at least one. ” Furthermore, as used herein, the term “set” is intended to include one or more items (e.g., related items, unrelated items, a combination of related and unrelated items, etc. ) and may be used interchangeably with “one or more” or “at least one. ” Where only one item is intended, the term “one” or similar language is used. Also, as used herein, the terms “has, ” “have, ” “having, ” or the like are intended to be open-ended terms. Further, the phrase “based on” is intended to mean “based at least partially on” unless explicitly stated otherwise. The phrase “based on” may also mean “in response to” and be indicative of a condition for automatically triggering a specified operation of an electronic device (e.g., a processor, a computing device, etc. ) as appropriately referred to herein.

[0041] As used herein, the terms “communication” and “communicate” may refer to the reception, receipt, transmission, transfer, provision, and / or the like of information (e.g., data, signals, messages, instructions, commands, and / or the like) . For one unit (e.g., a device, a system, a component of a device or system, combinations thereof, and / or the like) to be in communication with another unit means that the one unit is able to directly or indirectly receive information from and / or send (e.g., transmit) information to the other unit. This may refer to a direct or indirect connection that is wired and / or wireless in nature. Additionally, two units may be in communication with each other even though the information transmitted may be modified, processed, relayed, and / or routed between the first and second unit. For example, a first unit may be in communication with a second unit even though the first unit passively receives information and does not actively transmit information to the second unit. As another example, a first unit may be in communication with a second unit if at least one intermediary unit (e.g., a third unit located between the first unit and the second unit) processes information received from the first unit and transmits the processed information to the second unit. In some non-limiting embodiments, a message may refer to a network packet (e.g., a data packet and / or the like) that includes data.

[0042] As used herein, the terms “issuer, ” “issuer institution, ” “issuer bank, ” or “payment device issuer, ” may refer to one or more entities that provide accounts to individuals (e.g., users, customers, and / or the like) for conducting payment transactions, such as credit payment transactions and / or debit payment transactions. For example, an issuer institution may provide an account identifier, such as a primary account number (PAN) , to a customer that uniquely identifies one or more accounts associated with that customer. In some non-limiting embodiments or aspects, an issuer may be associated with a bank identification number (BIN) that uniquely identifies the issuer institution. As used herein, the term “issuer system” may refer to one or more computer systems operated by or on behalf of an issuer, such as a server executing one or more software applications. For example, an issuer system may include one or more authorization servers for authorizing a transaction.

[0043] As used herein, the term “transaction service provider” may refer to an entity that receives transaction authorization requests from merchants or other entities and provides guarantees of payment, in some cases through an agreement between the transaction service provider and an issuer institution. For example, a transaction service provider may include a payment network such as American or any other entity that processes transactions. As used herein, the term “transaction service provider system” may refer to one or more computer systems operated by or on behalf of a transaction service provider, such as a transaction service provider system executing one or more software applications. A transaction service provider system may include one or more processors and, in some non-limiting embodiments or aspects, may be operated by or on behalf of a transaction service provider.

[0044] As used herein, the term “merchant” may refer to one or more entities (e.g., operators of retail businesses) that provide goods and / or services, and / or access to goods and / or services, to a user (e.g., a customer, a consumer, and / or the like) based on a transaction, such as a payment transaction. As used herein, the term “merchant system” may refer to one or more computer systems operated by or on behalf of a merchant, such as a server executing one or more software applications. As used herein, the term “product” may refer to one or more goods and / or services offered by a merchant.

[0045] As used herein, the term “acquirer” may refer to an entity licensed by the transaction service provider and approved by the transaction service provider to  originate transactions (e.g., payment transactions) involving a payment device associated with the transaction service provider. As used herein, the term “acquirer system” may also refer to one or more computer systems, computer devices, and / or the like operated by or on behalf of an acquirer. The transactions the acquirer may originate may include payment transactions (e.g., purchases, original credit transactions (OCTs) , account funding transactions (AFTs) , and / or the like) . In some non-limiting embodiments or aspects, the acquirer may be authorized by the transaction service provider to assign merchant or service providers to originate transactions involving a payment device associated with the transaction service provider. The acquirer may contract with payment facilitators to enable the payment facilitators to sponsor merchants. The acquirer may monitor the compliance of the payment facilitators in accordance with regulations of the transaction service provider. The acquirer may conduct due diligence of the payment facilitators and ensure proper due diligence occurs before signing a sponsored merchant. The acquirer may be liable for all transaction service provider programs that the acquirer operates or sponsors. The acquirer may be responsible for the acts of the acquirer’s payment facilitators, merchants that are sponsored by the acquirer’s payment facilitators, and / or the like. In some non-limiting embodiments or aspects, an acquirer may be a financial institution, such as a bank.

[0046] As used herein, the terms “client” and “client device” may refer to one or more computing devices, such as processors, storage devices, and / or similar computer components, that access a service made available by a server. In some non-limiting embodiments or aspects, a client device may include a computing device configured to communicate with one or more networks and / or facilitate transactions such as, but not limited to, one or more desktop computers, one or more portable computers (e.g., tablet computers) , one or more mobile devices (e.g., cellular phones, smartphones, personal digital assistant, wearable devices, such as watches, glasses, lenses, and / or clothing, and / or the like) , and / or other like devices. Moreover, the term “client” may also refer to an entity that owns, utilizes, and / or operates a client device for facilitating transactions with another entity.

[0047] As used herein, the term “server” may refer to one or more computing devices, such as processors, storage devices, and / or similar computer components that communicate with client devices and / or other computing devices over a network,  such as the Internet or private networks and, in some examples, facilitate communication among other servers and / or client devices.

[0048] As used herein, the term “system” may refer to one or more computing devices or combinations of computing devices such as, but not limited to, processors, servers, client devices, software applications, and / or other like components. In addition, reference to “a server” or “a processor, ” as used herein, may refer to a previously-recited server and / or processor that is recited as performing a previous step or function, a different server and / or processor, and / or a combination of servers and / or processors. For example, as used in the specification and the claims, a first server and / or a first processor that is recited as performing a first step or function may refer to the same or different server and / or a processor recited as performing a second step or function.

[0049] Non-limiting embodiments or aspects of the present disclosure are directed to systems, methods, and computer program products for optimization of a decision tree model based on a sensitivity coefficient. In some non-limiting embodiments or aspects, a model management system may receive a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features, generate the decision tree model based on a set of parameters associated with the decision tree model and the dataset, when generating the decision tree model, the model management system may determine a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period, and determine a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features. In some non-limiting embodiments or aspects, the model management system may perform an action based on an output of the decision tree model that resulted from an input associated with an account.

[0050] In some non-limiting embodiments or aspects, the model management system may partition the dataset into a training dataset and a validation dataset. In some non-limiting embodiments or aspects, when generating the decision tree model, the model management system may train the decision tree model based on the training dataset. In some non-limiting embodiments or aspects, when training the  decision tree model, the model management system may determine a first recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model. In some non-limiting embodiments or aspects, the model management system may validate the decision tree model based on the validation dataset. In some non-limiting embodiments or aspects, when validating the decision tree model, the model management system may determine a second recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model and determine that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity.

[0051] In some non-limiting embodiments or aspects, when generating the decision tree model, the model management system may train the decision tree model based on the training dataset.  In some non-limiting embodiments or aspects, when training the decision tree model, the model management system may rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order of features. In some non-limiting embodiments or aspects, the model management system may validate the decision tree model based on the validation dataset. In some non-limiting embodiments or aspects, when validating the decision tree model, the model management system may rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order of features and determine that the first ranked order of features is the same as the second ranked order of features.

[0052] In some non-limiting embodiments or aspects, the set of parameters associated with the decision tree model comprises at least one of the following: a root node split that specifies that a minimum portion of a split of a root node of the decision tree model should be no less than 30%of a population size for the root node, a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node, an R square value for each node of the decision tree model is greater than 0.6, or any combination thereof.

[0053] In some non-limiting embodiments or aspects, the dataset comprises a control group and a plurality of test groups. In some non-limiting embodiments or aspects, when performing the action, the model management system may generate a recommendation for performing a level of activity for the account and transmit the recommendation for performing a level of activity.

[0054] In this way, the model management system may provide an optimized decision tree model that reduces the need for multiple machine learning models (e.g., at least one machine learning model for a test group and another machine learning model for a control group) . Additionally, by generating the decision tree model based on a sensitivity coefficient, the model management system may provide an optimized decision tree model that is more accurate than a decision tree model that is not based on the sensitivity coefficient. Furthermore, the decision tree model may be more portable than machine learning models that require additional complexity and / or unique machine learning software platforms. In addition, the need for computational resources for the optimized decision tree model are reduced as compared to complex machine learning models, such as deep learning neural network models.

[0055] Referring now to FIG. 1, FIG. 1 is a diagram of an example environment 100 in which devices, systems, and / or methods, described herein, may be implemented. As shown in FIG. 1, environment 100 includes model management system 102, data source 102a, transaction service provider system 104, issuer system 106, user device 108, and communication network 110. Model management system 102, data source 102a, transaction service provider system 104, issuer system 106, and / or user device 108 may interconnect (e.g., establish a connection to communicate) via wired connections, wireless connections, or a combination of wired and wireless connections.

[0056] Model management system 102 may include one or more devices configured to communicate with transaction service provider system 104, issuer system 106, and / or user device 108 via communication network 110. For example, model management system 102 may include a server, a group of servers, and / or other like devices. In some non-limiting embodiments or aspects, model management system 102 may be associated with transaction service provider system 104. For example, model management system 102 may be operated by transaction service provider system 104. In another example, model management system 102 may be a component of transaction service provider system 104. In some non-limiting embodiments or aspects, model management system 102 may be in communication with data source 102a, which may be local or remote to model management system 102. In some non-limiting embodiments or aspects, model management system 102 may be capable of receiving information from, storing information in, transmitting information to, and / or searching information stored in data source 102a.

[0057] Transaction service provider system 104 may include one or more devices configured to communicate with model management system 102, issuer system 106, and / or user device 108 via communication network 110. In some non-limiting embodiments or aspects, transaction service provider system 104 may include a server, a group of servers, and / or other like devices. In some non-limiting embodiments or aspects, transaction service provider system 104 is associated with an issuer. For example, transaction service provider system 104 may be operated by an issuer.

[0058] Issuer system 106 may include one or more devices configured to communicate with model management system 102, transaction service provider system 104, and / or user device 108 via communication network 110. For example, issuer system 106 may include a computing device, such as a server, a group of servers, and / or other like devices. In some non-limiting embodiments or aspects, issuer system 106 may be associated with a transaction service provider system.

[0059] User device 108 may include a computing device configured to communicate with model management system 102, transaction service provider system 104, and / or issuer system 106 via communication network 110. For example, user device 108 may include a computing device, such as a desktop computer, a portable computer (e.g., tablet computer, a laptop computer, and / or the like) , a mobile device (e.g., a cellular phone, a smartphone, a personal digital assistant, a wearable device, and / or the like) , and / or other like devices. In some non-limiting embodiments or aspects, user device 108 may be associated with a user (e.g., an individual operating user device 108) .

[0060] Communication network 110 may include one or more wired and / or wireless networks. For example, communication network 110 may include a cellular network (e.g., a long-term evolution (LTE) network, a third-generation (3G) network, a fourth-generation (4G) network, a fifth-generation (5G) network, a code division multiple access (CDMA) network, etc. ) , a public land mobile network (PLMN) , a local area network (LAN) , a wide area network (WAN) , a metropolitan area network (MAN) , a telephone network (e.g., the public switched telephone network (PSTN) and / or the like) , a private network, an ad hoc network, an intranet, the Internet, a fiber optic-based network, a cloud computing network, and / or the like, and / or a combination of some or all of these or other types of networks.

[0061] The number and arrangement of devices and networks shown in FIG. 1 are provided as an example. There may be additional devices and / or networks, fewer devices and / or networks, different devices and / or networks, or differently arranged devices and / or networks than those shown in FIG. 1. Furthermore, two or more devices shown in FIG. 1 may be implemented within a single device, or a single device shown in FIG. 1 may be implemented as multiple, distributed devices. Additionally or alternatively, a set of devices (e.g., one or more devices) of environment 100 may perform one or more functions described as being performed by another set of devices of environment 100.

[0062] Referring now to FIG. 2, FIG. 2 is a diagram of example components of a device 200. Device 200 may correspond to model management system 102 (e.g., one or more devices of model management system 102) , transaction service provider system 104 (e.g., one or more devices of transaction service provider system 104) , issuer system 106 (e.g., one or more devices of issuer system 106) , and / or user device 108. In some non-limiting embodiments or aspects, model management system 102, transaction service provider system 104, issuer system 106, and / or user device 108 may include at least one device 200 and / or at least one component of device 200. As shown in FIG. 2, device 200 may include bus 202, processor 204, memory 206, storage component 208, input component 210, output component 212, and communication interface 214.

[0063] Bus 202 may include a component that permits communication among the components of device 200. In some non-limiting embodiments or aspects, processor 204 may be implemented in hardware, software, or a combination of hardware and software. For example, processor 204 may include a processor (e.g., a central processing unit (CPU) , a graphics processing unit (GPU) , an accelerated processing unit (APU) , etc. ) , a microprocessor, a digital signal processor (DSP) , and / or any processing component (e.g., a field-programmable gate array (FPGA) , an application-specific integrated circuit (ASIC) , etc. ) that can be programmed to perform a function. Memory 206 may include random access memory (RAM) , read-only memory (ROM) , and / or another type of dynamic or static storage memory (e.g., flash memory, magnetic memory, optical memory, etc. ) that stores information and / or instructions for use by processor 204.

[0064] Storage component 208 may store information and / or software related to the operation and use of device 200. For example, storage component 208 may  include a hard disk (e.g., a magnetic disk, an optical disk, a magneto-optic disk, a solid-state disk, etc. ) , a compact disc (CD) , a digital versatile disc (DVD) , a floppy disk, a cartridge, a magnetic tape, and / or another type of computer-readable medium, along with a corresponding drive.

[0065] Input component 210 may include a component that permits device 200 to receive information, such as via user input (e.g., a touch screen display, a keyboard, a keypad, a mouse, a button, a switch, a microphone, etc. ) . Additionally or alternatively, input component 210 may include a sensor for sensing information (e.g., a global positioning system (GPS) component, an accelerometer, a gyroscope, an actuator, etc. ) . Output component 212 may include a component that provides output information from device 200 (e.g., a display, a speaker, one or more light-emitting diodes (LEDs) , etc. ) .

[0066] Communication interface 214 may include a transceiver-like component (e.g., a transceiver, a separate receiver and transmitter, etc. ) that enables device 200 to communicate with other devices, such as via a wired connection, a wireless connection, or a combination of wired and wireless connections. Communication interface 214 may permit device 200 to receive information from another device and / or provide information to another device. For example, communication interface 214 may include an Ethernet interface, an optical interface, a coaxial interface, an infrared interface, a radio frequency (RF) interface, a universal serial bus (USB) interface, a  interface, a cellular network interface, and / or the like.

[0067] Device 200 may perform one or more processes described herein. Device 200 may perform these processes based on processor 204 executing software instructions stored by a computer-readable medium, such as memory 206 and / or storage component 208. A computer-readable medium (e.g., a non-transitory computer-readable medium) is defined herein as a non-transitory memory device. A non-transitory memory device includes memory space located inside of a single physical storage device or memory space spread across multiple physical storage devices.

[0068] Software instructions may be read into memory 206 and / or storage component 208 from another computer-readable medium or from another device via communication interface 214. When executed, software instructions stored in memory 206 and / or storage component 208 may cause processor 204 to perform one or more processes described herein. Additionally or alternatively, hardwired circuitry may be  used in place of or in combination with software instructions to perform one or more processes described herein. Thus, embodiments described herein are not limited to any specific combination of hardware circuitry and software.

[0069] The number and arrangement of components shown in FIG. 2 are provided as an example. In some non-limiting embodiments or aspects, device 200 may include additional components, fewer components, different components, or differently arranged components than those shown in FIG. 2. Additionally or alternatively, a set of components (e.g., one or more components) of device 200 may perform one or more functions described as being performed by another set of components of device 200.

[0070] Referring now to FIG. 3, FIG. 3 is a flowchart of a non-limiting embodiment or aspect of a process 300 for optimization of a decision tree machine learning model based on a sensitivity coefficient. In some non-limiting embodiments or aspects, one or more of the steps of process 300 may be performed (e.g., completely, partially, etc. ) by model management system 102 (e.g., one or more devices of model management system 102) . In some non-limiting embodiments or aspects, one or more of the steps of process 300 may be performed (e.g., completely, partially, etc. ) by another device or a group of devices separate from or including model management system 102 (e.g., one or more devices of model management system 102) , transaction service provider system 104 (e.g., one or more devices of transaction service provider system 104, issuer system 106 (e.g., one or more devices of issuer system 106) , and / or user device 108.

[0071] As shown in FIG. 3, at step 302, process 300 includes receiving a dataset for a population that includes a plurality of data instances associated with a plurality of features. For example, model management system 102 may receive a dataset for a population (e.g., a population of individuals, such as account holders, users associated with an account, etc. ) that includes a plurality of data instances associated with a plurality of features. In some non-limiting embodiments or aspects, the plurality of data instances may represent a plurality of transactions (e.g., electronic payment transactions) conducted by the population.

[0072] In some non-limiting embodiments or aspects, each data instance may include transaction data associated with the transaction. In some non-limiting embodiments or aspects, the transaction data may include a plurality of transaction parameters associated with an electronic payment transaction. In some non-limiting  embodiments or aspects, the plurality of features may represent the plurality of transaction parameters. In some non-limiting embodiments or aspects, the plurality of transaction parameters may include electronic wallet card data associated with an electronic card (e.g., an electronic credit card, an electronic debit card, an electronic loyalty card, and / or the like) , decision data associated with a decision (e.g., a decision to approve or deny a transaction authorization request) , authorization data associated with an authorization response (e.g., an approved spending limit, an approved transaction value, and / or the like) , a PAN, an authorization code (e.g., a PIN, etc. ) , data associated with a transaction amount (e.g., an approved limit, a transaction value, etc. ) , data associated with a transaction date and time, data associated with a conversion rate of a currency, data associated with a merchant type (e.g., goods, grocery, fuel, and / or the like) , data associated with an acquiring institution country, data associated with an identifier of a country associated with the PAN, data associated with a response code, data associated with a merchant identifier (e.g., a merchant name, a merchant location, and / or the like) , data associated with a type of currency corresponding to funds stored in association with the PAN, and / or the like.

[0073] In some non-limiting embodiments or aspects, the dataset includes a control group and a plurality of test groups. In some non-limiting embodiments or aspects, a test group may include one or more accounts that were exposed to an event during a campaign period (e.g., a time period of a campaign that encourages activity involving an account, such as activity on behalf of a user of an account) . For example, a test group may include one or more accounts that received an offer (e.g., an offer with an incentive to conduct a transaction) during the campaign period. In some non-limiting embodiments or aspects, a control group may include one or more accounts that were not exposed to an event during the campaign period.

[0074] In some non-limiting embodiments or aspects, model management system 102 may determine a plurality of test accounts for one or more test groups of the plurality of test groups. For example, model management system 102 may determine a plurality of test accounts where the plurality of test accounts include one or more groups (e.g., sets, pools, bundles, and / or the like) of accounts. In some non-limiting embodiments or aspects, the plurality of test accounts may be defined based on a time period associated with an event (e.g., a campaign period) , such as a time period in which each account (e.g., each account of a group) was exposed to an event involving an issuer (e.g., an issuer associated with issuer system 106) . In some non-limiting  embodiments or aspects, an event may be associated with a time period in which the one or more test accounts were exposed to the event, such as a time period during which the one or more accounts were provided an offer for redemption by conducting a transaction (e.g., conducting a transaction involving a specific merchant, conducting a transaction involving a specific category of spending, etc. ) . Additionally or alternatively, model management system 102 may determine a plurality of control accounts for one or more control groups. In some non-limiting embodiments or aspects, the plurality of control accounts may be defined based on a time period associated with an event, such as the same time period during which each account of a plurality of test accounts was exposed to an event.

[0075] In some non-limiting embodiments or aspects, model management system 102 may partition the dataset into a training dataset and a validation dataset. In some non-limiting embodiments or aspects, model management system 102 may partition the dataset based on an amount of an offer (e.g., a monetary amount, such as a cash amount) associated with an event and active rate (e.g., a percentage of a population that has conducted an activity, such as conducted a transaction, during a campaign period) . In some non-limiting embodiments or aspects, the two datasets may be similar in active rate by an amount of an offer. In some non-limiting embodiments or aspects, a proportion setting value for the datasets can be 6: 4 or 7: 3. In some non-limiting embodiments or aspects, a higher proportion may be used as the training dataset (e.g., a main training dataset) , and a lower proportion may be used as the validation dataset (e.g., a secondary training dataset) .

[0076] As shown in FIG. 3, at step 304, process 300 includes generating a decision tree model based on a sensitivity coefficient associated with each node of a plurality of nodes of the decision tree model. For example, model management system 102 may generate each node of a plurality of nodes of the decision tree model based on the sensitivity coefficient. In some non-limiting embodiments or aspects, the sensitivity coefficient includes a coefficient for a linear regression of an active rate associated with an activity of a member of the population (e.g., the population of the dataset) during a campaign period and an amount of an incentive provided (e.g., provided to an account, provided to a user of an account, etc. ) during the campaign period. In some non-limiting embodiments or aspects, the active rate associated with an activity of the member of the population may include an indication as to whether the member (e.g., a user of an account) performed an activity, such as conducted a transaction,  during the campaign period. In some non-limiting embodiments or aspects, the amount of the incentive provided during the campaign period may include a monetary amount of an incentive (e.g., an offer to encourage the member to perform the activity) .

[0077] In some non-limiting embodiments or aspects, model management system 102 may calculate a set of parameters (e.g., a set of metrics) associated with the decision tree model. For example, model management system 102 may calculate the set of parameters upon which the plurality of nodes of the decision tree model will be based. In some non-limiting embodiments or aspects, the set of parameters may include the sensitivity coefficient associated with each node of the plurality of nodes of the decision tree model, a root node split that specifies a minimum portion of a split of a root node of the decision tree model, a leaf node minimum portion that specifies a minimum size of a leaf node of the decision tree model, and / or an R square value for each node of the decision tree model. In some non-limiting embodiments or aspects, the set of parameters may include a root node split that specifies that a minimum portion of a split of a root node of the decision tree model should be no less than 30%of a population size for the root node, a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node, an R square value for each node of the decision tree model is greater than 0.6, or any combination thereof.

[0078] In some non-limiting embodiments or aspects, model management system 102 may calculate the sensitivity coefficient of each node of the plurality of nodes of the decision tree model. In some non-limiting embodiments or aspects, model management system 102 may generate each node of the plurality of nodes of the decision tree model, such that a difference in a measure of the sensitivity coefficient for each node of a split (e.g., a left node and a right node) is maximized. In one example, model management system 102 may determine a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features of the dataset, and model management system 102 may determine a plurality of nodes (e.g., a plurality of decision nodes, a plurality of leaf nodes, etc. ) of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features.

[0079] In some non-limiting embodiments or aspects, when generating the decision tree model, model management system 102 may loop the plurality of features, and each feature of plurality of features may be split based on the fifth percentile of features  (e.g., thus, there are 20 splits for each feature) . For each split of a feature, the set of parameters may be calculated, and the plurality of nodes of the decision tree model will be based on the set of parameters, such that the decision tree model will stop growing if one or more parameters of the set of parameters is not satisfied.

[0080] In some non-limiting embodiments or aspects, model management system 102 may train the decision tree model. For example, model management system 102 may train the decision tree model based on the training dataset. In some non-limiting embodiments or aspects, when training the decision tree model, model management system 102 may determine a first recommendation (e.g., a training recommendation) for performing a level of activity of an account. For example, when training the decision tree model, model management system 102 may determine the first recommendation based on a subset of nodes of the plurality of nodes of the decision tree model. Additionally or alternatively, when training the decision tree model, model management system 102 may rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order (e.g., a training ranked order) of features.

[0081] In some non-limiting embodiments or aspects, model management system 102 may validate the decision tree model. For example, model management system 102 may validate the decision tree model based on the validation dataset. In some non-limiting embodiments or aspects, when validating the decision tree model, model management system 102 may determine a second recommendation (e.g., a validation recommendation) for performing a level of activity of an account. For example, when validating the decision tree model, model management system 102 may determine the second recommendation based on a subset of nodes of the plurality of nodes of the decision tree model. Additionally or alternatively, when validating the decision tree model, model management system 102 may rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order (e.g., a validation ranked order) of features.

[0082] In some non-limiting embodiments or aspects, when validating the decision tree model, model management system 102 may determine whether the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity. For example, if model management system 102 determines that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity, model  management system 102 may validate the decision tree model. In such an example, if model management system 102 determines that the first recommendation for performing a level of activity is not the same as the second recommendation for performing a level of activity, model management system 102 may forego validating the decision tree model.

[0083] Additionally or alternatively, when validating the decision tree model, model management system 102 may determine whether the first ranked order of features is the same as the second ranked order of features. For example, if model management system 102 determines that the first ranked order of features is the same as the second ranked order of features, model management system 102 may validate the decision tree model. In such an example, if model management system 102 determines that the first ranked order of features is not the same as the second ranked order of features, model management system 102 may forego validating the decision tree model.

[0084] As shown in FIG. 3, at step 306, process 300 includes performing an action based on an output of the decision tree model. For example, model management system 102 may perform an action based on the output of the decision tree model. In some non-limiting embodiments or aspects, model management system 102 may perform an action based on receiving a request for a recommendation for performing a level of activity for an account. For example, model management system 102 may receive a request for a recommendation for performing a level of activity for an account from transaction service provider system 104, issuer system 106, and / or user device 108. In such an example, model management system 102 may perform the action based on receiving the request. In some non-limiting embodiments or aspects, the recommendation for performing a level of activity for an account may include a recommendation of an amount (e.g., a monetary amount) of an offer to provide to an account holder (e.g., a user) to encourage a transaction to be conducted involving the account of the account holder.

[0085] In some non-limiting embodiments or aspects, model management system 102 may generate the recommendation for performing a level of activity for the account. For example, model management system 102 may generate the recommendation for performing a level of activity for the account based on a leaf node of a plurality of leaf nodes of the decision tree model. In some non-limiting embodiments or aspects, each  leaf node of the plurality of leaf nodes may provide an amount of an incentive (e.g., a monetary amount) for an offer.

[0086] In some non-limiting embodiments or aspects, model management system 102 may transmit the recommendation. For example, model management system 102 may transmit the recommendation to transaction service provider system 104, issuer system 106, and / or user device 108. In some non-limiting embodiments or aspects, model management system 102 may transmit the recommendation to an entity from which a request was received.

[0087] Referring now to FIGS. 4A–4E, FIGS. 4A-4E are diagrams of a non-limiting embodiment or aspect of implementation 400 relating to a process (e.g., process 300) for optimization of a decision tree machine learning model based on a sensitivity coefficient. In some non-limiting embodiments or aspects, one or more of the steps of the process may be performed (e.g., completely, partially, etc. ) by model management system 102 (e.g., one or more devices of model management system 102) . In some non-limiting embodiments or aspects, one or more of the steps of the process may be performed (e.g., completely, partially, etc. ) by another device or a group of devices separate from or including model management system 102 (e.g., one or more devices of model management system 102) , transaction service provider system 104 (e.g., one or more devices of transaction service provider system 104) , issuer system 106 (e.g., one or more devices of issuer system 106) , and / or user device 108.

[0088] As shown by reference number 405 in FIG. 4A, model management system 102 may receive a dataset for a population that includes a plurality of data instances associated with a plurality of features. For example, model management system 102 may receive the dataset for a population that includes a plurality of data instances associated with a plurality of features from data source 102a. In some non-limiting embodiments or aspects, the plurality of data instances may represent a plurality of transactions (e.g., electronic payment transactions) conducted by the population.

[0089] In some non-limiting embodiments or aspects, the dataset includes a control group and a plurality of test groups. In some non-limiting embodiments or aspects, a test group may include one or more accounts that were exposed to an event during a campaign period (e.g., a time period of a campaign that encourages activity involving an account, such as activity on behalf of a user of an account) . For example, a test group may include one or more accounts that received an offer (e.g., an offer with an incentive to conduct a transaction) during the campaign period. In some non-limiting  embodiments or aspects, a control group may include one or more accounts that were not exposed to an event during the campaign period.

[0090] As shown by reference number 410 in FIG. 4B, model management system 102 may partition the dataset into a training dataset and a validation dataset based on an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period.

[0091] As shown by reference number 415 in FIG. 4C, model management system 102 may generate a decision tree model based on the first training dataset. For example, model management system 102 may generate a decision tree model based on a sensitivity coefficient associated with each node of a plurality of nodes of the decision tree model. As shown in FIG. 4C, each node of a plurality of nodes of the decision tree model may include an active rate of a population (e.g., as shown on the y-axis) of the node with regard to a level of activity (e.g., as shown on the x-axis) , such as a monetary amount of an incentive provided to a plurality of test accounts of the population of the node. A control account may be indicated by a “0” value along the x-axis. In some non-limiting embodiments or aspects, the active rate associated with an activity of the member of the population may include an indication as to whether the member (e.g., a user of an account) performed an activity, such as conducted a transaction, during the campaign period. In some non-limiting embodiments or aspects, the amount of the incentive provided during the campaign period may include a monetary amount of an incentive (e.g., an offer to encourage the member to perform the activity) .

[0092] In some non-limiting embodiments or aspects, the sensitivity coefficient includes a coefficient for a linear regression of an active rate associated with an activity of a member of the population (e.g., the population of the dataset) during a campaign period and an amount of an incentive provided (e.g., provided to an account, provided to a user of an account, etc. ) during a campaign period. As an example, the sensitivity coefficient (e.g., “1.21” ) may be calculated as the fitting coefficient of the y-axis (e.g., the active rate) and a monetary amount (e.g., x-axis) and the fitting method may be a linear regression.

[0093] In some non-limiting embodiments or aspects, model management system 102 may generate the decision tree model based on a set of parameters (e.g., a set of metrics) . As an example, the set of parameters may include a root node split that specifies that a minimum portion of a split of a root node of the decision tree model  should be no less than 30%of a population size for the root node, a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node, an R square value for each node of the decision tree model is greater than 0.6, or any combination thereof. Furthermore, model management system 102 may generate each node of the plurality of nodes of the decision tree model, such that a difference in a measure of the sensitivity coefficient for each node of a split (e.g., a left node and a right node) is maximized.

[0094] In some non-limiting embodiments or aspects, when generating the decision tree model, model management system 102 may train the decision tree model based on the training dataset. In some non-limiting embodiments or aspects, when training the decision tree model, model management system 102 may rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order of features. Additionally or alternatively, when training the decision tree model, model management system 102 may determine a first recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model.

[0095] As shown by reference number 420 in FIG. 4D, model management system 102 may train and validate the decision tree model based on the second training dataset. In some non-limiting embodiments or aspects, when validating the decision tree model, model management system 102 may rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order of features and determine that the first ranked order of features is the same as the second ranked order of features. Additionally or alternatively, when validating the decision tree model, model management system 102 may determine a second recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model and determine that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity.

[0096] As shown by reference number 425 in FIG. 4E, model management system 102 may provide a recommendation based on an output of the decision tree model. For example, model management system 102 may generate a recommendation based on the output of the decision tree model, and model management system 102 may transmit the recommendation to issuer system 106.

[0097] Although the present disclosure has been described in detail for the purpose of illustration based on what is currently considered to be the most practical and preferred embodiments or aspects, it is to be understood that such detail is solely for that purpose and that the present disclosure is not limited to the disclosed embodiments or aspects, but, on the contrary, is intended to cover modifications and equivalent arrangements that are within the spirit and scope of the appended claims. For example, it is to be understood that the present disclosure contemplates that, to the extent possible, one or more features of any embodiment can be combined with one or more features of any other embodiment.

Claims

1.A computer-implemented method, comprising:receiving, with at least one processor, a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features;generating the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein generating the decision tree model comprises:determining a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; anddetermining a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features; andperforming an action based on an output of the decision tree model that resulted from an input associated with an account.2.The computer-implemented method of claim 1, further comprising:partitioning the dataset into a training dataset and a validation dataset.3.The computer-implemented method of claim 2, wherein generating the decision tree model comprises:training the decision tree model based on the training dataset, wherein training the decision tree model comprises:determining a first recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; andvalidating the decision tree model based on the validation dataset, wherein validating the decision tree model comprises:determining a second recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; anddetermining that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity.4.The computer-implemented method of claim 2, wherein generating the decision tree model comprises:training the decision tree model based on the training dataset, wherein training the decision tree model comprises:ranking each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order of features; andvalidating the decision tree model based on the validation dataset, wherein validating the decision tree model comprises:ranking each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order of features; anddetermining that the first ranked order of features is the same as the second ranked order of features.5.The computer-implemented method of claim 1, wherein the set of parameters associated with the decision tree model comprises at least one of the following:a root node split that specifies that a minimum portion of a split of a root node of the decision tree model should be no less than 30%of a population size for the root node;a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node;an R square value for each node of the decision tree model is greater than 0.6; orany combination thereof.6.The computer-implemented method of claim 1, wherein the dataset comprises a control group and a plurality of test groups.7.The computer-implemented method of claim 1, wherein performing the action comprises:generating a recommendation for performing a level of activity for the account; andtransmitting the recommendation for performing a level of activity.8.A system, comprising:at least one processor programmed or configured to:receive a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features;generate the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein, when generating the decision tree model, the at least one processor is programmed or configured to:determine a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; anddetermine a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features; andperform an action based on an output of the decision tree model that resulted from an input associated with an account.9.The system of claim 8, wherein the at least one processor is further programmed or configured to:partition the dataset into a training dataset and a validation dataset.10.The system of claim 9, wherein, when generating the decision tree model, the at least one processor is programmed or configured to:train the decision tree model based on the training dataset, wherein, when training the decision tree model, the at least one processor is programmed or configured to:determine a first recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; andvalidate the decision tree model based on the validation dataset, wherein, when validating the decision tree model, the at least one processor is programmed or configured to:determine a second recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; anddetermine that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity.11.The system of claim 9, wherein, when generating the decision tree model, the at least one processor is programmed or configured to:train the decision tree model based on the training dataset, wherein, when training the decision tree model, the at least one processor is programmed or configured to:rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order of features; andvalidate the decision tree model based on the validation dataset, wherein, when validating the decision tree model, the at least one processor is programmed or configured to:rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order of features; anddetermine that the first ranked order of features is the same as the second ranked order of features.12.The system of claim 8, wherein the set of parameters associated with the decision tree model comprises at least one of the following:a root node split that specifies that a minimum portion of a split of a root node of the decision tree model should be no less than 30%of a population size for the root node;a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node;an R square value for each node of the decision tree model is greater than 0.6; orany combination thereof.13.The system of claim 8, wherein the dataset comprises a control group and a plurality of test groups.14.The system of claim 8, wherein, when performing the action, the at least one processor is programmed or configured to:generate a recommendation for performing a level of activity for the account; andtransmit the recommendation for performing a level of activity.15.A computer program product, the computer program product comprising at least one non-transitory computer-readable medium including one or more instructions that, when executed by at least one processor, cause the at least one processor to:receive a dataset for a population, wherein the dataset comprises a plurality of data instances associated with a plurality of features;generate the decision tree model based on a set of parameters associated with the decision tree model and the dataset, wherein, the one or more instructions that cause the at least one processor to generate the decision tree model, cause the at least one processor to:determine a measure of a sensitivity coefficient associated with a split of the population for each feature of the plurality of features, wherein the sensitivity coefficient comprises a coefficient for a linear regression of an active rate associated with an activity of a member of the population during a campaign period and an amount of an incentive provided during the campaign period; anddetermine a plurality of nodes of the decision tree model based on the measure of the sensitivity coefficient associated with the split for each feature of the plurality of features; andperform an action based on an output of the decision tree model that resulted from an input associated with an account.16.The computer program product of claim 15, wherein the one or more instructions further cause the at least one processor to:partition the dataset into a training dataset and a validation dataset.17.The computer program product of claim 16, wherein, the one or more instructions that cause the at least one processor to generate the decision tree model, cause the at least one processor to:train the decision tree model based on the training dataset, wherein the one or more instructions that cause the at least one processor to train the decision tree model, cause the at least one processor to:determine a first recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; andvalidate the decision tree model based on the validation dataset, wherein, the one or more instructions that cause the at least one processor to validate the decision tree model, cause the at least one processor to:determine a second recommendation for performing a level of activity based on a subset of nodes of the plurality of nodes of the decision tree model; anddetermine that the first recommendation for performing a level of activity is the same as the second recommendation for performing a level of activity.18.The computer program product of claim 16, wherein, the one or more instructions that cause the at least one processor to generate the decision tree model, cause the at least one processor to:train the decision tree model based on the training dataset, wherein, the one or more instructions that cause the at least one processor to train the decision tree model, cause the at least one processor to:rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a first ranked order of features; andvalidate the decision tree model based on the validation dataset, wherein, the one or more instructions that cause the at least one processor to validate the decision tree model, cause the at least one processor to:rank each feature of the plurality of features based on the measure of the sensitivity coefficient to provide a second ranked order of features; anddetermine that the first ranked order of features is the same as the second ranked order of features.19.The computer program product of claim 15, wherein the set of parameters associated with the decision tree model comprises at least one of the following:a root node split that specifies that a minimum portion of a split of a root node of the decision tree model should be no less than 30%of a population size for the root node;a leaf node minimum portion that specifies that a leaf node of the decision tree model should be no less than 5%of a population size of a prior node;an R square value for each node of the decision tree model is greater than 0.6; orany combination thereof.20.The computer program product of claim 15, wherein, the one or more instructions that cause the at least one processor to perform the action, cause the at least one processor to:generate a recommendation for performing a level of activity for the account; andtransmit the recommendation for performing a level of activity.

Images