Fraud detection through user behavior data

Abstract

Some aspects relate to technologies for performing fraud detection on online transaction platforms through user behavior data. In accordance with some configurations, a multimodal model is used to predict whether user behavior data is indicative of fraudulent activity. At least two different types of user behavior data on the online transaction platform are accessed and provided as input to the multimodal model, which generates a fraud prediction output based on the user behavior data. Based on the fraud prediction output, one or more actions are taken for the online transaction platform. In some aspects, a sequence of patch indices based on mouse movement data is used for fraud prediction. In particular, a sequence of x,y positions of a cursor on a screen is obtained, the screen is divided into a grid of patches, and the sequence of x, y positions is converted to a sequence of patch indices.

Description

FRAUD DETECTION THROUGH USER BEHAVIOR DATABACKGROUND

[0001] In recent years, financial frauds using online transaction platforms (e.g., e-commerce, payment, banking, and other systems that support online transactions) have attracted widespread attention, including but not limited to credit card fraud, insurance fraud, money laundering, healthcare fraud, securities, and commodity fraud. At the same time, as the number of online transactions using such platforms increases, fraudulent activities are growing at an astonishing rate, with worldwide losses caused by financial fraud up to billions of dollars each year. These fraudulent activities may disrupt economic stability, increase living costs, cause societal incident, and reduce consumer trust in online transaction platforms. For example, in e-commerce platforms, fraudulent accounts use stolen payment accounts to conduct bulk purchases, frequent orders, false refunds, and other improper behaviors, affecting the normal operation of the platforms and causing victim merchants and consumers to suffer losses. Meanwhile, some fraudulent accounts are disguised by robots to steal users' private information, resulting in serious damage to the platform's reputation. Since the consequences of fraudulent activities in online transaction platforms are devastating, developing methods and technologies to detect and identify frauds is of great importance.SUMMARY

[0002] Some aspects of the present technology relate to, among other things, performing fraud detection on online transaction platforms through user behavior data. In accordance with some configurations, a multimodal model is used to predict whether user behavior data is indicative of fraudulent activity. To perform fraud detection in such configurations, at least two different types of user behavior data on the online transaction platform are accessed. The user  behavior data comprises user interactions with the online transaction platform via a user device. The different types of user behavior data could include, for instance, inner-page behavior data (e.g., mouse movement on a page) and / or inter-page behavior data (e.g., sequence of pages viewed) . The user behavior data is provided as input to a multimodal model, which generates a fraud prediction output based on the user behavior data. Based on the fraud prediction output, one or more actions can be taken for the online transaction platform. For instance, an online transaction via the online transaction platform could be blocked and / or an account on the online transaction platform could be frozen or closed.

[0003] Some further aspects of the technology describe herein relate to using mouse movement data for fraud detection by converting the mouse movement data to a sequence of patch indices to address issues of user devices having different screen sizes, resolutions, and orientations. In accordance with such aspects, mouse movement data is received that comprises a sequence ofx, y positions of a cursor on a screen of a user device. The screen is divided into a grid of patches. Each patch is identified with a patch index indicative of a location of the patch in the grid. Each x, y position is converted to a patch index to provide a sequence of patch indices. The sequence of patch indices can be employed as user behavior data for model training and inference for fraud detection.

[0004] This summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used as an aid in determining the scope of the claimed subject matter.BRIEF DESCRIPTION OF THE DRAWINGS

[0005] The present technology is described in detail below with reference to the attached drawing figures, wherein:

[0006] FIG. 1 is a block diagram illustrating an exemplary system in accordance with some implementations of the present disclosure;

[0007] FIG. 2 is a diagram of an example network architecture for a multimodal model for fraud detection in accordance with some implementations of the present disclosure;

[0008] FIG. 3 is a diagram showing an example of dividing a screen into a grid of patches for generating a patch index sequence from mouse movement data in accordance with some implementations of the present disclosure;

[0009] FIG. 4 is a flow diagram showing a method for performing fraud detection for an online transaction platform using a multimodal model operating on user behavior data in accordance with some implementations of the present disclosure;

[0010] FIG. 5 is a flow diagram showing a method for training a multimodal model for fraud detection based on user behavior data on an online transaction platform in accordance with some implementations of the present disclosure;

[0011] FIG. 6 is a flow diagram showing a method for generating a patch index sequence from mouse movement data in accordance with some implementations of the present disclosure; and

[0012] FIG. 7 is a block diagram of an exemplary computing environment suitable for use in implementations of the present disclosure.DETAILED DESCRIPTION

[0013] Overview

[0014] The continued growth of online transaction platforms (including, for instance, e-commerce, payment, and banking systems) presents a particular challenge for identifying and combating fraudulent activity at a level that did not exist before the advent of such platforms. Conventional fraud detection approaches for online transaction platforms attempt to employ entity information, such as user profile information, device information, email, and shipping address, to identify whether a transaction or user is a fraud. However, as fraud methods continue to evolve and escalate, the fraudsters can fabricate the involved entities and hide their real intent, thereby evading such conventional fraud detection approaches based on entity identification.

[0015] Since entity-based fraud detection approaches can be attacked by fraudsters, alternative fraud detection algorithms have been proposed. Some approaches have focused on analyzing connections between transactions or modeling normal and fraudulent behaviors. However, these previous solutions reveal some limitations. In particular, the approaches are not robust in their ability to identify fraud with high accuracy. This is often compounded by focusing on specific user behavior. For instance, some previous approaches model mouse movement data using 1-D or 2-D convolutional neural network (CNN) models. However, the 1-D-CNN model approach uses the velocity vectors of mouse dynamics to construct sequence data, while neglecting the position information of the mouse; while the 2-D-CNN model approach abstracts mouse movement trajectories as an image, which overlook the corresponding temporal information of mouse dynamics.

[0016] Aspects of the technology described herein improve the ability to detect fraudulent activity on online transaction platforms though user behavior data. The techniques  described herein have been demonstrated to provide marked improvement in fraud detection performance over previous approaches.

[0017] In accordance with some aspects of the technology described herein, multiple different types of user behavior data are used in combination to perform fraud detection. The user behavior data includes any user interaction with an online transaction platform via a user device. The user behavior data can be sourced, for instance, by logging user actions in user interfaces of online transaction platforms, such as the website of an e-commerce platform or the platform's application on user devices. During the lifecycle of a user session, the system captures a spectrum of sequential user actions. The technology described herein can leverage various sources of user behavior data. For example, mouse movement data on user interfaces can be collected that records the sequence of subsequent mouse movements, including but not limited to the timestamp and location of the cursor. Other than mouse movement data, the sequence of viewed pages records every page the user has viewed during the entire session, from login to checkout. In addition to the page sequence itself, to further describe each user's behavior, the viewing history of each user can be used to provide other related information, such as the corresponding time spent on each page (dwell time) , item identifier of the page (for pages presenting items on e-commerce platforms) , and item price.

[0018] Some aspects of the present technology train a multimodal model to process multiple different types of user behavior data to perform fraud detection. In operation, user behavior data from multiple different types of user interactions (e.g., from a user session) is obtained and provided as input to the trained multimodal model. As noted above, any of a variety of different types of user interactions can be used in combination, such as, for instance, mouse movement data, page sequence data, page dwell time, and item information. Based on  this input, the multimodal model generates a fraud prediction output indicative of whether the user behavior data is likely to be fraudulent activity. If the fraud prediction output indicates the presence of fraud, the system can cause one or more actions to be performed for the online transaction platform, such as, for instance, blocking a transaction (i.e., preventing a transaction from being completed) , freezing an account, closing an account, and / or providing a notification to an administrator of the online transaction platform.

[0019] In some configurations, the multimodal model uses a network architecture having separate neural networks (e.g., CNNs or transformers) , each of which processes a different type of user behavior data. Since the separate neural networks in the architecture do not share parameters, each neural network is specialized to learn knowledge from the representations of its corresponding input and can effectively capture the unique pattern of its type of user behavioral data. Some aspects employ transformers as the neural networks to better capture long-term dependencies and understand global complex patterns.

[0020] Further aspects of the technology described herein relate to handling complex mouse movements in a way that, among other things, addresses complications from different screen sizes, orientations, and resolutions of user devices. In such configurations, a sequence of x,y positions (e.g., pixel locations) for a cursor on a screen is captured. The screen is divided into a grid of patches with each patch being designated by a patch index indicative of the patch location in the grid. The sequence of x, y positions is transformed into a sequence of patch indices, which can then be used for model training and / or inference for fraud detection.

[0021] Aspects of the technology described herein provide a number of improvements over existing technologies. For instance, the synergistic effect of using multiple types of user behavior data provides marked improvement in the ability to accurately detect fraud in  comparison to existing approaches. In some configurations, a multimodal model is employed with a network architecture having separate neural networks that improve the ability to learn from the different types of user behavioral data, while fusing the encoded representations to provide a robust fraud prediction. Furthermore, some aspects employ a unique patch index sequence to represent mouse movement data, addressing limitations of leveraging mouse movement data across user devices with different screen aspects, while also considering both position and temporal information of mouse movement.

[0022] Example System for Fraud Detection through User Behavior Data

[0023] With reference now to the drawings, FIG. 1 is a block diagram illustrating an exemplary system 100 for performing fraud detection through user behavior data in accordance with implementations of the present disclosure. It should be understood that this and other arrangements described herein are set forth only as examples. Other arrangements and elements (e.g., machines, interfaces, functions, orders, and groupings of functions, etc. ) can be used in addition to or instead of those shown, and some elements may be omitted altogether. Further, many of the elements described herein are functional entities that may be implemented as discrete or distributed components or in conjunction with other components, and in any suitable combination and location. Various functions described herein as being performed by one or more entities may be carried out by hardware, firmware, and / or software. For instance, various functions may be carried out by a processor executing instructions stored in memory.

[0024] The system 100 is an example of a suitable architecture for implementing certain aspects of the present disclosure. Among other components not shown, the system 100 includes a user device 102, an online transaction platform 104, and a fraud detection system 106. Each of the user device 102, the online transaction platform 104, and the fraud detection system 106  shown in FIG. 1 can comprise one or more computer devices, such as the computing device 700 of FIG. 7, discussed below. As shown in FIG. 1, the user device 102, the online transaction platform 104, and the fraud detection system 106 can communicate via a network 110, which may include, without limitation, one or more local area networks (LANs) and / or wide area networks (WANs) . Such networking environments are commonplace in offices, enterprise-wide computer networks, intranets, and the Internet. It should be understood that any number of user devices and servers may be employed within the system 100 within the scope of the present technology. Each may comprise a single device or multiple devices cooperating in a distributed environment. For instance, the online transaction platform 104 and the fraud detection system 106 could each be provided by multiple server devices collectively providing the functionality of the online transaction platform 104 and the fraud detection system 106 as described herein. Additionally, other components not shown may also be included within the network environment.

[0025] The user device 102 can be a client device on the client-side of operating environment 100, while the online transaction platform 104 and the fraud detection system 106 can be on the server-side of operating environment 100. The online transaction platform 104 and / or the fraud detection system 106 can each comprise server-side software designed to work in conjunction with client-side software on the user device 102 so as to implement any combination of the features and functionalities discussed in the present disclosure. For instance, the user device 102 can include an application 108 for interacting with the online transaction platform 104 and / or the fraud detection system 106. The application 108 can be, for instance, a web browser or a dedicated application for providing functions, such as interacting with the online transaction platform 104 and / or the fraud detection system 106. This division of operating environment 100 is provided to illustrate one example of a suitable environment, and  there is no requirement for each implementation that any combination of the online transaction platform 104 and the fraud detection system 106 remain as separate entities. For instance, in some aspects, the fraud detection system 106 is a part of the online transaction platform 104. While the operating environment 100 illustrates a configuration in a networked environment with a separate user device, online transaction platform, and fraud detection system, it should be understood that other configurations can be employed in which aspects of the various components are combined.

[0026] The user device 102 may comprise any type of computing device capable of use by a user. For example, in one aspect, a user device may be the type of computing device 700 described in relation to FIG. 7 herein. By way of example and not limitation, the user device 102 may be embodied as a personal computer (PC) , a laptop computer, a mobile or mobile device, a smartphone, a tablet computer, a smart watch, a wearable computer, a personal digital assistant (PDA) , an MP3 player, global positioning system (GPS) or device, video player, handheld communications device, gaming device or system, entertainment system, vehicle computer system, embedded system controller, remote control, appliance, consumer electronic device, a workstation, or any combination of these delineated devices, or any other suitable device. A user may be associated with the user device 102 and may interact with the online transaction platform 104 and / or the fraud detection system 106 via the user device 102.

[0027] The online transaction platform 104 can be implemented using one or more server devices, one or more platforms with corresponding application programming interfaces, cloud infrastructure, and the like. The online transaction platform 104 generally comprises any computer-based system that facilitates electronic transactions over the network 110 via user devices, such as the user device 102. In some aspects, the online transaction platform 104  comprises a listing platform (e.g., an e-commerce platform) that generally provides, to the user device 102, item listings describing items (physical or digital) available for purchase, rent, streaming, download, etc., and facilitates electronic purchase transactions for items. In other aspects, the online transaction platform 104 comprises a payment platform that facilitates electronic payment transactions between two accounts. In still further aspects, the online transaction platform 104 comprises a banking platform that facilitates the electronic transfer of money between accounts.

[0028] As described in further detail below, the fraud detection system 106 detects fraud based on user behavior data from user interactions between a user device, such as the user device 102, and the online transaction platform 104. As shown in FIG. 1, the fraud detection system 106 includes a fraud detection component 112, a model training component 114, and a patch index component 116. The components of the fraud detection system 106 may be in addition to other components that provide further additional functions beyond the features described herein. The fraud detection system 106 can be implemented using one or more server devices, one or more platforms with corresponding application programming interfaces, cloud infrastructure, and the like. While the fraud detection system 106 is shown separate from the online transaction platform 104 and each of the user device 102 in the configuration of FIG. 1, it should be understood that in other configurations, some of the functions of the fraud detection system 106 can be provided on the online transaction platform 104 and / or the user device.

[0029] In some aspects, the functions performed by components of the fraud detection system 106 are associated with one or more applications, services, or routines. In particular, such applications, services, or routines may operate on one or more user devices, servers, may be distributed across one or more user devices and servers, or be implemented in the cloud.  Moreover, in some aspects, these components of the fraud detection system 106 may be distributed across a network, including one or more servers and client devices, in the cloud, and / or may reside on a user device. Moreover, these components, functions performed by these components, or services carried out by these components may be implemented at appropriate abstraction layer (s) such as the operating system layer, application layer, hardware layer, etc., of the computing system (s) . Alternatively, or in addition, the functionality of these components and / or the aspects of the technology described herein can be performed, at least in part, by one or more hardware logic components. For example, and without limitation, illustrative types of hardware logic components that can be used include Field-programmable Gate Arrays (FPGAs) , Application-specific Integrated Circuits (ASICs) , Application-specific Standard Products (ASSPs) , System-on-a-chip systems (SOCs) , Complex Programmable Logic Devices (CPLDs) , etc. Additionally, although functionality is described herein with regards to specific components shown in example system 100, it is contemplated that in some aspects, functionality of these components can be shared or distributed across other components.

[0030] The fraud detection component 112 of the fraud detection system 106 employs a machine learning model to predict whether user behavior data is indicative of fraudulent activity on the online transaction platform 104. The user behavior data generally comprises any information regarding user interaction, via the user device 102 (in some cases, using the application 108) , with the online transaction platform 104.

[0031] In some configurations, the online transaction platform 104 is a website or web application that provides one or more pages (i.e., user interfaces) that are presented via the user device 102 and allow for user interaction. In such configurations, the user behavior data can be categorized into two aspects: inner-page actions (i.e., inner-page behavior data) and inter-page  actions (i.e., inter-page behavior data) . Inner-page behavior data includes any user interactions that occur on a single page. This can be, for instance, mouse movement data, such as cursor positions on a page, the specific time of each position, the path of cursor movement, and / or the velocity of cursor movement. In some configurations, the mouse movement data comprises a sequence of patch indices based on a grid of screen patches, as will be discussed in further detail below. Other inner-page behavior could include information regarding user interface element selections, touch input, speech input, scrolling, zooming, or any other user interaction within a page.

[0032] Inter-page behavior data includes any user interactions that occur across multiple pages. This data could include, for instance, the pages viewed, the sequence in which the pages were viewed, and the length of time each page was viewed (i.e., dwell time) . In the case in which the online transaction platform 104 is an e-commerce platform, the inter-page behavior data could include information regarding the item listings viewed, including the type of items, the number of items, and the cost of the items.

[0033] To perform fraud detection on user behavior data, in some configurations, the fraud detection component 112 uses a multimodal model that jointly operates on two or more types of user behavior data from user interactions with the online transaction platform 104. Any combination of different types of user behavior data can be employed. The user behavior data can be from a single session or multiple sessions (e.g., from the same user device and / or using the same account) .

[0034] Given user behavior data as input, the multimodal model generates a fraud prediction output that can be, for instance, a probability of fraudulent activity (e.g., on a [0, 1] scale) or a binary classification of the user behavior data as fraudulent or not fraudulent. When  the fraud prediction output indicates the user behavior data is indicative of fraudulent activity (e.g., by a probability exceeding a threshold, or a classification identifying fraud) , the fraud detection component 112 can cause an action to be performed for the online transaction platform 104. This could include, for instance, freezing an account associated with the user behavior data, closing an account associated with the user behavior data, and / or blocking a transaction. In some instances, a notification can alternatively or additionally be provided to an administrator associated with the online transaction platform 104.

[0035] In accordance with some aspects, the multimodal model used by the fraud detection component 112 comprises a neural network. As used herein, a neural network comprises multiple operational layers, including an input layer and an output layer, as well as any number of hidden layers between the input layer and the output layer. Each layer comprises neurons. Different types of layers and networks connect neurons in different ways. Neurons have weights, an activation function that defines the output of the neuron given an input (including the weights) , and an output. The weights are the adjustable parameters that cause a network to produce a correct output.

[0036] FIG. 2 provides an example of a network architecture 200 for a multimodal model in accordance with some aspects of the technology described herein. To fuse multiple sources of user behavior data, a transformer-based backbone is used to establish the multimodal network architecture 200. While a transformer is used as the backbone in the network architecture 200 of FIG. 2, it should be understood that other types of machine learning models could be employed, such as recurrent neural networks (RNNs) or convolutional neural networks (CNNs) .

[0037] As shown in FIG. 2, the input to the multimodal model comprises four series of sequential behavior data: a patch index sequence 202A, a page time sequence 202B, a page ID  sequence 202C, and an item price sequence 202D. While the example of FIG. 2 shows four inputs, it should be understood that the technology described herein can employ multimodal models that use two or more inputs. Additionally, the particular types of input data shown in FIG. 2 are provided by way of example only, and other types of inputs can be employed.

[0038] The input sequences 202A-202D are transformed into high-dimensional representations through an embedding layer to provide corresponding embeddings 204A-204D. The embeddings 204A-204D are processed through separate transformers 206A-206D. As shown in FIG. 2, the network architecture in this example uses four independent transformers 206A-206D, each of which processes an embedding for one of the inputs 202A-202D. Since these transformers 206A-206D do not share parameters, each transformer is specialized to learn knowledge from the representations of its corresponding input sequence and can effectively capture the unique pattern of each type of user behavior data.

[0039] Each of the transformers 206A-206D outputs an encoded representation, which are fed into a shared-parameter batch normalization (BatchNorm) layer 208. The BatchNorm layer 208 aims to uniformly normalize all encoded representations, hence facilitating subsequently combining the encoded representations and benefiting the downstream classification.

[0040] After the BatchNorm layer 208, the four encoded representations are merged into a single combined representation (e.g., a high-dimensional feature vector) through a concatenate operation 210. By fusing multimodal features, the architecture 200 allows the multi-model model to utilize various aspects of user behavior data for making predictions. While a concatenate operation 210 is shown as an example in FIG. 2, any type of operation that combines or fuses feature vectors, such as weighted summation or attention mechanism, can be employed.

[0041] The combined representation from the concatenate operation 210 is fed into a Multilayer Perceptron (MLP) classification model 212 that includes multiple fully connected layers (and their nonlinear activation functions) and outputs prediction values 214 (i.e., logits) through a sigmoid activation function. The sigmoid function restricts the MLP's output into the [0,1] range, making the outputs appropriate for being interpreted as the prediction probability for fraud classification tasks. While a MLP with a sigmoid activation function is shown as being used to generate output probabilities in the example of FIG. 2, other types of models could be employed to generate the output probabilities / classification for fraud detection.

[0042] With reference again to FIG. 1, the multimodal model used by the fraud detection component 112 can be trained for fraud detection by the model training component 114. The model training component 114 builds and trains the multimodal model from scratch or fine-tunes a pre-trained model specifically for the task of fraud detection based on user behavior data. The model training component 114 trains and / or fine-tunes the multimodal model using training data. In some instances, supervised training is employed in which the training data comprises labeled sets of user behavior data. Each set of user behavior data includes information regarding user interactions (e.g., multiple different types of user behavior data) and is labeled with a fraud indicator identifying the set of user behavior data as fraudulent or not fraudulent. The training data could be collected, for instance, from user logs tracking user behavior data on an online transaction platform, such as the online transaction platform 104.

[0043] During training, weights associated with each neuron of the multimodal model can be updated. Originally, the multimodal model can comprise random weight values or pre-trained weight values that are adjusted during training. In one aspect, the multimodal model is trained using backpropagation. The backpropagation process comprises a forward pass, a loss  function, a backward pass, and a weight update. This process is repeated using the training data. For instance, each iteration could include providing a set of user behavior data as input to the multimodal model, causing the multimodal model to produce a fraud prediction output, comparing (e.g., computing a loss) between the fraud prediction output and the label associated with the set of user behavior data (i.e., fraud; not fraud) , and updating the multimodal model based on the comparison. In instances in which the multimodal model employs an architecture with separate machine learning models (e.g., the network architecture 200 of FIG. 2) , the different types of user behavior data are processed by the machine learning models in parallel and fused to generate a prediction output, a loss is computed, and the loss is used to update the parameters of each machine learning model.

[0044] The goal of training is to update the weights of each neuron (or other model component) to cause the multimodal model to accurately predict whether user behavior data is associated with fraudulent activity. Once trained, the weight associated with a given neuron can remain fixed. The other data passing between neurons can change in response to a given input. Retraining the network with additional training data can update one or more weights in one or more neurons.

[0045] As previously discussed, aspects of the technology described herein can use mouse movement as one type of user behavior data. A variety of different types of mouse movement data can be employed. For instance, in some aspects, the mouse movement data comprises the absolute position (e.g., x, y position based on pixels) of the cursor over time assembled into a sequence according to their chronological order. The absolute positions of the cursor could correspond with hovers and / or could be sampled at some time interval (e.g., each second) . Another type of mouse movement data that could be used comprises mouse movement  velocity. However, there are some limitations to these approaches. In particular, users use different user devices with diverse screen sizes and resolutions. For example, the screen of a mobile device is usually portrait but that of a computer is often landscaped, the size of a computer monitor can vary from 15 inches to more than 30 inches, and screen resolution can range from 1K to 10K. For the same user behavior on different devices, using absolute position or movement velocity may produce distinct sequences and limit the ability to detect fraud based on such data.

[0046] To address this multi-device issue, some aspects of the technology described herein use mouse movement data comprising a series of patch positions instead of absolute cursor positions. With reference again to FIG. 1, the fraud detection system 106 includes a patch index component 116 that generates patch index sequences for mouse movement. To alleviate the impact of screen size and resolution, the patch index component 116 divides a screen into a grid of patches and converts a sequence of absolute cursor positions into a sequence of patch indices, where the patch indices represent the relative locations of the patches in the grid.

[0047] In accordance with some aspects, to perform this conversion, the patch index component 116 treats the mouse trajectory as an image, in which the position of the cursor from the mouse movement can be represented as a pixel. The patch index component 116 divides the image into a grid of M × N patches, where M is the number of patches along the x-axis and N is the number of patches along the y-axis. The minimum and maximum x coordinates of the screen are respectively denoted by xmin and xmax, and the minimum and maximum y coordinates are respectively denoted as ymin and ymax. Hence, the length of each patch along the x-axis is Δx = (xmax-xmin)  / M, and the patch length along the y-axis is Δy = (ymax-ymin)  / N. The patch index component 116 calculates the indices of the patch index for a cursor position (x, y) as:

[0048] where ix is the x-axis index of the patch and iy is the y-axis index of the patch. Using this transformation method, the patch index component 116 can convert any cursor coordinate (i.e., x, y position) to a unique grid patch index (ix, y) , which can be used to track the position of mouse trajectory for further analysis, regardless of the size and resolution of the user device.

[0049] By way of example to illustrate, FIG. 3 shows a screen 300 of a user device that has been divided into a grid of patches. In the present example, the screen 300 has been divided into a grid of 16x9 patches (i.e., M = 16, and N = 9) , and the screen resolution is 1280 pixels by 720 pixels (xmin = 0, xmax= 1280, ymin = 0, ymax= 720) . Hence the length of each patch along the x-axis is (1280-0)  / 16 = 80 pixels, and the length of each patch along the y-axis is (720-0)  / 9 = 80 pixels, providing a patch size of 80x80 pixels. Given an x, y position for a cursor location where x = 462, and y = 371, the corresponding patch index would be i6, 5 based on:

[0050] In this way, a sequence of x, y positions for cursor location on the screen 300 can be converted to a sequence of patch indices. For instance, using this example, the sequence of x, y positions [462, 371; 234, 432; 132, 231; . . . ] would be converted to the sequence of patch indices [i6, 5; i2, 5; i1, 2; ... ] .

[0051] Example Methods for Fraud Detection through User Behavior Data

[0052] With reference now to FIG. 4, a flow diagram is provided that illustrates a method 400 for performing fraud detection using a multimodal model operating on user behavior data.  The method 400 can be performed, for instance, by the fraud detection component 112 of the fraud detection component 112 of FIG. 1. Each block of the method 400 and any other methods described herein comprises a computing process performed using any combination of hardware, firmware, and / or software. For instance, various functions can be carried out by a processor executing instructions stored in memory. The methods can also be embodied as computer-usable instructions stored on computer storage media. The methods can be provided by a standalone application, a service or hosted service (standalone or in combination with another hosted service) , or a plug-in to another product, to name a few.

[0053] As shown at block 402, a first type of user behavior data on an online transaction platform is received. Additionally, as shown at block 404, a second type of user behavior data on the online transaction platform is received. While the method 400 discusses receiving two types of user behavior data, more than two types of user behavior data can be employed with the scope of the technology described herein. The types of user behavior data received at blocks 402 and 404 can comprise any combination of inner-page behavior and / or inter-page behavior data, such as, for instance, mouse movement data, page view sequence data, page dwell time, and item view information.

[0054] The user behavior data is provided as input to a multimodal model, as shown at block 406, causing the multimodal model to generate a fraud prediction output. The multimodal model has been trained to predict whether user behavior data is associated with fraudulent activity, for instance, using the method 500 described below with reference to FIG. 5. The fraud prediction output can comprise, for instance, a probability (e.g., in the [0, 1] range) that the user behavior data is associated with fraudulent activity or otherwise a binary classification of fraud or not fraud. Responsive to a determination of fraudulent activity based on the fraud prediction  output from the multimodal model, an action is performed for the online transaction platform, as shown at block 408. The action can comprise, for instance, freezing an account, closing an account, blocking a transaction, and / or providing a notification to a device of an administrator of the online transaction platform.

[0055] Turning next to FIG. 5, a flow diagram is provided that shows a method 500 for training a multimodal model to detect fraudulent activity based on user behavior data on an online transaction platform. The method 500 may be performed, for instance, by the model training component 114 of FIG. 1. As shown at block 502, training data is accessed. The training data includes sets of user behavior data. Each set of user behavior data includes two or more types of user behavior data. The types of user behavior data can comprise any combination of inner-page behavior and / or inter-page behavior data, such as, for instance, mouse movement data, page view sequence data, page dwell time, and item view information. Each set of user behavior data is also labeled with a fraud indicator serving as a ground truth identifying each set as corresponding with fraudulent activity or not corresponding with fraudulent activity.

[0056] The multimodal model is iteratively trained on the labeled sets of user behavior data. To process a given labeled set of user behavior data, the set of user behavior data is provided as input to the multimodal model, as shown at block 504. Given the input, the multimodal model generates a fraud prediction output, as shown at block 506. A loss is computed based on the fraud prediction output and the fraud indicator paired with the set of user behavior data, as shown at block 508. The multimodal model is then updated based on the loss, as shown at block 510. For instance, parameters (e.g., weights) of the multimodal model can be updated via backpropagation based on the loss. The process of updating the multimodal model  using a labeled set of user behavior data at blocks 504-510 can be repeated using the various labeled sets of user behavior data from the training data.

[0057] FIG. 6 provides a flow diagram showing a method 600 for generating a sequence of patch indices from mouse movement data. The method 600 can be performed, for instance, by the patch index component 116 of FIG. 1. The generated sequence of patch indices can be used as user behavior data when training a machine learning model for fraud detection (e.g., a multimodal model via method 500 of FIG. 5) or when using a trained machine learning model to perform fraud prediction (e.g., using a multimodal model via method 400 of FIG. 4) .

[0058] As shown at block 602, mouse movement data is received. The mouse movement data can comprise a sequence of x, y positions of a cursor on a screen. The x, y positions can be based on, for instance, hovers and / or cursor positions sampled at some time interval (e.g., each second) . The screen is divided into a grid of patches, as shown at block 604, with each patch being identified by a patch index indicative of its location within the grid. Each x, y position from the mouse movement data is converted to a patch index, as shown at block 606. This provides a sequence of patch indices that can be used for model training or for fraud prediction using a trained model.

[0059] Exemplary Operating Environment

[0060] Having described implementations of the present disclosure, an exemplary operating environment in which embodiments of the present technology can be implemented is described below in order to provide a general context for various aspects of the present disclosure. Referring initially to FIG. 7 in particular, an exemplary operating environment for implementing embodiments of the present technology is shown and designated generally as computing device 700. Computing device 700 is but one example of a suitable computing  environment and is not intended to suggest any limitation as to the scope of use or functionality of the technology. Neither should the computing device 700 be interpreted as having any dependency or requirement relating to any one or combination of components illustrated.

[0061] The technology can be described in the general context of computer code or machine-usable instructions, including computer-executable instructions such as program modules, being executed by a computer or other machine, such as a personal data assistant or other handheld device. Generally, program modules including routines, programs, objects, components, data structures, etc., refer to code that perform particular tasks or implement particular abstract data types. The technology can be practiced in a variety of system configurations, including hand-held devices, consumer electronics, general-purpose computers, more specialty computing devices, etc. The technology can also be practiced in distributed computing environments where tasks are performed by remote-processing devices that are linked through a communications network.

[0062] With reference to FIG. 7, computing device 700 includes bus 710 that directly or indirectly couples the following devices: memory 712, one or more processors 714, one or more presentation components 716, input / output (I / O) ports 718, input / output components 720, and illustrative power supply 722. Bus 710 represents what can be one or more busses (such as an address bus, data bus, or combination thereof) . Although the various blocks of FIG. 7 are shown with lines for the sake of clarity, in reality, delineating various components is not so clear, and metaphorically, the lines would more accurately be grey and fuzzy. For example, one can consider a presentation component such as a display device to be an I / O component. Also, processors have memory. The inventors recognize that such is the nature of the art, and reiterate that the diagram of FIG. 7 is merely illustrative of an exemplary computing device that can be  used in connection with one or more embodiments of the present technology. Distinction is not made between such categories as “workstation, ” “server, ” “laptop, ” “hand-held device, ” etc., as all are contemplated within the scope of FIG. 7 and reference to “computing device. ”

[0063] Computing device 700 typically includes a variety of computer-readable media. Computer-readable media can be any available media that can be accessed by computing device 700 and includes both volatile and nonvolatile media, removable and non-removable media. By way of example, and not limitation, computer-readable media can comprise computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.

[0064] Computer storage media includes, but is not limited to, RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, digital versatile disks (DVD) or other optical disk storage, magnetic cassettes, magnetic tape, magnetic disk storage or other magnetic storage devices, or any other medium which can be used to store the desired information and which can be accessed by computing device 700. The terms “computer storage media” and “computer storage medium” do not comprise signals per se.

[0065] Communication media typically embodies computer-readable instructions, data structures, program modules or other data in a modulated data signal such as a carrier wave or other transport mechanism and includes any information delivery media. The term “modulated data signal” means a signal that has one or more of its characteristics set or changed in such a manner as to encode information in the signal. By way of example, and not limitation, communication media includes wired media such as a wired network or direct-wired connection,  and wireless media such as acoustic, RF, infrared and other wireless media. Combinations of any of the above should also be included within the scope of computer-readable media.

[0066] Memory 712 includes computer storage media in the form of volatile and / or nonvolatile memory. The memory can be removable, non-removable, or a combination thereof. Exemplary hardware devices include solid-state memory, hard drives, optical-disc drives, etc. Computing device 700 includes one or more processors that read data from various entities such as memory 712 or I / O components 720. Presentation component (s) 716 present data indications to a user or other device. Exemplary presentation components include a display device, speaker, printing component, vibrating component, etc.

[0067] I / O ports 718 allow computing device 700 to be logically coupled to other devices including I / O components 720, some of which can be built in. Illustrative components include a microphone, joystick, game pad, satellite dish, scanner, printer, wireless device, etc. The I / O components 720 can provide a natural user interface (NUI) that processes air gestures, voice, or other physiological inputs generated by a user. In some instance, inputs can be transmitted to an appropriate network element for further processing. A NUI can implement any combination of speech recognition, touch and stylus recognition, facial recognition, biometric recognition, gesture recognition both on screen and adjacent to the screen, air gestures, head and eye-tracking, and touch recognition associated with displays on the computing device 700. The computing device 700 can be equipped with depth cameras, such as, stereoscopic camera systems, infrared camera systems, RGB camera systems, and combinations of these for gesture detection and recognition. Additionally, the computing device 700 can be equipped with accelerometers or gyroscopes that enable detection of motion.

[0068] The present technology has been described in relation to particular embodiments, which are intended in all respects to be illustrative rather than restrictive. Alternative embodiments will become apparent to those of ordinary skill in the art to which the present technology pertains without departing from its scope.

[0069] Having identified various components utilized herein, it should be understood that any number of components and arrangements can be employed to achieve the desired functionality within the scope of the present disclosure. For example, the components in the embodiments depicted in the figures are shown with lines for the sake of conceptual clarity. Other arrangements of these and other components can also be implemented. For example, although some components are depicted as single components, many of the elements described herein can be implemented as discrete or distributed components or in conjunction with other components, and in any suitable combination and location. Some elements can be omitted altogether. Moreover, various functions described herein as being performed by one or more entities can be carried out by hardware, firmware, and / or software, as described below. For instance, various functions can be carried out by a processor executing instructions stored in memory. As such, other arrangements and elements (e.g., machines, interfaces, functions, orders, and groupings of functions) can be used in addition to or instead of those shown.

[0070] Embodiments described herein can be combined with one or more of the specifically described altematives. In particular, an embodiment that is claimed can contain a reference, in the alternative, to more than one other embodiment. The embodiment that is claimed can specify a further limitation of the subject matter claimed.

[0071] The subject matter of embodiments of the technology is described with specificity herein to meet statutory requirements. However, the description itself is not intended to limit the  scope of this patent. Rather, the inventors have contemplated that the claimed subject matter might also be embodied in other ways, to include different steps or combinations of steps similar to the ones described in this document, in conjunction with other present or future technologies. Moreover, although the terms “step” and / or “block” can be used herein to connote different elements of methods employed, the terms should not be interpreted as implying any particular order among or between various steps herein disclosed unless and except when the order of individual steps is explicitly described.

[0072] For purposes of this disclosure, the word “including” has the same broad meaning as the word “comprising, ” and the word “accessing” comprises “receiving, ” “referencing, ” or “retrieving. ” Further, the word “communicating” has the same broad meaning as the word “receiving, ” or “transmitting” facilitated by software or hardware-based buses, receivers, or transmitters using communication media described herein. In addition, words such as “a” and “an, ” unless otherwise indicated to the contrary, include the plural as well as the singular. Thus, for example, the constraint of “afeature” is satisfied where one or more features are present. Also, the term “or” includes the conjunctive, the disjunctive, and both (aor b thus includes either a or b, as well as a and b) .

[0073] For purposes of a detailed discussion above, embodiments of the present technology are described with reference to a distributed computing environment; however, the distributed computing environment depicted herein is merely exemplary. Components can be configured for performing novel embodiments of embodiments, where the term “configured for” can refer to “programmed to” perform particular tasks or implement particular abstract data types using code. Further, while embodiments of the present technology can generally refer to the  technical solution environment and the schematics described herein, it is understood that the techniques described can be extended to other implementation contexts.

[0074] From the foregoing, it will be seen that this technology is one well adapted to attain all the ends and objects set forth above, together with other advantages which are obvious and inherent to the system and method. It will be understood that certain features and subcombinations are of utility and can be employed without reference to other features and subcombinations.This is contemplated by and is within the scope of the claims.

Claims

1.One or more computer storage media storing computer-usable instructions that, when used by one or more computing devices, cause the one or more computing devices to perform operations, the operations comprising:obtaining a first user behavior data based on a first type of interaction between a user device and an online transaction platform;obtaining a second user behavior data based on a second type of interaction between the user device and the online transaction platform;causing a multimodal model to generate a fraud prediction output using the first user behavior data and the second user behavior data; andbased on the fraud prediction output, causing an action to be performed for the online transaction platform.2.The one or more computer storage media of claim 1, wherein the first user behavior data comprises inner-page behavior data and the second user behavior data comprises inter-page behavior data.3.The one or more computer storage media of claim 1, wherein the first user behavior data comprises mouse movement data, and wherein the second user behavior data comprises one selected from the following: page dwell time data, page sequence data, and item price sequence data.4.The one or more computer storage media of claim 1, wherein the first user behavior data comprises a sequence of patch indices based on mouse movement data, the sequence of patch indices obtained by:accessing x, y position data comprising a sequence of x, y positions for a cursor on a screen associated with the user device;dividing the screen into a grid of patches, each patch having a corresponding patch index indicative of a location of the patch in the grid;converting each x, y position in the x, y position data to a patch index to provide the sequence of patch indices.5.The one or more computer storage media of claim 1, wherein causing the multimodal model to generate the fraud prediction output comprises:generating a first embedding from the first user behavior data;providing the first embedding to a first machine learning model to cause the first machine learning model to generate a first encoded representation of the first embedding;generating a second embedding from the second user behavior data;providing the second embedding to a second machine learning model to cause the second machine learning model to generate a second encoded representation of the second embedding;combining the first encoded representation and the second encoded representation to provide a combined representation; andgenerating the fraud prediction output based on the combined representation.6.The one or more computer storage media of claim 5, wherein the first machine learning model comprises a first transformer and the second machine learning model comprises a second transformer.7.The one or more computer-storage media of claim 5, wherein the first encoded representation and the second encoded representation are combined using at least one selected from the following: concatenation, weighted summation, and attention mechanisms.8.The one or more computer storage media of claim 1, wherein causing the action to be performed based on the fraud prediction output comprises at least one selected from the following: preventing an electronic transaction from being performed on the online transaction platform, freezing an account associated with the first type of user behavior data and the second type of user behavior data, and closing an account associated with the first type of user behavior data and the second type of user behavior data.9.A computer-implemented method comprising:generating a first embedding from a first user behavior data on an online transaction platform;providing the first embedding to a first machine learning model to cause the first machine learning model to generate a first encoded representation of the first embedding;generating a second embedding from a second user behavior data on the online transaction platform;providing the second embedding to a second machine learning model to cause the second machine learning model to generate a second encoded representation of the second embedding;combining the first encoded representation and the second encoded representation to provide a combined representation;generating a fraud prediction output based on the combined representation; andbased on the fraud prediction output, causing an action to performed for the online transaction platform.10.The computer-implemented method of claim 9, wherein the first machine learning model comprises a first transformer and the second machine learning model comprises a second transformer.11.The computer-implemented method of claim 9, wherein the first encoded representation and the second encoded representation are combined using at least one selected from the following: concatenation, weighted summation, and attention mechanisms.12.The computer-implemented method of claim 9, wherein the first user behavior data comprises inner-page behavior data and the second user behavior data comprises inter-page behavior data.13.The computer-implemented method of claim 9, wherein the first user behavior data comprises mouse movement data, and wherein the second user behavior data comprises one selected from the following: page dwell time data, page sequence data, and item price sequence data.14.The computer-implemented method of claim 9, wherein the first user behavior data comprises a sequence of patch indices based on mouse movement data, the sequence of patch indices obtained by:accessing x, y position data comprising a sequence of x, y positions for a cursor on a screen associated with the user device;dividing the screen into a grid of patches, each patch having a corresponding patch index indicative of a location of the patch in the grid;converting each x, y position in the x, y position data to a patch index to provide the sequence of patch indices.15.The computer-implemented method of claim 9, wherein the multimodal model is trained by iteratively:obtaining a labeled set of user behavior data comprising a first type of user behavior data and a second type of user behavior data paired with a fraud indicator label;causing the multimodal model to generate an output based on the first type of user behavior data and the second type of user behavior data;computing a loss based on the output and the fraud indicator label; andupdating the multimodal model based on the loss.16.A computer system comprising:one or more processors; andone or more computer storage medium storing computer-usable instructions that, when used by the one or more processors, causes the computer system to perform operations comprising:receiving mouse movement data comprising a sequence of x, y positions for a cursor on a screen of a user device interacting with an online transaction platform;dividing the screen into a grid of patches, each patch having a corresponding patch index indicative of a location of the patch in the grid;converting each x, y position to a patch index to generate a sequence of patch indices;causing a model to generate a fraud prediction output based on the sequence of patch indices; andbased on the fraud prediction output, causing an action to be performed for the online transaction platform.17.The computer system of claim 16, wherein the model comprises a multimodal model, and wherein the multimodal model generates the fraud prediction output based on the sequence of patch indices and a second user behavior data.18.The computer system of claim 17, wherein the multimodal model generates the fraud prediction output by:generating a first embedding from the sequence of patch indices;providing the first embedding to a first machine learning model to cause the first machine learning model to generate a first encoded representation of the first embedding;generating a second embedding from the second user behavior data;providing the second embedding to a second machine learning model to cause the second machine learning model to generate a second encoded representation of the second embedding;combining the first encoded representation and the second encoded representation to provide a combined representation; andgenerating the fraud prediction output based on the combined representation.19.The computer system of claim 17, wherein the second user behavior data comprises inter-page behavior data.20.The computer system of claim 16, wherein causing the action to be performed based on the fraud prediction output comprises at least one selected from the following: preventing an electronic transaction from being performed on the online transaction platform, freezing an account associated with the first type of user behavior data and the second type of user behavior data, and closing an account associated with the first type of user behavior data and the second type of user behavior data

Images