Deep modality fusion network

Abstract

A computing system is provided that includes a deep modality fusion network configured to receive a combined input including a first input in a first modality and a second input in a second modality. The network includes a first pretrained machine learning model configured to receive the first input in the first modality and generate first model hidden state embeddings, and a second pretrained machine learning model configured to receive the second input in the second modality and generate second model hidden state embeddings. The network further includes an attention mechanism configured to perform a self-attention computation on the first and second model hidden state embeddings, and generate a multi-modality attention embedding for the first input in the first modality. The network further includes a feed forward network configured to receive the multi-modality attention embeddings and the second model hidden state embeddings, and generate an output based thereon.

Description

DEEP MODALITY FUSION NETWORKBACKGROUND

[0001] Multimodal machine learning models are widely applied in search, recommendation, advertising, and content understanding systems. These models integrate information from a plurality of input modalities (i.e., text, vision, audio, etc. ) enabling better generalization across various types of input. However, most current multimodal models achieve the ability to learn from inputs of different modalities by pre-training the multimodal model on those different modality inputs. Pretraining a multimodal model on inputs of differing modalities in this manner is time consuming, resource-intensive, and costly. A technical challenge exists to add a new modality of input to an existing pretrained machine learning model that has been pretrained on an existing modality or existing modalities of input. Information from the new modality tends to be compressed through average pooling. Average pooling is a down-sampling operation used in deep learning that reduces the spatial dimensions of feature maps, by calculating the average value of elements in each pooling window. Use of average pooling can lead to poor modality fusion and ultimately suboptimal model performance.

[0002] To illustrate this challenge, consider that an existing ML model is pretrained on image and text modalities. For this existing ML model, it would be difficult to add input in a different modality, such as audio, and perform inference thereon. One approach might be to directly concatenate combined vision and text embeddings from a vision and text encoder of the existing ML model with audio embeddings of an audio encoder. However, when embeddings are concatenated in this manner their size typically exceeds the fixed representation size required by a classification head to perform classification. Therefore, following concatenation, the concatenated embeddings would be required to pass through a pooling layer (such as average pooling) prior to the classification head, to compress the audio embeddings and associated vision and text embeddings into the fixed size representation required by the classification head. The process of compressing in this manner would cause information from the audio embeddings to be lost, adversely affecting the ability of the model to make accurate inferences based on the combined audio, image and text inputs.SUMMARY

[0003] To address these issues a computing system is disclosed herein. The computing system includes processing circuitry and associated memory storing instructions that when executed cause the processing circuitry to implement a deep modality fusion network. The deep modality fusion network is configured to receive a combined input including a first input in a first modality and a second input in a second modality. The deep modality fusion network includes a first pretrained machine learning model configured to receive the first input in the first modality and generate first model hidden state embeddings via a last hidden layer in the first pretrained machine learning model, and a second pretrained machine learning model configured to receive the second input in the second modality and generate second model hidden state embeddings via a last hidden layer in the second pretrained machine learning model. The deep modality fusion network further includes an attention mechanism configured to: receive, as attention mechanism input, the first model hidden state embeddings and the second model hidden state embeddings, perform a self-attention computation on the attention mechanism input, and generate a multi-modality attention embedding for the first input in the first modality as a result of the self-attention computation. The deep modality fusion network further includes a feed forward network configured to receive, as feed forward network input, the multi-modality attention embeddings for the first input and the second model hidden state embeddings for the second input, and generate an output based thereon.

[0004] This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter. Furthermore, the claimed subject matter is not limited to implementations that solve any or all disadvantages noted in any part of this disclosure.BRIEF DESCRIPTION OF THE DRAWINGS

[0005] FIG. 1 shows a schematic view of a computing system configured to implement a deep modality fusion network according to one example of the present disclosure, as configured at training time.

[0006] FIG. 2 shows a schematic view of the computing system of FIG. 1, as configured at inference time.

[0007] FIG. 3 shows a schematic view of the computing system of FIG. 1, illustrating details of the deep modality fusion network architecture.

[0008] FIG. 4 shows an example of the first pretrained machine learning model, configured as a vision language model.

[0009] FIG. 5 shows an example of the first pretrained machine learning model, configured as a speech-to-text audio encoder-decoder.

[0010] FIG. 6 shows a flow chart of a method for utilizing a deep modality fusion network, according to an example of the present disclosure.

[0011] FIG. 7 shows a schematic view of an example computing environment in which the computing system of FIG. 1 may be enacted.DETAILED DESCRIPTION

[0012] FIG. 1 illustrates a computing system 10 that includes processing circuitry 12 and associated memory 14 storing instructions that when executed cause the processing circuitry to implement a deep modality fusion network 16. Deep modality fusion network 16 is configured to receive a combined input 19 including a first input 20 in a first modality and a second input 22 in a second modality, also referred to as a first modality input 20 and a second modality input 22. The first modality is typically different from the second modality. A variety of input modalities are contemplated for the first modality and second modality, such as audio, images, video, natural language text, etc. It will be appreciated that computing system 10 can be a single computing device, or can span a plurality of distributed computing devices, and thus processing circuitry 12 and memory 14 can be distributed across such devices in some configurations.

[0013] The deep modality fusion network 16 includes a first pretrained machine learning model 24 configured to receive the first input 20 in the first modality and a second pretrained machine learning model 26 configured to receive the second input 22 in the second modality. It will be appreciated that each of the first pretrained machine learning model and second pretrained machine learning model can be unimodal, as depicted in FIG. 1, or multi-modal. Through pretraining, each of the first and second ML models 24, 26 has been pretrained to receive the respective first or second modality input, process the input with the pretrained model, and perform a task such as classification or regression on the input. In order to enable the computing system 10 to utilize both of the pretrained machine learning models  24, 26 to perform inference on a combined inputs of the different modalities while properly attending to relevant information for each modality that each pretrained machine learning model 24, 26 has stored therein through pretraining, without losing information of one or both of the models during average pooling as discussed above, a modality fusion attention mechanism 28 is provided. The modality fusion attention mechanism 28 performs self-attention on a fused representation of the hidden states 38, 42 of each of the first pretrained machine learning model and the second pretrained machine learning model 26, as discussed in detail in relation to FIG. 3. Embeddings 44 (see FIG. 3) produced by the modality fusion attention mechanism 28 are combined with the embeddings 38 (see FIG. 3) output from the first pretrained machine learning model 24 and passed to a feed forward network 30, which in turn generates embeddings output 48 (see FIG. 3) and passes the embeddings output 48 to a task head 32. The task head 32 can be configured to perform a task such as classification, regression, or translation based on the embedding representation it receives and generate a predicted output 34, which may be a predicted class 34A, regression value 34B, or translation output 34C, for example.

[0014] FIG. 1 illustrates the computing system 10 at training time, when the computing system is configured to train the deep modality network 16 to adjust its weights, e.g., in feed forward network 30, based on a training data set 31 that includes first input 20 of the first modality and second input 22 of the second modality, as well as ground truth data 36. Ground truth data indicates a ground truth for predicted output 34 such as a ground truth predicted classification, regression value, or translation output from the task head. The difference between the predicted output and the ground truth data is measured and a loss function is used to backpropagate adjustments in the weights of the feed forward network 30, etc. in the dep modality fusion network 16, to thereby train the network 16 to generate predicted outputs that more closely match the ground truth data for specified inputs of different modalities. A suitable backpropagation algorithm using gradient descent can be used for this purpose. In this manner, the deep modality fusion network 16 is trained during the fine tuning operation using the training data set 31 that includes training tuples including input pairs of the first modality input 20 and the second modality input 20 and associated ground truth output 36, and weights of the feed forward network 30 are adjusted during the fine tuning operation.

[0015] Turning now to FIG. 2, once trained, the deep modality fusion network 16 is configured to receive, as inference time input 33 a combined input including a first input 20 in the first modality and a second input 22 in the second modality, at inference time. In response to receiving inference time input 33, the trained deep modality fusion network 16 is configured to generate predicted output 34, at inference time. Details of the inference process are described below.

[0016] As shown in FIG. 3, the first pretrained machine learning machine learning model is configured to receive the first input 20 in the first modality and generate first model hidden state embeddings 38 in the first pretrained machine learning model 24. For example, the first model hidden state embeddings 38 can be generated via a last hidden layer 50 (see FIG. 4) in the first pretrained model 24. Likewise, the second pretrained machine learning model 26 is configured to receive the second input 22 in the second modality and generate second model hidden state embeddings 40 in the second pretrained machine learning model 26. For example, the second model hidden state embeddings 40 can be generated via a last hidden layer 52 (see FIG. 5) in the second pretrained model 26. Examples of the last hidden layer 52 in the first and second pretrained models 24, 26 are discussed below in relation to FIGS. 4 and 5.

[0017] Continuing with FIG. 3, the deep modality fusion network 16 further includes an attention mechanism, referred to as the modality fusion attention mechanism 28, which is configured to receive, as attention mechanism input 42, the first model hidden state embeddings 38 and the second model hidden state embeddings 40, perform a self-attention computation on the attention mechanism input 42, and generate a multi-modality attention embedding 44 based on the first model and second model hidden state embeddings 38, 40 as a result of the self-attention computation. The feed forward network 30 is configured to receive, as feed forward network input 46, the multi-modality attention embeddings 44 and the second model hidden state embeddings 38, and generate an output embedding representation 48 based thereon. The feed forward network input can include the multi-modality attention embeddings 44 concatenated with the first model hidden state embeddings 38, as shown. The output embedding representation 48 can be sent to a task head 32 for generation of a predicted output 34, as described above.

[0018] The multi-modality attention embeddings 44 can be computed using a softmax activation function, which is implemented in each of the activation units 54. The softmax activation function can take as inputs, the first model hidden state embeddings 38, the second model hidden state embeddings 40 transposed, and a common dimensionality d of the first model hidden state embeddings 38 and second model hidden state embeddings 40, and output a weight value. The weight value can be multiplied by the first model hidden state embeddings to thereby generate weighted first model hidden state embeddings as the multi-modality attention embeddings 44. Using these principles, an expression for computation of the feed forward network input 46 follows.

[0019] where

[0020] A is the first model hidden state embeddings 38 from last hidden layer 50 before average pooling;

[0021] d is the dimension of the first model hidden state embeddings 38;

[0022] V is the second model hidden state embeddings 40 from the last hidden layer 52 before average pooling;

[0023] (V) Τ is the second model hidden state embeddings 40 transposed;

[0024] is an attention weight value;

[0025] are weighted first model hidden state embeddings, also referred herein to as the multi-modality attention embeddings 44.

[0026] In one example, V has dimensions of BS*1*768, where BS is batch size, or is compressed down to have this size, and A has dimensions of BS*1500*768. Thus, A· (V) Τ will have the following dimensions: BS*1500*768·BS*1*768=>BS*1500. Here, to enable the matrix product to be computed, it is important that the dimensions (e.g., BS and 768) of the matrices A and V be the same. Continuing, the shape of the softmax computation is Therefore, the weighted first model hidden state embeddings will have the shape:  And since V has the shape BS*768, the FFN input will have the shape BS*1536 in this example. While these dimension are merely exemplary, they illustrate a point regarding the matrices being sized to have similar dimensions to enable the attention computation. That is, in order to perform the operation A· (V) Τ it is useful to ensure that the size of the first model hidden state embeddings 38 and the second model hidden state embeddings 40 are the same size. In this example each is 768 elements in length.

[0027] The output of the feed forward network 30 is an embedding output 48, and the task head 32 of the deep modality network 16 is configured to receive the embedding output 48 from the feed forward network 30, perform classification, regression, and / or translation (depending on its configuration) based on the embedding representation, and output a predicted output 34 from the task head.

[0028] FIG. 4 illustrates a vision language model 24A as an example of the first pretrained machine learning model 24. In the depicted embodiment the visual language model 24A includes text encoder configured to receive and tokenize text to thereby generate text embeddings. The visual language model 24A further includes an image or vision encoder configured to receive and encode images to thereby generate image embeddings. The visual language model 24A includes a multi-head attention unit that receives these embeddings, computes self-attention, and outputs a weighted embedding representation to three neural networks, in the form of a visual feed forward network, a language feed forward network, and a visual language feed forward network 54. Each of these neural networks has a similar architecture but trained on different tasks during pretraining, using the multi head self-attention unit. An example architecture will be described for the visual language feed forward network.

[0029] The first pretrained machine learning model 24 in the form of the vision language model 24A includes a neural network 54 having an input layer 56, a plurality of hidden layers 58, and an output layer 60. In this embodiment the output layer is a task specific layer configured for classification, regression, translation, etc. The plurality of hidden layers 60 includes a last hidden layer 50 in a forward processing direction prior to the output layer 60. A state of the last hidden layer 50 is encoded in the first model hidden state embeddings 38. The output of the visual language model 24A is, for example, a classification based on the text and image inputs.

[0030] With the configuration of FIG. 4, the first pretrained machine learning model 24 includes an image encoder 62 configured to receive images 61 as first input 20 having the first input modality. Further, the first pretrained machine learning model 24 is configured as a unified vision language pretrained model 24A including the image encoder 62 and a natural language text encoder 64 configured to receive natural language input (i.e., text 63) as a third input modality.

[0031] Turning now to FIG. 5, an example of an audio transformer model 26A as the second pretrained machine learning model 26 is shown. The audio transformer model 26A is configured to convert speech (audio) to text. The audio transformer model 26A includes an audio encoder 66 configured to receive audio in the form of a spectrogram 68 as the second input 22 in the second input modality and apply sinusoidal positional encoding. The audio encoder 66 includes a plurality of self-attention units each including a self-attention unit and feed forward network (FFN) as a multilayer perceptron (MLP) neural network. During training an audio input is inputted into the encoder and a text input is inputted into the decoder as ground truth training sequence. Cross attention between the encoder 66 and decoder 70 is performed per the transformer architecture and the transformer learns how to transform the input spectrogram into an output sequence based on its training.

[0032] At inference time, the audio transformer model 26A autoregressively predicts a next token in an output sequence given spectrogram input 68 and the prior tokens predicted in the output sequence predicted thus far. The next token is predicted by a last attention unit in the decoder 70. Within the last attention unit of the decoder 70 the second pretrained machine learning model 26A includes a neural network 72 (feed forward network) having an input layer 74, a plurality of hidden layers 76, and an output layer 78, the plurality of hidden layers 76 including a last hidden layer 52 in a forward processing direction prior to the output layer 78. The state of the last hidden layer is encoded in the second model hidden state embeddings 40.

[0033] It will be appreciated that the first pretrained machine learning model 24 and the second pretrained machine learning model 26 can take various other forms than the specific visual language model 24A and audio transformer model 26A of FIG. 4 and FIG. 5.

[0034] Computing system 10 can be used in a variety of use case scenarios to apply attention to a fusion of embedding information from inputs of two different modalities processed by two different pretrained models. For example, suppose a first pretrained machine learning model is a video encoder model that is configured to recognize categories of products appearing in images which are frames of videos, and the second pretrained machine learning model is an audio encoder that is trained to recognize words spoken in an audio track to a video. In such an example computing system 10 can be used to classify the video and audio track featuring a particular product offered with positive or negative words associated with the product. For example the video can be recognized as featuring a new brand of cereal, and the audio can be recognized as words that praise the taste and texture of the product in the video, e.g., “This tastes good and has a nice crunchy texture! ” Suppose that the video does not have any text associated with it that the visual language model (as the first pretrained machine learning model) can understand. In this example the audio model will generate text embeddings for the previous utterance from the audio track for the video, and the visual language model will generate visual embeddings for the cereal. By using the modality fusion attention mechanism of the deep modality fusion network 16, the present computing system 10 can be trained to recognized connections between the audio and the video, such that the “This” in the phrase “This tastes good and has a nice crunchy texture” will attend to the visual embeddings corresponding to the cereal in the input image. The resulting embedding output can be used to make a classification decision between two classes such as: Class A “Positive review about cereal brand X? ” or Class B: “Negative review about cereal brand X? ” Without the present technique, the connection between the word “This” and the visual features associated with the cereal brand X would not be possible, and thus such a classification could not be made. This is merely an example to illustrate how features attention computations between features in one modality of input and another modality of input can be used to perform useful tasks.

[0035] Experimental results were obtained for the technique described above. Table 1 below includes a benchmark visual language model in the first row, with performance metrics for various industry standard benchmarks. In the second row, statistics are shown for a visual language model augmented with an audio input using the deep modality fusion network (DMN) described herein. As can be seen the AUC (area under curve) score is similar and the F1 score (harmonic mean of precision and recall) is improved for the present technique as compared to the benchmark visual language model. Precision statistics for various recall values are also shown.

[0036] Table 1

[0037] Turning now to FIG. 6, a flow chart of a computerized method 100 according to one example of the present disclosure is shown. Method 100 can be implemented using the computing system of FIG. 1 above, or other suitable hardware and software components. Method 100 includes, at 102, providing a first pretrained machine learning model including a neural network having an input layer, a plurality of hidden layers, and an output layer, the plurality of hidden layers including a last hidden layer in a forward processing direction prior to the output layer, a state of the last hidden layer being encoded in the first model hidden state embeddings. At 104, the method includes providing a second pretrained machine learning model including a neural network having an input layer, a plurality of hidden layers, and an output layer, the plurality of hidden layers including a last hidden layer in a forward processing direction prior to the output layer, a state of the last hidden layer being encoded in the second model hidden state embeddings. The first modality and the second modality are typically different, and each of the first modality and the second modality is selected from among audio, image, video, pose, or natural language text input modalities.

[0038] At 106, the method includes performing a fine tuning operation on the deep modality fusion network using a training data set that includes training tuples including input pairs of the first modality and the second modality and associated ground truth output, and adjusting weights of the feed forward network during the fine tuning operation.

[0039] At 108, the method includes receiving, as attention mechanism input to an attention mechanism of a deep modality fusion network, first model hidden state embeddings from the first pretrained machine learning model and second model hidden state embeddings from the second pretrained machine learning model. At 110, the method includes performing a self-attention computation on the attention mechanism input. At 112, the method includes generating a multi-modality attention embedding for the first input in the first modality and the second input in the second modality as a result of the self-attention computation. The multi-modality attention embeddings can be computed using a softmax activation function, for example. The softmax activation function can take as inputs, the first model hidden state embeddings, the second model hidden state embeddings transposed, and a common dimensionality of the first model hidden state embeddings and second model hidden state embeddings, and output a weight value, and the weight value can be multiplied by the first model hidden state embeddings to thereby generate weighted first model hidden state embeddings as the multi-modality attention embeddings.

[0040] At 114, receiving, as feed forward network input to a feed forward network of the deep modality fusion network, the multi-modality attention embeddings and the second model hidden state embeddings. The feed forward network input can include the multi-modality attention embeddings concatenated with the first model hidden state embeddings. At 116, the method includes generating, via the feed forward network, an output of the deep modality fusion network.

[0041] It will be appreciated that the receiving of first model hidden state embeddings and second model hidden state embeddings at 108, the performing of the self-attention computation at 110, the generating of the multi-modality attention embedding at 112, the receiving of the feed forward network input and the generating of the output of the deep modality fusion network at 114 are performed in an inference phase, and the performing of the fine tuning operation at 106 occurs prior to the inference phase and following pretraining of each of the first pretrained machine learning model and the second pretrained machine learning model at 102 and 104.

[0042] The output of the feed forward network can be an embedding output, and the method further can further include sending the embedding output to a task head configured to perform classification, regression, and / or translation on the embedding output from the deep modality network, and outputting a predicted output from the task head, as described above.

[0043] The above described computing system and computerized method can be used to combine a pretrained machine learning model for a first input modality with a pretrained machine learning model for a second input modality, without pretraining a new multimodal model from scratch, by using a deep modality fusion network with a modality fusion attention mechanism that enables attention to be fused between the hidden states of the first pretrained machine learning model and the second pretrained machine learning model. As a result, improved accuracy of predictions can be attained from the combination of two existing models with relatively light computational load of fine tuning the deep modality fusion network. This saves computational resources, time and energy required to train a multimodal model from the ground up, and improves accuracy over prior attempts to concatenate inputs from different modalities resulting in information loss and model degradation.

[0044] In some embodiments, the methods and processes described herein may be tied to a computing system of one or more computing devices. In particular, such methods and processes may be implemented as a computer-application program or service, an application-programming interface (API) , a library, and / or other computer-program product.

[0045] FIG. 7 schematically shows a non-limiting embodiment of a computing system 700 that can enact one or more of the methods and processes described above. Computing system 700 is shown in simplified form. Computing system 700 may embody the computing system 1 described above and illustrated in FIG. 1. Components of computing system 700 may be included in one or more personal computers, server computers, tablet computers, home-entertainment computers, network computing devices, video game devices, mobile computing devices, mobile communication devices (e.g., smartphone) , and / or other computing devices, and wearable computing devices such as smart wristwatches and head mounted augmented reality devices.

[0046] Computing system 700 includes a logic processor 702 volatile memory 704, and a non-volatile storage device 706. Computing system 700 may optionally include a display subsystem 708, input subsystem 710, communication subsystem 712, and / or other components not shown in FIG. 7.

[0047] Logic processor 702 includes one or more physical devices configured to execute instructions. For example, the logic processor may be configured to execute instructions that are part of one or more applications, programs, routines, libraries, objects, components, data structures, or other logical constructs. Such instructions may be implemented to perform a task, implement a data type, transform the state of one or more components, achieve a technical effect, or otherwise arrive at a desired result.

[0048] The logic processor may include one or more physical processors configured to execute software instructions. Additionally or alternatively, the logic processor may include one or more hardware logic circuits or firmware devices configured to execute hardware-implemented logic or firmware instructions. Processors of the logic processor 702 may be single-core or multi-core, and the instructions executed thereon may be configured for sequential, parallel, and / or distributed processing. Individual components of the logic processor optionally may be distributed among two or more separate devices, which may be remotely located and / or configured for coordinated processing. Aspects of the logic processor may be virtualized and executed by remotely accessible, networked computing devices configured in a cloud-computing configuration. In such a case, these virtualized aspects are run on different physical logic processors of various different machines, it will be understood.

[0049] Non-volatile storage device 706 includes one or more physical devices configured to hold instructions executable by the logic processors to implement the methods and processes described herein. When such methods and processes are implemented, the state of non-volatile storage device 706 may be transformed-e.g., to hold different data.

[0050] Non-volatile storage device 706 may include physical devices that are removable and / or built in. Non-volatile storage device 706 may include optical memory, semiconductor memory, and / or magnetic memory, or other mass storage device technology. Non-volatile storage device 706 may include nonvolatile, dynamic, static, read / write, read-only, sequential-access, location-addressable, file-addressable, and / or content-addressable devices. It will be appreciated that non-volatile storage device 706 is configured to hold instructions even when power is cut to the non-volatile storage device 706.

[0051] Volatile memory 704 may include physical devices that include random access memory. Volatile memory 704 is typically utilized by logic processor 702 to temporarily store information during processing of software instructions. It will be appreciated that volatile memory 704 typically does not continue to store instructions when power is cut to the volatile memory 704.

[0052] Aspects of logic processor 702, volatile memory 704, and non-volatile storage device 706 may be integrated together into one or more hardware-logic components. Such hardware-logic components may include field-programmable gate arrays (FPGAs) , program-and application-specific integrated circuits (PASIC  / ASICs) , program-and application-specific standard products (PSSP  / ASSPs) , system-on-a-chip (SOC) , and complex programmable logic devices (CPLDs) , for example.

[0053] The terms “module, ” “program, ” and “engine” may be used to describe an aspect of computing system 700 typically implemented in software by a processor to perform a particular function using portions of volatile memory, which function involves transformative processing that specially configures the processor to perform the function. Thus, a module, program, or engine may be instantiated via logic processor 702 executing instructions held by non-volatile storage device 706, using portions of volatile memory 704. It will be understood that different modules, programs, and / or engines may be instantiated from the same application, service, code block, object, library, routine, API, function, etc. Likewise, the same module, program, and / or engine may be instantiated by different applications, services, code blocks, objects, routines, APIs, functions, etc. The terms “module, ” “program, ” and “engine” may encompass individual or groups of executable files, data files, libraries, drivers, scripts, database records, etc.

[0054] When included, display subsystem 708 may be used to present a visual representation of data held by non-volatile storage device 706. The visual representation may take the form of a graphical user interface (GUI) . As the herein described methods and processes change the data held by the non-volatile storage device, and thus transform the state of the non-volatile storage device, the state of display subsystem 708 may likewise be transformed to visually represent changes in the underlying data. Display subsystem 708 may include one or more display devices utilizing virtually any type of technology. Such display devices may be combined with logic processor 702, volatile memory 704, and / or non-volatile storage device 706 in a shared enclosure, or such display devices may be peripheral display devices.

[0055] When included, input subsystem 710 may comprise or interface with one or more user-input devices such as a keyboard, mouse, touch screen, camera, or microphone.

[0056] When included, communication subsystem 712 may be configured to communicatively couple various computing devices described herein with each other, and with other devices. Communication subsystem 712 may include wired and / or wireless communication devices compatible with one or more different communication protocols. As non-limiting examples, the communication subsystem may be configured for communication via a wired or wireless local-or wide-area network, broadband cellular network, etc. In some embodiments, the communication subsystem may allow computing system 700 to send and / or receive messages to and / or from other devices via a network such as the Internet.

[0057] “And / or” as used herein is defined as the inclusive or ∨, as specified by the following truth table:

[0058] It will be understood that the configurations and / or approaches described herein are exemplary in nature, and that these specific embodiments or examples are not to be considered in a limiting sense, because numerous variations are possible. The specific routines or methods described herein may represent one or more of any number of processing strategies. As such, various acts illustrated and / or described may be performed in the sequence illustrated and / or described, in other sequences, in parallel, or omitted. Likewise, the order of the above-described processes may be changed.

[0059] The subject matter of the present disclosure includes all novel and non-obvious combinations and sub-combinations of the various processes, systems and configurations, and other features, functions, acts, and / or properties disclosed herein, as well as any and all equivalents thereof.

Claims

1.A computing system, comprising:processing circuitry and associated memory storing instructions that when executed cause the processing circuitry to implement:a deep modality fusion network configured to receive a combined input including a first input in a first modality and a second input in a second modality, the deep modality fusion network including:a first pretrained machine learning model configured to receive the first input in the first modality and generate first model hidden state embeddings via a last hidden layer in the first pretrained machine learning model;a second pretrained machine learning model configured to receive the second input in the second modality and generate second model hidden state embeddings via a last hidden layer in the second pretrained machine learning model;an attention mechanism configured to:receive, as attention mechanism input, the first model hidden state embeddings and the second model hidden state embeddings,perform a self-attention computation on the attention mechanism input, andgenerate a multi-modality attention embedding for the first input in the first modality and the second input in the second modality as a result of the self-attention computation;a feed forward network configured to receive, as feed forward network input, the multi-modality attention embeddings and the first model hidden state embeddings, and generate an output based thereon.2.The computing system of claim 1, whereinthe first pretrained machine learning model includes a neural network having an input layer, a plurality of hidden layers, and an output layer, the plurality of hidden layers including a last hidden layer in a forward processing direction prior to the output layer, a state of the last hidden layer being encoded in the first model hidden state embeddings; andthe second pretrained machine learning model includes a neural network having an input layer, a plurality of hidden layers, and an output layer, the plurality of hidden layers including a last hidden layer in a forward processing direction prior to the output layer, a state of the last hidden layer being encoded in the second model hidden state embeddings.3.The computing system of claim 1, wherein the feed forward network input includes the multi-modality attention embeddings concatenated with the first model hidden state embeddings.4.The computing system of claim 1, wherein the multi-modality attention embeddings are computed using a softmax activation function.5.The computing system of claim 4, wherein the softmax activation function takes as inputs, the first model hidden state embeddings, the second model hidden state embeddings transposed, and a common dimensionality of the first model hidden state embeddings and second model hidden state embeddings, and outputs a weight value.6.The computing system of claim 5, wherein the weight value is multiplied by the first model hidden state embeddings to thereby generate weighted first model hidden state embeddings as the multi-modality attention embeddings.7.The computing system of claim 1, wherein the first pretrained machine learning ML model includes an image encoder configured to receive images as the first input modality.8.The computing system of claim 7, wherein the first pretrained machine learning ML model includes a unified vision language pretrained model including the image encoder and a natural language text encoder configured to receive natural language input as a third input modality.9.The computing system of claim 1, wherein the second pretrained machine learning ML model includes an audio encoder configured to receive audio as the second input modality.10.The computing system of claim 1, wherein the deep modality fusion network is trained during a fine tuning operation using a training data set that includes training tuples including input pairs of the first modality and the second modality and associated ground truth output, and weights of the feed forward network are adjusted during the fine tuning operation.11.The computing system of claim 1, whereinthe output of the feed forward network is an embedding output, andthe deep modality network further includes a task head configured to receive the embedding output from the feed forward network, perform classification, regression, or translation based on the embedding representation, and output a predicted output from the task head.12.A computerized method, comprising:receiving, as attention mechanism input to an attention mechanism of a deep modality fusion network, first model hidden state embeddings from a first pretrained machine learning model and second model hidden state embeddings from a second pretrained machine learning model;performing a self-attention computation on the attention mechanism input; andgenerating a multi-modality attention embedding for the first input in the first modality and the second input in the second modality as a result of the self-attention computation;receiving, as feed forward network input to a feed forward network of the deep modality fusion network, the multi-modality attention embeddings and the second model hidden state embeddings; andgenerating, via the feed forward network, an output of the deep modality fusion network.13.The computerized method of claim 12, further comprising:providing the first pretrained machine learning model including a neural network having an input layer, a plurality of hidden layers, and an output layer, the plurality of hidden layers including a last hidden layer in a forward processing direction prior to the output layer, a state of the last hidden layer being encoded in the first model hidden state embeddings; andproviding the second pretrained machine learning model including a neural network having an input layer, a plurality of hidden layers, and an output layer, the plurality of hidden layers including a last hidden layer in a forward processing direction prior to the output layer, a state of the last hidden layer being encoded in the second model hidden state embeddings.14.The computerized method of claim 12, wherein the feed forward network input includes the multi-modality attention embeddings concatenated with the first model hidden state embeddings.15.The computerized method of claim 12, wherein the multi-modality attention embeddings are computed using a softmax activation function.16.The computerized method of claim 15, whereinthe softmax activation function takes as inputs, the first model hidden state embeddings, the second model hidden state embeddings transposed, and a common dimensionality of the first model hidden state embeddings and second model hidden state embeddings, and outputs a weight value, andthe weight value is multiplied by the first model hidden state embeddings to thereby generate weighted first model hidden state embeddings as the multi-modality attention embeddings.17.The computing method of claim 12, whereinthe first modality and the second modality are different, andeach of the first modality and the second modality is selected from among audio, image, video, pose, or natural language text input modalities.18.The computerized method of claim 12, wherein the receiving of first model hidden state embeddings and second model hidden state embeddings, the performing of the self-attention computation, the generating of the multi-modality attention embedding, the receiving of the feed forward network input and the generating of the output of the deep modality fusion network are performed in an inference phase, the method further comprising, prior to the inference phase and following pretraining of each of the first pretrained machine learning model and the second pretrained machine learning model, the method further comprising:performing a fine tuning operation on the deep modality fusion network using a training data set that includes training tuples including input pairs of the first modality and the second modality and associated ground truth output, and adjusting weights of the feed forward network during the fine tuning operation.19.The computerized method of claim 12, wherein the output of the feed forward network is an embedding output, and the method further comprises:sending the embedding output to a task head configured to perform classification, regression, and / or translation on the embedding output from the deep modality fusion network; andoutputting a predicted output from the task head.20.A computerized method, comprising:receiving a combined input at a deep modality fusion network, the combined input including an audio input, an image input, and a natural language input;receiving, as attention mechanism input to an attention mechanism of the deep modality fusion network, first model hidden state embeddings from a pretrained audio encoder of the deep modality fusion network that processed the audio input, and second model hidden state embeddings from a unified vision language model of the deep modality fusion network that processed the image input and natural language input;performing a self-attention computation on the attention mechanism input; andgenerating multi-modality attention embeddings based on the first model hidden state embeddings and the second model hidden state embeddings as a result of the self-attention computation;receiving, as feed forward network input to a feed forward network of the deep modality fusion network, the multi-modality attention embeddings and the first model hidden state embeddings; andgenerating, via the feed forward network, an embedding output of the deep modality fusion network;sending the embedding output to a task head configured to perform classification, regression, and / or translation on the embedding output from the deep modality fusion network; andoutputting a predicted output from the task head.

Images