Multi-modal pair matching for a multi-modal machine learning model learning process

Abstract

The present disclosure relates to systems, non-transitory computer-readable media, and methods that generate machine-learning training pairs across disparate modalities for a multi-modal machine learning model learning process. Indeed, in one or more implementations, the disclosed systems generate a first set of perturbation classification scores from a first data modality using a first classification model and a second set of perturbation classification scores from a second data modality using a second classification model. For instance, the disclosed systems compare the first set of perturbation classification scores with the second set of perturbation classification scores to determine a plurality of similarity measures. Moreover, in some instances, the disclosed systems identify pairs of data samples across the first data modality and the second data modality for a multi-modal machine learning model learning process using the pairs of data samples.

Description

[0001]... - - ,, , .. . . . - - . , , - . , ,, , . ,- - , , - . ,. . , , . , . - , . , ... . , . - - . - . .- . - .. - . . - . - . . - . . - . - ... . . - . . . - - . - . . . . - ... .. - ,- - , - . , -- .., - , - , -. . , , ., . , - . , - - .., ..,.., . -. - .., . - . - ., - . , , - - - . , “ ” . , - .., .., .., , -. , . ... ., - , ” . , “ ” “ . . -,.- , - . - , “, ,” , ,. ,. , , , .., .. , ,, .., , , ,. , , ,. ., , , - . ,. . , , .. ,, ., , - ..,, . , - ..,, , - . . , . , - . , . , . , , .., ,- ... . ., - .., . . , . , .., . , - .., , - . . . , .., , - , . . , - , - .., .., . . , . , - . , . ..,, , - . . , , , “ ” . , . , - . ... , - .. .- , . ,, - . , “ “ ”” - . , .- , - . .-, - . - - ,- - . . , ,- . ,..,. , . , .., . , -- - . , ., , .- ,, , ., , . , - - . , ... , . -, -.. ,, , . , .., - - . , - . -, . , . , .- . , - . , - . , ..- , - . ,,-- - . - , - , - . , , , -, , , - . ... . - , . , - .., , - .., -. , - - . ., - - , - . , - -. - - -. .. - . - , -, . - . , -.., -- .., - .., ’ , - .. ,.., , :, “ ”, , - . . , - ... , . “”, ^^"^^ ^^", ^^^^, ,^^..^,, ^^ ^^,. . , , , ^^,, . “” ,^^"^,^, ^^^^- ., , , ^^^^ = ’, , ^^ , , ^^ =^. ,^^ =, ..,,, ^^ =,, - - , ., ^^^^ ≔ ^^’ , .., -^^^^,, . , , ^^^^, ,. , ,, , .., -..-, , , , , , ^^, - . , , , - , — — . ... , -. , - . .., , , - , - ,. . .- - , .., . .., ,. .., - . , ^^.., - . - , . - ^^^^^^,. - - -, , ^^ ^^, ^^",^^ ,. :. , ^^ ,, .,,^^ ^^" ^, ^^, ^^, ^^- ^'- ."., . , - . .., , , , : ,… , ^^- ^^ ^^, ^^ ... . - :., , ^^, - :..", ^ ^". ^^, , ., , , , - - ^^. ,^^^ ^^^ ∶= ^^^^^^^. -- -- ^^ =,,.., ^^^^^^ = ^^^^^^ ^^,. , ,,, ^^. , : , . ., .,..,= =",,. ==,, ^^ = ^^ . :^^^^, ^^,^^=^^. , .= ^, ^^=^^ = ^^^^=^^ ..^ ^^^^^^ ^:^^^^^ ^^ , : ... ^^=^^ = ^^^^ ^ ^^. , - ., , - . ,. - .., . - , - .. . .., , . , - . , “ ” - . , . , , - - , - . .., . , - , .., - ., , “. , ” . ., - .., . , - ... .., - . , - . -.., - .., .., ..,. - - . , . , - .., .., ., - . . , ,.., -. , - . ., - ,. . - . ,, . , “” , , . , , , , - . “ ”.., . , . , ’ .., - .., ... . . . “ ” , . . ,- “ . ,”- - , - . , - . ” . . ,, “-.-.,. , “ . ,” . , , ., - -. , . , - , - . ., -, , . ., - . - . ., -. , - , “ ” . .., . , - ... . , - .., , , , . , - , “ ” . .., . ,, , , . , . . , .., . .., , - -. . ,, , .., . . - , . , . , - . , . , -.., . , - . , - , - . . . . , , - ... .., , - - . . , - . -,. - , -- . -, ., . - .- , . , , , , , . . ..,, -- , - . , , .., .., -, - . . “, ” . -, - - , . . , “ , - . , ” - .. --. , . ... , - ^ ^^^'"^^^^, - , ^^ - , ^^"..,- , ^^ ^, . ^--^^"^^^^" ^^ ^ ^-^^ = , -. - , , -^ ^- . ,, ^^ . , - - . , , . -,.-. ,., - - , ,,. , :–, , , .: , , - ,, , .-. . ,- , - , - . . • -: "- . , ^^"^ ^"'""^^": . ... • -: ^^ ^ ^"'"". , • -:" '". ,. • -: ^^^'. . , "" . , ^^ ^ ^ , --,- -. ,. ^^, : . , - ^^: ^^ ^^ . ^^ ^^"^^- .- - .^^ >- - -., ^ ^ >-.^^- . ^^, ^^ ^^-∗ -∗,,^^-∗ >... - , ,.., ..,e...,., ... .e.- , , - . . .., . : .., ^^^^^^ ^^ ^^'" ^^" = ^^ ∶= ^ ^^^" ^^"'"^",^^'"".- , , ^^^=^^. =^^, ^^ =,, ,.., ^^. ^^- -,'", ^ ^"'"..,^^- -'",. ^^, ,"^^", ^^ − ^^"^^. , . ^^" − ^^ ^^. , . , .", . , ^ ^ ^^, ... , . “ ” .- , ,.. , ^ ^^^^^#^. , ^^", , ^^"> ^ ^^, , ^^ ^^" ^" > ^^#, . ,.., " ^^ ,. ,:- :, ^.^ =,… ,^^, " ^^ '" " ^^-" ^^" ^^ '" ^^" ^^", " = ^^", , ^^^^,.^^ − ^^. . ^^ =., -,, . . .., , ,. , , ,. . , , . , ., - . ,. - . ... , - ^^′^^", ^^-. ^ ^^^^ ^^"'"^^, ^^^^", ^^- =, - " '"^^ ^"^^^. ^^ "., ^^" ^^ . = ^^^^, ^^-",..,, ^^^: ^.., " = ^^, ^"'"^^'". ,, ^".., . - ’ .., : . " ^^^^^^^^ = −,- ^^- ^^-, ,, ^^ . “” ^^", '",. -,- - . ... , - ,..- - - ” . , - “- . , - -- - , -. , - “- ” . , - -.. , , -- , - - - . , , - . - - . - . , , - , - .- - . ,- “ - . ” - ..,, - - . -, .-., , .- , - . ... , , - .., - - - . - . , - , -.., . . -, - , . . , - . , - - . , - - , -". ^ ^,- = ^^^^^^-.. , ,.- , - . ^^"- : , ^^:- ..,- , . . - , - , - ... , -. -- . , - - . - , “- ” - . , - , . , - - ., - .., ^^^^ −^",·- . ·· · ·· - ^− ^^ -:.., - . , ^··^. ^·^ - ^^:- , - .., - ..,. ,,-- - .. - - . ,. - - . ... - - . -, - . - --- .., ,, - ,.., . . , - - . , - . - - - - --, .., , . .- — –--, . - .., , ,. ,., ,., ,., ,.,,..,,. ,.,,. - , , , :, - “”, , . . , - , , . , - . . , ., . , ... . , , - , ’ , - - - . . .., - . , , . - , .. .. , ,. , , ^^ = ^ ^" = ^^., . . . , .. ^^", ^^, -. : , "^ "^^ =, ^"^^.^ ^ =^^- . , , . , ,^^ =^^'" .,,,. , , ^^ ": - , .,., ^^".,'"" " =^^- -'#" ...^" =,^^,-". ^"." . ", , ^". , ^: ""^ =^^^"" ,^^^. ,, , .. . , ..,- - - - . , ., ^^. , , . , , , ^^", ^^ . - . , -, ., , - . , - , , .., . .., , , , . , , . ... - . , , . ,..- - . , . , . , . °− ° = ., . . ., . , , . . . - . , . . , , - . . - , . . , , , , . . .. ..,2- . , - , .., ’ .2, -, .., - .. , - . ..,2 ... . , - - . ., . - - , - ,- , , , ., , ..,. - , , - , , .., ., ... - .., ,, , . - , - . , , - , - , ,.., . .., , .., , - , ,.. , , , .., . -, - . - , - . , - ...-- , ...,, ... ,. -- . ,- , -- - . , .., - , , .., ., ,, ,, , - , . , - - - . , . - - ., - . , , , , . , ,- - - .., -. , - -- . -- ,.., - , . .., , , “ ” , ,. , , .., . . ... , ..,, , , , , , . ,, “ . ” ,, , , ., . , , , .., ., , , .. - . , - . - . , , . ,- , , , , . ,, ., . , . . , .., , . .., , , - ., - , . , . , - .., .., . , - ... . - . , , ., . , ..-, - .. , . , ., , .., . ,, - . , , , - . ., ,- - -..,. , - - . - , . , - . - , . , - - . , . , ., . , - . , , . , , , , , ... , .-, . , , - , , . ,, . ,. . . , , , ., .., - .. , .-.., , , , .. , .. .. .- ,, , -- , . , , , , , - , , , . , , , . ... , , , , . - , ,- . - , , - - , - , , -. - . , , , , . , - , - - . - , - . - , , , , . -. , - - - ... - .- , .., .., , , ,.., , , - . - -. - . -- - . , , .-, :- - ,--, -“”.. , , “”, , , , - , , , - “ ” . . , , , . - - . , , . - , - - - . .., “”, , - - . - , , . , - , , . , , ... - - - - , , , . , . , .. , , , , , -, , ,, -, , , , , , , -, . , , , , , , , . . . , “ ” . , - . - , - . - , , . --, , , , , “ , , , - ”, “”, “”. “,- , , , . , , . ” . , . . , ... .., , , , , , , , , ,.., .. , - - . , . , , ., , , “ ”, ..., . ., . , . .. , . . , , , . , , , , , . . , , -. , “ ”, - “ ”,- , , “” - “”, . , . - . , . , ., , , , ,, , , , . , , , , . . , , , .. , .., , ,, , . ... ., . , , . . , , - . , , - , ,-. , . . . , , . , , “”, “ , , “ ”, “ ”, ”, ““ ”, , “ ”, ”, , , . , , , , , -,-, “” . , . “ ” . “ ” ., , . ,.“ ” , , , , “” , , , , . , ... , , . ,- , , ,,- . - : ,, -, , ,, , - , , ,--- -,-- ,.. , , , - , ,. - , , -- - , , . , -, , - . , , , , ,,, ,, , , , , . - ’ . - . -- , -- - .. ,.- .. - , , , - .. -- . . , . , ... . . .. , . , . . , , .

Claims

... . : , - , : , , , , . -. - , , , . . - , , , . . - , : - , ,- .... . , - - , : , - - -. . -: , - . . - , - . . - - , , , : - - . . - - , - . . : - - , , , ,:... , , , - , . . , , , , , . . , , , , , . . , :, , - , ,- . . , :, , , ,-- - -.... . , , - , : . . , , - , .. -, - : , , , , , , - , . ., - - , , , , .., - - , , , , .... ., - - , , - , : , - - -.

Images