Method and system for microcirculation pattern image matching

Abstract

There is provided a method and system of identifying a subject. A probe image is generated by extracting a region from a sub-surface microcirculation image of an anatomical region of a subject. A target image is generated by extracting a region from a sub-surface microcirculation image wherein said target image is selected from a library comprising stored images of the same anatomical region of a plurality of subjects. Evaluating the similarity or otherwise of a probe derived from the probe image and a target derived from the target image using one or more trained neural networks to determine the likelihood of a match between the probe image from which said probe is generated and the selected stored image from which said target is generated.

Description

METHOD AND SYSTEM FOR MICROCIRCULATION PATTERN IMAGE MATCHING

[0001] FIELD OF THE DISCLOSURE

[0002] The present disclosure relates to a biometric image matching system and method suitable for identifying a match between images of a subject’s microcirculation pattern in an image with one or more corresponding image (s) .

[0003] BACKGROUND OF THE DISCLOSURE

[0004] Various approaches to automated verification and authentication of physical human traits and / or behavioural traits are presently the subject of research for use in diverse fields including suspect identification and access control and authentication.

[0005] Fingerprints are one conventional physical biometric trait that has been used in various applications dating back before the 19th century including for signing contracts, authentication or in solving crimes. As known in the art, a physical fingerprint is an impression left by the friction ridges of a human finger which can be collected from moisture or grease left behind on surfaces such as glass or metal. However, even the use of this relatively conventional biometric trait still faces a number of challenges including alleged subjectivity of analysis, potential for bias, incomplete or poor-quality prints, lack of standardized criteria for identification and difficulty in matching partial or smudged prints.

[0006] There is a growing need for innovative biometric identification capabilities especially for authentication for access control and the like using conventional and non-conventional biometric traits including body areas of subjects such as finger-vein patterns, bone and blood vessel profiles; contactless finger knuckle features and other biometric characteristics.

[0007] There is also a growing need for identification from digital images of various suspect in some crime scenarios, such as child abuse cases. It is necessary to identify and verify suspects based solely on digital images of body parts of subjects such as fingers, hands and the like.

[0008] Accordingly, biometric identification using less conventional biometric traits, especially using contactless methods is a critical yet challenging task. Some systems have been proposed which offer high accuracy for good quality images but such prior art systems typically have two fundamental limitations: (i) their performance on challenging contactless images of physical traits (e.g., deformed finger crease patterns, contactless microcirculation patterns or cross-view fingerprints, ) is very poor, and (ii) such methods lack explainability or the matching methods are not interpretable and hence suitable for use in legal proceedings. This means, where such non-conventional biometric traits are used, forensic examiners need to manually consolidate matching evidence between images to make such evidence interpretable and explainable in legal proceedings, which is highly inefficient and slow.

[0009] Accordingly, real-world human identification or matching of a probe image against an image from a gallery of images, especially where using less conventional biometric traits of subjects is one of the most critical and challenging tasks to meet the growing demand for stringent authentication and image forensics in view of the foregoing difficulties and deficiencies.

[0010] It is an object of the present disclosure to address or at least partially ameliorate some of the above problems of the current approaches.

[0011] SUMMARY OF THE DISCLOSURE

[0012] Features and advantages of the disclosure will be set forth in the description which follows, and in part will be obvious from the description, or can be learned by practice of the herein disclosed principles. The features and advantages of the disclosure can be realized and obtained by means of the instruments and combinations particularly pointed out in the appended claims.

[0013] In accordance with a first aspect of the present disclosure, there is provided a method of identifying a subject comprising:

[0014] generating a probe image by extracting a region from a sub-surface microcirculation image of an anatomical region of a subject;

[0015] generating a target image by extracting a region from a sub-surface microcirculation image wherein said target image is selected from a library comprising stored images of the same anatomical region of a plurality of subjects;

[0016] evaluating the similarity or otherwise of a probe derived from the probe image and a target derived from the target image using one or more trained neural networks to determine the likelihood of a match between the probe image from which said probe is generated and the selected stored image from which said target is generated.

[0017] The sub-surface microcirculation image of an anatomical region of the subject may be an image of the nailbed microcirculation pattern from a finger of a subject.

[0018] The method may comprise generating a probe and a target by a first neural network trained to encode unique keypoints of a region extracted from an image.

[0019] Preferably, the similarity of the probe and target are evaluated by

[0020] (a) determining and ranking by a second trained neural network estimated correspondence between the keypoints of the probe and keypoints of the target;

[0021] b) generating an initial graph of the ranked mutually matched keypoints of the probe and generating an initial graph of the ranked mutually matched corresponding keypoints of the target, wherein nodes of the initial graphs are keypoints and the edges represent structural relationships between said keypoints; enriched with positional encoding information;

[0022] c) generating by graph generation module comprising a third trained neural network:

[0023] (i) an updated graph for the probe by convoluting the initial graph of the probe along the node dimension;

[0024] (ii) an updated graph for the target by convoluting the initial graph of the target along the node dimension;

[0025] d) evaluating by the graph generation module cross node similarity scores between nodes of the updated graph of the probe and nodes of the updated graph of the target and generating a combined graph of said scores;

[0026] e) determining a scalar similarity score from the combined graph by a graph similarity evaluation module, wherein the scalar similarity score is representative of the likelihood of match between the probe image from which said probe is derived and the stored image from which said target is derived.

[0027] In step (b) the positional encoding information of the node features may be determined by the position based on ranking of the mutually matching scores of said nodes.

[0028] In step (d) , the method may comprise:

[0029] (i) updating by a trained third neural network node features to include neighbouring graph node features and graph structure for the nodes of each updated graph; and

[0030] (ii) estimating changes in node-to-node similarity between nodes of the updated graph of the probe and corresponding nodes of the updated graph of the target; and

[0031] (iii) recording the changes in cross-node similarities along layers with the same graph structure with probe and target graph and generating a combined graph therefrom.

[0032] The structure of the combined graph may have the same structure as the updated graph of the probe and the updated graph of the target.

[0033] The keypoints may include data parameters selected from the group comprising encoded local appearance features, spatial location and confidence scores indicative of the reliability of the detection and geometric attributes.

[0034] The edges of the initial and / or enhanced graphs representing the structural relationships may encode spatial distances and / or feature similarities of the keypoints using k-nearest neighbour algorithm.

[0035] The method may further comprise generating a graphical user interface depicting indicia representative of one or more parameters of the matched keypoints and overlying said indicia on the extracted region from the probe image and the selected image.

[0036] Preferably, the indicia represent an evaluation by a fourth neural network of the similarity of attributes of the matched keypoints selected from the group comprising reliability of that keypoint, encoded discriminative features corresponding to the spatial location of that keypoints, the nature of the keypoint and the shape of the keypoint.

[0037] Upon determining that the scalar similarity score satisfies a predetermined threshold, the identity of the subject having the sub-surface microcirculation pattern depicted in the target image may be confirmed as having an assigned probability of the identity of the subject having the sub-surface microcirculation pattern depicted in the stored image.

[0038] In a further aspect there is provided a system for identifying a subject comprising:

[0039] an image processing neural network for generating a probe image by extracting an image region from a sub-surface microcirculation image of an anatomical region of a subject; and for generating a target image by extracting a region from a sub-surface microcirculation image wherein said target image is selected from a library comprising stored images of the same anatomical region of a plurality of subjects;

[0040] a keypoint detection and encoding module for generating a probe from the probe image and a target derived from the target image

[0041] one or more trained neural networks configured to determine the likelihood of a match between the probe image from which said probe is generated and the selected stored image from which said target is generated.

[0042] Preferably, the system further comprises a target image acquisition module configured to acquire the sub-surface microcirculation image of from a nailbed microcirculation pattern from a finger of a subject and provide it to the keypoint and detection module as a target image.

[0043] The keypoint detection and encoding module may comprise a neural network for generating a probe and a target by encoding unique keypoints of a region extracted from an image.

[0044] The step of evaluating the similarity or otherwise of the probe and the target may comprise a step of determining and ranking by a second trained neural network estimated correspondence between the keypoints of the probe and keypoints of the target.

[0045] The evaluating of the similarity of the probe and the target may further comprise: generating an initial graph of the ranked mutually matched keypoints of the probe and an initial graph of the ranked mutually matched corresponding keypoints of the target and generating an updated graph of the probe and an updated graph of the target and evaluating the similarity therebetween.

[0046] The similarity of the probe and target in the updated graph of the probe and the updated graph of the target may be evaluated by the graph generation module by determining cross node similarity scores between nodes of the updated graph of the probe and nodes of the updated graph of the target and generating a combined graph of said scores.

[0047] Optionally, the similarity of the probe and target may be evaluated by

[0048] (a) a keypoint correspondence estimation module comprising a second trained neural network estimated correspondence between the keypoints of the probe and keypoints of the target;

[0049] b) a graph embedding module configured for generating an initial graph of the ranked mutually matched keypoints of the probe and generating an initial graph of the ranked mutually matched corresponding keypoints of the target, wherein nodes of the initial graphs are keypoints and the edges represent structural relationships between said keypoints; enriched with positional encoding information;

[0050] c) a graph generation module configured for:

[0051] (i) generating an updated graph for the probe by convoluting the initial graph of the probe along the node dimension;

[0052] (ii) generating an updated graph for the target by convoluting the initial graph of the target along the node dimension; and

[0053] (iii) evaluating cross-node similarity scores between nodes of the updated graph of the probe and nodes of the updated graph of the target and generating a combined graph therefrom.

[0054] d) a graph similarity evaluation module configured for determining a scalar similarity score from the combined graph, wherein the scalar similarity score is representative of the likelihood of a match between the probe image from which said probe is derived and the stored image from which said target is derived.

[0055] The graph embedding module may be configured for positional encoding information of the node features of the position based on ranking of the mutually matching scores of said nodes.

[0056] Preferably, the graph generation module comprises a trained third neural network configured for updating node features to include neighbouring graph node features and graph structure for the nodes of each updated graph; and recording the changes in cross-node similarities along layers with the same graph structure with probe and target graph which serve as the node attributes of the combined graph generated therefrom.

[0057] The graph similarity module may comprise a trained fourth neural network configured for estimating changes in node-to-node similarity between nodes of the updated graph of the probe and corresponding nodes of the updated graph of the target as represented in the combined graph generated therefrom.

[0058] The structure of the combined graph may have the same structure as the updated graph of the probe and the updated graph of the target.

[0059] The keypoint correspondence module may be configured for processing keypoints which include data parameters selected from the group comprising encoded local appearance features, spatial location and confidence scores indicative of the reliability of the detection and geometric attributes.

[0060] The keypoint correspondence module may be configured such that the edges of the initial and / or enhanced graphs representing the structural relationships encode spatial distances and / or feature similarities of the keypoints using k-nearest neighbour algorithm.

[0061] Preferably, the system further comprises a graphical user interface depicting indicia representative of one or more parameters of the matched keypoints and overlying said indicia on the extracted region from the probe image and the selected image.

[0062] The indicia may represent an evaluation of the similarity of attributes of the matched keypoints selected from the group comprising reliability of that keypoint, encoded discriminative features corresponding to the spatial location of that keypoints, the nature of the keypoint and the shape of the keypoint.

[0063] Upon determining that the scalar similarity score satisfies a predetermined threshold, the identity of the subject having the sub-surface microcirculation pattern depicted in the target image may be confirmed as having an assigned probability of the identity of the subject having the sub-surface microcirculation pattern depicted in the stored image.

[0064] In a further aspect, there is provided computer readable code product configured such that one or more processors when executing the code perform the steps of the method described above.BRIEF DESCRIPTION OF THE DRAWINGS

[0065] In order to describe the manner in which the above-recited and other advantages and features of the disclosure can be obtained, a more particular description of the principles briefly described above will be rendered by reference to specific embodiments thereof which are illustrated in the appended Figures. Understanding that these Figures depict only exemplary embodiments of the disclosure and are not therefore to be considered to be limiting of its scope, the principles herein are described and explained with additional specificity and detail through the use of the accompanying Figures.

[0066] Preferred embodiments of the present disclosure will be explained in further detail below by way of examples and with reference to the accompanying Figures, in which: -

[0067] FIG 1A depicts an exemplary high level schematic diagram of the method steps according to an embodiment of the present disclosure.

[0068] FIG 1 B depicts an exemplary more detailed schematic diagram of the method steps according to an embodiment of the present disclosure.

[0069] FIG 2A depicts an exemplary plot showing the similarity (feature correlation) between and  with convolution along the feature dimension.

[0070] FIG 2B depicts an exemplary plot showing the correlation between graph node vectors between  and with computation along the node dimension.

[0071] FIG 2C depicts schematically the computation of the feature correlation of FIG 2A computed along the feature dimension.

[0072] FIG 2D depicts schematically the computation of correlation of the graph node vectors of FIG 2A computed along the node dimension.

[0073] FIG 3 depicts a more detailed representation of the graph similarity evaluation model which is used to record the one-to-one node similarity from the estimated correspondences along the GNN Layers.

[0074] FIG 4 depicts an exemplary schematic diagram of a system according to an embodiment of the present disclosure.

[0075] FIG 5A depicts microvascular patterns in a finger nailbed in an image acquired and pre-processed from a subject.

[0076] FIG 5B depicts the visualisation of the step of detection of keypoint locations in the microvascular patterns depicted in FIG 5A.

[0077] FIG 5C depicts visualisation of the step of identification of keypoint correspondences between two images, in this case using a probe (LHS) generated from the probe image and a target (RHS) generated from the target image.

[0078] FIG 5D depicts the spatial position of sub-keypoints detected on the surface microcirculation images of the pair of probe image (LHS)  / target image (RHS) .

[0079] FIG 6A, FIG 6B and FIG 6C collectively depict experimental results for nailbed microcirculation patterns.

[0080] FIG 7 depicts an exemplary computer graphical user interface depicting the use of an embodiment of the present disclosure for the visualisation of the similarities between a probe image and a target image.

[0081] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS

[0082] Various embodiments of the disclosure are discussed in detail below. While specific implementations are discussed, it should be understood that this is done for illustration purposes only. A person skilled in the relevant art will recognize that other components and configurations may be used without departing from the spirit and scope of the disclosure.

[0083] The disclosed technology addresses the need in the art for accurate, fast and explainable biometric identification methodology and systems.

[0084] As depicted in FIG 1A, a general level method of identifying a subject is described, based on an automatic comparison between a probe image of a sub-surface microcirculation pattern of a subject and a corresponding image known as a gallery or target image. Although the present disclosure teaches the use of a microcirculation pattern of a nailbed image, other types of microcirculation patterns that could also be used from other anatomical regions of the subject other than from a finger of a subject including for example the nailbed of a toe of a subject.

[0085] As is known in the art, the imaging of finger biometric features can be intrinsic or extrinsic. Intrinsic sub-surface image acquisition using specialized imaging for nailbed microcirculation patterns was used. The illumination intensity, orientation, magnification, etc., can be automatically controlled to ensure better imaging contrast in the region of interest.

[0086] Advantageously, as depicted in Step S1a of FIG 1A, FIG 1B, a probe image is generated by extracting a region from a sub-surface microcirculation image of an anatomical region of a subject. As depicted in Step S1b, a target image is generated by extracting a region from a sub-surface microcirculation image wherein said target image is selected from a library comprising stored images of the same anatomical region of a plurality of subjects. This pre-processing step may be performed by automated detection and segmentation of the region of interest and may be accomplished by using a specialized deep neural network that has been trained using ground truth labels.

[0087] In some embodiments, pre-processing can comprise automatically detecting and localizing the anatomical region of interest within the subsurface microcirculation image using a network-based object detection neural network. This network may be configured to directly predict oriented regions of interest, thereby simultaneously providing their position, scale, and in-plane rotation details. The corresponding ‘patch’ , defined by the targeted regions, can then be extracted and resampled to a fixed spatial resolution, yielding a geometrically normalized probe or target image for subsequent matching or classification.

[0088] Accordingly, the probe image and target may be generated from an acquired image / library of acquired images. Next, as depicted in Step S2a and Step S2b respectively, a probe derived from the probe image and a target derived from the target image are generated using one or more trained neural networks as a first neural network. The first neural network may be trained to encode unique keypoints of a region extracted from an image. This is required as a careful analysis of targeted image patterns, e.g., microcirculation patterns from varying view angles reveals that some parts of vessel or edges or intersection points can disappear under extreme finger mobility. Such mobility is not uncommon and is associated with completely contactless imaging and significantly influences the visibility of key feature point detection. Therefore, a trained or self-supervised deep neural network can be more effective in detecting the locations of key points in the matched images. Such a keypoint detection model was also developed and appropriately trained for this task.

[0089] Given an image pair to be matched, the keypoint feature detection model is designed to detect a set of n keypoints. Each of such detected keypoints is characterized by its feature, spatial location, and detection confidence. Therefore, the detected keypoints in the acquired probe images are encoded using three matrices:  representing a keypoint feature descriptor matrix,  representing location matrix, and  representing confidence score matrix.

[0090] Preferably, the keypoints include data parameters selected from the group comprising encoded local appearance features, spatial location and confidence scores indicative of the reliability of the detection and geometric attributes.

[0091] Similarly, these metrics for the gallery or target image p i.e. Fg, Kg, and Sg are also computed using a trained detection model.

[0092] The probe and target are evaluated in Steps S3-8 discussed in more detail with reference to FIG 1 B to determine the likelihood of a match between the probe image from which said probe is generated and the selected stored image from which said target is generated; and in turn the likelihood of a match of the underlying images.

[0093] In particular, FIG 1 B the similarity of the probe and target are evaluated in Step S3, Step S4a and Step S4b by:

[0094] (a) determining and ranking by a second trained neural network estimated correspondence between the keypoints of the probe and keypoints of the target

[0095] b) generating an initial graph of the ranked mutually matched keypoints of the probe and generating an initial graph of the ranked mutually matched corresponding keypoints of the target, wherein nodes of the initial graphs are keypoints and the edges represent structural relationships between said keypoints; enriched with positional encoding information;

[0096] Thus, the second neural network is designed to estimate mutual matching relationships between probe and targets, subsequently generating initial graphs of the probe against targets in libraries.

[0097] Next in Step S5, a graph generation module comprising a third trained neural network generates

[0098] (i) an updated graph for the probe by convoluting the initial graph of the probe along the node dimension;

[0099] (ii) an updated graph for the target by convoluting the initial graph of the target along the node dimension.

[0100] Specifically, the third trained neural network typically comprises multiple layers for updating the graph. Therefore, the cross-node similarity scores will store cross-node similarity for each layer of the third trained neural network, serving as node attributes for the combined graph.

[0101] In Step S6, cross node similarity scores are evaluated between nodes of the updated graph of the probe and nodes of the updated graph of the target and a combined graph of said scores generated;

[0102] In Step S7 a scalar similarity score is determined from the combined graph advantageously, using a fourth trained neural network processing the "combined graph" to predict the scalar similarity score.

[0103] The scalar similarity score is representative of the likelihood of match between the probe image from which said probe is derived and the stored image from which said target is derived; and a score which satisfies a predetermined threshold can be determined as a “match” or “non match” in Step S8.

[0104] The fourth trained graph neural network also uses the "convolution along the node dimension" operation described herein. Preferably, the scalar similarity score is representative of the likelihood of match between the probe image from which said probe is derived and the stored image from which said target is derived.

[0105] Referring to each of these steps in more detail, in Step S3 there is performed Keypoint Correspondence Estimation.

[0106] The estimation of correspondences among keypoint features is achieved using a grained Graph Neural Network (GNN) .

[0107] Labeled data (e.g., for microcirculation image patterns among successive contactless imaging sessions from known subject identities) on established correspondences was used to train a GNN.

[0108] A Multilayer Perceptron (MLP) is first utilized to consolidate each the data from keypoint descriptor matrix spatial location matrix and confidence score matrix  acquired from Steps S2a, 2b and generate an initial graph node feature matrix  as:

[0109] Dp=Fp+MLP (Kp|Sp)                  (1)

[0110] where the (. |. ) represents the concatenation operation. The gallery descriptor Dgis also computed in a similar manner using the above equations.

[0111] After l layers of graph convolution, the feature matrix can be updated by two representations i.e. (l)Dp and (l) Dg. The cost matrix ) is computed by the weighted product of ( (l) Dp) ( (l) Dg) T and appended by the unmatched scores as the equation (2) , while the  and u are the learnable parameters to represent the unmatched scores. From such mutually matched keypoint correspondence score matrix  (discarding the non-match scores after certain t-iterations) , we choose the top-k, with c, correspondence score set Mc based on the index i′and j′as:

[0112] Mc = (Mi′j′| { (i',j) ∈ (i1, j1) , (i2, j2) …… (ic, jc) } ) (3)

[0113] where the The topkFp′, Kp′, Fg′, and Kg′are selected by i′and j′index, respectively. For example, the Fp′and Kp′follows:

[0114] Kp′= {ki′|i′∈ {i1, i2, . . ., ic} }                                          (5)

[0115] This keypoint estimation approach is designed to address a significant amount of noise or intra-class variations in completely contactless scenarios. The estimated correspondence provides much-needed matched evidence in completely contactless scenarios and empowers subsequent graph matching methods that can otherwise classify genuine or imposter among these keypoints with similar features.

[0116] This similarity or number of mutually matched correspondences arising from keypoint correspondence estimation discussed above as step S can ignore the underlying graph structure or the complex relationship among such correspondences and may fail to account for ambiguities such as repeated patterns, textures, or non-discriminative local appearance.Therefore, the Graph embedding module used by Steps S3, S4a and S4b is designed to generate initial graphs of the similarities among the graph structure composed of correspondences and its deep features which can then be used to compute the similarity among the matched images accurately in subsequent steps.

[0117] In particular, the graph Gp= (Vp, Ep) from the probe image and Gg= (Vg, Eg) from the gallery / target image with vertex sets and  respectively, is firstly constructed. The graph Gp and Gg, are isomorphic if there exists a bijection function f: Vp→Vg such that every two vertices and  in Vp can meet the following:

[0118] Between Vp and Vg, every vertex meets the one-to-one bijection to the vertex Following equation (6) , we use the k-NN to link the to their neighbor at location (xi′, yi′) on a probe image, and use the same edge Ep to link the to a graph Gg of a gallery or target image.

[0119] The similarity between such feature descriptors and for corresponded keypoints between the matched image pair is significant, as also shown from plots in FIG. 2A generated using real-world matched images. The position of the feature vector and is already sorted by similarity score from equation (3) . The graph node feature vectors and are computed by  and respectively.

[0120] The positional encoding can enhance feature similarity, as can be observed by comparing the plots in the FIG 2A with FIG 2B. FIG 2A depicts an exemplary plot showing the similarity (feature correlation) between and with convolution along the feature dimension. FIG 2B depicts an exemplary plot showing the correlation between graph node vectors between and with computation along the node dimension.

[0121] Advantageously, the positional encoding information of the node features is determined by the position based on ranking of the mutually matching scores of said nodes.

[0122] It would be appreciated that the edges of the initial and / or updated graphs representing the structural relationships encode spatial distances and / or feature similarities of the keypoints using k-nearest neighbour algorithm.

[0123] After the graph embedding module, a single pair of graphs is formed from the estimated correspondences between the target and the probe.

[0124] Next in Step S5a, 5b a graph generation module comprising one or more third trained neural networks generates:

[0125] (i) an updated graph for the probe by convoluting the initial graph of the probe along the node dimension;

[0126] (ii) an updated graph for the target by convoluting the initial graph of the target along the node dimension.

[0127] Underlying the decision regarding convolution along the node dimension was the realization by the inventors of the present application that currently available graph matching networks or graph convolution methods directly convolve the graph node feature along the feature dimension.

[0128] Instead, the present disclosure utilises the ConvNode method, which can significantly outperform the related graph convolution methods (GIN, GCN, GATv2, and SAGE) .

[0129] When keypoint spatial locations are extracted, then the feature vector at those locations will be extracted along the channel dimension of the 3D feature maps, at those spatial locations.

[0130] This kind of feature vector that is extracted along the channel dimension is referred to as the feature dimension. And the same channel along the different feature vectors of different keypoints is called the node dimension (ConvNode method) .

[0131] The present disclosure identified that the output feature map of a CNN model has different channels, which are the convolution results of different kernel maps. The output value is larger when the pattern is similar to the kernel maps. Therefore, similar feature patterns will result in high node dimension similarity.

[0132] It was noted that the similarity of the keypoint descriptor along the feature dimension is already large regardless of genuine or imposter correspondence, as shown in FIG 2A. However, the respective similarity along the node dimension is not high compared to the feature dimension, conceptually depicted by reference by conceptual comparison emphasised with reference to FIG. 2C and FIG 2C.

[0133] FIG 2C depicts schematically the computation of the feature correlation of FIG 2A computed along the feature dimension. FIG 2D depicts schematically the computation of correlation of the graph node vectors of FIG 2A computed along the node dimension

[0134] As such, the formed pair of graphs by the graph embedding module will be processed through a graph generation module containing the self-graph and cross-node neural networks in Step S5a, S5b.

[0135] The self-graph will be used to update the graph node features based on the graph node features and graph structure.

[0136] Spatial-based GNNs can update node feature templates with their linked nodes as follows:

[0137] It can aggregate its neighbor node feature template at node with the fa aggregation function, then update the current node by combining the neighborhood information and the node self-feature template to using the combination function fc and an activation function φ.

[0138] However, along the node dimension (FIG. 2) , the cosine similarity of these vectors is smaller than that observed along the feature dimension, which can be primarily attributed to the difference in the pattern kernels. Therefore, the graph convolution dimension to the node dimension instead of the feature dimension to retain the discriminant properties of the feature vectors from the CNN model above.

[0139] This new aggregation function concatenates the neighboring features of to at the layer l and can be defined as follows:

[0140] where tr () represented trace of a square matrix, and the Wh [di: , : ] is the slicing operation. We use graph convolution as in equation (11) to the with the learnable weights  and concatenate to the The node feature of Gg also, follow the above graph convolution function and generates separate updated graphs for the probe graph and the target graph in Step S5a and Step 5b.

[0141] Second, the one-to-one cross-node will be used to estimate the node-to-node similarity along each layer of self-graph between probe graph and target graph.

[0142] Therefore, the cross-node similarity is computed as follows:

[0143] Subsequently, the Tracker will record the one-to-one cross-node changes as the new graph node features along the self-graph layers. The graph structure of the tracked graph will follow the isomorphic graph definition result, ensuring that it maintains the same graph structure as the input pair of graphs.

[0144] As shown in FIG. 3, the l layer of self-graph is used to update the node feature of and and use the cross-node to compute the changes in one-to-one similarity score between and  on each layer based on equation (13) .

[0145] Finally, the Tracker is employed to concatenate the changes in cross-node similarity scores to  as same in equation (14) and construct a new tracked graph Gpg in Step S6 that has the same graph structure with Gp and Gg of Step S5a, S5b.

[0146] The node-to-node similarity between genuine pairs is expected to be higher than that between imposter pairs. To enhance this similarity, the arccosine function is used convert it to the angle space. Consequently, the of a genuine graph should have a larger value compared to that of an imposter. The spatial graph structure of genuine pairs is expected to be more similar than that of imposter pairs. Since the graph neural network updates node features based on the neighborhood node features and the graph structure, after l layers of self-graph, the  of a genuine pair should also be larger than that of an imposter.

[0147] That is, evaluating cross node similarity scores between nodes of the updated graph of the probe and nodes of the updated graph of the target and generating a combined graph of said scores in Step 5a, 5b and 6 respectively is performed by

[0148] (i) updating by a trained third neural network node features to include neighbouring graph node features and graph structure for the nodes of each updated graph; and

[0149] (ii) estimating changes in node-to-node similarity between nodes of the updated graph of the probe and corresponding nodes of the updated graph of the target; and

[0150] (iii) recording the changes in cross-node similarities along layers in a combined graph having the same graph structure with probe and target graph.

[0151] This combined graph will retain the same graph structure and record the node-to-node similarity changes.

[0152] That, is, the graph structure of the combined graph will follow the isomorphic graph definition result wherein the structure of the combined graph has the same structure as the updated graph of the probe and the updated graph of the target.

[0153] The graph-level task to classify the graph Gpg can be performed by using the same graph convolution in equation (11) .

[0154] After l GNN layers (we use l=3 ) , each layer’s graph-level details from equation (15) is concatenated to a feature vector An MLP with a sigmoid function σ is used to compute the similarity score sG from

[0155] A graph matching model can be employed in the graph similarly matching module to classify the pair of graphs from which the combined graph was derived as genuine match or an impostor. It should be noted that the present disclosure takes a different approach to conventional graph matching modules, to address limitations of the prior art approach.

[0156] As is known in the art, conventional graph matching model GMN typically use self-graph and cross-graph mechanisms to learn graph-level feature embeddings, which are then used to calculate the similarity score. Conventional graph matching models, such as MGMN, SimGNN, and ERIC, attempt to enhance the matching performance by incorporating the all-to-all node-level feature vector along with the graph-level feature embeddings. However, this kind of all-to-all cross-graph or all-to-all node-level similarity is computationally demanding. In this approach feature vectors were directly used to compute the similarity score when extracting graph-level and node-level feature vectors.

[0157] It was identified that such a step as used in current methods disregards the crucial graph structure, essential for keypoint-based explainable matching, and limits match accuracy.

[0158] Accordingly, to address such limitations the present disclosure utilizes the new graph matching module described.

[0159] Finally, this combined graph will be processed by a fourth trained neural network to generate the final matching scores in Step S7; and from here the similarity between the probe image and the target image and a decision made as to “Match” or “Non-Match” as depicted in Step S8.

[0160] Referring now to FIG 4, there is depicted an exemplary system configured for identifying a subject by performing the above method steps. Advantageously the system 10 comprises one or more processors 12 which are configured to provide the modules described below.

[0161] The system may optionally comprise an image acquisition module 20 configured to acquire the sub-surface microcirculation image of a nailbed microcirculation pattern from a finger of a subject and provide it to the image processing module 22. An image may be acquired via an attached camera of a contactless multispectral imaging system or a contact-based system with physical contact imaging for medical or forensic investigations without limitation. Exemplary systems are well known in the art and may be used in common applications such as nailfold capillaroscopy which is a non-invasive imaging modality used to evaluate nailfold capillary morphology and pathological changes of the finger. As known in the art capillaroscopy aids the clinical diagnosis and monitoring of rheumatological diseases, such as systemic sclerosis (SSc) , also known as scleroderma. Alternatively, the image may be provided across a network having been acquired at a remote location by similar system from a subject or from an image library of similar images.

[0162] A database or datastore 14 or similar may be communicatively coupled with the modules depicted herein for storing probe images from an unknown subject and target images comprising a library of target images from a plurality of persons.

[0163] A specialized imaging setup ensures that nailbed microcirculation vessels are more visible under a lens at a specific magnification and under illumination. The placement of the camera, distance orientation, etc., are typically part of such a setup.

[0164] Advantageously, there may be provided an image processing module (often comprising a neural network) 22 in communication with the other modules for generating a probe image by extracting an image region from a sub-surface microcirculation image of an anatomical region of a subject; and for generating a target image by extracting a region from a sub-surface microcirculation image wherein said target image is selected from a library comprising stored images of the same anatomical region of a plurality of subjects. Alternatively, these images may be provided to the system having already been extracted by a remotely located image processing module.

[0165] A keypoint detection module 24 is provided for generating a feature template from the probe image and a target derived from the target image as described herein.

[0166] The keypoint detection module 24 may comprise a first neural network for generating a probe and a target template by encoding unique keypoints of a region extracted from an image as described already herein. Preferably, the keypoint correspondence module is configured for processing keypoints that include data parameters selected from the group comprising encoded local appearance features, spatial location, and confidence scores indicative of the reliability of the detection and geometric attributes. Advantageously, the edges of the initial and / or enhanced graphs representing the structural relationships encode spatial distances and / or feature similarities of the keypoints using the k-nearest neighbour algorithm as described above.

[0167] A keypoint correspondence estimation module 26, comprising one or more trained neural networks, is configured to determine the likelihood of a match between the probe image from which the probe template is generated and the selected stored image template from which the target is generated.

[0168] Preferably, the similarity of the probe and target is evaluated by

[0169] (a) a keypoint correspondence estimation module 26 comprising a second trained neural network estimated correspondence between the keypoints of the probe and keypoints of the target;

[0170] b) a graph embedding module 28 configured for generating an initial graph of the ranked mutually matched keypoints of the probe and generating an initial graph of the ranked mutually matched corresponding keypoints of the target, wherein nodes of the initial graphs are keypoints and the edges represent structural relationships between said keypoints; enriched with positional encoding information.

[0171] As described above with reference to method Steps S3, S4a, and S4b, the graph embedding module is configured for positional encoding information of the node features of the position based on the ranking of the mutually matching scores of said nodes.

[0172] A graph generation module 30 is configured for:

[0173] (i) generating an updated graph for the probe by convoluting the initial graph of the probe along the node dimension;

[0174] (ii) generating an updated graph for the target by convoluting the initial graph of the target along the node dimension;

[0175] (iii) evaluating cross-node similarity scores between nodes of the updated graph of the probe and nodes of the updated graph of the target, and generating a combined graph of said scores.

[0176] Preferably, the graph generation module 30 comprises a trained third neural network configured for updating node features to include neighbouring graph node features and graph structure for the nodes of each updated graph; recording the changes in cross-node similarities along layers with the same graph structure with probe and target graph; and generating a combined graph therefrom.

[0177] As described above, the structure of the combined graph has the same structure as the updated graph of the probe and the updated graph of the target.

[0178] A graph similarity evaluation module 32 is configured to determine a scalar similarity score from the combined graph, wherein the scalar similarity score represents the likelihood of a match between the probe image from which the probe is derived and the stored image from which the target is derived.

[0179] Preferably, the graph similarity evaluation module comprises a trained fourth neural network configured to estimate changes in node-to-node similarity between nodes of the updated graph of the probe and corresponding nodes of the updated graph of the target, as represented in the combined graph generated therefrom.

[0180] The system may further comprise a graphical user interface operable directly on the system 10 or via a computer 36 connected across a network 34 by an operator 38. An exemplary graphical user interface is depicted in FIG 7, and can be seen depicting indicia representative of one or more parameters of the matched keypoints and overlying said indicia on the extracted region from the probe image and the selected image. Indicia represent an evaluation of the similarity of attributes of the matched keypoints selected from a group comprising reliability of that keypoint, encoded discriminative features corresponding to the spatial location of that keypoint, the nature of the keypoint, and the shape of that keypoint.

[0181] The system may be configured such that, upon determining that the scalar similarity score satisfies a predetermined threshold, the identity of the subject with the sub-surface microcirculation pattern depicted in the target image is confirmed to have an assigned probability of being the subject with the sub-surface microcirculation pattern depicted in the stored image.

[0182] Experimental Results using Microcirculation Patterns

[0183] The image data for the microcirculation patterns were acquired using a specialized imaging device and used in the experiments to assess human identification performance.

[0184] Such image patterns can clearly illustrate capillary profile, shape, and blood flow features, as shown in FIGS. 5A-5D. FIG 5A depicts a sample probe image / target image region from images acquired and preprocessed to recover microvascular patterns for the biometric identification.

[0185] FIG 5B depicts the visualisation of the step of detection of keypoint locations in the microvascular patterns depicted in FIG 5A.

[0186] FIG 5C depicts visualisation of the step of identification of keypoint correspondences between two images, in this case using a probe (LHS) generated from the probe image and a target (RHS) generated from the target image.

[0187] FIG 5D depicts the spatial position of sub-keypoints detected on the surface microcirculation images of the pair of probe image (LHS)  / target image (RHS) shown.

[0188] Since there are no existing methods or references on the use of this sub, we do not have any baseline methods for such comparisons. However, a large number of images were acquired from the 107 different clients / users and used in our experimentation using the most challenging all-to-all protocols.

[0189] FIG 6A, FIG 6B and FIG 6C depict the experimental results for 107 different subject’s microcirculation patterns for identification. A total of 2140 (107×5×4) genuine match scores and 283, 550 (107×106×5×5) imposter match scores to assess the performance for the user verification problem.

[0190] For the open-set experiments to ascertain false positive identification (FPIR) and false negative identification rate, our evaluation considered 86 (80%) clients as the registered users while the last 21 (20%) clients as the unregistered users.

[0191] It can be observed from the experimental validation results in FIG. 6A, 6B, and 6C (ROC Curve, CMC Curve, and FPIR, respectively) , the rank-one accuracy is very high (over 99%) using the explainable method detailed in the present disclosure. The authors note the present disclosure is the first attempt to utilize microcirculation patterns for biometric identification; therefore, there are no available or baseline methods for comparison. Furthermore, because the present graph matching models of the present disclosure do NOT compute all-to-all cross-graph information, this results in significantly shorter inference times than related networks, e.g., the GMN takes 18.7 ms for one pair of graphs, while the method of the present disclosure takes 16.8 ms.

[0192] FIG 7 depicts an exemplary computer graphical user interface depicting the use of an embodiment of the present disclosure for the visualisation of the similarities between a probe image and a target image.

[0193] As depicted, an exemplary graphical user interface 40 for a microcirculation pattern-based human identification system. 42a is the probe or original image to be matched, extracted from the Image file. 42d image is a target image, which in this case is the first image from the database (Rank DB) . 42b, 42c images are rank-2 matched image pairs, with detected keypoints marked in a first colour (e.g., red) and matched nailbed point pairs marked in a second colour (e.g., blue) .

[0194] FIG 7 thus depicts a graphical user interface depicting indicia representative of one or more parameters of the matched keypoints and overlying said indicia on the extracted region from the probe image and the selected image. The indicia represent an evaluation of the similarity of attributes of the matched keypoints selected from the group comprising reliability of that keypoint, encoded discriminative features corresponding to the spatial location of that keypoint, the nature of the keypoint, and the shape of the keypoint. Upon determining that the scalar similarity score satisfies a predetermined threshold, the identity of the subject having the sub-surface microcirculation pattern depicted in the target image is confirmed as having an assigned probability of the identity of the subject having the sub-surface microcirculation pattern depicted in the stored image.

[0195] The keypoint-based match framework, which in this case matches microcirculation pattern images, can provide visual graphs (as depicted in FIG 7) along with a list of corresponding keypoint matches for enhancing explainability.

[0196] The present disclosure teaches a method and system for determining and identifying key point-based image graphs from acquired nailbed microcirculation images. It further incorporates a graph-based mechanism to determine similarity between the two such images.

[0197] The present disclosure teaches a framework to utilize microcirculation pattern images acquired especially from contactless finger nailbed tips and can achieve highly accurate identification of human subjects from which they are derived. Optionally, where the target image is a disease state which is associated with a change in microcirculation pattern, a probe image having above a threshold degree of similarity to such target image (s) may be determined as having an increased likelihood of having the same or similar disease state. There is no alternative to the automated diagnosis of diseases  / identification using finger nailbed microcirculation features contemplated prior to the present disclosure.

[0198] In addition to providing dramatically enhanced performance compared to what is possible from the state-of-the-art or currently available methods, the present disclosure demonstrably accurately matches contactless finger sub-surface images. In addition to the dramatic enhancement in match accuracy, the present disclosure advantageously provides explainability or interpretability for matching two biometric images, which can include deformations. The system and method can accommodate illumination, viewpoint, and scale changes in the patterns observed among two matched images.

[0199] The above embodiments are described by way of example only. Many variations are possible without departing from the scope of the disclosure as defined in the appended claims.

[0200] For clarity of explanation, in some instances, the present technology may be presented as including individual functional blocks, including functional blocks comprising devices, device components, steps, or routines in a method embodied in software, or combinations of hardware and software.

[0201] Methods according to the above-described examples can be implemented using computer-executable instructions that are stored or otherwise available from computer-readable media. Such instructions can comprise, for example, instructions and data which cause or otherwise configure a general-purpose computer, special-purpose computer, or special-purpose processing device to perform a certain function or group of functions. Portions of computer resources used can be accessible over a network. The computer executable instructions may be, for example, binaries, intermediate format instructions such as assembly language, firmware, or source code. Examples of computer-readable media that may be used to store instructions, information used, and / or information created during methods according to the described examples include magnetic or optical disks, flash memory, Universal Serial Bus (USB) devices provided with non-volatile memory, networked storage devices, and so on.

[0202] Devices implementing methods according to these disclosures can comprise hardware, firmware and / or software, and can take any of a variety of form factors. Typical examples of such form factors include laptops, smartphones, small form factor personal computers, personal digital assistants, and so on. Functionality described herein also can be embodied in peripherals or add-in cards. Such functionality can also be implemented on a circuit board among different chips or different processes executing in a single device, by way of further example.

[0203] The instructions, media for conveying such instructions, computing resources for executing them, and other structures for supporting such computing resources are means for providing the functions described in these disclosures.

[0204] Although a variety of examples and other information was used to explain aspects within the scope of the appended claims, no limitation of the claims should be implied based on particular features or arrangements in such examples, as one of ordinary skill would be able to use these examples to derive a wide variety of implementations. Further and although some subject matter may have been described in language specific to examples of structural features and / or method steps, it is to be understood that the subject matter defined in the appended claims is not necessarily limited to these described features or acts. For example, such functionality can be distributed differently or performed in components other than those identified herein. Rather, the described features and steps are disclosed as examples of components of systems and methods within the scope of the appended claims.

Claims

1.A method of identifying a subject comprising:generating a probe image by extracting a region from a sub-surface microcirculation image of an anatomical region of a subject;generating a target image by extracting a region from a sub-surface microcirculation image wherein said target image is selected from a library comprising stored images of the same anatomical region of a plurality of subjects;evaluating the similarity or otherwise of a probe derived from the probe image and a target derived from the target image using one or more trained neural networks to determine the likelihood of a match between the probe image from which said probe is generated and the selected stored image from which said target is generated.2.The method of identifying a subject according to claim 1 wherein the sub-surface microcirculation image of an anatomical region of the subject is an image of the nailbed microcirculation pattern from a finger of a subject.3.The method of identifying a subject according to claim 1 or claim 2 wherein the probe and the target are derived from the probe image and the target image respectively by a first neural network trained to encode unique keypoints of a region extracted from an image.4.The method of identifying a subject according to any one of the preceding claims wherein the similarity of the probe and target are evaluated by(a) determining and ranking by a second trained neural network estimated correspondence between the keypoints of the probe and keypoints of the target;b) generating an initial graph of the ranked mutually matched keypoints of the probe and generating an initial graph of the ranked mutually matched corresponding keypoints of the target, wherein nodes of the initial graphs are keypoints and the edges represent structural relationships between said keypoints; enriched with positional encoding information;c) generating by graph generation module comprising a third trained neural network:(i) an updated graph for the probe by convoluting the initial graph of the probe along the node dimension;(ii) an updated graph for the target by convoluting the initial graph of the target along the node dimension;d) evaluating by the graph generation module cross node similarity scores between nodes of the updated graph of the probe and nodes of the updated graph of the target and generating a combined graph of said scores;e) determining a scalar similarity score from the combined graph by a graph similarity evaluation module, wherein the scalar similarity score is representative of the likelihood of match between the probe image from which said probe is derived and the stored image from which said target is derived.5.The method of identifying a subject according to claim 4 wherein in step (b) the positional encoding information of the node features is determined by the position based on ranking of the mutually matching scores of said nodes.6.The method according to claim 4 wherein step (d) comprises:(i) updating by a trained third neural network node features to include neighbouring graph node features and graph structure for the nodes of each updated graph; and(ii) estimating changes in node-to-node similarity between nodes of the updated graph of the probe and corresponding nodes of the updated graph of the target; and(iii) recording the changes in cross-node similarities along layers with the same graph structure with probe and target graph and generating a combined graph therefrom.7.The method according to any one of claims 4-6 wherein the structure of the combined graph has the same structure as the updated graph of the probe and the updated graph of the target.8.The method according to claim 4 wherein the keypoints include data parameters selected from the group comprising encoded local appearance features, spatial location and confidence scores indicative of the reliability of the detection and geometric attributes.9.The method according to claim 4 wherein the edges of the initial and / or updated graphs representing the structural relationships encode spatial distances and / or feature similarities of the keypoints using k-nearest neighbour algorithm.10.The method according to any one of the preceding claims further comprising generating a graphical user interface depicting indicia representative of one or more parameters of the matched keypoints and overlying said indicia on the extracted region from the probe image and the selected image.11.The method according to claim 10 wherein the indicia represent an evaluation by a fourth neural network of the similarity of attributes of the matched keypoints selected from the group comprising reliability of that keypoint, encoded discriminative features corresponding to the spatial location of that keypoints, the nature of the keypoint and the shape of the keypoint.12.The method according to any one of preceding claims 4-11 wherein upon determining that the scalar similarity score satisfies a predetermined threshold, the identity of the subject having the sub-surface microcirculation pattern depicted in the target image is confirmed as having an assigned probability of the identity of the subject having the sub-surface microcirculation pattern depicted in the stored image.13.A system for identifying a subject comprising:an image processing neural network for generating a probe image by extracting an image region from a sub-surface microcirculation image of an anatomical region of a subject; and for generating a target image by extracting a region from a sub-surface microcirculation image wherein said target image is selected from a library comprising stored images of the same anatomical region of a plurality of subjects;a keypoint detection and encoding module for generating a probe from the probe image and generating a target from the target imageone or more trained neural networks configured to determine the likelihood of a match between the probe image from which said probe is generated and the selected stored image from which said target is generated.14.The system of identifying a subject according to claim 13 wherein the system further comprises a probe image acquisition module configured to acquire the sub-surface microcirculation image of from a nailbed microcirculation pattern from a finger of a subject and provide it to the keypoint and detection module as a probe image.15.The system for identifying a subject according to claim 13 or claim 14 wherein the keypoint detection and encoding module comprises a neural network for generating a probe and a target by encoding unique keypoints of a region extracted from an image.16.The system for identifying a subject according to any one of preceding claims 13 or 14 wherein the similarity of the probe and target are evaluated by(a) a keypoint correspondence estimation module comprising a second trained neural network estimated correspondence between the keypoints of the probe and keypoints of the target;b) a graph embedding module configured for generating an initial graph of the ranked mutually matched keypoints of the probe and generating an initial graph of the ranked mutually matched corresponding keypoints of the target, wherein nodes of the initial graphs are keypoints and the edges represent structural relationships between said keypoints; enriched with positional encoding information;c) a graph generation module configured for:(i) generating an updated graph for the probe by convoluting the initial graph of the probe along the node dimension;(ii) generating an updated graph for the target by convoluting the initial graph of the target along the node dimension; and(iii) evaluating cross-node similarity scores between nodes of the updated graph of the probe and nodes of the updated graph of the target and generating a combined graph therefrom; .d) a graph similarity evaluation module configured for determining a scalar similarity score from the combined graph, wherein the scalar similarity score is representative of the likelihood of a match between the probe image from which said probe is derived and the stored image from which said target is derived.17.The system for identifying a subject according to claim 16 wherein the graph embedding module is configured for positional encoding information of the node features of the position based on ranking of the mutually matching scores of said nodes.18.The system for identifying a subject according to claim 16 wherein the graph generation module comprises a trained third neural network configured for updating node features to include neighbouring graph node features and graph structure for the nodes of each updated graph; and recording the changes in cross-node similarities along layers with the same graph structure with probe and target graph which serve as the node attributes of the combined graph generated therefrom.19.The system for identifying a subject according to claim 16 wherein the graph similarity module comprises a trained fourth neural network configured for estimating changes in node-to-node similarity between nodes of the updated graph of the probe and corresponding nodes of the updated graph of the target as represented in the combined graph generated therefrom.20.The system for identifying a subject according to claims 16-19 wherein the structure of the combined graph has the same structure as the updated graph of the probe and the updated graph of the target.21.The system for identifying a subject according to claim 16 wherein the keypoint correspondence module is configured for processing keypoints which include data parameters selected from the group comprising encoded local appearance features, spatial location and confidence scores indicative of the reliability of the detection and geometric attributes.22.The system for identifying a subject according to claim 16 wherein the keypoint correspondence module is configured such that the edges of the initial and / or enhanced graphs representing the structural relationships encode spatial distances and / or feature similarities of the keypoints using k-nearest neighbour algorithm.23.The system for identifying a subject according to any one of claim 16–22 wherein the system further comprises a graphical user interface depicting indicia representative of one or more parameters of the matched keypoints and overlying said indicia on the extracted region from the probe image and the selected image.24.The system according to claim 23 wherein the indicia represent an evaluation of the similarity of attributes of the matched keypoints selected from the group comprising reliability of that keypoint, encoded discriminative features corresponding to the spatial location of that keypoints, the nature of the keypoint and the shape of the keypoint.25.The system according to any one of according to any one of the preceding claims 16-24 wherein upon determining that the scalar similarity score satisfies a predetermined threshold, the identity of the subject having the sub-surface microcirculation pattern depicted in the target image is confirmed as having an assigned probability of the identity of the subject having the sub-surface microcirculation pattern depicted in the stored image.26.Computer readable code product configured such that one or more processors when executing the code perform the steps of the method of any one of claims 1-13.

Images