Force-compensated fingerprint imaging for flexible device implementations

Abstract

Some methods may involve receiving fingerprint image data from a fingerprint sensor and obtaining force data corresponding to a force applied to the fingerprint sensor when the fingerprint image data were obtained. Some methods may involve obtaining, by the control system, a set of background image data corresponding to the force and determining processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data. Some methods may involve outputting the processed fingerprint image data.

Description

FORCE-COMPENSATED FINGERPRINT IMAGING FOR FLEXIBLE DEVICE IMPLEMENTATIONSTECHNICAL FIELD

[0001] This disclosure relates generally to flexible devices, such as flexible display devices, that include fingerprint sensors and to methods for using such devices.

[0002] DESCRIPTION OF THE RELATED TECHNOLOGY

[0003] Fingerprint sensors, including but not limited to ultrasonic fingerprint sensors, have been included in devices such as smartphones, cash machines and cars to authenticate a user. Some fingerprint sensors are being deployed in flexible display devices, such as flexible mobile phones. It can be challenging to obtain satisfactory fingerprint image data from a fingerprint sensor deployed in a flexible display device. Improved devices and methods for operating such devices would be desirable.SUMMARY

[0004] The systems, methods and devices of the disclosure each have several innovative aspects, no single one of which is solely responsible for the desirable attributes disclosed herein.

[0005] Some innovative aspects of the subject matter described in this disclosure may be implemented in a method. The method may involve receiving, by a control system, fingerprint image data from a fingerprint sensor. The method may involve obtaining, by the control system, force data corresponding to a force applied to the fingerprint sensor. The method may involve obtaining, by the control system, a set of background image data corresponding to the force. The method may involve determining, by the control system, processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data. The method may involve outputting the processed fingerprint image data.

[0006] In some examples, obtaining the set of background image data corresponding to the force may involve selecting the set of background image data from a plurality of background image data sets. According to some examples, one or more background image data sets of the plurality of background image data sets may have been obtained during a factory calibration  process. In some examples, one or more background image data sets of the plurality of background image data sets may have been obtained during a previous authentication process involving the fingerprint sensor, or captured during an initial enrollment process.

[0007] In some examples, obtaining the set of background image data corresponding to the force may involve interpolating between values of a first set of background image data and values of a second set of background image data. In some such examples, the first set of background image data may correspond to a first force and the second set of background image data may correspond to a second force.

[0008] According to some examples, determining the processed fingerprint image data may involve subtracting the set of background image data from the fingerprint image data. In some examples, determining the processed fingerprint image data may involve optimizing a function based, at least in part, on the set of background image data and the fingerprint image data. In some such examples, the function may be based on the fingerprint image data and on multiple sets of background image data, including the set of background image data. According to some examples, determining the processed fingerprint image data may involve providing the fingerprint image data and the set of background image data to a trained neural network implemented by the control system. In some such examples, the fingerprint image data may be obtained from an ultrasonic fingerprint sensor. According to some such examples, the method may involve obtaining multiple sets of fingerprint image data from the fingerprint sensor, each set of fingerprint image data corresponding to a different range gate delay, and determining the processed fingerprint image data based, in part, on at least one set of fingerprint image data from the multiple sets of fingerprint image data.

[0009] In some examples, the method may involve estimating residual noise in the set of background image data. In some examples, the method also may involve determining second processed fingerprint image data based, at least in part, on the processed fingerprint image data and a residual noise estimate. According to some examples, estimating the residual noise may be based, at least in part, on the force data. In some examples, estimating the residual noise may involve providing the fingerprint image data and noise data to the trained neural network implemented by the control system.

[0010] According to some examples, the noise data may correspond to a structure within, or proximate, the fingerprint sensor. In some examples, the structure may correspond to a patterned backing layer of, or proximate, the fingerprint sensor.

[0011] Other innovative aspects of the subject matter described in this disclosure may be implemented in an apparatus. The apparatus may include a fingerprint sensor and a control system. In some examples, at least a portion of the control system may be electrically connected to the fingerprint sensor system. In some implementations, a mobile device may be, or may include, the apparatus. For example, a mobile device may include an apparatus as disclosed herein.

[0012] The control system may include one or more general purpose single-or multi-chip processors, digital signal processors (DSPs) , application specific integrated circuits (ASICs) , field programmable gate arrays (FPGAs) or other programmable logic devices, discrete gates or transistor logic, discrete hardware components, or combinations thereof.

[0013] According to some examples, the control system may be configured to: receive fingerprint image data from the fingerprint sensor; obtain force data corresponding to a force applied to the fingerprint sensor; obtain a set of background image data corresponding to the force; determine processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data; and output the processed fingerprint image data.

[0014] In some examples, obtaining the set of background image data corresponding to the force may involve selecting the set of background image data from a plurality of background image data sets obtained during a factory calibration process, obtained during a previous authentication process involving the fingerprint sensor, or captured during an enrollment process.

[0015] According to some examples, obtaining the set of background image data corresponding to the force may involve interpolating between values of a first set of background image data and values of a second set of background image data, wherein the first set of background image data may correspond to a first force and the second set of background image data may correspond to a second force.

[0016] In some examples, determining the processed fingerprint image data may involve subtracting the set of background image data from the fingerprint image data. According to some examples, determining the processed fingerprint image data may involve optimizing a function based, at least in part, on the set of background image data and the fingerprint image data, wherein the function may be based on the fingerprint image data and on multiple sets of background image data, including the set of background image data. In some examples, determining the processed fingerprint image data may involve providing the fingerprint image data and the set of background image data to a trained neural network implemented by the control system.

[0017] According to some examples, the fingerprint image data may be obtained from an ultrasonic fingerprint sensor and the control system may be further configured to: obtain multiple sets of fingerprint image data from the fingerprint sensor, each set of fingerprint image data corresponding to a different range gate delay; and determine the processed fingerprint image data based, in part, on at least one set of fingerprint image data from the multiple sets of fingerprint image data.

[0018] In some examples, the control system may be further configured to estimate residual noise in the set of background image data based, at least in part, on the force data and on noise data. According to some examples, the apparatus also may include a patterned backing layer proximate the fingerprint sensor. In some such examples, the noise data may correspond to at least a portion of the patterned backing layer.

[0019] Some or all of the operations, functions and / or methods described herein may be performed by one or more devices according to instructions (e.g., software) stored on one or more non-transitory media. Such non-transitory media may include memory devices such as those described herein, including but not limited to random access memory (RAM) devices, read-only memory (ROM) devices, etc. Accordingly, some innovative aspects of the subject matter described in this disclosure can be implemented in one or more non-transitory media having software stored thereon. For example, the software may include instructions for controlling one or more devices to perform one or more of the methods disclosed herein.BRIEF DESCRIPTION OF THE DRAWINGS

[0020] Details of one or more implementations of the subject matter described in this specification are set forth in the accompanying drawings and the description below. Other  features, aspects, and advantages will become apparent from the description, the drawings, and the claims. Note that the relative dimensions of the following figures may not be drawn to scale. Like reference numbers and designations in the various drawings indicate like elements.

[0021] Figure 1 is a block diagram that shows example components of an apparatus according to some disclosed implementations.

[0022] Figures 2A and 2B show examples of cross-sections through portions of one implementation of the apparatus of Figure 1.

[0023] Figure 3 shows an example of a foldable display implementation.

[0024] Figure 4 is a flow diagram that indicates blocks of an enrollment process according to one example.

[0025] Figure 5 is a flow diagram that indicates blocks of a fingerprint authentication process according to one example.

[0026] Figure 6 shows blocks involved in training a neural network to remove backer patterns in fingerprint image data according to one example.

[0027] Figures 7A and 7B show examples of image data obtained from the fingerprint sensor system 102 corresponding to different areas of a test pattern.

[0028] Figure 8 shows another example of training a neural network to remove backer patterns in fingerprint image data.

[0029] Figure 9 shows an example of training a neural network to extract noise from fingerprint image data.

[0030] Figure 10 shows another example of training a neural network to extract noise from fingerprint image data.

[0031] Figure 11 shows images obtained via a fingerprint sensor at different forces.

[0032] Figure 12 shows the stack of Figure 2B with force being applied proximate the backer layer.

[0033] Figure 13 shows the apparatus of Figure 3 with force being applied to the opposite side of the apparatus, as compared to what is shown in Figure 12.

[0034] Figure 14 is a flow diagram that provides example blocks of some methods disclosed herein.

[0035] Figure 15 is a flow diagram that provides example blocks of some additional methods disclosed herein.

[0036] Figures 16A, 16B, 16C and 16D show examples of force sensors that are integrated into the circuitry of ultrasonic fingerprint sensors.DETAILED DESCRIPTION

[0037] The following description is directed to certain implementations for the purposes of describing the innovative aspects of this disclosure. However, a person having ordinary skill in the art will readily recognize that the teachings herein may be applied in a multitude of different ways. The described implementations may be implemented in any device, apparatus, or system that includes a biometric system as disclosed herein. In addition, it is contemplated that the described implementations may be included in or associated with a variety of electronic devices such as, but not limited to: mobile telephones, multimedia Internet enabled cellular telephones, mobile television receivers, wireless devices, smartphones, smart cards, wearable devices such as bracelets, armbands, wristbands, rings, headbands, patches, etc.,  devices, personal data assistants (PDAs) , wireless electronic mail receivers, hand-held or portable computers, netbooks, notebooks, smartbooks, tablets, printers, copiers, scanners, facsimile devices, global positioning system (GPS) receivers / navigators, cameras, digital media players (such as MP3 players) , camcorders, game consoles, wrist watches, clocks, calculators, television monitors, flat panel displays, electronic reading devices (e.g., e-readers) , mobile health devices, computer monitors, auto displays (including odometer and speedometer displays, etc. ) , cockpit controls and / or displays, camera view displays (such as the display of a rear view camera in a vehicle) , electronic photographs, electronic billboards or signs, projectors, architectural structures, microwaves, refrigerators, stereo systems, cassette recorders or players, DVD players, CD players, VCRs, radios, portable memory chips, washers, dryers, washer / dryers, automatic teller machines (ATMs) , parking meters, packaging (such as in electromechanical systems (EMS) applications including microelectromechanical systems (MEMS) applications, as well  as non-EMS applications) , aesthetic structures (such as display of images on a piece of jewelry or clothing) and a variety of EMS devices. The teachings herein also may be used in applications such as, but not limited to, electronic switching devices, radio frequency filters, sensors, accelerometers, gyroscopes, motion-sensing devices, magnetometers, inertial components for consumer electronics, parts of consumer electronics products, automobile doors, steering wheels or other automobile parts, varactors, liquid crystal devices, electrophoretic devices, drive schemes, manufacturing processes and electronic test equipment. Thus, the teachings are not intended to be limited to the implementations depicted solely in the Figures, but instead have wide applicability as will be readily apparent to one having ordinary skill in the art.

[0038] As noted above, it can be challenging to obtain satisfactory fingerprint image data from a fingerprint sensor deployed in a flexible display device. (As used herein, the term “finger” can refer to any digit, including a thumb. Accordingly, the term “fingerprint” as used herein may refer to a print from any digit, including a thumb. Data received from a fingerprint sensor may sometimes be referred to herein as “fingerprint sensor data, ” “fingerprint image data, ” etc., although the data will generally be received from the fingerprint sensor system in the form of electrical signals. Accordingly, without additional processing such image data would not necessarily be perceivable by a human being as an image. )

[0039] A flexible display device may, for example, include a flexible organic light-emitting diode (OLED) display without a stable backer or a stable display cover glass. In order to improve device stability, a flexible display device may include a stiffener layer, such as a metal layer, which can cause additional challenges for obtaining satisfactory fingerprint image data. Some flexible display devices may include a flexible backer layer proximate the fingerprint sensor. In some instances, there may be an air gap between the flexible backer layer and the fingerprint sensor. The flexible backer layer may cause unexpected background patterns in the fingerprint image data, particularly when force is being applied due to a finger press, finger lift, device folding, device rolling, etc. Evaluating frequent changes of background images-obtained when a finger is not pressing on the fingerprint sensor-consumes a lot of power and computational resources, and can negatively affect fingerprint sensor reliability.

[0040] Some disclosed examples involve force-compensated fingerprint imaging for flexible device implementations. In some implementations, a flexible device may include a patterned flexible backer layer proximate a fingerprint sensor. By monitoring the forces applied to the fingerprint sensor and the corresponding expected changes in background patterns in the fingerprint image data caused by the patterned flexible backer layer, a control system may filter out these background patterns by image processing, such as image reconstruction and denoising. Some examples may involve selecting background image data corresponding to the force applied to the fingerprint sensor when fingerprint image data are obtained from the fingerprint sensor. The image processing may involve subtracting the selected background image data from the obtained fingerprint image data. Some examples may involve estimating residual noise based, at least in part, on received force data and a known pattern of the backing layer. In some examples, estimating the residual noise may involve providing fingerprint image data and noise data to a trained neural network implemented by the control system.

[0041] Particular implementations of the subject matter described in this disclosure may be implemented to realize one or more of the following potential advantages. According to some examples, fingerprint image quality may be enhanced by filtering out background patterns in the fingerprint image data caused by the patterned flexible backer layer when varying forces are applied to the fingerprint sensor. By monitoring the current finger force or the current finger pressure when fingerprint image data are obtained and by subtracting background image data corresponding to the current finger force or the current finger pressure, in some examples a relatively higher level of fingerprint image quality may be obtained than without obtaining and applying such force or pressure data. (Although force and pressure are different, in that pressure is force per unit of area, the terms “force” and “pressure” may sometimes be used interchangeably herein. ) A higher level of fingerprint image quality can result in more accurate fingerprint scans, lower false rejection rates, and higher user satisfaction. Some disclosed examples may involve relatively fewer instances of obtaining background image data, as compared to previously-implemented methods of processing fingerprint image data obtained from flexible devices. Such implementations may cause relatively less power and fewer computational resources to be consumed, and may enhance fingerprint sensor longevity and reliability.

[0042] Figure 1 is a block diagram that shows example components of an apparatus according to some disclosed implementations. As with other disclosed implementations, the types, number and arrangement of elements shown in Figure 1 are merely presented by way of example. Other implementations may have other types, numbers and / or arrangements of elements. In this example, the apparatus 101 includes a fingerprint sensor system 102 and a control system 106. Some implementations of the apparatus 101 may include an interface system 104, a display system and / or a force sensor 110.

[0043] The fingerprint sensor system 102 may be any suitable type of fingerprint sensor system, such as an optical fingerprint sensor system, a capacitive fingerprint sensor system, a resistive fingerprint sensor system, a radio frequency-based fingerprint sensor system, etc. In some examples the fingerprint sensor system may be, or may include, an ultrasonic fingerprint sensor system. Some detailed examples are provided herein.

[0044] Some implementations of the apparatus 101 may include an interface system 104. In some examples, the interface system 104 may include a wireless interface system. In some implementations, the interface system 104 may include a user interface system, one or more network interfaces, one or more interfaces between the control system 106 and a memory system, and / or one or more interfaces between the control system 106 and one or more external device interfaces (e.g., ports or applications processors) .

[0045] The interface system 104 may be configured to provide communication (which may include wired or wireless communication, such as electrical communication, radio communication, etc. ) between components of the apparatus 101. In some such examples, the interface system 104 may be configured to provide communication between the control system 106 and the fingerprint sensor system 102, between the control system 106 and the display system 108 (if present) and between the control system 106 and the force sensor 110 (if present) . According to some such examples, the interface system 104 may couple at least a portion of the control system 106 to the fingerprint sensor system 102 (as well as the display system 108 and / or the force sensor 110, if present) , e.g., via electrically conducting material such as conductive metal wires or traces.

[0046] According to some examples, the interface system 104 may be configured to provide communication between the apparatus 101 and other devices and / or human beings. In some such examples, the interface system 104 may include a user interface system having one or  more user interfaces. The user interface system may, for example, include one or more loudspeakers, a touch and / or gesture sensor system, a haptic feedback system, etc. Although not shown as such in Figure 1, the optional display system 108 may be considered to be part of the interface system 104.

[0047] The interface system 104 may, in some examples, include one or more network interfaces and / or one or more external device interfaces (such as one or more universal serial bus (USB) interfaces and / or a serial peripheral interface (SPI) ) . In some implementations, the apparatus 101 may include a memory system in addition to memory that the control system 106 may include. The interface system 104 may, in some examples, include at least one interface between the control system 106 and the memory system.

[0048] The control system 106 may include one or more general purpose single-or multi-chip processors, digital signal processors (DSPs) , application specific integrated circuits (ASICs) , field programmable gate arrays (FPGAs) or other programmable logic devices, discrete gates or transistor logic, discrete hardware components, or combinations thereof. According to some examples, the control system 106 may include a dedicated component for controlling the fingerprint sensor system 102 (as well as the display system 108 and / or the force sensor 110, if present) . The control system 106 also may include (and / or be configured for communication with) one or more memory devices, such as one or more random access memory (RAM) devices, read-only memory (ROM) devices, etc. Accordingly, the apparatus 101 may have a memory system that includes one or more memory devices, though the memory system is not shown in Figure 1. In some implementations, functionality of the control system 106 may be partitioned between one or more controllers or processors, such as between a dedicated sensor controller and an applications processor of a mobile device. Some examples are described below.

[0049] In some implementations, the control system may be configured to receive fingerprint image data from the fingerprint sensor and to obtain force data corresponding to a force applied to the fingerprint sensor when the fingerprint image data were obtained. In some such implementations, the control system may be configured to obtain a set of background image data corresponding to the force and to determine processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data. In some such examples, determining the processed fingerprint image data may involve subtracting the set of background image data from the fingerprint image data. In some  implementations, the control system may be configured to output the processed fingerprint image data.

[0050] The force sensor 110, if present in the apparatus 101, may be a piezo-resistive sensor, a capacitive sensor, a thin film sensor (e.g., a polymer-based thin film sensor) , or another type of suitable force sensor. If the force sensor 110 includes a piezo-resistive sensor, the piezo-resistive sensor may include silicon, metal, polysilicon and / or glass. The fingerprint sensor system 102 and the force sensor 110 may, in some instances, be mechanically coupled. In some such examples, the force sensor 110 may be integrated into circuitry of the fingerprint sensor system 102. Some examples are disclosed herein. However, in other implementations the force sensor 110 may be separate from the fingerprint sensor system 102. The fingerprint sensor system 102 and the force sensor 110 may, in some examples, be indirectly coupled. For example, the fingerprint sensor system 102 and the force sensor 110 each may be coupled to a portion of the apparatus 101. In some such examples, the fingerprint sensor system 102 and the force sensor 110 each may be coupled to a portion of the control system.

[0051] However, some implementations may not include a force sensor 110 that is separate from the fingerprint sensor system 102. In some such examples, the control system 106 may be configured for force detection and / or pressure detection based, at least in part, on fingerprint sensor data from the fingerprint sensor system 102.

[0052] In some implementations, the apparatus may include a display stack that includes the display system 108. According to some examples, the display stack may be a foldable display stack that includes a stiffener 112 and display stack layers. The stiffener 112, when present, may have a relatively high acoustic impedance, e.g., an acoustic impedance of 10 MRayls or more. In some implementations, the stiffener 112 may be, or may include, a metal layer (e.g., a stainless steel layer having an acoustic impedance of approximately 47 MRayls) . The display stack layers may, in some examples, include layers of a light-emitting diode (LED) display, such as an organic light-emitting diode (OLED) display. Some examples of display stack layers are provided in this disclosure.

[0053] In some examples, the apparatus 101 may include a backer 114, which also may be referred to herein as a backer layer 114. According to some examples, the backer layer 114 may have a pattern on one or more surfaces. For example the backer layer 114 may have a pattern on a surface that is proximate a fingerprint sensor of the fingerprint sensor system  102. The pattern of the backer layer 114 may be “known” by the control system 106. In other words, backer layer pattern data that indicates, or corresponds to, the pattern of the backer layer 114 may be stored in a data structure of a memory that is accessible by the control system 106. In some instances, the backer layer 114 may be described as being a part of a fingerprint sensor stack and / or as part of the fingerprint sensor system 102.

[0054] The apparatus 101 may be used in a variety of different contexts, some examples of which are disclosed herein. For example, in some implementations a mobile device may include at least a portion of the apparatus 101. In some implementations, a wearable device may include at least a portion of the apparatus 101. The wearable device may, for example, be a bracelet, an armband, a wristband, a ring, a headband or a patch. In some implementations, the control system 106 may reside in more than one device. For example, a portion of the control system 106 may reside in a wearable device and another portion of the control system 106 may reside in another device, such as a mobile device (e.g., a smartphone) . The interface system 104 also may, in some such examples, reside in more than one device.

[0055] Figures 2A and 2B show examples of cross-sections through portions of one implementation of the apparatus of Figure 1. As with other disclosed implementations, the types of elements, the numbers of elements, the arrangements of elements, etc., shown in Figures 2A and 2B are merely shown by way of example. Other implementations may include different types, numbers and / or arrangements of elements.

[0056] In these examples, a finger 205 is shown touching an outer surface 215 of the apparatus 101, which is the outer surface of a layer of polyethylene terephthalate (PET) in this example. According to these examples, layers of optically clear adhesive (OCA) bind a layer of ultra-thin glass (UTG) to the PET layer and to a polarizer layer of a display system 108. Here, the layers of the display system 108 also include a display panel and a protective film layer, all of which are bonded together by pressure-sensitive adhesive in this example. According to these examples, the display system 108 is bonded to a stiffener layer 112 by another layer of PSA. The stiffener layer 112 and the display system 108 may be considered to be part of a display stack, in part because the stiffener helps to provide structural integrity to the display system 108.

[0057] In these examples, the fingerprint sensor system 102 includes a fingerprint sensor 202 and force sensing portions 210a and 210b. Accordingly, in these examples the fingerprint sensor system 102 is configured for both force sensing and fingerprint acquisition. More detailed examples of fingerprint sensor systems configured for both force sensing and fingerprint acquisition are described below with reference to Figures 16A–16D. In some alternative examples, the apparatus may include a force sensor 110 that is separate from the fingerprint sensor system 102.

[0058] According to these examples, the apparatus 101 includes a backer layer 114 that is separated from the fingerprint sensor 202 and the force sensing portions 210a and 210b by an air gap 220. In these examples, the backer layer 114 is flexible. In some examples, the backer layer 114 may include foam, such as polystyrene foam, expanded polystyrene (EPS) foam, or a similar material. In the example shown in Figure 2B, the backer layer 114 has a patterned surface 225 that is adjacent the fingerprint sensor 202 and the force sensing portions 210a and 210b: here, the patterned surface 225 includes angular protuberances 222 and rounded protuberances 224, which are separated by flat portions 226. In other examples, the patterned surface 225 may include other shapes, other patterns, or both. In some examples, backer layer pattern data that indicates, or corresponds to, the pattern of the patterned surface 225 may be stored in a data structure of a memory that is accessible by the control system 106 (not shown) . For example, the backer layer pattern data may include information regarding the locations of the angular protuberances 222 and the rounded protuberances 224, information regarding the dimensions of the angular protuberances 222 and the rounded protuberances 224, etc.

[0059] Figure 3 shows an example of a foldable display implementation. According to this example, the apparatus 101 is foldable along the hinge area 305. In this example, instances of the fingerprint sensor system 102 and the backer layer 114 of Figure 2B are shown with dashed outlines, indicating that they are within the apparatus 101. In this example, the stiffener 112, elements of the display system 108, etc., of Figure 2B reside between the outer surface 215, the fingerprint sensor system 102 and the backer layer 114. According to this example, the backer layer 114 extends across a larger area than the area occupied by the fingerprint sensor system 102.

[0060] Figure 4 is a flow diagram that indicates blocks of an enrollment process according to one example. The blocks of Figure 4 may, for example, be performed (at least in part) by the  control system 106 of Figure 1. As with other methods disclosed herein, the method 400 outlined in Figure 4 may include more or fewer blocks than indicated. Moreover, the blocks of methods disclosed herein are not necessarily performed in the order indicated. In some examples, some blocks of methods disclosed herein may be performed concurrently.

[0061] In this example, the enrollment process begins with block 405. Block 405 may, for example, involve presenting one or more graphical user interfaces (GUIs) corresponding to the enrollment process on a display device, receiving user input, etc. Block 405 may, for example, involve presenting one or more GUIs prompting a user to initiate the enrollment process and receiving user input confirming that the user is ready and willing to engage in the enrollment process. Block 405 may, for example, involve presenting a GUI prompting a user to place one or more fingers on a fingerprint sensor area indicated on a display device. This corresponds to the “finger down” text between block 405 and block 410.

[0062] For the sake of simplicity, the following discussion will involve blocks of a process of enrolling individual fingers. Alternative examples may involve enrolling multiple fingers at the same time.

[0063] In this example, block 410 involves detecting a finger press event on a fingerprint sensor area of the fingerprint sensor system 102 and determining the area of the finger press. According to this example, block 415 involves receiving force sensor data from a force sensor corresponding to the finger press. In some examples the force sensor may be part of the fingerprint sensor system 102, whereas in other examples force sensor may be separate from the fingerprint sensor system 102.

[0064] According to this example, block 420 involves scanning the finger on the fingerprint sensor area and obtaining fingerprint image data from the finger. In some examples, block 415 and 420 may be performed at the same time, or substantially at the same time. In this example, block 425 involves denoising the fingerprint image data obtained in block 420. Block 425 may, for example, involve subtracting background or “air” image data from the fingerprint image data. The background image data will generally have been obtained when no finger or other object was on, or proximate, the fingerprint sensor area.

[0065] In this example, block 430 involves generating a finger force map. The finger force map may, for example, be generated based on the force data obtained in block 415 and the area of the finger press, the latter of which may be determined in block 410 and / or block 415.  In some examples, the finger force map may simply indicate an average finger force over the area of the finger press. In other examples, the finger force map indicate varying forces over the area of the finger press, such as an area of highest finger force and one or more surrounding areas having lower finger forces.

[0066] According to this example, block 435 involves classifying the backer pattern. In this example, block 435 involves classifying the backer pattern based, at least in part, on the area of the finger press and / or the finger force map generated in block 430. For example, block 435 may involve determining an area of a backer pattern that corresponds with the area of the finger press. Block 435 may, for example, involve searching or querying a data structure of a memory in which backer layer pattern data is stored. The backer layer pattern data may indicate, or correspond to, a pattern of a backer layer on a surface that is proximate the fingerprint sensor system 102.

[0067] In this example, block 440 involves denoising one or more backer patterns in the denoised fingerprint image data output by block 425 based, at least in part, on the finger force map generated in block 430 and the backer pattern classification of block 435. The backer patterns may be regarded as a type of noise and may sometimes be referred to herein as noise data, or as a type of noise data. In some examples, block 435 may involve searching or querying a data structure of a memory in which finger forces and corresponding backer patterns in the fingerprint image data are stored. According to some examples, a data structure that includes finger forces and corresponding backer patterns in the fingerprint image data may be obtained, at least in part, during a factory calibration process. In some examples, a data structure that includes finger forces and corresponding backer patterns in the fingerprint image data may be obtained, at least in part, during an enrollment process such as the enrollment process of Figure 4. According to some examples, a data structure may include finger forces, corresponding backer patterns in the fingerprint image data and temperature. This may be advantageous because the material properties of the backer layer may vary according to temperature. In some examples, block 435 may be performed by a trained neural network implemented by the control system.

[0068] According to this example, block 445 involves image post-processing for additional image enhancement. In this example, the image post-processing of block 445 is performed on the output of block 440, after the denoising of backer patterns using the force map. In some examples, the image post-processing of block 445 may involve wavelet-based  denoising, filter-based denoising, multi-image fusion, fingerprint feature detection and enhancement, or combinations thereof.

[0069] In this example, blocks 450 and 455 involve determining whether the enrollment process is complete. Block 450 may, for example, involve storing a currently-obtained fingerprint template and determining whether the enrollment process is complete for a particular finger and block 455 may involve determining whether the entire enrollment process is complete. In some examples, block 450 or block 455 may involve determine whether additional finger force data will be acquired for a particular finger. If the process is complete (block 460) , enrollment data-which may include but may not be limited to fingerprint data templates-may be stored in block 465. In some implementations, block 460 may involve extracting fingerprint features, such as fingerprint minutiae, from fingerprint image data obtained during the enrollment process. However, if it is determined in block 455 that the enrollment process is not complete, the process continues to “finger up” block 470. Between block 455 and block 470, in some examples a user prompt may be provided for the user to lift the finger that is currently being enrolled.

[0070] In this example, block 470 involves a “finger up” determination. In other words, block 470 involves determining when a finger that has been involved in the enrollment process 400 has been lifted-or is being lifted-from a fingerprint sensor area. In some instances, the finger may be lifted in response to a user prompt, which may include a GUI, provided by the apparatus 101. According to this example, block 475 involves obtaining finger force data from a force sensor corresponding to the “finger up” event. In some examples, block 475 may involve obtaining a single finger force, whereas in other examples, block 475 may involve obtaining a plurality of-in other words, two or more-finger force data measurements while a finger is being lifted from the fingerprint sensor area.

[0071] According to this example, block 480 involves obtaining one or more air images, also referred to herein as a background images, via the fingerprint sensor system 102. The one or more background images will generally be obtained when no finger is touching the fingerprint sensor area, in this example after a finger has been fully lifted from the fingerprint sensor area.

[0072] In this example, block 485 involves generating a background force map. In this example, the finger has already been lifted from the fingerprint sensor area, so there is  currently no finger force. Accordingly, block 485 may involve generating a force map based on one or more finger forces measured during the “finger up” event. For a time interval after a finger has been lifted from the fingerprint sensor area, there may still be residual deformation of the fingerprint sensor area, the backer, etc., particularly in the area in which finger force had just recently been applied. In some examples, block 485 may involve generating multiple force maps based on each of a plurality of finger forces obtained in block 475.

[0073] According to this example, block 490 involves updating the current background image data according to the one or more air images obtained in block 480. In some examples, block 490 may involve updating a background image data structure to include background image . data corresponding to the one or more air images obtained in block 480 and storing the updated background image data structure in a memory. In this example, block 495 involves image post-processing. Block 495 may, for example, involve filtering, fusion, etc. In this example, after block 495 the flow proceeds to the “finger down” block 410. Between block 495 and block 410, in some examples a user prompt may be provided for the user to place a finger on a fingerprint sensor area.

[0074] Figure 5 is a flow diagram that indicates blocks of a fingerprint authentication process according to one example. The blocks of Figure 5 may, for example, be performed (at least in part) by the control system 106 of Figure 1. As with other methods disclosed herein, the method 500 may include more or fewer blocks than indicated. Moreover, the blocks of methods disclosed herein are not necessarily performed in the order indicated. In some examples, some blocks of methods disclosed herein may be performed concurrently.

[0075] In this example, the fingerprint authentication process begins with block 505. Block 505 may, for example, involve presenting one or more graphical user interfaces (GUIs) corresponding to the fingerprint authentication process on a display device, receiving user input, etc. Block 505 may, for example, involve presenting one or more GUIs prompting a user to initiate the fingerprint authentication. Block 505 may, for example, involve presenting a GUI prompting a user to place one or more fingers on a fingerprint sensor area indicated on a display device. This corresponds to the “finger down” branch after block 505. For the sake of simplicity, the following discussion will involve blocks of a fingerprint authentication process involving an individual finger. Alternative fingerprint authentication examples may involve multiple fingers.

[0076] In these examples, blocks 510–545 and 575–595 may correspond to blocks 410–445 and 475–495 of Figure 4 and may be performed as described above. However, in this example block 550 involves attempting to match fingerprint features extracted from currently-obtained fingerprint image data with fingerprint features extracted from fingerprint image data obtained during a fingerprint enrollment process. According to this example, block 555 involves determining whether the match attempt of block 550 was successful. If so, access to the apparatus may be provided. In this example, if it is determined in block 555 that the match attempt of block 550 was successful, one or more data structures of previously-obtained fingerprint features are updated in block 560 and stored in block 565.

[0077] In this example, if it is determined in block 555 that the match attempt of block 550 was not successful, method 500 may involve providing a user with one or more additional fingerprint authentication attempts. In some examples, method 500 may involve providing user prompts, such as via one or more GUIs, for the user to lift the finger from a fingerprint sensor area, place the finger in the fingerprint sensor area, place another finger in the fingerprint sensor area, or take some other action.

[0078] Figure 6 shows blocks involved in training a neural network to remove backer patterns in fingerprint image data according to one example. In this example, clean fingerprint image data 605 and reference fingerprint image data 625 of Figure 6 represent fingerprint image data corresponding to a fingerprint image that does not include noise corresponding to a backer pattern. According to this example, dots 610 are added to the clean fingerprint image data 605, to produce input fingerprint image data 615 that is provided to the neural network 620. The dots 610 may, for example, correspond to a backer pattern caused by a particular portion of a backer layer 114. The dots 610 may, in some examples, correspond to a backer pattern caused by a particular portion of a backer layer 114 when a particular force, or range of forces, is applied to an area of the fingerprint sensor. In this example, the neural network 620 is an auto encoder deep learning network. Other implementations may involve other types of neural networks, more layers, fewer layers, etc.

[0079] In this example, the recovered data 630 produced by the neural network 620 is compared to the reference fingerprint image data 625. The neural network 620 is updated according to differences between the reference fingerprint image data 625 and the recovered data 630. The neural network 620 may, for example, be trained until convergence. Convergence may, for example, be attained when one or more differences between the  reference fingerprint image data 625 and the recovered data 630 are less than a threshold. In some examples, the neural network 620 may be trained until convergence is attained using dots 610 corresponding to each force of a plurality of forces, or corresponding to each force range of a plurality of force ranges. According to some examples, the neural network 620 may be trained until convergence is attained using dots 610 corresponding to each area of a plurality of areas of the fingerprint sensor system 102 and / or the backer layer 114.

[0080] Figures 7A and 7B show examples of image data obtained from the fingerprint sensor system 102 corresponding to different areas of a test pattern. In both examples, the apparatus 101 included a backer layer 114 having a patterned surface proximate the fingerprint sensor system 102. The example shown in Figure 7A is an image obtained when no force was applied to the fingerprint sensor system 102. The example shown in Figure 7B is an image obtained when a 300 gram-force was applied to the fingerprint sensor system 102. In Figure 7B, one may observe numerous artifacts 705 caused by the patterned surface of the backer layer 114 when the 300 gram-force was applied.

[0081] Figure 8 shows another example of training a neural network to remove backer patterns in fingerprint image data. In this example, as in Figure 6, clean fingerprint image data 605 and reference fingerprint image data 625 represent fingerprint image data corresponding to a fingerprint image that does not include noise corresponding to a backer pattern, and the dots 610 are added to the clean fingerprint image data 605, to produce input fingerprint image data 615 that is provided to the neural network 620. The comments above regarding the elements of Figure 6 apply equally to the corresponding elements of Figure 8.

[0082] The example of Figure 8 differs from that of Figure 6 because Figure 8 includes adding non-identical noise 805. According to this example, the non-identical noise 805 is similar to, but not the same as, the dots 610. In this example, the non-identical noise 805 includes parallelogram shapes in positions that are correspond to the dot positions of the dots 610. In other examples, the non-identical noise 805 may include shapes other than parallelogram shapes, such as square shapes, triangular shapes, oval shapes, star shapes, etc. In some alternative examples, the positions of the non-identical noise 805 may not correspond exactly to the dot positions of the dots 610. According to some examples, the dots 610 may correspond to artifacts produced by the backer layer 114 when a first force is applied to the fingerprint sensor system 102 and the non-identical noise 805 may correspond to artifacts produced by the backer layer 114 when a second force is applied to the fingerprint  sensor system 102. Here, the non-identical noise 805 is separately provided to the neural network 620. In some alternative examples, the non-identical noise 805 may be added to the input fingerprint image data 615.

[0083] Figure 9 shows an example of training a neural network to extract noise from fingerprint image data. In this example, clean fingerprint image data 605 does not include noise corresponding to a backer pattern. According to this example, dots and lines 910 are added to the clean fingerprint image data 605, to produce input fingerprint image data 915 that is provided to the neural network 620. The dots and lines 910 may, for example, correspond to a backer pattern caused by a particular portion of a backer layer 114. The dots and lines 910 may, in some examples, correspond to a backer pattern caused by a particular portion of a backer layer 114 when a particular force, or range of forces, is applied to an area of the fingerprint sensor. In this example, the neural network 620 is an auto encoder deep learning network. Other implementations may involve other types of neural networks, more layers, fewer layers, etc.

[0084] Unlike the examples described above with reference to Figures 6 and 8, in the example shown in Figure 9 the reference data 925 corresponds to the dots and lines 910. Therefore, instead of training the neural network 620 to produce a cleaner fingerprint image, in Figure 9 the neural network 620 is trained to produce extracted noise 940 that is similar to the dots and lines of the reference data 925.

[0085] Figure 10 shows another example of training a neural network to extract noise from fingerprint image data. In this example, as in Figure 9, dots and lines 910 are added to the clean fingerprint image data 605, to produce input fingerprint image data 915 that is provided to the neural network 620. The reference data 925 corresponds to the dots and lines 910. The comments above regarding the elements of Figure 9 apply equally to the corresponding elements of Figure 10.

[0086] The example of Figure 10 differs from that of Figure 9 because Figure 10 includes adding non-identical noise 1005. According to this example, the non-identical noise 1005 is similar to, but not the same as, the dots and lines 910. In this example, the non-identical noise 1005 includes parallelogram shapes in positions that are correspond to the dot positions of the dots and lines 910. In other examples, the non-identical noise 1005 may include shapes other than parallelogram shapes, such as square shapes, triangular shapes, oval shapes,  star shapes, etc. According to this example, the non-identical noise 1005 also includes slightly different lines than those of the dots and lines 910. For example, in the upper right corner of the non-identical noise 1005 there are two lines and the line to the right is shorter than the line to the left. In the upper right corner of the dots and lines 910 there are also two lines. However, the line to the right is longer than the line to the left. Here, the non-identical noise 1005 is separately provided to the neural network 620. In some alternative examples, the non-identical noise 1005 may be added to the input fingerprint image data 915.

[0087] Figure 11 shows images obtained via a fingerprint sensor at different forces. In each example, the images are the result of obtaining a foreground (FG) image, using the fingerprint sensor, of a test pattern and then subtracting a background (BG) or “air” image from the test pattern / FG image. Images 1103, 1109 and 1115 were produced by obtaining FG images of the test pattern at zero gram-force, then subtracting background images obtained at zero gram-force, one hundred gram-force and two hundred gram-force, respectively. Images 1105, 1111 and 1117 were produced by obtaining FG images of the test pattern at one hundred gram-force, then subtracting background images obtained at zero gram-force, one hundred gram-force and two hundred gram-force, respectively. Images 1107, 1113 and 1119 were produced by obtaining FG images of the test pattern at two hundred gram-force, then subtracting background images obtained at zero gram-force, one hundred gram-force and two hundred gram-force, respectively.

[0088] It may be observed that the highest-quality images are 1103, 1111 and 1119, for which the forces applied when obtaining the FG images match the forces applied when obtaining the BG images. In this context, the “highest-quality” images are those images in which the test pattern is most clearly imaged, which indicates that those images have a higher signal-to-noise ratio (SNR) as compared to the SNR of images in which the forces applied when obtaining the FG images do not match the forces applied when obtaining the BG images. For example, the test pattern line 1120a of image 1103 is more clearly imaged and is more continuous than the corresponding test pattern lines 1120b and 1120c of images 1105 and 1107, respectively.

[0089] Accordingly, some disclosed examples involve determining a finger force applied to a fingerprint sensor when fingerprint image data is being obtained. Some such examples involve selecting background image data that were obtained at a force-which also may be referred to herein as the background force or BG force-corresponding to the force applied to  the fingerprint sensor when the fingerprint image data were obtained from the fingerprint sensor-which also may be referred to herein as the foreground force or FG force. In this context, a BG force “corresponding” to the FG force may, for example, be a BG force that is within an acceptable range of the FG force, such as + / -2%, + / -4%, + / -5%, + / -7%, + / -9%, + / -10%, + / -12%, + / -14%, + / -15%, + / -17%, + / -19%, + / -20%, etc. Some such methods may involve subtracting the selected background image data from the obtained fingerprint image data. Other disclosed methods may involve different methods of removing background image data from the obtained fingerprint image data. A control system of a device that includes the fingerprint sensor-such as the control system 106 of Figure 1-may be configured to perform such methods.

[0090] In some examples, background image data may have been obtained at multiple BG forces, but none of the BG forces correspond to, or are within an acceptable range of, the FG force. In some such examples, the control system may be configured to interpolate between two sets of background image data that were obtained at the closest BG forces to the FG force. For example, if fingerprint image data were obtained from a fingerprint sensor at an FG force of 125 gram-force and sets of background image data were obtained at BG forces of 100 gram-force and 150 gram-force, the control system may be configured to interpolate between the set of background image data obtained at 100 gram-force and the set of background image data obtained at 150 gram-force. In some such examples, the control system may be configured to interpolate between the two sets of background image data by performing a simple averaging of the set of background image data obtained at 100 gram-force and the set of background image data obtained at 150 gram-force.

[0091] According to some such examples, the control system may be configured to interpolate between the two sets of background image data by weighting two or more sets of background image data based, at least in part, on the difference between the BG force for each set of background image data and the FG force. In the foregoing example, the FG force was 125 gram-force and the two sets of background image data were obtained at BG forces of 100 gram-force and 150 gram-force, respectively. Because each set of background image data was obtained at a force that differed from the FG force by the same amount-in this example, by 25 gram-force-an equal weighting may be applied to the values of the background image data obtained at 100 gram-force and the background image data obtained at 150 gram-force.

[0092] The difference between an FG force and a BG force may be referred to herein as a “delta force. ” In the foregoing example, the delta force was the same for both sets of background image data and therefore the weighting was the same. However, if the delta force had been different for each set of background image data, the weighting may not have been the same. For example, if the FG force had been 130 gram-force, in some examples the control system may be configured to interpolate between the two sets of background image data by applying a greater weight to the background image data obtained at 150 gram-force, as compared to the weight applied to the background image data obtained at 100 gram-force. In some such examples, the weight may be inversely proportional to the delta force.

[0093] Alternatively, or additionally, in some implementations the control system may be configured to perform other types of interpolation between two or more sets of background image data. In some such implementations, the interpolation may be based on force as well as on one or more additional factors. The additional factors may include fingerprint sensor area, temperature, or both.

[0094] In some such examples, the control system may be configured to interpolate between two or more sets of background image data that were obtained at different temperatures. In one such example, the control system may be configured to interpolate between two or more sets of background image data that were obtained at different temperatures by applying a weighting function based on a difference in temperature between a temperature at which the FG image data were acquired and a temperature at which two or more sets of BG image data were acquired. A temperature at which a set of BG image data was acquired may be referred to herein as a “BG temperature” and a temperature difference between the BG temperature and a temperature at which the FG image data was acquired may be referred to herein as a “delta temperature. ” In some such examples, if two or more sets of BG image data were acquired at the same BG force but at different BG temperatures, the weight may be inversely proportional to the delta temperature. Some examples may involve interpolating between BG image data acquired at the same BG force but at different BG temperatures, then interpolating between BG image data acquired at different BG forces (or vice versa) .

[0095] In another such example, the control system may be configured to interpolate between more than two sets of background image data by optimizing a function such as the following: ∑ [FGij – (a1*BG1ij+a2*BG2ij+... + aN*BGNij) ]

[0096] In the foregoing function, FG, N represents an integer larger than 2, the subscripts i and j represent fingerprint sensor pixel row and column locations, respectively, FG represents a “corrupted” fingerprint image that includes noise, BG1ij represents a value of a first set of background image data at position (i, j) , a1 represents a weight to apply to BG1ij, BG2ij represents a value of a second set of background image data at position (i, j) , a2 represents a weight to apply to BG2ij, BGNij represents a value of an Nth set of background image data at position (i, j) , and aN represents a weight to apply to BGNij. In some implementations, the control system may be configured to interpolate between more than two sets of background image data by optimizing a function such as the foregoing according to numerical analysis, for example by applying one or more numerical analysis methods in order to determine the values for a1 through aN. In other implementations, the control system may be configured to interpolate between more than two sets of background image data by implementing a neural network that was trained to optimize a function such as the foregoing function.

[0097] Figure 12 shows the stack of Figure 2B with force being applied proximate the backer layer. In Figure 12, force 1205 is being applied by an actuator 1210 along an axis 1215 that is perpendicular to the outer surface 215 of the apparatus 101. Although the force 1205 is shown in Figure 12 as being applied directly to the backer layer 112 by the actuator 1210, in some instances there may be one or more layers between the actuator 1210 and the backer layer 112, such as one or more protective layers of the apparatus 101. In some examples, the apparatus 101 may be held in place while the force 1205 is being applied, for example with a clamp, a vise or a similar device.

[0098] According to some examples, a force 1205 may be applied and then one or more “air” or background images may be obtained using the fingerprint sensor system 102 at that force. The resulting background image (s) may be stored and may be associated with that force. For example, one or more background images may be stored, along with force data indicating what force was being applied to the apparatus 101. This process may be repeated at a desired number of force settings, in order to produce a data structure that includes one or more background images for each of a plurality of corresponding forces.

[0099] Figure 13 shows the apparatus of Figure 3 with force being applied to the opposite side of the apparatus, as compared to what is shown in Figure 12. In Figure 13, downward forces 1305 is being applied to the outer surface 215-which is a cover glass in this example-by an actuator 1310. In this example, the shape of the actuator 1310 outlines the  area of the fingerprint sensor system 102. There is air within the outline of the actuator 1310, over the area of the fingerprint sensor system 102. Therefore, an actual air image can be obtained by the fingerprint sensor system 102 when forces are being applied to the outer surface 215 via the actuator 1305. In some examples, the apparatus 101 may be held in place while the force 1305 is being applied, for example with a clamp, a vise or a similar device.

[0100] According to some examples, a force 1305 may be applied and then one or more “air” or background images may be obtained using the fingerprint sensor system 102 at that force. The resulting background image (s) may be stored and may be associated with that force. For example, one or more background images may be stored, along with force data indicating what force was being applied to the apparatus 101. This process may be repeated at a desired number of force settings, in order to produce a data structure that includes one or more background images for each of a plurality of corresponding forces.

[0101] Figure 14 is a flow diagram that provides example blocks of some methods disclosed herein. The blocks of Figure 14 may, for example, be performed using a system such as those described with reference to Figures 12 and 13, or by a similar apparatus or system. As with other methods disclosed herein, the method 1400 outlined in Figure 14 may include more or fewer blocks than indicated. Moreover, the blocks of methods disclosed herein are not necessarily performed in the order indicated. In some examples, some blocks of methods disclosed herein may be performed concurrently.

[0102] According to this example, the method 1400 is a method of obtaining background image data. In this example, block 1401 involves selecting a force to be applied to the apparatus 101 while an air image is being acquired. Here, block 1403 involves applying the selected force to the apparatus 101. In this example, block 1405 involves obtaining background image data from the fingerprint sensor 102 while the selected force is being applied to the apparatus 101.

[0103] According to this example, block 1407 involves storing the background image data obtained in block 1405. In some examples, block 1407 may involves storing a data structure that includes the background image data obtained in block 1405, along with force data indicating the force that was applied during blocks 1403 and 1405, in a memory.

[0104] Blocks 1401–1407 may be repeated at a desired number of force settings, in order to produce a data structure that includes one or more background images for each of a plurality  of corresponding forces. In some examples, one or more background images may be obtained at fewer than ten force settings, for example at 4, 5, 6, 7, 8 or 9 force settings. In some other examples, one or more background images may be obtained at ten or more force settings, for example at 10, 12, 14, 16, 18, 20 or more force settings.

[0105] In this example, block 1409 involves determining whether background image data will be obtained from the fingerprint sensor 102 while one or more additional selected forces are being applied to the apparatus 101. If so, the process reverts to block 1401. If not, the process ends in block 1411.

[0106] According to some examples, blocks 1401–1409 may be performed while the apparatus is at two or more temperatures. In this way, a data structure may be obtained that includes one or more background images obtained while each of a plurality of forces were being applied to the apparatus 101, while the apparatus 101 was at each of a plurality of temperatures.

[0107] Figure 15 is a flow diagram that provides example blocks of some additional methods disclosed herein. The blocks of Figure 15 may, for example, be performed by the apparatus 101 of any one of Figures 1–3, or by a similar apparatus. As with other methods disclosed herein, the method 1500 outlined in Figure 15 may include more or fewer blocks than indicated. Moreover, the blocks of methods disclosed herein are not necessarily performed in the order indicated. In some examples, some blocks of methods disclosed herein may be performed concurrently.

[0108] According to this example, the method 1500 is a method of processing fingerprint image data. In this example, block 1503 involves receiving, by a control system (such as the control system 106) , fingerprint image data from a fingerprint sensor (such as the fingerprint sensor system 102) . In some examples, block 1503 may be performed as part of the “finger down” series of operations shown in Figure 5 and described herein.

[0109] In this example, block 1505 involves obtaining, by the control system, force data corresponding to a force applied to the fingerprint sensor. In some examples, the force data may correspond to a force applied to the fingerprint sensor when the fingerprint image data were obtained. According to some examples, the force data may be obtained from the force sensor 110 of Figure 1, which may or may not be part of the from one of the fingerprint  sensor system 102, depending on the particular implementation. In some examples, blocks 1503 and 1505 may be performed at the same time, or at substantially the same time.

[0110] According to this example, block 1507 involves obtaining, by the control system, a set of background image data corresponding to the force. In some examples, the set of background image data may be a previously-obtained set of background image data that had been stored in a memory accessible by the control system. According to some examples, block 1507 may involve selecting the set of background image data from a plurality of background image data sets. In some examples, one or more background image data sets of the plurality of background image data sets may have been obtained during a factory calibration process. According to some examples, one or more background image data sets of the plurality of background image data sets may have been obtained during a previous authentication process involving the fingerprint sensor, or captured during an initial enrollment process.

[0111] In some examples, block 1507-or another block of method 1500-may involve a process of interpolating between values of a first set of background image data and values of a second set of background image data. The first set of background image data may correspond to a first force and the second set of background image data may correspond to a second force.

[0112] In some examples, method 1500 may involve optimizing a function based, at least in part, on the set of background image data and the fingerprint image data. According to some examples, the function may be based on the fingerprint image data and on multiple sets of background image data.

[0113] According to this example, block 1509 involves determining, by the control system, processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data. Block 1509 may involve any of the linear or non-linear background removal processes disclosed herein, or similar processes. In some examples, block 1509 may involve subtracting the set of background image data from the fingerprint image data. In some examples, determining the processed fingerprint image data may involve providing the fingerprint image data and the set of background image data to a trained neural network implemented by the control system.

[0114] In this example, block 1511 involves outputting the processed fingerprint image data. According to some examples, the processed fingerprint image data may be used for a fingerprint authentication process.

[0115] In some examples, the fingerprint image data may be obtained from an ultrasonic fingerprint sensor. In some such examples, method 1500 may involve obtaining multiple sets of fingerprint image data from the fingerprint sensor, each set of fingerprint image data corresponding to a different range gate delay. In some such examples, method 1500 may involve determining the processed fingerprint image data based, in part, on at least one set of fingerprint image data from the multiple sets of fingerprint image data.

[0116] In some examples, method 1500 may involve estimating residual noise in the set of background image data. In some such examples, method 1500 may involve determining second processed fingerprint image data based, at least in part, on the processed fingerprint image data and a residual noise estimate. In some examples, estimating the residual noise may be based, at least in part, on the force data. According to some examples, estimating the residual noise may providing the fingerprint image data and noise data to the trained neural network implemented by the control system.

[0117] In some examples, the noise data may correspond to a structure within, or proximate, the fingerprint sensor. According to some examples, the noise data may correspond to a structure within, or proximate, a particular area of the fingerprint sensor. In some examples, the noise data may correspond to a patterned backing layer of, or proximate, the fingerprint sensor.

[0118] Figures 16A, 16B, 16C and 16D show examples of force sensors that are integrated into the circuitry of ultrasonic fingerprint sensors. The implementations shown in Figures 16A, 16B, 16C and 16D are examples of the combined force sensor 116 and ultrasonic fingerprint sensor 102 that is shown in Figure 2B. Figure 16A shows a cross-section through one example of a metal–oxide–semiconductor field-effect transistor (MOSFET) , which is a complementary metal–oxide–semiconductor (CMOS) in this example. In Figure 16A, only a single n-type thin-film transistor (NTFT) and a single p-type TFT (PTFT) are shown. However, an actual ultrasonic fingerprint sensor having this type of structure would normally have many NTFT / PTFT pairs (for example, tens of thousands of NTFT / PTFT pairs) .

[0119] Depending on the particular implementation, portions of different conductive layers of the stack shown in Figure 16A may be used for a pressure sensor. In some examples, a portion of the pixel electrode layer may be used for the pressure sensor. In other examples, a portion of the source / drain (S / D) electrode layer may be used for the pressure sensor. According to some implementations, a portion of the gate electrode layer may be used for the pressure sensor. In some examples, a portion of the polycrystalline silicon (poly-Si) layer may be used for the pressure sensor. In some implementations, the poly-Si layer may include low-temperature polycrystalline silicon (LTPS) .

[0120] Figure 16B shows an example of a top view of an ultrasonic fingerprint sensor. In this example, the sensor pixel array and the sensor periphery driver each include multiple instances of a CMOS such as that shown in Figure 16A. In this instance, a portion of the pixel electrode layer is configured to be used as a conductive part of a pressure sensor. According to this implementation, pin 1, pin 2 and the connected portions 1603 of the pixel electrode layer are configured as a pressure sensor electrode. In this example the other pins, which are labeled in Figure 16A as “sensor operation pins to ASIC, ” may be used to connect the ultrasonic fingerprint sensor to a corresponding part of the control system. The control system may or may not include an ASIC depending on the particular implementation. According to some examples, the pressure sensor may also include a portion of one or more layers of piezoelectric material included in the ultrasonic fingerprint sensor.

[0121] Figure 16C shows a perspective view of the ultrasonic fingerprint sensor shown in Figure 16B. Figure 16C also shows cross-section line A / A’, which corresponds with the cross-section shown in Figure 16D.

[0122] Figure 16D is a simplified cross-section through the ultrasonic fingerprint sensor shown in Figure 16C. Like Figure 16A, the example of Figure 16D only shows a single NTFT / PTFT pair, whereas an actual ultrasonic fingerprint sensor having this type of structure would normally have many NTFT / PTFT pairs. The cross-section line A / A’ is shown traversing the pixel electrode layer and includes the pixel electrodes and the pressure sensor electrodes in this example. Alternative examples in which a portion of a deeper layer (such as a portion of the source / drain (S / D) electrode layer, a portion of the gate electrode layer or a portion of the poly-Si layer) is used to form the pressure sensor electrodes, the device may include vias to connect the deeper layers to a chip pin or other corresponding part of the control system.

[0123] Implementation examples are described in the following numbered clauses:

[0124] 1. A method of processing fingerprint image data, the method involving: receiving, by a control system, fingerprint image data from a fingerprint sensor; obtaining, by the control system, force data corresponding to a force applied to the fingerprint sensor; obtaining, by the control system, a set of background image data corresponding to the force; determining, by the control system, processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data; and outputting the processed fingerprint image data.

[0125] 2. The method of clause 1, where obtaining the set of background image data corresponding to the force involves selecting the set of background image data from a plurality of background image data sets.

[0126] 3. The method of clause 2, where one or more background image data sets of the plurality of background image data sets were obtained during a factory calibration process.

[0127] 4. The method of clause 2 or clause 3, where one or more background image data sets of the plurality of background image data sets were obtained during a previous authentication process involving the fingerprint sensor, or captured during an initial enrollment process.

[0128] 5. The method of any one of clauses 1–4, where obtaining the set of background image data corresponding to the force involves interpolating between values of a first set of background image data and values of a second set of background image data.

[0129] 6. The method of clause 5, where the first set of background image data corresponds to a first force and the second set of background image data corresponds to a second force.

[0130] 7. The method of any one of clauses 1–6, where determining the processed fingerprint image data involves subtracting the set of background image data from the fingerprint image data.

[0131] 8. The method of any one of clauses 1–7, where determining the processed fingerprint image data involves optimizing a function based, at least in part, on the set of background image data and the fingerprint image data.

[0132] 9. The method of clause 8, where the function is based on the fingerprint image data and on multiple sets of background image data, including the set of background image data.

[0133] 10. The method of any one of clauses 1–9, where determining the processed fingerprint image data involves providing the fingerprint image data and the set of background image data to a trained neural network implemented by the control system.

[0134] 11. The method of clause 10, where the fingerprint image data is obtained from an ultrasonic fingerprint sensor, further involving: obtaining multiple sets of fingerprint image data from the fingerprint sensor, each set of fingerprint image data corresponding to a different range gate delay; and determining the processed fingerprint image data based, in part, on at least one set of fingerprint image data from the multiple sets of fingerprint image data.

[0135] 12. The method of clause 10 or clause 11, further involving estimating residual noise in the set of background image data.

[0136] 13. The method of clause 12, further involving determining second processed fingerprint image data based, at least in part, on the processed fingerprint image data and a residual noise estimate.

[0137] 14. The method of clause 12 or clause 13, where estimating the residual noise is based, at least in part, on the force data.

[0138] 15. The method of any one of clauses 12–14, where estimating the residual noise involves providing the fingerprint image data and noise data to the trained neural network implemented by the control system.

[0139] 16. The method of clause 15, where the noise data corresponds to a structure within, or proximate, the fingerprint sensor.

[0140] 17. The method of clause 16, where the noise data corresponds to a structure within, or proximate, a particular area of the fingerprint sensor.

[0141] 18. The method of clause 16 or clause 17, where the structure corresponds to a patterned backing layer of, or proximate, the fingerprint sensor.

[0142] 19. An apparatus, including: a fingerprint sensor; and a control system electrically connected to the fingerprint sensor, the control system being configured to: receive fingerprint image data from the fingerprint sensor; obtain force data corresponding to a force applied to the fingerprint sensor; obtain a set of background image data corresponding to the force; determine processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data; and output the processed fingerprint image data.

[0143] 20. The apparatus of clause 19, where obtaining the set of background image data corresponding to the force involves selecting the set of background image data from a plurality of background image data sets obtained during a factory calibration process, obtained during a previous authentication process involving the fingerprint sensor, or captured during an enrollment process.

[0144] 21. The apparatus of clause 20, where obtaining the set of background image data corresponding to the force involves interpolating between values of a first set of background image data and values of a second set of background image data, where the first set of background image data corresponds to a first force and the second set of background image data corresponds to a second force.

[0145] 22. The apparatus of any one of clauses 19–21, where determining the processed fingerprint image data involves subtracting the set of background image data from the fingerprint image data.

[0146] 23. The apparatus of any one of clauses 19–22, where determining the processed fingerprint image data involves optimizing a function based, at least in part, on the set of background image data and the fingerprint image data, where the function is based on the fingerprint image data and on multiple sets of background image data, including the set of background image data.

[0147] 24. The apparatus of any one of clauses 19–23, where determining the processed fingerprint image data involves providing the fingerprint image data and the set of background image data to a trained neural network implemented by the control system.

[0148] 25. The apparatus of any one of clauses 19–24, where the fingerprint image data is obtained from an ultrasonic fingerprint sensor and where the control system is further configured to: obtain multiple sets of fingerprint image data from the fingerprint sensor, each  set of fingerprint image data corresponding to a different range gate delay; and determine the processed fingerprint image data based, in part, on at least one set of fingerprint image data from the multiple sets of fingerprint image data.

[0149] 26. The apparatus of any one of clauses 19–25, where the control system is further configured to estimate residual noise in the set of background image data based, at least in part, on the force data and on noise data.

[0150] 27. The apparatus of clause 26, further including a patterned backing layer proximate the fingerprint sensor, where the noise data corresponds to at least a portion of the patterned backing layer.

[0151] 28. An apparatus, including: a fingerprint sensor; and control means for: receiving fingerprint image data from the fingerprint sensor; obtaining force data corresponding to a force applied to the fingerprint sensor; obtaining a set of background image data corresponding to the force; determining processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data; and outputting the processed fingerprint image data.

[0152] 29. The apparatus of clause 28, where obtaining the set of background image data corresponding to the force involves selecting the set of background image data from a plurality of background image data sets obtained during a factory calibration process, obtained during a previous authentication process involving the fingerprint sensor, or captured during an enrollment process.

[0153] 30. The apparatus of clause 28 or clause 29, where obtaining the set of background image data corresponding to the force involves interpolating between values of a first set of background image data and values of a second set of background image data, where the first set of background image data corresponds to a first force and the second set of background image data corresponds to a second force.

[0154] As used herein, a phrase referring to “at least one of” a list of items refers to any combination of those items, including single members. As an example, “at least one of: a, b, or c” is intended to cover: a, b, c, a-b, a-c, b-c, and a-b-c.

[0155] The various illustrative logics, logical blocks, modules, circuits and algorithm processes described in connection with the implementations disclosed herein may be implemented as electronic hardware, computer software, or combinations of both. The interchangeability of hardware and software has been described generally, in terms of functionality, and illustrated in the various illustrative components, blocks, modules, circuits and processes described above. Whether such functionality is implemented in hardware or software depends upon the particular application and design constraints imposed on the overall system.

[0156] The hardware and data processing apparatus used to implement the various illustrative logics, logical blocks, modules and circuits described in connection with the aspects disclosed herein may be implemented or performed with a general purpose single-or multi-chip processor, a digital signal processor (DSP) , an application specific integrated circuit (ASIC) , a field programmable gate array (FPGA) or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or any combination thereof designed to perform the functions described herein. A general purpose processor may be a microprocessor, or, any conventional processor, controller, microcontroller, or state machine. A processor also may be implemented as a combination of computing devices, e.g., a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in conjunction with a DSP core, or any other such configuration. In some implementations, particular processes and methods may be performed by circuitry that is specific to a given function.

[0157] In one or more aspects, the functions described may be implemented in hardware, digital electronic circuitry, computer software, firmware, including the structures disclosed in this specification and their structural equivalents thereof, or in any combination thereof. Implementations of the subject matter described in this specification also may be implemented as one or more computer programs, i.e., one or more modules of computer program instructions, encoded on a computer storage media for execution by, or to control the operation of, data processing apparatus.

[0158] If implemented in software, the functions may be stored on or transmitted over as one or more instructions or code on a computer-readable medium, such as a non-transitory medium. The processes of a method or algorithm disclosed herein may be implemented in a processor-executable software module which may reside on a computer-readable medium. Computer-readable media include both computer storage media and communication media including any  medium that may be enabled to transfer a computer program from one place to another. Storage media may be any available media that may be accessed by a computer. By way of example, and not limitation, non-transitory media may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or any other medium that may be used to store desired program code in the form of instructions or data structures and that may be accessed by a computer. Also, any connection may be properly termed a computer-readable medium. Disk and disc, as used herein, includes compact disc (CD) , laser disc, optical disc, digital versatile disc (DVD) , floppy disk, and Blu-ray disc where disks usually reproduce data magnetically, while discs reproduce data optically with lasers. Combinations of the above should also be included within the scope of computer-readable media. Additionally, the operations of a method or algorithm may reside as one or any combination or set of codes and instructions on a machine readable medium and computer-readable medium, which may be incorporated into a computer program product.

[0159] Various modifications to the implementations described in this disclosure may be readily apparent to those having ordinary skill in the art, and the generic principles defined herein may be applied to other implementations without departing from the scope of this disclosure. Thus, the disclosure is not intended to be limited to the implementations shown herein, but is to be accorded the widest scope consistent with the claims, the principles and the novel features disclosed herein. The word “exemplary” is used exclusively herein, if at all, to mean “serving as an example, instance, or illustration. ” Any implementation described herein as “exemplary” is not necessarily to be construed as preferred or advantageous over other implementations.

[0160] Certain features that are described in this specification in the context of separate implementations also may be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation also may be implemented in multiple implementations separately or in any suitable subcombination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination may in some cases be excised from the combination, and the claimed combination may be directed to a subcombination or variation of a subcombination.

[0161] Similarly, while operations are depicted in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown  or in sequential order, or that all illustrated operations be performed, to achieve desirable results. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of various system components in the implementations described above should not be understood as requiring such separation in all implementations, and it should be understood that the described program components and systems may generally be integrated together in a single software product or packaged into multiple software products. Additionally, other implementations are within the scope of the following claims. In some cases, the actions recited in the claims may be performed in a different order and still achieve desirable results.

[0162] It will be understood that unless features in any of the particular described implementations are expressly identified as incompatible with one another or the surrounding context implies that they are mutually exclusive and not readily combinable in a complementary and / or supportive sense, the totality of this disclosure contemplates and envisions that specific features of those complementary implementations may be selectively combined to provide one or more comprehensive, but slightly different, technical solutions. It will therefore be further appreciated that the above description has been given by way of example only and that modifications in detail may be made within the scope of this disclosure.

Claims

1.A method of processing fingerprint image data, the method comprising:receiving, by a control system, fingerprint image data from a fingerprint sensor;obtaining, by the control system, force data corresponding to a force applied to the fingerprint sensor;obtaining, by the control system, a set of background image data corresponding to the force;determining, by the control system, processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data; andoutputting the processed fingerprint image data.2.The method of claim 1, wherein obtaining the set of background image data corresponding to the force involves selecting the set of background image data from a plurality of background image data sets.3.The method of claim 2, wherein one or more background image data sets of the plurality of background image data sets were obtained during a factory calibration process.4.The method of claim 2, wherein one or more background image data sets of the plurality of background image data sets were obtained during a previous authentication process involving the fingerprint sensor, or captured during an initial enrollment process.5.The method of claim 1, wherein obtaining the set of background image data corresponding to the force involves interpolating between values of a first set of background image data and values of a second set of background image data.6.The method of claim 5, wherein the first set of background image data corresponds to a first force and the second set of background image data corresponds to a second force.7.The method of claim 1, wherein determining the processed fingerprint image data involves subtracting the set of background image data from the fingerprint image data.8.The method of claim 1, wherein determining the processed fingerprint image data involves optimizing a function based, at least in part, on the set of background image data and the fingerprint image data.9.The method of claim 8, wherein the function is based on the fingerprint image data and on multiple sets of background image data, including the set of background image data.10.The method of claim 1, wherein determining the processed fingerprint image data involves providing the fingerprint image data and the set of background image data to a trained neural network implemented by the control system.11.The method of claim 10, wherein the fingerprint image data is obtained from an ultrasonic fingerprint sensor, further comprising:obtaining multiple sets of fingerprint image data from the fingerprint sensor, each set of fingerprint image data corresponding to a different range gate delay; anddetermining the processed fingerprint image data based, in part, on at least one set of fingerprint image data from the multiple sets of fingerprint image data.12.The method of claim 10, further comprising estimating residual noise in the set of background image data.13.The method of claim 12, further comprising determining second processed fingerprint image data based, at least in part, on the processed fingerprint image data and a residual noise estimate.14.The method of claim 12, wherein estimating the residual noise is based, at least in part, on the force data.15.The method of claim 12, wherein estimating the residual noise involves providing the fingerprint image data and noise data to the trained neural network implemented by the control system.16.The method of claim 15, wherein the noise data corresponds to a structure within, or proximate, the fingerprint sensor.17.The method of claim 16, wherein the noise data corresponds to a structure within, or proximate, a particular area of the fingerprint sensor.18.The method of claim 16, wherein the structure corresponds to a patterned backing layer of, or proximate, the fingerprint sensor.19.An apparatus, comprising:a fingerprint sensor; anda control system electrically connected to the fingerprint sensor, the control system being configured to:receive fingerprint image data from the fingerprint sensor;obtain force data corresponding to a force applied to the fingerprint sensor;obtain a set of background image data corresponding to the force;determine processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data; andoutput the processed fingerprint image data.20.The apparatus of claim 19, wherein obtaining the set of background image data corresponding to the force involves selecting the set of background image data from a plurality of background image data sets obtained during a factory calibration process, obtained during a previous authentication process involving the fingerprint sensor, or captured during an enrollment process.21.The apparatus of claim 20, wherein obtaining the set of background image data corresponding to the force involves interpolating between values of a first set of background image data and values of a second set of background image data, wherein the first set of background image data corresponds to a first force and the second set of background image data corresponds to a second force.22.The apparatus of claim 19, wherein determining the processed fingerprint image data involves subtracting the set of background image data from the fingerprint image data.23.The apparatus of claim 19, wherein determining the processed fingerprint image data involves optimizing a function based, at least in part, on the set of background image data and the fingerprint image data, wherein the function is based on the fingerprint image data and on multiple sets of background image data, including the set of background image data.24.The apparatus of claim 19, wherein determining the processed fingerprint image data involves providing the fingerprint image data and the set of background image data to a trained neural network implemented by the control system.25.The apparatus of claim 19, wherein the fingerprint image data is obtained from an ultrasonic fingerprint sensor and wherein the control system is further configured to:obtain multiple sets of fingerprint image data from the fingerprint sensor, each set of fingerprint image data corresponding to a different range gate delay; anddetermine the processed fingerprint image data based, in part, on at least one set of fingerprint image data from the multiple sets of fingerprint image data.26.The apparatus of claim 19, wherein the control system is further configured to estimate residual noise in the set of background image data based, at least in part, on the force data and on noise data.27.The apparatus of claim 26, further comprising a patterned backing layer proximate the fingerprint sensor, wherein the noise data corresponds to at least a portion of the patterned backing layer.28.An apparatus, comprising:a fingerprint sensor; andcontrol means for:receiving fingerprint image data from the fingerprint sensor;obtaining force data corresponding to a force applied to the fingerprint sensor;obtaining a set of background image data corresponding to the force;determining processed fingerprint image data based, at least in part, on the set of background image data and the fingerprint image data; andoutputting the processed fingerprint image data.29.The apparatus of claim 28, wherein obtaining the set of background image data corresponding to the force involves selecting the set of background image data from a plurality of background image data sets obtained during a factory calibration process, obtained during a previous authentication process involving the fingerprint sensor, or captured during an enrollment process.30.The apparatus of claim 28, wherein obtaining the set of background image data corresponding to the force involves interpolating between values of a first set of background image data and values of a second set of background image data, wherein the first set of background image data corresponds to a first force and the second set of background image data corresponds to a second force.

Images