Systems, apparatuses, methods, and non-transitory computer-readable storage media for smart glasses with biometric authentication and task completion

Abstract

A wearable vision apparatus has a frame, at least one see-through area on the frame, and one or more first sensors for fingerprint detection. In some embodiments, a method uses the wearable vision apparatus, the method has the steps of: receiving a command from a user to start a task, obtaining one or more fingerprints using the one or more first sensors, authenticating the user based on the one or more fingerprints, detecting a predefined or predetermined gesture from the user, and performing the task.

Description

SYSTEMS, APPARATUSES, METHODS, AND NON-TRANSITORY COMPUTER-READABLE STORAGE MEDIA FOR SMART GLASSES WITH BIOMETRIC AUTHENTICATION AND TASK COMPLETION

[0001] FIELD OF THE DISCLOSURE

[0002] The present disclosure relates generally to systems, apparatuses, methods, and computer-readable storage media for smart glasses, and in particular to systems, apparatuses, methods, and computer-readable storage media for smart glasses with biometric authentication and task completion.BACKGROUND

[0003] Smart glasses are known. As large language models (LLMs) are increasingly integrating with smart glasses, they unlock more independent and ubiquitous functionality on smart glasses, such as access to bank account, private information, and social media accounts. More specifically, making an online order placement, e-transferring money to a bank account, or skimming through a social media account will be possible by only communicating through voice with smart assistant through smart glasses.

[0004] As a result, ensuring privacy and security on devices connected to voice assistant is highly important, to refuse unauthorized access. Therefore, having a reliable means of biometric authentication on smart glasses enables fast and secure task completion through smart glasses for sensitive tasks, without requesting authentication by a second device, such as smart phone.SUMMARY

[0005] According to one aspect of this disclosure, there is provided a wearable vision apparatus comprising: a frame; at least one see-through area on the frame; and one or more first sensors for fingerprint detection.

[0006] In some embodiments, the wearable vision apparatus comprises: one or more second sensors for detecting one or more gestures.

[0007] In some embodiments, the one or more second sensors comprise the one or more first sensors.

[0008] In some embodiments, the one or more second sensors comprise one or more first imaging components, one or more touch sensors, one or more inertial measurement units (IMUs) , or a combination thereof.

[0009] According to one aspect of this disclosure, there is provided a method using the above-described wearable vision apparatus, the method comprising: receiving a command from a user to start a task; obtaining one or more fingerprints using the one or more first sensors; authenticating the user based on the one or more fingerprints; detecting a predefined or predetermined gesture from the user; and performing the task.

[0010] In some embodiments, the wearable vision apparatus comprises one or more microphones; the command is a voice commend; and said receiving the command from the user comprises: receiving from the user the voice command using the microphone.

[0011] In some embodiments, said performing the task comprises: selecting a target device for cross-device interaction; connecting to the target device; and providing authentication of the user to the target device to allow the user to operate the target device.

[0012] In some embodiments, the wearable vision apparatus comprises one or more second imaging components for tracking the user’s gaze movement to identify the target device; and said selecting the target device comprises: selecting the target device based on the user’s gaze movement.

[0013] In some embodiments, said performing the task comprises: selecting a target device of another user for cross-device interaction; connecting to the target device; and communicating with the target device for sharing information.

[0014] In some embodiments, said communicating with the target device for sharing the information comprises: communicating with the target device for sharing the information to complete a secure transaction.

[0015] In some embodiments, said performing the task comprises: receiving from the user a selection of one of a plurality of user profiles; and loading said one of a plurality of user profiles and / or configurations related thereto.

[0016] According to one aspect of this disclosure, there is provided a system comprising: the above-described wearable vision apparatus; one or more non-transitory, computer-readable storage media; and one or more processors functionally connected to the one or more non-transitory, computer-readable storage media and the one or more first sensors; wherein the one or more non-transitory, computer-readable storage media comprising computer-executable instructions; and wherein the instructions, when executed, cause the one or more processors to perform the above-described method.

[0017] In some embodiments, the wearable vision apparatus comprises the one or more non-transitory, computer-readable storage media and the one or more processors.

[0018] According to one aspect of this disclosure, there is provided one or more non-transitory, computer-readable storage media comprising computer-executable instructions, wherein the instructions, when executed, cause one or more processors to perform the above-described method.

[0019] In another aspect, embodiments of this disclosure provide an apparatus, wherein the apparatus comprises a function or unit to perform any of the above-described methods and / or any of the methods disclosed herein.

[0020] In another aspect, embodiments of this disclosure provide a computer readable storage medium, comprising one or more instructions, wherein when the one or more instructions are run on a computer, the computer performs any of the above-described methods and / or any of the methods disclosed herein.

[0021] In another aspect, embodiments of this disclosure provide a non-transitory computer-readable medium storing instruction, the instructions causing a processor in a device to implement any of the above-described methods and / or any of the methods disclosed herein.

[0022] In another aspect, embodiments of this disclosure provide a device configured to perform any of the above-described methods and / or any of the methods disclosed herein.

[0023] In another aspect, embodiments of this disclosure provide a processor, configured to execute instructions to cause a device to perform any of the above-described methods and / or any of the methods disclosed herein.

[0024] In another aspect, embodiments of this disclosure provide an integrated circuit configure to perform any of the above-described methods and / or any of the methods disclosed herein.

[0025] According to one aspect of this disclosure, there is provided a module comprising: one or more circuits for performing any of the above-described methods and / or any of the methods disclosed herein.

[0026] According to one aspect of this disclosure, there is provided one or more processors functionally connected to one or more memories for performing any of the above-described methods and / or any of the methods disclosed herein.

[0027] According to one aspect of this disclosure, there is provided an apparatus comprising: one or more processors functionally connected to one or more memories for performing any of the above-described methods and / or any of the methods disclosed herein.

[0028] According to one aspect of this disclosure, there is provided an apparatus configured to perform any of the above-described methods and / or any of the methods disclosed herein.

[0029] In some embodiments the apparatus comprises one or more units configured to perform any of the above-described methods and / or any of the methods disclosed herein.

[0030] According to one aspect of this disclosure, there is provided one or more non-transitory, computer-readable storage media comprising computer-executable instructions, wherein the instructions, when executed, cause at least one processing unit, at least one processor, or at least one circuits to perform any of the above-described methods and / or any of the methods disclosed herein.

[0031] According to one aspect of this disclosure, there is provided one or more computer-readable storage media storing a computer program, wherein, when the computer program is executed by an apparatus, the apparatus is enabled to implement any of the above-described methods and / or any of the methods disclosed herein.

[0032] According to one aspect of this disclosure, there is provided a computer program product including one or more instructions, wherein, when the instructions are executed by an apparatus, the apparatus is enabled to implement any of the above-described methods and / or any of the methods disclosed herein.

[0033] According to one aspect of this disclosure, there is provided a computer program, wherein, when the computer program is executed by a computer, an apparatus is enabled to implement any of the above-described methods and / or any of the methods disclosed herein.

[0034] According to one aspect of this disclosure, there is provided a system comprising a node for performing any of the above-described methods and / or any of the methods disclosed herein.

[0035] According to one aspect of this disclosure, there is provided an apparatus for implementing any of the above-described methods and / or any of the methods disclosed herein in any possible implementation of the foregoing aspects.

[0036] In various embodiments, the wearable vision device, the system, and the method disclosed herein provide many advantages such as:

[0037] ·enabling seamless and reliable user experience using voice assistants, and applications having access to sensitive information, such as banking accounts, social media, placing orders, and / or the like;

[0038] ·cross-device and cross-user authentication and task completion to access / share sensitive information;

[0039] ·customized user-specific configurations that can be loaded by authentication while sharing smart glasses with a registered user, such as a family member or a friend;

[0040] ·location and / or presence based authentication on-the-go using camera and / or geolocation sensor (such as GPS sensor) on the smart glasses.BRIEF DESCRIPTION OF THE DRAWINGS

[0041] For a more complete understanding of the disclosure, reference is made to the following description and accompanying drawings, in which:

[0042] FIG. 1 is a schematic diagram of a computer network system, according to some embodiments of this disclosure;

[0043] FIG. 2 is a schematic diagram showing a simplified hardware structure of a computing device of the computer network system shown in FIG. 1;

[0044] FIG. 3 is a schematic diagram showing a simplified software architecture of a computing device of the computer network system shown in FIG. 1;

[0045] FIG. 4 is a schematic perspective view of a wearable vision device in the form of smart glasses, according to some embodiments of this disclosure;

[0046] FIG. 5 is a flowchart showing a method performed by the smart glasses shown in FIG. 4 for biometric authentication and / or user detection in a job, according to some embodiments of this disclosure;

[0047] FIGs. 6 and 7 show two examples of the jobs performed by the smart glasses shown in FIG. 4 following the method shown in FIG. 5;

[0048] FIG. 8 is a flowchart showing a method performed by the smart glasses shown in FIG. 4 for performing a job such as cross-device interaction, according to some embodiments of this disclosure;

[0049] FIGs. 9A to 9F show examples of actions performed at various stages of the method shown in FIG. 8;

[0050] FIG. 10 is a flowchart showing a method performed by the smart glasses shown in FIG. 4 for performing secure interpersonal interactions with the smart glasses or devices of another user, according to some embodiments of this disclosure;

[0051] FIG. 11 is a flowchart showing a method for performing a sensitive task on smart glasses shown in FIG. 4, according to some embodiments of this disclosure;

[0052] FIGs. 12A and 12B show an example of performing a sensitive task on smart glasses shown in FIG. 4 following the method shown in FIG. 11;

[0053] FIG. 13 is a flowchart showing a method for automatically loading user profile and logging into the user’s accounts to enable sharing of the smart glasses, according to some embodiments of this disclosure;

[0054] FIGs. 14A and 14B show an example of automatically loading user profile and logging into the user’s accounts using smart glasses shown in FIG. 4 following the method shown in FIG. 13;

[0055] FIG. 15 is a flowchart showing a method for performing cross-device interaction via the smart glasses shown in FIG. 4;

[0056] FIGs. 16A to 16C show an example of using the method shown in FIG. 15; and

[0057] FIG. 17 is a flowchart showing a method for sharing sensitive information or performing sensitive tasks such as sending / receiving money via the smart glasses shown in FIG. 4 between multiple users.DETAILED DESCRIPTION

[0058] Embodiments disclosed herein relate to systems, apparatuses, methods, and computer-readable storage media for smart glasses, and in particular to systems, apparatuses, methods, and computer-readable storage media for smart glasses with biometric authentication and task completion. The systems and apparatuses disclosed herein may comprise suitable modules and / or circuitries for executing various procedures.

[0059] As those skilled in the art understand, a “module” is a term of explanation referring to a hardware structure such as a circuitry implemented using technologies such as electrical and / or optical technologies (and with more specific examples of semiconductors) for performing defined operations or processing. A “module” may alternatively refer to the combination of a hardware structure and a software structure, wherein the hardware structure may be implemented using technologies such as electrical and / or optical technologies (and with more specific examples of semiconductors) in a general manner for performing defined operations or processing according to the software structure in the form of a set of instructions stored in one or more non-transitory, computer-readable storage devices or media.

[0060] As will be described in more detail below, a module may be a part of a device, an apparatus, a system, and / or the like, wherein the module may be coupled to or integrated with other parts of the device, apparatus, or system such that the combination thereof forms the device, apparatus, or system. Alternatively, the module may be implemented as a standalone device or apparatus.

[0061] The module usually executes a procedure for performing a method. Herein, a procedure has a general meaning equivalent to that of a method. More specifically, a procedure is a defined method implemented using hardware components for processing data. A procedure may comprise or use one or more functions for processing data as designed. Herein, a function is a defined sub-procedure or sub-method for computing, calculating, or otherwise processing input data in a defined manner and generating or otherwise producing output data.

[0062] As those skilled in the art will appreciate, a procedure may be implemented as one or more software and / or firmware programs having necessary computer-executable code or instructions and stored in one or more non-transitory computer-readable storage devices or media which may be any volatile and / or non-volatile, non-removable or removable storage devices such as RAM, ROM, EEPROM, solid-state memory devices, hard disks, CDs, DVDs, flash memory devices, and / or the like. A module may read the computer-executable code from the storage devices and execute the computer-executable code to perform the procedure.

[0063] Alternatively, a procedure may be implemented as one or more hardware structures having necessary electrical and / or optical components, circuits, logic gates, integrated circuit (IC) chips, and / or the like.

[0064] A. SYSTEM STRUCTURE

[0065] Turning now to FIG. 1, a computer network system is shown and is generally identified using reference numeral 100. As shown, the computer network system 100 comprises one or more server computers 102, a plurality of client computing devices 104, and one or more wearable vision devices 106 such as smart glasses, all functionally interconnected by a network 108, such as the Internet, a local area network (LAN) , a wide area network (WAN) , a metropolitan area network (MAN) , and / or the like, via suitable wired and wireless networking connections. Each of the one or more wearable vision devices 106 may be worn by a user 110.

[0066] The server computers 102 may be computing devices designed specifically for use as a server, and / or general-purpose computing devices acting server computers while also being used by various users. Each server computer 102 may execute one or more server programs.

[0067] The client computing devices 104 may be portable and / or non-portable computing devices such as laptop computers, tablets, smartphones, Personal Digital Assistants (PDAs) , desktop computers, and / or the like. Each client computing device 104 may execute one or more client application programs which sometimes may be called “apps” .

[0068] Generally, the computing devices 102 and 104 comprise similar hardware structures such as hardware structure shown in FIG. 2. As shown, the computing device 102 / 104 comprises a processing structure 122, a controlling structure 124, one or more non-transitory computer-readable memory or storage devices 126, a network interface 128, an input interface 130, and an output interface 132, functionally interconnected by a system bus 138. The computing device 102 / 104 may also comprise other components 134 coupled to the system bus 138.

[0069] The processing structure 122 may be one or more single-core or multiple-core computing processors, generally referred to as central processing units (CPUs) , such as microprocessors (INTEL is a registered trademark of Intel Corp., Santa Clara, CA, USA) ,  microprocessors (AMD is a registered trademark of Advanced Micro Devices Inc., Sunnyvale, CA, USA) ,  microprocessors (ARM is a registered trademark of Arm Ltd., Cambridge, UK) manufactured by a variety of manufactures such as Qualcomm of San Diego, California, USA, under the architecture, NVIDIA processor, or the like. When the processing structure 122 comprises a plurality of processors, the processors thereof may collaborate via a specialized circuit such as a specialized bus or via the system bus 138.

[0070] The processing structure 122 may also comprise one or more real-time processors, programmable logic controllers (PLCs) , microcontroller units (MCUs) , μ-controllers (UCs) , specialized / customized processors, hardware accelerators, and / or controlling circuits (also denoted “controllers” ) using, for example, field-programmable gate array (FPGA) or application-specific integrated circuit (ASIC) technologies, and / or the like. In some embodiments, the processing structure includes a CPU (otherwise referred to as a host processor) and a specialized hardware accelerator which includes circuitry configured to perform computations of neural networks such as tensor multiplication, matrix multiplication, and the like. The host processor may offload some computations to the hardware accelerator to perform computation operations of neural network. Examples of a hardware accelerator include a graphics processing unit (GPU) , Neural Processing Unit (NPU) , and Tensor Process Unit (TPU) . In some embodiments, the host processors and the hardware accelerators (such as the GPUs, NPUs, and / or TPUs) may be generally considered processors.

[0071] Generally, the processing structure 122 comprises necessary circuitries implemented using technologies such as electrical and / or optical hardware components for executing one or more processes, as the design purpose and / or the use case maybe. For example, the processing structure 122 may comprise logic gates implemented by semiconductors to perform various computations, calculations, and / or processings. Examples of logic gates include AND gate, OR gate, XOR (exclusive OR) gate, and NOT gate, each of which takes one or more inputs and generates or otherwise produces an output therefrom based on the logic implemented therein. For example, a NOT gate receives an input (for example, a high voltage, a state with electrical current, a state with an emitted light, or the like) , inverts the input (for example, forming a low voltage, a state with no electrical current, a state with no light, or the like) , and output the inverted input as the output.

[0072] While the inputs and outputs of the logic gates are generally physical signals and the logics or processing thereof are tangible operations with physical results (for example, outputs of physical signals) , the inputs and outputs thereof are generally described using numerals (for example, numerals “0” and “1” ) and the operations thereof are generally described as “computing” (which is how the “computer” or “computing device” is named) or “calculation” , or more generally, “processing” , for generating or producing the outputs from the inputs thereof.

[0073] Sophisticated combinations of logic gates in the form of a circuitry of logic gates, such as the processing structure 122, may be formed using a plurality of AND, OR, XOR, and / or NOT gates. Such combinations of logic gates may be implemented using individual semiconductors, or more often be implemented as integrated circuits (ICs) .

[0074] A circuitry of logic gates may be “hard-wired” circuitry which, once designed, may only perform the designed functions. In this example, the processes and functions thereof are “hard-coded” in the circuitry.

[0075] With the advance of technologies, it is often that a circuitry of logic gates such as the processing structure 122 may be alternatively designed in a general manner so that it may perform various processes and functions according to a set of “programmed” instructions implemented as firmware and / or software and stored in one or more non-transitory computer-readable storage devices or media. In this example, the circuitry of logic gates such as the processing structure 122 is usually of no use without meaningful firmware and / or software.

[0076] Of course, those skilled the art will appreciate that a process or a function (and thus the processor 102) may be implemented using other technologies such as analog technologies.

[0077] Referring back to FIG. 2, the controlling structure 124 comprises one or more controlling circuits, such as graphic controllers, input / output chipsets and the like, for coordinating operations of various hardware components and modules of the computing device 102 / 104.

[0078] The memory 126 comprises one or more storage devices or media accessible by the processing structure 122 and the controlling structure 124 for reading and / or storing instructions for the processing structure 122 to execute, and for reading and / or storing data, including input data and data generated by the processing structure 122 and the controlling structure 124. The memory 126 may be volatile and / or non-volatile, non-removable or removable memory such as RAM, ROM, EEPROM, solid-state memory, hard disks, CD, DVD, flash memory, or the like.

[0079] The network interface 128 comprises one or more network modules for connecting to other computing devices or networks through the network 108 by using suitable wired or wireless communication technologies such as Ethernet,   (WI-FI is a registered trademark of Wi-Fi Alliance, Austin, TX, USA) ,   (BLUETOOTH is a registered trademark of Bluetooth Sig Inc., Kirkland, WA, USA) , Bluetooth Low Energy (BLE) , Z-Wave, Long Range (LoRa) ,   (ZIGBEE is a registered trademark of ZigBee Alliance Corp., San Ramon, CA, USA) , wireless broadband communication technologies such as Global System for Mobile Communications (GSM) , Code Division Multiple Access (CDMA) , Universal Mobile Telecommunications System (UMTS) , Worldwide Interoperability for Microwave Access (WiMAX) , CDMA2000, Long Term Evolution (LTE) , 3GPP, fifth-generation New Radio (5G NR) and / or other 5G networks, fifth-generation (6G) networks, and / or the like. In some embodiments, parallel ports, serial ports, USB connections, optical connections, or the like may also be used for connecting other computing devices or networks although they are usually considered as input / output interfaces for connecting input / output devices.

[0080] The input interface 130 comprises one or more input modules for one or more users to input data via, for example, touch-sensitive screen, touch-sensitive whiteboard, touch-pad, keyboards, computer mouse, trackball, microphone, scanners, cameras, and / or the like. The input interface 130 may be a physically integrated part of the computing device 102 / 104 (for example, the touch-pad of a laptop computer or the touch-sensitive screen of a tablet) , or may be a device physically separate from, but functionally coupled to, other components of the computing device 102 / 104 (for example, a computer mouse) . The input interface 130, in some implementation, may be integrated with a display output to form a touch-sensitive screen or touch-sensitive whiteboard.

[0081] The output interface 132 comprises one or more output modules for output data to a user. Examples of the output modules comprise displays (such as monitors, LCD displays, LED displays, projectors, and the like) , speakers, printers, virtual reality (VR) headsets, augmented reality (AR) goggles, and / or the like. The output interface 132 may be a physically integrated part of the computing device 102 / 104 (for example, the display of a laptop computer or tablet) , or may be a device physically separate from but functionally coupled to other components of the computing device 102 / 104 (for example, the monitor of a desktop computer) .

[0082] The computing device 102 / 104 may also comprise other components 134 such as one or more positioning modules, temperature sensors, barometers, inertial measurement unit (IMU) , and / or the like.

[0083] The system bus 138 interconnects various components 122 to 134 enabling them to transmit and receive data and control signals to and from each other.

[0084] FIG. 3 shows a simplified software architecture of the computing device 102 or 104. On the software side, the computing device 102 or 104 comprises one or more application programs 164, an operating system 166, a logical input / output (I / O) interface 168, and a logical memory 172. The one or more application programs 164, operating system 166, and logical I / O interface 168 are generally implemented as computer-executable instructions or code in the form of software programs or firmware programs stored in the logical memory 172 which may be executed by the processing structure 122.

[0085] The one or more application programs 164 executed by or run by the processing structure 122 for performing various tasks.

[0086] The operating system 166 manages various hardware components of the computing device 102 or 104 via the logical I / O interface 168, manages the logical memory 172, and manages and supports the application programs 164. The operating system 166 is also in communication with other computing devices (not shown) via the network 108 to allow application programs 164 to communicate with those running on other computing devices. As those skilled in the art will appreciate, the operating system 166 may be any suitable operating system such as   (MICROSOFT and WINDOWS are registered trademarks of the Microsoft Corp., Redmond, WA, USA) ,  OS X,  iOS (APPLE is a registered trademark of Apple Inc., Cupertino, CA, USA) , Linux,   (ANDROID is a registered trademark of Google LLC, Mountain View, CA, USA) , or the like. The computing devices 102 and 104 may all have the same operating system, or may have different operating systems.

[0087] The logical I / O interface 168 comprises one or more device drivers 170 for communicating with respective input and output interfaces 130 and 132 for receiving data therefrom and sending data thereto. Received data may be sent to the one or more application programs 164 for being processed by one or more application programs 164. Data generated by the application programs 164 may be sent to the logical I / O interface 168 for outputting to various output devices (via the output interface 132) .

[0088] The logical memory 172 is a logical mapping of the physical memory 126 for facilitating the application programs 164 to access. In this embodiment, the logical memory 172 comprises a storage memory area that may be mapped to a non-volatile physical memory such as hard disks, solid-state disks, flash drives, and the like, generally for long-term data storage therein. The logical memory 172 also comprises a working memory area that is generally mapped to high-speed, and in some implementations volatile, physical memory such as RAM, generally for application programs 164 to temporarily store data during program execution. For example, an application program 164 may load data from the storage memory area into the working memory area, and may store data generated during its execution into the working memory area. The application program 164 may also store some data into the storage memory area as required or in response to a user’s command.

[0089] In a server computer 102, the one or more application programs 164 generally provide server functions for managing network communication with client computing devices 104 and facilitating collaboration between the server computer 102 and the client computing devices 104. Herein, the term “server” may refer to a server computer 102 from a hardware point of view or a logical server from a software point of view, depending on the context.

[0090] As described above, the processing structure 122 is usually of no use without meaningful firmware and / or software. Similarly, while a computer system such as the computer network system 100 may have the potential to perform various tasks, it cannot perform any tasks and is of no use without meaningful firmware and / or software. As will be described in more detail later, the computer network system 100 described herein and the modules, circuitries, and components thereof, as a combination of hardware and software, generally produces tangible results tied to the physical world, wherein the tangible results such as those described herein may lead to improvements to the computer devices and systems themselves, the modules, circuitries, and components thereof, and / or the like.

[0091] The wearable vision device 106 is generally a computing device having a hardware structure as shown in FIG. 2, and a software structure as shown in FIG. 3. The detail of the wearable vision device 106 will be described later.

[0092] B. BIOMETRIC AUTHENTICATION AND TASK COMPLETION

[0093] A vast majority of the existing methods for biometric authentication on smart glasses rely on utilizing the existing sensors on the smart glasses to perform the authentication task, including microphones and motion sensors. For example, acoustic sensing (such as infrasonic, audible range, and / or ultrasonic sensing) and well as voice-print detection are used to extract either physical-shape related features from user’s head / face, or voice-specific patterns. Furthermore, behavioral motion-based gestures are also exploited to extract user-specific behavioral gestures (mostly related to head movements) . There are also some solutions attempting to combine acoustic sensing, voice-prints and motion gestures to benefit from the advantages of different modalities in order to improve the authentication performance.

[0094] There are also some explorations regarding deployment of special cameras in front of eye in order to perform iris / retina-based authentication.

[0095] In prior art, several potential authentication technologies have been proposed or implemented on smart glasses. For example, iris recognition may be used which exploits an infrared light-emitting diode (LED) illuminator and an infrared (IR) camera to capture personalized iris pattern of the user. Similar technology can also be used to capture unique retina patterns.

[0096] GlassGuard achieves authentication by combining touch behavioral biometrics and voice. More specifically, GlassGuard discriminates the legitimate user from unauthorized ones with six touch gestures together with voice commands. In prior art, behavioral biometrics in the form of head motions captured by motion sensor of the smart glasses is used to perform authentication. SoundLock utilizes pupillary responses captured by an integrated eye tracker, generated by applying auditory stimuli to user’s ear. C-Auth explores the feasibility of captured facial (nose and cheeks) contours using a downward-facing camera mounted on the nose bridge of the smart glasses. Through-skull sound conduction for biometric authentication is also used, which captures user-specific facial features by capturing the reflection of a played probing sound from smart glasses speakers, through microphones places in different locations of the glasses frame.

[0097] Despite the above-mentioned solutions for biometric authentication on smart glasses, no dedicated biometric authentication sensor is used on smart glasses, and authentication purely relies on the device to which the smart glasses are paired with, such as smart phones. For example, Meta Wayfarer smart glasses are enabled by logging into a user account on a smartphone, and pairing the smart glasses through a user account.

[0098] Thus, the prior-art solutions for biometric authentication on smart glasses lack one or multiple advantageous factors such as:

[0099] ·Distinctiveness: Extracted user-specific features of a biometric authentication technology need to be unique and distinctive over a large group of people.

[0100] ·Reliability: biometric authentication has to be extremely reliable in order to enable sensitive task completion on smart glasses.

[0101] ·Unobtrusive: The authentication technology needs to be unobtrusive or maintain a minimum user engagement while being performed.

[0102] ·Suitability: The authentication technology must meet size, weight, and comfort requirements of smart glasses in order to be a suitable candidate for deployment of the smart glasses.

[0103] FIG. 4 is a schematic perspective view of a wearable vision device 106 in the form of smart glasses, according to some embodiments of this disclosure. As shown, the smart glasses comprise a frame 202 mounted thereon at least one see-through area 204 (which may or may have a lens depending on the implementation) and a computing device or computing module 206. The computing module 206 generally has a hardware structure as shown in FIG. 2 and comprises one or more imaging components 208 such as a camera as an input module of the input interface 130 for capturing images and / or videos, and one or more biometric readers 210 such as a fingerprint sensor (also called “fingerprint scanner” ) as another input module of the input interface 130 for authentication.

[0104] In various embodiments, the wearable vision device 106 may also comprise other components such as a network interface 128 for connecting to the network 108, a microphone for capturing sound, a speaker for playing audio to the user 110, a projecting or display component for displaying images or video to the user 110, and / or the like.

[0105] In various embodiments, the fingerprint scanner 210 may be coupled to any suitable location of the smart glasses 106. For example, in some embodiments, the fingerprint scanner 210 may be coupled to the frame 202 (such as the temple and / or a leg) of the smart glasses 106. In some other embodiments, fingerprint scanner 210 may be an optical or ultrasonic scanner, and may be coupled to the lens 204 of the smart glasses 106.

[0106] As those skilled in the art understand, fingerprint scanners, specifically optical and ultrasonic ones, are reliable, fast and yet cheap components for reading biometrics (for example, typically false positive less than one (1) in 50,000 trials) . Therefore, a smart glass 106 with one or more fingerprint scanners 210 may provide reliable, fast and yet cheap methods of biometric authentication.

[0107] In some embodiments, the smart glasses 106 may use the fingerprint scanner 210 with a gesture to trigger and perform biometric authentication for one or more tasks and / or actions such as a series of tasks / actions that require authentication and / or user recognition.

[0108] FIG. 5 is a flowchart showing a method 240 performed by the smart glasses 106 to perform a job (such as performing a task or accessing some data) with biometric authentication and / or user detection.

[0109] At step 242, the user 110 may touch a fingerprint scanner 210 to activate the one or more fingerprint scanner 210 to allow the one or more fingerprint scanners 210 to collect one or more fingerprints of the user 110. Depending on the authentication requirements, the smart glasses 106 may use one fingerprint scanner 210 to collect one fingerprint, use one fingerprint scanner 210 to collect a plurality of fingerprints, or use a plurality of fingerprint scanners 210 to collect a plurality of fingerprints.

[0110] At step 244, the collected one or more fingerprints are compared with the fingerprint records of the user 110 for authentication. The fingerprint records of the user 110 may be stored in one or more non-transitory, computer storage media of the smart glasses 106, or stored in one or more non-transitory, computer storage media of a computer server 102.

[0111] If any of the collected one or more fingerprints does not match the corresponding fingerprint record (the “No” branch of step 244) , the job is halted (for example, the task is cancelled or the access is denied) (step 246) , and the procedure goes back to step 242.

[0112] If the collected one or more fingerprints match the corresponding fingerprint records (the “Yes” branch of step 244) , the authentication passes, and the user credential is confirmed (step 248) . Then, the job continues and / or required access right is granted (step 250) .

[0113] In these embodiments, any type of task is initiated with the user touching the fingerprint sensor 210. Once the authentication is passes at step 248, the user may perform task assignment to let the smart glasses 106 know what type of task the user is to accomplish (step 252) . This task assignment may be performed through a gesture, for example, the user may swipe a finger on the touch sensor (which was initially touched by the user) , or use a voice command (such as “confirmed” ) , wherein the gesture can be served as both task assignment and confirmation from the user. After the task assignment and user confirmation, the task is performed (step 254) .

[0114] Alternatively, if, after the user touched the fingerprint sensor 210 at the step 248, the user did not perform any gesture as required at step 252, the procedure 240 is then automatically terminated at step 254 as no task is assigned / confirmed by the user.

[0115] The gesture performed by the user at step 252 may be any suitable gesture, and may be subject to the sensors on the smart glasses 106. Table 1 lists some examples of the gesture and the sensors that may be required for detecting the corresponding gestures.

[0116] Table 1. Different gestures for task completion

[0117] Thus, in these embodiments, the accompanying gesture performed at step 252 (denoted “task-confirmation gesture” ) is to detect the final confirmation operation from the user 110. Gesture detection is performed after the fingerprint is detected, and the user 110 may add and / or edit commands and / or tasks, or cancel the previous operation before the task-confirmation gesture is performed. Once a gesture is detected and confirmed, the smart glasses 106 or the system 100 executes the intended tasks.

[0118] More specifically, while the user has initiated authentication by touching the fingerprint sensor, they can assign, edit, and / or add one or more intended tasks by using, for example voice commands. For example, the user may correct the previous voice command or add another voice command to the previous one, so as to avoid performing wrong task if the user has changed their mind during the task assignments. In other words, the user may either terminate the task completion by not performing the task-confirmation gesture as (described above) and repeat the procedure 240 again, or edit / revise the task (for example, using voice commands) and then perform the task-confirmation gesture.

[0119] Correspondingly, after the fingerprint authentication, the smart glasses 106 repeatedly tries to detect the task-confirmation gesture. If no task-confirmation gesture is detected within a predefined or predetermined time period, the task is cancelled. If the smart glasses 106 received the ask-confirmation gesture within the predefined or predetermined time period, the task assignment is completed and the task is started.

[0120] The method shown in FIG. 5 may be used for performing various jobs. For example, as shown in FIG. 6, the method shown in FIG. 5 may be used for authentication and task completion for security-requirements, such as payments, app logins, password retrievals, and / or the like. As shown in FIG. 7, the method shown in FIG. 5 may also be used for authentication for person-oriented user-detection and / or account profile / setting saving and switching.

[0121] In some embodiments, the smart glasses 106 may combine the fingerprint scanner 210 with touch gestures and voice / image input on smart glasses 106 for performing tasks.

[0122] FIG. 8 is a flowchart showing a method 300 performed by the smart glasses 106 for biometric authentication and / or user detection in a job such as cross-device interaction (by the same user 110) based on any or a combination of fingerprints and gestures. In these embodiments, the method comprises four stages A to D. Stage A comprises steps 302 and 304, stage B comprises steps 306 to 310, stage C comprises steps 312 and 314, and stage D comprises step 316.

[0123] Stage A may be performed in sequential or parallel with performing stages B and C. In fact, no particular order of performing stages A and B is required as long as stage A is performed and completed before or during stage C is completed (in other words, once gesture is detected in stage C, the system waits for a time buffer of a predefined or predetermined time period; and if the authentication is not accomplished within this time, the task will be aborted) , and stage B is performed before stage C. Stage D is performed after stage A. All stages need to be performed for task performance.

[0124] In the following, FIG. 8 is described in view of FIGs. 9A to 9F.

[0125] At step 302, the user 110 demonstrates intention to initiate a task. For example, as shown in FIG. 9A, the user 110 may use voice command to initiate the task. A microphone on the smart glasses 106 receives the voice command. In response, the task is initiated (step 304) . Stage A is then completed.

[0126] In stage B, the user 110 may touch a fingerprint scanner 210 (see FIG. 9B) to activate the one or more fingerprint scanner 210 to allow the one or more fingerprint scanners 210 to collect one or more fingerprints of the user 110 (step 306) . Depending on the authentication requirements, the smart glasses 106 may use one fingerprint scanner 210 to collect one fingerprint, use one fingerprint scanner 210 to collect a plurality of fingerprints, or use a plurality of fingerprint scanners 210 to collect a plurality of fingerprints.

[0127] At step 308, the collected one or more fingerprints are compared with the fingerprint records of the user 110 for authentication. The fingerprint records of the user 110 may be stored in one or more non-transitory, computer storage media of the smart glasses 106, or stored in one or more non-transitory, computer storage media of a computer server 102.

[0128] If any of the collected one or more fingerprints does not match the corresponding fingerprint record (the “No” branch of step 308) , the job is halted (for example, the task is cancelled or the access is denied) (step 318) .

[0129] If the collected one or more fingerprints match the corresponding fingerprint records (the “Yes” branch of step 308) , the authentication passes, and the user credential is confirmed (step 310) . Stage B is then completed.

[0130] In stage C, the smart glasses 106 monitors the gestures that may be performed by the user 110 (step 312) . In various embodiments, any suitable gestures may be used. For example, FIGs. 9C to 9E show some examples of the gestures, such as the finger-swiping gesture (FIG. 9C) , various finger-tapping gestures (FIG. 9D) , nodding head and / or shaking head (FIG. 9E) . Table 1 also lists some examples of the gestures.

[0131] If no gesture is detected (the “No” branch of step 312) , the smart glasses 106 may transition to a sleep state after an allotted, predefined, or predetermined time (step 314) . The procedure 300 then goes to step 318.

[0132] If a gesture is detected (the “Yes” branch of step 312) , stage C is completed and the procedure 300 forwards to stage D.

[0133] In stage D, the user 110 may select a target device for cross-device interaction (step 316) . As shown in FIG. 9F, the smart glasses 106 may use audio and / or visual sensors for target device selection and for identifying user-intended actions. For example, the user 110 may look at one of a plurality of devices such as a sound or audio device 342, a personal computer (PC) 344, a smart watch 346, a tablet 348, a TV 350, and a smartphone 352 for make a target device selection. The smart glasses 106 comprises a camera tracking the user’s gaze movement, and identifying the device that the user intends to select. Then, the smart glasses 106 connect to the user-selected device and provide the user authentication and confirmation thereto, such that the user 110 does not need to re-authenticate himself / herself again on the selected device. In some embodiments, the smart glasses 106 may also allow the user to perform cross-device two-factor authentication using the smart glasses 106, which enables a second layer of security on user’s devices (described in more details later) .

[0134] At step 320, if any of stages A to D is not performed, then the procedure 300 goes to step 318.

[0135] If, at step 320, all stages A to D have been performed, the user 110 may perform tasks on the selected device (step 322) .

[0136] In some embodiments, the smart glasses 106 of a first user (identified using reference numeral 110A) may be used for performing secure interpersonal interactions with the smart glasses or devices of a second user (identified using reference numeral 110B) .

[0137] FIG. 10 is a flowchart showing a method 400 performed by the smart glasses 106 in these embodiments, wherein the method 400 comprises four stages A, B, D and E. Stage A comprises steps 402 and 404, stage B comprises steps 406 to 410, stage D comprises step 416, and stage E comprises steps 420 and 422. Stages A, B, and D are similar to those shown in FIG. 8.

[0138] Stage A may be performed before, during, or after (within a time buffer) stage B. Stages D and E may be performed sequentially and after stages A and B. All stages need to be performed for task performance.

[0139] At step 402, the first user 110A demonstrates intention to initiate a task. For example, the user 110A may use voice command to initiate the task. A microphone on the smart glasses 106 receives the voice command. In response, the task is initiated (step 404) . Stage A is then completed.

[0140] In stage B, the first user 110A may touch a fingerprint scanner 210 to activate the one or more fingerprint scanner 210 to allow the one or more fingerprint scanners 210 to collect one or more fingerprints of the user 110 (step 406) . Depending on the authentication requirements, the smart glasses 106 may use one fingerprint scanner 210 to collect one fingerprint, use one fingerprint scanner 210 to collect a plurality of fingerprints, or use a plurality of fingerprint scanners 210 to collect a plurality of fingerprints.

[0141] At step 408, the collected one or more fingerprints are compared with the fingerprint records of the first user 110A for authentication. The fingerprint records of the first user 110A may be stored in one or more non-transitory, computer storage media of the smart glasses 106, or stored in one or more non-transitory, computer storage media of a computer server 102.

[0142] If any of the collected one or more fingerprints does not match the corresponding fingerprint record (the “No” branch of step 408) , the job is halted (for example, the task is cancelled or the access is denied) (step 418) .

[0143] If the collected one or more fingerprints match the corresponding fingerprint records (the “Yes” branch of step 408) , the authentication passes, and the user credential is confirmed (step 410) . Stage B is then completed.

[0144] In stage D, the first user 110A makes a target device selection to select a device of a second user 110B (step 416, which is substantially the same as step 316 of the method 300 shown in FIG. 8) . Stage D is completed after the target device selection.

[0145] Then, the smart glasses 106 connect to the user-selected device and provides the user authentication and confirmation thereto.

[0146] In stage E, the smart glasses 106 checks if the target device accepts the connection request (step 420) . If the target device does not accept the connection request (the “No” branch of step 420) , the smart glasses 106 may transition to a sleep state after an allotted, predefined, or predetermined time (step 422) . The procedure 400 then goes to step 418.

[0147] If the target device accepts the connection request (the “Yes” branch of step 420) , stage E is completed and the procedure 400 forwards to step 426.

[0148] Optionally, after stage E, the first user 110A may make a final confirmation (step 424) . After receiving the final confirmation, the procedure 400 forwards to step 426.

[0149] At step 426, if any of stages A, B, D, and E is not performed, then the procedure 400 goes to step 418.

[0150] If, at step 426, all stages A, B, D, and E have been performed, the smart glasses 106 of the first user 110A establish connection with the target device selected by the first user 110A (step 428) for performing secure interpersonal interactions with the target device.

[0151] Thus, by using the method 400, a user 110A may utilize smart glasses 106 and gesture through sensors to realize secure information exchange with devices of another user 110B. Therefore, a group of users may interact within a private setting to share a specific set of information unique to the group. In various embodiments, the handshake activated to initiate and confirm information transfer may include but not limited to Bluetooth-based handshake, image-based handshake, biometric-based handshake, speech-based handshake, artificial-sound-based handshake, millimeter wave (mmWave) radar based handshake, light detection and ranging (lidar) based handshake, and / or the like.

[0152] In the following, some examples are described.

[0153] FIG. 11 is a flowchart showing a method 500 for performing a sensitive task on smart glasses 106, according to some embodiments of this disclosure. FIGs. 12A and 12B show an example of using the method 500 for placing an order via secure transaction.

[0154] At step 502, the user 110 requests to perform a sensitive task such as placing an order (see FIG. 12A) , transferring money, deleting some photos, and / or the like. For example, as shown in FIG. 12A, the user 110 may request to perform the sensitive task by voice interaction 522 with the smart glasses 106 using the voice assistant 524.

[0155] At step 504, the smart glasses 106 tries to confirm the identity of the user 110 by initiating the authentication process.

[0156] At step 506, the user 100 presses a finger on the fingerprint scanner 210 to perform the required authentication action as described above.

[0157] At step 508, the smart glasses 106 checks if the user is legitimate by examining the authentication outcome as described above.

[0158] If the user is not legitimate (the “No” branch of step 508) , the authentication fails and the device smart glasses 106 to perform the task (step 510) .

[0159] If the user is legitimate (the “Yes” branch of step 508) , the authentication is successful, and the smart glasses 106 checks if the user 110 has performed the confirmation gesture (step 512) , which may be, for example, touching the fingerprint scanner again (see FIG. 12B) , or other suitable gestures such as single / multiple finger pressing / swiping on the fingerprint scanner 210.

[0160] If the confirmation gesture is not detected within a predefined or predetermined time period (the “No” branch of step 512) , the task is cancelled (step 514) .

[0161] If the confirmation gesture is detected within the predefined or predetermined time period (the “Yes” branch of step 512) , the task is performed and completed (step 516) . The voice assistant 524 may notify the user 110 the successful completion of the task using voice interaction 522.

[0162] FIG. 13 is a flowchart showing a method 540 for automatically loading user profile and logging into the user’s accounts to, for example, enable different users sharing the smart glasses 106. FIGs. 14A and 14B show an example of using the method 540 for placing an order via secure transaction.

[0163] As shown in FIG. 14A, a first user 110-1 (Becky) stops using the smart glasses 106, and hands it over to a second user 110-2 (Tohid) .

[0164] At step 542 (FIG. 13, also see FIG. 14B) , the second user 110-2 wears the smart glasses 106.

[0165] At step 544, the smart glasses 106 asks the second user 110-2 to tap a finger on the fingerprint scanner 210 for user identification. The second user 110-2 then presses a finger on the fingerprint scanner 210 to perform the required authentication action (step 546) . At step 548, the smart glasses 106 examines authentication outcome to check if the current user is legitimate.

[0166] If the current user is not legitimate (the “No” branch of step 548) , authentication fails, and access to the smart glasses 106 is restricted (step 550) .

[0167] If the current user is legitimate (the “Yes” branch of step 548) , authentication is successful, the smart glasses 106 then performs user identification (step 552) . As shown in FIG. 14B, the smart glasses 106 may display a plurality of user names 562 (such as “Tohid” and “Becky” ) , each represents a user profile and / or configuration. The user 110-2 may make a selection by performing a suitable gesture.

[0168] After the second user 110-2 has made the selection, the smart glasses 106 loads the corresponding user-specific profile and / or configuration (step 554) to allow the second user 110-2 to use the smart glasses 106.

[0169] In some embodiments, the smart glasses 106 do not ask the current user to select a user name from a list of user names. Rather, the smart glasses 106 may automatically detect the user’s identity via the fingerprint pattern.

[0170] FIG. 15 is a flowchart showing a method 600 for performing cross-device interaction via the smart glasses 106. FIGs. 16A and 16B show an example of using the method 600.

[0171] The method 600 is similar to the method 300 shown in FIG. 8 and comprises four stages A to D. Stage A comprises steps 602 and 604, stage B comprises steps 606 to 610, stage C comprises steps 612 and 614, and stage D comprises step 616.

[0172] At step 602, the user 110 uses voice command to instruct the smart glasses 106 (also denoted “the first device” ) to unlock or turn on a second device 642 such as a computer, a television, a light, a smart-home device, or the like (see FIG. 16A) . A microphone on the smart glasses 106 receives the voice command. In response, the task is initiated (step 604) .

[0173] At step 606, the user 110 may touch a fingerprint scanner 210 (see FIG. 16A) to activate the one or more fingerprint scanner 210 to allow the one or more fingerprint scanners 210 to collect one or more fingerprints of the user 110. At step 608, the collected one or more fingerprints are compared with the fingerprint records of the user 110 for authentication.

[0174] If any of the collected one or more fingerprints does not match the corresponding fingerprint record (the “No” branch of step 608) , the job is halted (for example, the task is cancelled or the access is denied) (step 618) .

[0175] If the collected one or more fingerprints match the corresponding fingerprint records (the “Yes” branch of step 608) , the authentication passes, and the user credential is confirmed (step 610) .

[0176] The smart glasses 106 monitors the gestures that may be performed by the user 110 (step 612) . In various embodiments, any suitable gestures may be used. If no gesture is detected (the “No” branch of step 612) , the smart glasses 106 may transition to a sleep state after an allotted, predefined, or predetermined time (step 614) .

[0177] If a gesture is detected (the “Yes” branch of step 612) , the procedure 600 forwards to step 616.

[0178] At step 616, the user 110 may select a target device such as a PC 646 (see FIG. 16C) by using audio and / or visual commands as described above. The smart glasses 106 identifies the device that the user intends to select, and connects to the user-selected device and provide the user authentication and confirmation thereto to unlock the user-selected device.

[0179] At step 620, if any of stages A to D is not performed, then the procedure 600 goes to step 618.

[0180] If, at step 620, all stages A to D have been performed, the user 110 may perform tasks on the selected device (step 322) such as reading emails, playing music, and / or the like. For example, as shown in FIG. 16B, the smart glasses 106 may projects a screen 644 on the lens thereof to facilitate the user 110 to read emails. As shown in FIG. 16C, the user 110 may also read emails on the display of the PC 646, and use gestures 648 to operate the PC 646.

[0181] FIG. 17 is a flowchart showing a method 700 for sharing sensitive information or performing sensitive tasks such as sending / receiving money via the smart glasses 106. The method 700 is similar to the method 400 shown in FIG. 10 and comprises four stages A, B, D and E. Stage A comprises steps 702 and 704, stage B comprises steps 706 to 710, stage D comprises step 716, and stage E comprises steps 720 and 722.

[0182] By using this method 700, two or multiple users may request to share sensitive information or perform sensitive tasks such as sending / receiving money. Such tasks may be performed with a fingerprint authentication and / or a gesture performed at the beginning as initiation or during the task flow. Users may instruct the voice assistant with voice commands and once authentication is passes, the final confirmation is performed by a specific gesture.

[0183] At step 702, user-A initiates a money transfer request by voice command. A microphone on the smart glasses 106 receives the voice command. In response, the task is initiated (step 704) .

[0184] At step 706, user-A may touch a fingerprint scanner 210 to activate the one or more fingerprint scanner 210 to allow the one or more fingerprint scanners 210 to collect one or more fingerprints of user-A. At step 708, the collected one or more fingerprints are compared with the fingerprint records of user-A for authentication.

[0185] If any of the collected one or more fingerprints does not match the corresponding fingerprint record (the “No” branch of step 708) , the job is halted (for example, the task is cancelled or the access is denied) (step 718) .

[0186] If the collected one or more fingerprints match the corresponding fingerprint records (the “Yes” branch of step 708) , the authentication passes, and the user credential is confirmed (step 710) .

[0187] At step 716, user-A makes a target device selection to select a device of user-B by using vision and / or voice command, which is detected by a camera and / or a microphone of the smart glasses 106. Then, the smart glasses 106 connect to the user-selected device and provides the user authentication and confirmation thereto.

[0188] At step 720, the smart glasses 106 checks if user-B accepts the connection request. If user-B does not accept the connection request (the “No” branch of step 720) , the smart glasses 106 may transition to a sleep state after an allotted, predefined, or predetermined time (step 722) . The procedure 700 then goes to step 718.

[0189] If user-B accepts the connection request (the “Yes” branch of step 720) , the procedure 700 forwards to step 726.

[0190] Meanwhile, user-A confirms the selection of user-B by performing a suitable gesture such as a swipe gesture (step 724) . After receiving the final confirmation, the procedure 400 forwards to step 726.

[0191] At step 726, if any of stages A, B, D, and E is not performed, then the procedure 700 goes to step 718.

[0192] If, at step 726, all stages A, B, D, and E have been performed, the smart glasses 106 of user-A establish connection with the device of user-B (step 728) for completing the money transfer.

[0193] In some embodiments, the smart glasses 106 may be used as a stand-alone and secure on-device means of secure interaction. The smart glasses 106 comprises one or more processors functionally connected to one or more non-transitory, computer-readable storage media and other components of the smart glasses 106. The one or more non-transitory, computer-readable storage media comprising computer-executable instructions, wherein the instructions, when executed, cause the one or more processors to perform the above-described method.

[0194] In some other embodiments, the smart glasses 106 may be used with another device such as another smart glasses 106, a server computer 102, or a client computing device 104. The another device comprises one or more processors functionally connected to one or more non-transitory, computer-readable storage media (which comprises computer-executable instructions) . By connecting to the smart glasses 106, the one or more processors of the another device may execute the computer-executable instructions to perform the above-described method.

[0195] Herein, various embodiments of the wearable vision device 106 and related computer system 100 are described. By integrating biometric authentication in the form of one or more fingerprint sensors on the smart glasses and by using one or more gestures to accomplish specific tasks on the smart glasses, standalone and fast authentication and task completion on smart glasses to perform sensitive tasks independent of a second device is achieved. Accordingly, any personal / private information can be accessed instantly, reliably and seamlessly by a fingerprint recognition followed by a gesture on smart glasses. Any user-specific configuration can be loaded automatically followed by an on-device authentication, which allows for sharing eye-wear among multiple users.

[0196] The wearable vision device 106 and related computer system 100 disclosed herein provide secure cross-device task completion and information retrieval for the same user. For example, secure and seamless cross-device interaction combining on-device biometric authentication and behavioral gestures, such as swiping gesture on the fingerprint scanner or a touch pad of the wearable vision device 106 may be used to initiate cross-device interaction between of the wearable vision device 106 and other users’ devices. User’s voice commands may be used to customize cross-device interactions. Thus, the wearable vision device 106 may be used as a fast and reliable means for authenticating actions on a primary device in two-actor authentication.

[0197] In conventional two-factor authentication, when logging into an email account (which has enabled two-factor authentication) on a primary device such as a PC, the user may receive a pin through a text message via a secondary device such as a phone. Then, the user needs to enter the pin in the primary device to complete the login process in the primary device.

[0198] In some embodiments, the smart glasses 106 may be used as the secondary device. For example, when logging into an email account (which has enabled two-factor authentication) on a primary device such as a PC, the user may receive a notification (for example, through speakers of the smart glasses 106) . Then, the tap a finger on the fingerprint sensor 210 to complete the two-factor authentication for the primary device.

[0199] In some embodiments, the smart glasses 106 may be used to directly log into the user’s account on any other device (for example, without using two-factor authentication) . For example, when the user tries to log into a personal account on a primary device, a quick-response (QR) code (or any suitable type of graphical presentation containing user-related pin information) is shown on the screen of the primary device. Then, the user may scan the QR code using the smart glasses 106, and performs above-described authentication. Once the authentication is confirmed, the user is automatically logged into the personal account on the primary device without the requirement of entering a password on the primary device.

[0200] In some embodiments, the smart glasses 106 may comprise one or more imaging devices (such as one or more cameras) and / or one or more geolocation sensors (such as GPS sensor) , which may be used for location and / or presence based authentication on-the-go.

[0201] More specifically, the camera and / or GPS sensor of the smart glasses 106 may be used to perform authentication based on user’s presence in a specific environment or location. Such specific environment or location may be predefined or predetermined environment or location.

[0202] For example, a user is approaching their home at a predefined location or a car (which may be at a predefined location, or its location may be predetermined by a GPS component or device on the car) .

[0203] The smart glasses 106 may use its GPS sensor to determine the user’s location. When the smart glasses 106 determines that the user’s location is near the location of the home or car, and the smart glasses 106 confirms, via the camera thereof, that the user is approaching to the entrance door or car door, the smart glasses 106 may prompt the user to perform fingerprint authentication on the smart glasses 106 to unlock the entrance door or car door. In this example, location refers to the geographical location of the home or car, and presence refers to the physical presence of the user in the vicinity of the home or car.

[0204] The wearable vision device 106 and related computer system 100 disclosed herein provide interpersonal secure sensitive information sharing. For example, secure and seamless cross-user interactions and / or data transfer may be initiated by on-device biometric authentication, optionally combined with gestures such as a swiping gesture, among the wearable vision devices of multiple users, or the wearable vision devices of a group of users with another device of another group of users. Voice commands may be used once the action is triggered in order to define customized cross-device tasks.

[0205] The wearable vision device 106 and related computer system 100 may be used in a wide range of areas with high desirability.

[0206] Global smart glasses market size was valued at USD 1,530 million in 2023, and is expected to reach USD 8,187 million by 2030, with a compound annual growth rate (CAGR) of 27%. Furthermore, global market size for head-mounted displays (HMDs) was valued at USD 5,500 million in 2023, and is expected to reach USD 26,400 million by 2029, with a CAGR of 28.8%.

[0207] Due to prevalence of LLMs in people’s daily lives, and an increasing growth in integrating stand-alone applications (such as voice-based features and / or interactions) in smart glasses, there is an increasing desire of making smart glasses functioning independently from other devices such as smartphones. Accordingly, maintaining a reliable and secure access to sensitive information from smart glasses is of high importance for users. By suing the wearable vision device 106 and related computer system 100 disclosed herein, users may seamlessly and reliably store and / or access their personal and / or private information on the smart glasses 106 and avoid unauthorized access.

[0208] In various embodiments, the wearable vision device 106 and related computer system 100 disclosed herein provide many advantages such as:

[0209] ·enabling seamless and reliable user experience using voice assistants, and applications having access to sensitive information, such as banking accounts, social media, placing orders, and / or the like;

[0210] ·cross-device and cross-user authentication and task completion to access / share sensitive information;

[0211] ·customized user-specific configurations that can be loaded by authentication while sharing smart glasses with a registered user, such as a family member or a friend;

[0212] ·location and / or presence based authentication on-the-go using camera and / or geolocation sensor (such as GPS sensor) on the smart glasses.

[0213] A comprehensive comparison of different authentication technologies versus the above-mentioned advantageous factors are given in Table 2, wherein the fingerprint-based authentication for smart glasses 106 is listed in the rightmost column.

[0214] TABLE 2. COMPARISON BETWEEN DIFFERENT BIOMETRIC TECHNOLOGIES

[0215] Although in above examples, the methods disclosed herein are performed by the computer network system 100, in some embodiments, no computer network system 100 is required, and the methods disclosed herein are performed by a wearable vision device 106.

[0216] Herein, use of language such as “at least one of X, Y, and Z, ” “at least one of X, Y, or Z, ” “at least one or more of X, Y, and Z, ” “at least one or more of X, Y, and / or Z, ” or “at least one of X, Y, and / or Z, ” is intended to be inclusive of both a single item (e.g., just X, or just Y, or just Z) and multiple items (e.g., {X and Y} , {X and Z} , {Y and Z} , or {X, Y, and Z} ) . The phrase “at least one of” and similar phrases are not intended to convey a requirement that each possible item must be present, although each possible item may be present.

[0217] In some embodiments, the methods disclosed herein may be implemented as computer-executable instructions stored in one or more non-transitory computer-readable storage devices (in the form of software, firmware, or a combination thereof) such that, the instructions, when executed, may cause one or more physical components such as one or more circuits to perform the methods disclosed herein.

[0218] For example, in some embodiments, an apparatus comprising one or more processors functionally connected to one or more non-transitory computer-readable storage devices or media may be used to perform the methods disclosed herein, wherein the one or more non-transitory computer-readable storage devices or media store the computer-executable instructions of the methods disclosed herein, and the one or more processors may read the computer-executable instructions from the one or more non-transitory computer-readable storage devices or media, and executes the instructions to perform the methods disclosed herein.

[0219] In some embodiments, an apparatus may not have any processors or computer-readable storage devices or media. Rather, the apparatus may comprise any other suitable physical or virtual (explained below) components for implementing the methods disclosed herein.

[0220] In some embodiments, the computer-executable instructions that implement the methods disclosed herein may be one or more computer programs, one or more program products, or a combination thereof.

[0221] In some embodiments, the methods disclosed herein may be implemented as one or more circuits, one or more components, one or more units, one or more modules, one or more integrated-circuit (IC) chips, one or more chipsets, one or more devices, one or more apparatuses, one or more systems, and / or the like.

[0222] The one or more circuits, one or more components, one or more units, one or more modules, one or more IC chips, one or more chipsets, one or more devices, one or more apparatuses, or one or more systems may be physical, virtual, or a combination thereof. Herein, the term “virtual” (such as a “virtual apparatus” ) refers to a circuit, component, unit, module, chipset, device, apparatus, system, or the like that is simulated or emulated or otherwise formed using suitable software or firmware such that it appears as if it is “real” or physical) .

[0223] The present disclosure encompasses various embodiments, including not only method embodiments, but also other embodiments such as apparatus embodiments and embodiments related to non-transitory computer readable storage media. Embodiments may incorporate, individually or in combinations, the features disclosed herein.

[0224] Although this disclosure refers to illustrative embodiments, this is not intended to be construed in a limiting sense. Various modifications and combinations of the illustrative embodiments, as well as other embodiments of the disclosure, will be apparent to persons skilled in the art upon reference to the description.

[0225] Features disclosed herein in the context of any particular embodiments may also or instead be implemented in other embodiments. Method embodiments, for example, may also or instead be implemented in apparatus, system, and / or computer program product embodiments. In addition, although embodiments are described primarily in the context of methods and apparatus, other implementations are also contemplated, as instructions stored on one or more non-transitory computer-readable media, for example. Such media could store programming or instructions to perform any of various methods consistent with the present disclosure.

[0226] Those skilled in the art will appreciate that the above-described embodiments and / or features thereof may be customized, separated, and / or combined as needed or desired. Moreover, although embodiments have been described above with reference to the accompanying drawings, those of skill in the art will appreciate that variations and modifications may be made without departing from the scope thereof as defined by the appended claims.

Claims

A wearable vision apparatus comprising:a frame;at least one see-through area on the frame; andone or more first sensors for fingerprint detection.The wearable vision apparatus of claim 1 comprising:one or more second sensors for detecting one or more gestures.The wearable vision apparatus of claim 2, wherein the one or more second sensors comprise the one or more first sensors.The wearable vision apparatus of claim 2 or 3, wherein the one or more second sensors comprise one or more first imaging components, one or more touch sensors, one or more inertial measurement units (IMUs) , or a combination thereof.A method using the wearable vision apparatus of any one of claims 2 to 4, the method comprising:receiving a command from a user to start a task;obtaining one or more fingerprints using the one or more first sensors;authenticating the user based on the one or more fingerprints;detecting a predefined or predetermined gesture from the user; andperforming the task.The method of claim 5, wherein the wearable vision apparatus comprises one or more microphones;wherein the command is a voice commend; andwherein said receiving the command from the user comprises:receiving from the user the voice command using the microphone.The method of claim 5 or 6, wherein said performing the task comprises:selecting a target device for cross-device interaction;connecting to the target device; andproviding authentication of the user to the target device to allow the user to operate the target device.The method of claim 7, wherein the wearable vision apparatus comprises one or more second imaging components for tracking the user’s gaze movement to identify the target device; andwherein said selecting the target device comprises:selecting the target device based on the user’s gaze movement.The method of claim 5 or 6, wherein said performing the task comprises:selecting a target device of another user for cross-device interaction;connecting to the target device; andcommunicating with the target device for sharing information.The method of claim 9, wherein said communicating with the target device for sharing the information comprises:communicating with the target device for sharing the information to complete a secure transaction.The method of claim 5 or 6, wherein said performing the task comprises:receiving from the user a selection of one of a plurality of user profiles; andloading said one of a plurality of user profiles and / or configurations related thereto.A system comprising:the wearable vision apparatus of any one of claims 2 to 4;one or more non-transitory, computer-readable storage media; andone or more processors functionally connected to the one or more non-transitory, computer-readable storage media and the one or more first sensors;wherein the one or more non-transitory, computer-readable storage media comprising computer-executable instructions; andwherein the instructions, when executed, cause the one or more processors to perform the method of any one of claims 5 to 11.The system of claim 12, wherein the wearable vision apparatus comprises the one or more non-transitory, computer-readable storage media and the one or more processors.One or more non-transitory, computer-readable storage media comprising computer-executable instructions, wherein the instructions, when executed, cause one or more processors to perform the method of any one of claims 5 to 11.

Images