Device, method and system for real-time quantitative subject identification

Abstract

A device monitors audio in a call associated with a first responder and identifies therein: a request to search for a subject; and a physical dimension associated with the subject. The device receives images from a camera associated with the responder and applies video analytics algorithms thereto to identify one or more reference subjects therein. In response to identifying reference subjects, the device: retrieves, from a database, respective physical dimensions of the reference subjects; and / or applies the video analytics algorithms to the images to determine the respective physical dimensions of the reference subjects. The device determines a given reference subject, of the reference subjects, having a closest respective physical dimension to the physical dimension associated with the subject, and controls an electronic device, associated with the responder, to provide an indication of the given reference subject having the closest respective physical dimension to the physical dimension associated with the subject.

Description

DEVICE, METHOD AND SYSTEM FOR REAL-TIME QUANTITATIVE SUBJECT IDENTIFICATIONFIELD

[0001] The present specification relates to image processing and audio processing and in particular a device, method and system for real-time quantitative subject identification.BACKGROUND

[0002] In incident response environments, first responders often rely on verbal or textual communication to receive descriptions of subjects, which may include people or objects. Such descriptions may include quantitative dimensions (e.g., height, length) of the subject. However, due to variability in human perception and the lack of immediate visual references, first responders may not accurately visualize these quantitative terms in real-world contexts. This can lead to incorrect identification of subjects, resulting in wasted time and resources, and increased false alarms, or, in a worst case scenario, an incorrect subject (e.g., an innocent person) may be arrested, while a correct subject (e.g., a potentially guilty person) may get away. Furthermore, current processes relies heavily on manual estimation and memory, which is prone to errors and inefficiencies. Simply put, humans generally cannot make accurate estimations of physical dimensions.

[0003] BRIEF DESCRIPTION OF THE SEVERAL VIEWS OF THE DRAWINGS

[0004] In the accompanying figures similar or the same reference numerals may be repeated to indicate corresponding or analogous elements. These figures, together with the detailed description, below are incorporated in and form part of the specification and serve to further illustrate various embodiments of concepts that include the claimed invention, and to explain various principles and advantages of those embodiments.

[0005] FIG. 1 is a system for real-time quantitative subject identification, in accordance with some examples.

[0006] FIG. 2 is a device diagram showing a device structure of a device for real-time quantitative subject identification, in accordance with some examples.

[0007] FIG. 3 is a flowchart of a method for real-time quantitative subject identification, in accordance with some examples.

[0008] FIG. 4 depicts the system of FIG. 1 implementing a method for real-time quantitative subject identification, in accordance with some examples.

[0009] FIG. 5 depicts the system of FIG. 1 continuing to implement a method for real-time quantitative subject identification, in accordance with some examples.

[0010] FIG. 6 depicts the system of FIG. 1 continuing to implement a method for real-time quantitative subject identification, in accordance with some examples.

[0011] FIG. 7 depicts the system of FIG. 1 continuing to implement a method for real-time quantitative subject identification, in accordance with some examples.

[0012] Skilled artisans will appreciate that elements in the figures are illustrated for simplicity and clarity and have not necessarily been drawn to scale. For example, the dimensions of some of the elements in the figures may be exaggerated relative to other elements to help improve understanding of embodiments of the present disclosure.

[0013] The system, apparatus, and method components have been represented where appropriate by conventional symbols in the drawings, showing only those specific details that are pertinent to understanding the embodiments of the present disclosure so as not to obscure the disclosure with details that will be readily apparent to those of ordinary skill in the art having the benefit of the description herein.DETAILED DESCRIPTION OF THE INVENTION

[0014] Current communication devices used by first responders, such as body-worn cameras (BWCs) , augmented reality devices, radios, and the like, may be underutilized at least in subject identification. This inefficiency may result in suboptimal performance of these devices, reducing the effectiveness of first responders in critical situations, for example in quantitative subject identification. Thus, there exists a need for an improved technical method, device, and system for real-time quantitative subject identification.

[0015] An aspect of the present specification provides a method comprising: monitoring, via at least one computing device, live electronic audio in an electronic call associated with a first responder; identifying, via the at least one computing device, in the live electronic audio: a request for the first responder to search for a given subject; and a physical dimension associated with the given subject; receiving, via the at least one computing device, images from a camera associated with the first responder; applying, via the at least one computing device, one or more video analytics algorithms to the images to identify one or more reference subjects in the images; in response to identifying one or more reference subjects in the images, one or more of: retrieving, from a database, respective physical dimensions of the one or more reference subjects; and applying the one or more video analytics algorithms to the images to determine the respective physical dimensions of the one or more reference subjects; determining, via the at least one computing device, a given reference subject, of the one or more reference subjects, having a closest respective physical dimension to the physical dimension associated with the given subject; and controlling, via the at least one computing device, an electronic device associated with the first responder, to provide an indication of the given reference subject having the closest respective physical dimension to the physical dimension associated with the given subject.

[0016] Another aspect of the present specification provides a device comprising: a communication interface; a controller; and a computer-readable storage medium  having stored thereon program instructions that, when executed by the controller, causes the controller to perform a set of operations comprising: monitoring, via the communication interface, live electronic audio in an electronic call associated with a first responder; identifying, in the live electronic audio: a request for the first responder to search for a given subject; and a physical dimension associated with the given subject; receiving, via the communication interface, images from a camera associated with the first responder; applying one or more video analytics algorithms to the images to identify one or more reference subjects in the images; in response to identifying one or more reference subjects in the images, one or more of: retrieving, from a database, respective physical dimensions of the one or more reference subjects; and applying the one or more video analytics algorithms to the images to determine the respective physical dimensions of the one or more reference subjects; determining a given reference subject, of the one or more reference subjects, having a closest respective physical dimension to the physical dimension associated with the given subject; and controlling, via the communication interface, an electronic device associated with the first responder, to provide an indication of the given reference subject having the closest respective physical dimension to the physical dimension associated with the given subject.

[0017] Each of the above-mentioned embodiments will be discussed in more detail below, starting with example system and device architectures of the system in which the embodiments may be practiced, followed by an illustration of processing blocks for achieving an improved technical method, device, and system for real-time quantitative subject identification.

[0018] Example embodiments are herein described with reference to flowchart illustrations and / or block diagrams of methods, apparatus (systems) and computer program products according to example embodiments. It will be understood that each block of the flowchart illustrations and / or block diagrams, and combinations of blocks in the flowchart illustrations and / or block diagrams, can be implemented by computer program instructions and / or program code and / or computer program code. These  computer program instructions and / or program code may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus to produce a special purpose and unique machine, such that the instructions, which execute via the processor of the computer or other programmable data processing apparatus, create means for implementing the functions / acts specified in the flowchart and / or block diagram block or blocks. The methods and processes set forth herein need not, in some embodiments, be performed in the exact sequence as shown and likewise various blocks may be performed in parallel rather than in sequence. Accordingly, the elements of methods and processes are referred to herein as “blocks” rather than “steps. ”

[0019] These computer program instructions and / or program code may also be stored in a computer-readable memory that can direct a computer or other programmable data processing apparatus to function in a particular manner, such that the instructions stored in the computer-readable memory produce an article of manufacture including instructions which implement the function / act specified in the flowchart and / or block diagram block or blocks.

[0020] The computer program instructions and / or program code may also be loaded onto a computer or other programmable data processing apparatus that may be on or off-premises, or may be accessed via the cloud in any of a software as a service (SaaS) , platform as a service (PaaS) , or infrastructure as a service (IaaS) architecture so as to cause a series of operational blocks to be performed on the computer or other programmable apparatus to produce a computer implemented process such that the instructions which execute on the computer or other programmable apparatus provide blocks for implementing the functions / acts specified in the flowchart and / or block diagram block or blocks. It is contemplated that any part of any aspect or embodiment discussed in this specification can be implemented or combined with any part of any other aspect or embodiment discussed in this specification.

[0021] Herein, reference will be made to engines, which may be understood to refer to hardware, and / or a combination of hardware and software (e.g., a combination of  hardware and software includes software hosted at hardware such that the software, when executed by the hardware, transforms the hardware into a special purpose hardware, such as a software module that is stored at a processor-readable memory implemented or interpreted by a processor) , or hardware and software hosted at hardware and / or implemented as a system-on-chip architecture and the like.

[0022] Further advantages and features consistent with this disclosure will be set forth in the following detailed description, with reference to the drawings.

[0023] Attention is directed to FIG. 1, which depicts an example system 100 for real-time quantitative subject identification. The various components of the system 100 are in communication via any suitable combination of wired and / or wireless communication links, and communication links between components of the system 100 are depicted in FIG. 1, and throughout the present specification, as double-ended arrows between respective components; the communication links may include any suitable combination of wireless and / or wired links and / or wireless and / or wired communication networks, and the like, unless otherwise indicated. However, to distinguish between flow of data and communication links between components in the present specification, the communication links are depicted as solid lines, while flow of data is depicted in broken lines.

[0024] The system 100 comprises at least one computing device 102 interchangeably referred to hereafter as the computing device 102.

[0025] The computing device 102 may implement one or more audio analytics algorithms 104, which, for example as depicted, may be in the form of one or more audio analytics engines, and one or more video analytics algorithms 106, which, for example as depicted, may be in the form of one or more video analytics engines.

[0026] As depicted, the computing device 102 may store, or have access to, an electronic map 107, for example of a jurisdiction associated with the computing device 102, which may include, but is not limited to, a neighborhood, a city, county, a state, and the like. For example, the computing device 102 may be operated by a first responder agency and / or public safety agency associated with such a jurisdiction (e.g.,  a police department, a fire department, an emergency medical department, amongst other possibilities, and the like) , and the electronic map 107 may be of such a jurisdiction.

[0027] For example, such an agency may deploy a first responder 108 within the jurisdiction. While the first responder 108 is depicted as a police officer, the first responder 108 may be any suitable type of first responder including, but not limited to, a fire fighter, an emergency medical technician (EMT) , amongst other possibilities, and the like. Furthermore, such first responders may not be limited to public first responders; rather an agency operating the computing device 102 may be a private first responder agency, such as a private security agency, and the like, and the first responder 108, in these examples, may be a first responder employed by such a private first responder agency, such as a security guard, and the like.

[0028] Furthermore, the first responder 108 may be specifically deployed to respond to a given public safety incident, and / or the first responder 108 may be on patrol. While not depicted, the first responder 108 may be associated with a vehicle, such as a police car, and / or any other suitable vehicle and / or first responder vehicle.

[0029] As depicted, the computing device 102 may be communicatively coupled to electronic devices associated with the first responder 108, and which may include, but are not limited to, a radio and / or a mobile communication device 110 (hereafter, referred to as the communication device 110, for simplicity) , a body worn camera (BWC) 112, and an augmented reality device 114, which, as depicted, comprises augmented reality glasses worn by the first responder 108.

[0030] Furthermore, at least one of the electronic devices associated with a first responder 108 may include a display screen and / or a speaker, such as the communication device 110, the augmented reality device 114, and the like. The BWC 112 may also include a display screen and / or a speaker.

[0031] As depicted, the communication device 110, the BWC 112, and the augmented reality device 114 may form a personal area network (PAN) 116 with the communication device 110 acting as a hub for the PAN 116. In particular, the  communication device 110 may provide wireless communications for calls, transfer of data, and the like, for the electronic devices of the PAN 116, for example over the Intemet, mobile communications networks, and the like. The communication device 110 may furthermore implement certain processing on behalf of one or more of the other electronic devices in the PAN 116.

[0032] While only three devices are depicted in the PAN 116, the PAN 116 may comprise any suitable number of devices, including as few as one device (e.g., the communication device 110) , two devices, or more than three devices. Furthermore, the PAN 116 is understood to be optional and the first responder 108 may carry, and / or wear, and / or be associated with, any suitable number of electronic devices which may or may not communicate with the computing device 102 via the PAN 116.

[0033] Furthermore, while not depicted, the PAN 116 may include vehicle devices, for example of a vehicle, not depicted, associated with the first responder 108. Alternatively, or in addition, such vehicle devices may not be components of the PAN 116, but may be associated with the first responder 108. For example, the first responder 108 may be assigned a vehicle and / or may be associated with a vehicle.

[0034] In general, at least one of the electronic devices associated with the first responder 108, and / or of the PAN 116, is generally enabled to conduct electronic (e.g., audio) calls associated with the first responder 108, for example with a terminal, as is next described. One example of such an electronic device associated with the first responder 108 is the communication device 110. However, the first responder 108 may use any suitable communication device to conduct electronic (e.g., audio) calls associated with the first responder 108, including, but not limited to, communication devices of an associated vehicle.

[0035] Furthermore, at least one of the electronic devices of the PAN 116, or another electronic device associated with the first responder 108 (e.g., including, but not limited to, a dashboard camera of a vehicle) , comprises a camera configured to acquire images associated with the first responder 108. For example the BWC 112 and the augmented reality device 114 are examples of electronic devices associated  with the first responder 108 configured to acquire images associated with the first responder 108. However, the communication device 110 may include a camera. Such images are described in more detail herein.

[0036] As depicted, the computing device 102 may be further communicatively coupled to a terminal 118, for example of a public safety answering point (PSAP) and / or dispatch center (e.g., of a public first responder agency) and / or a private dispatch center (e.g., of a public first responder agency) , which may be operated by a dispatcher 120, and the terminal 118 may comprise a display screen 122 and an input device 124 (e.g., as such a keyboard, and / or a pointing device, as depicted, and / or any other suitable input device) . However, the display screen 122 and the input device 124 may be provided in any suitable format (e.g., different from a terminal) , such as a laptop, a personal computer, and the like (e.g., when the dispatcher 120 is working from home and / or “off-premises” from the PSAP and / or dispatch center) . In general, the display screen 122 and the input device 124 may be used to interact with the terminal 118, for example via an interface 126 provided at the display screen 122, and the like. The terminal 118 is further understood to comprise a communication device, for example as represented in FIG. 1 by a headset 128 worn by the dispatcher 120.

[0037] In particular, the interface 126 is providing, at the display screen 122, an indication 130 of a given subject which comprises text "APB For Robbery Suspect, Male, Red Hair, 2.0 Meters Tall" (e.g., where APB stands for all points bulletin) , which may indicate that a male with red hair, who is 2.0 meters tall and / or high, is wanted as a suspect in a robbery. Herein, the terms "tall" , and "high" and / or "height" will generally be used interchangeably. In particular, the term "tall" may be used with reference to persons, while the terms "high" and / or "height" may be used with reference to objects. However the terms tall", and "high" and / or "height" are all understood to indicate a vertical dimension of a subject.

[0038] While the indication 130 is simplistic, it is understood that such an APB may include other details of the suspect, such as clothing worn by the suspect, and the like.  It is understood that the indication 130 may be received from other first responders, and the like, and / or an APB reporting system (not depicted) , and the like.

[0039] As depicted, an electronic device of the PAN 116, such as the communication device 110, is engaged in an electronic call 132 (e.g., interchangeably referred to hereafter as the call 132 for simplicity) with the terminal 118. In particular, the communication device 110 and the terminal 118 may be configured to conduct calls via the computing device 102, which, in some examples, may comprise a base station controller (BSC) , a mobile switching center (MSC) , or any other suitable computing device. Alternatively, or in addition, the computing device 102 may be a component of a PSAP and / or dispatch center and / or private dispatch center associated with the terminal 118.

[0040] In particular, live electronic audio 134 (e.g., interchangeably referred to hereafter as audio 134 for simplicity) on the call 132 is monitored by the one or more audio analytics algorithms 104. For example, the first responder 108 and the dispatcher 120 may be communicating on the call 132 and exchanging verbal communications that are encoded in the audio 134, for example via respective communication devices (e.g., the communication device 110 and a communication device of the terminal 118) .

[0041] Hence, the computing device 102 is generally configured to monitor live electronic audio in electronic calls associated with first responders via the one or more audio analytics algorithms 104. For example, the one or more audio analytics algorithms 104 may be configured to search for keywords in the audio 134, which may relate to physical dimensions of given subjects. While herein an example of a physical dimension of height is provided, any suitable physical dimension, or combination thereof, is within the scope of the present specification including, but not limited, to one or more of height, width, depth, angles, weight, and the like.

[0042] In particular, the computing device 102 is generally configured to identify, in live electronic audio: a request for a first responder to search for a given subject; and a physical dimension associated with the given subject. While herein an example of a  given subject being a person is provided, any suitable given subject, or combination thereof, is within the scope of the present specification including, but not limited, to one or more of a person, an animal, a vehicle, an object, a weapon, and the like.

[0043] For example, in the audio 134, the dispatcher 120 may communicate information from the indication 130, via the headset 128, and tell the first responder 108, in the audio 134 that there is an "There is an APB out for a robbery suspect" and further tell the first responder 108 that the robbery suspect is "A male with red hair and is 2.0 Meters tall".

[0044] Hence, the one or more audio analytics algorithms 104 may identify a ""male with red hair" as a given subject, and identify "2.0 meters tall" and / or "2.0 meters high" as a physical dimension associated with the given subject.

[0045] Hence, it is understood that the one or more audio analytics algorithms 104 may be generally trained to identify subjects and associated physical dimensions in live electronic audio of electronic calls. For example, the one or more audio analytics algorithms 104 may comprise one or more machine learning algorithms, neural networks and / or artificial intelligence algorithms trained to identify subjects and associated physical dimensions in live electronic audio of electronic calls.

[0046] As depicted, the computing device 102 is also receiving images 135 associated with the first responder 108, for example from one or more electronic devices of the PAN 116 that include a camera, such as the BWC 112, the augmented reality device 114, and the like.

[0047] The images 135 are understood to depict or more reference subjects that are in a field of view of the first responder 108. As the BWC 112 and / or the augmented reality device 114 are more likely to depict or more reference subjects that are in a field of view of the first responder 108, in some examples, the images 135 may specifically be provided by the BWC 112 and / or the augmented reality device 114, or any other suitable camera worn by the first responder 108.

[0048] For example, as depicted, the first responder 108 may be viewing an environment 136 that includes people and / or, as described in more detail below. The  images 135 are hence understood to depict such people and / or objects in the environment 136, and such people and / or objects depicted in the images 135 may be designated as reference subject by the computing device 102.

[0049] As will be described in more detail herein with respect to FIG. 3 to FIG. 7, the computing device 102 is generally configured to apply the one or more video analytics algorithms 106 to the images 135 to identify one or more reference subjects in the images 135. For example, people and / or objects in the images 135 may be identified as one or more reference subjects.

[0050] The computing device 102 is generally configured to one or more of: retrieve, from a memory 138, respective physical dimensions of the one or more reference subjects; and apply the one or more video analytics algorithms 106 to the images 135 to determine the respective physical dimensions of the one or more reference subjects.

[0051] For example, as depicted, the computing device 102 is communicatively coupled to the memory 138, which, as depicted, may be in the form of a database, that stores indications 140 of given subjects and associated physical dimensions 142 of such given subjects. In FIG. 1, associations between indications 140 of given subjects and associated physical dimensions 142 of such given subjects are indicated via a broken line therebetween (of a different type of broken lines showing data exchange between components of the system 100) .

[0052] However, it is understood that that the given subjects of the indications 140 may be objects that have standard physical dimensions. For example, a stop sign is depicted in the environment 136 and such stop signs may have a standard height, at least for a jurisdiction in which the first responder 108 is deployed. Hence, one indication 140 may comprise "Stop Sign" , and an associated physical dimension 142 may comprise "2.0 meters".

[0053] Hence, the memory 138 may be preconfigured with physical dimensions 142 of given objects that may be standard for a jurisdiction in which the first responder 108 is deployed, such as a city, a county, a state, and the like. Such given objects may include, but are not limited to, stop signs, yield signs, parking signs, and / or any other  type of sign, street lights, fire hydrants, garbage bins (of various types) , amongst other possibilities.

[0054] Hence, it is understood that the one or more video analytics algorithms 106 may be generally trained to identify reference subjects in images and, in some examples, further trained to determine respective physical dimensions of reference subjects in images. For example, the one or more video analytics algorithms 106 may comprise one or more machine learning algorithms, neural networks and / or artificial intelligence algorithms trained to identify reference subjects in images and, in some examples, further trained to determine respective physical dimensions of reference subjects in images.

[0055] However, it is understood that the computing device 102 may first apply the one or more video analytics algorithms 106 to the images 135 to identify one or more reference subjects in the images 135, and then attempt to look up the physical dimensions 142 of one or more reference subjects in the images 135 at the memory 138. In these examples, the one or more video analytics algorithms 106 may generate an indication of a reference subject (e.g., such as "Stop Sign" ) , and use the generated indication to perform a database lookup on the indications 140 to find a corresponding indication 140 (e.g., such as "Stop Sign" ) to determine an associated physical dimension 142 (e.g., such as "2.0 meters" ) .

[0056] Alternatively, or in addition, the computing device 102 may apply the one or more video analytics algorithms 106 to the images 135 to identify one or more reference subjects in the images 135 and an associated physical dimension. For example, the one or more video analytics algorithms 106 may be trained to identify one or more physical dimensions, such as a height, of reference subjects in the images 135, and may hence identify that a "Stop Sign" in the images 135 has a height of "2.0 meters".

[0057] It is further understood that identifying one or more reference subjects in the images 135 may occur the one or more video analytics algorithms 106 in a first set of layers of a neural network of the one or more video analytics algorithms 106, and  determination of the respective physical dimensions may occur in a second set of layers of the neural network following the first set of layers. Hence, a determination of respective physical dimensions of a reference subject by the second set of layers may occur in response to identifying the reference subject in the images 135 in the first set of layers.

[0058] Alternatively, or in addition, such a determination of respective physical dimensions of a reference subject may be indeterminate by the second set of layers. Alternatively, or in addition, the one or more video analytics algorithms 106 may be configured to skip a determination of respective physical dimensions of a reference subject by the second set of layers when an indication by the first set of layers indicates that an identified reference subject is an object and not a person; similarly, in these examples, the one or more video analytics algorithms 106 may be configured to make such a determination of respective physical dimensions of a reference subject by the second set of layers when an indication by the first set of layers that an identified reference subject is an person and not an object.

[0059] Put another way, when reference subjects in the images 135 include people, the computing device 102 may apply the one or more video analytics algorithms 106 to the images 135 to identify one or more people in the images 135 and an associated physical dimension, such as heights of people identified in the images 135.

[0060] However, in other examples, the one or more video analytics algorithms 106 may determine a respective physical dimension for all references subjects identified by the first set of layers.

[0061] The computing device 102 is further generally configured to determine a given reference subject, of the one or more reference subjects identified in the images 135, having a closest respective physical dimension to the physical dimension associated with the given subject identified in the audio 134.

[0062] For example, as described herein, the physical dimension associated with the given subject identified in the audio 134 is "2.0 meters" , and in the images 135, an identified reference subject of a "Stop Sign" may have an identified physical  dimension 142 of "2.0 meters" . While physical dimensions of other reference subjects in the images 135 may be identified, the "Stop Sign" may have a closest physical dimension to the physical dimension associated with the given subject identified in the audio 134. However, other examples are described herein with respect to FIG. 3 to FIG. 7.

[0063] The computing device 102 is further generally configured to control an electronic device associated with the first responder 108, such as one or more of the electronic devices of the PAN 116 (e.g., and / or a vehicle device) , to provide an indication of the given reference subject having the closest respective physical dimension to the physical dimension associated with the given subject.

[0064] In a particular example, the electronic device associated with the first responder 108, that is controlled to provide the indication of the given reference subject, having the closest respective physical dimension to the physical dimension associated with the given subject, may comprise one or more of a display screen and an augmented reality device, such as the communication device 110 and / or the augmented reality device 114. In these examples, the indication of the given reference subject may comprise a bounding box around the given reference subject in the images 135 and / or at the augmented reality device 114. For example, a bounding box is understood to comprise a rectangular border, and the like, that contains, and / or fully contains, a given object depicted within an image.

[0065] Hence, the feature of controlling an electronic device, associated with the first responder 108, to provide an indication of the given reference subject, having the closest respective physical dimension to the physical dimension associated with the given subject, may specifically comprise the computing device 102 controlling the electronic device associated with the first responder 108 to provide a bounding box around the identified given reference object. Hence, in these examples, the images 135 may be displayed at a display screen of the communication device 110, and / or a display screen of the augmented reality device 114, with a bounding box around the identified given reference object.

[0066] While a display screen of the BWC 112 may be similarly controlled, as the first responder 108 may be wearing the BWC 112 on their shoulder and / or chest (e.g., in a manner that enables the BWC 112 to acquire the images 135) , a display screen of the BWC 112 may not be easily visible to the first responder 108 and hence controlling a display screen of the BWC 112 to provide a bounding box around the identified given reference object in the images 135 may be less optimal than controlling a display screen of the communication device 110, and / or the augmented reality device 114.

[0067] Attention is next directed to FIG. 2, which depicts a schematic block diagram of an example of the computing device 102. While the computing device 102 is depicted in FIG. 2 as a single component, the computing device 102 may be distributed among a plurality of components and the like including, but not limited to, any suitable combination of one or more servers, one or more cloud computing devices, and the like. Furthermore, a portion of the functionality of the computing device 102 may be implemented by one or more electronic devices of the PAN 116 and / or a device associated with the first responder 108. For example, a device associated with the first responder 108 may assist with identifying reference subjects in the images 135 and add, to an image 135, metadata identifying one or more reference subjects in the image 135. For example, the BWC 112 and / or the augmented reality device 114 and / or the communication device 110 (e.g., acting as a hub for the PAN 116 via which the images 135 are provided to the computing device 102) , may identify people and / or objects in the images 135, and optionally associated physical dimensions, and add identifiers of the people and / or objects in the images 135, and optionally the associated physical dimensions, as metadata to the images 135. In these examples, the one or more video analytics algorithms 106 may process such metadata to identify reference subjects in the images 135, and optionally associated physical dimension.

[0068] As shown in FIG. 2, the computing device 102 includes a communication interface 202 communicatively coupled to the common data and address bus 216 of  the processing component 204. The processing component 204 may include the code Read Only Memory (ROM) 214 coupled to the common data and address bus 216 for storing data for initializing system components. The processing component 204 may further include the controller 218 coupled, by the common data and address bus 216, to the Random-Access Memory 206 and the static memory 220.

[0069] The memory 220 may optionally comprise at least a portion of the memory 138. Put another way, while the memory 138 is depicted herein as being external to the computing device 102, a portion of the memory 138, and / or the entire memory 138, and / or the indications 140 and associated physical dimensions 142 may be a component of the memory 220.

[0070] As depicted, the memory 220 further stores the algorithms 104, 106. While the algorithms 104, 106 are shown as being separate from the application 222, one or more of the algorithms 104, 106 may be components of the application 222.

[0071] The communication interface 202 may include one or more wired and / or wireless input / output (I / O) interfaces 210 that are configurable to communicate with other suitable components of the system 100.

[0072] For example, the communication interface 202 may include one or more transceivers 208 and / or wireless transceivers for communicating with other suitable components of the system 100, such as the memory 138 (e.g., when external to the computing device 102, and the electronic devices of the PAN 116 and / or any other electronic devices associated with the first responder 108.

[0073] Hence, the one or more transceivers 208 may be adapted for communication with one or more communication links and / or communication networks used to communicate with the other components of the system 100. For example, the one or more transceivers 208 may be adapted for communication with one or more of the Internet, a Bluetooth network, a Wi-Fi network, for example operating in accordance with an IEEE 802.11 standard (e.g., 802.11a, 802.11b, 802.11g) , an LTE (Long-Term Evolution) network and / or other types of GSM (Global System for Mobile communications) and / or 3GPP (3rd Generation Partnership Project) networks, a 5G  network (e.g., a network architecture compliant with, for example, the 3GPP TS 23 specification series and / or a new radio (NR) air interface compliant with the 3GPP TS 38 specification series) standard) , a Worldwide Interoperability for Microwave Access (WiMAX) network, for example operating in accordance with an IEEE 802.16 standard, and / or another similar type of wireless network.

[0074] Hence, the one or more transceivers 208 may include, but are not limited to, a cell phone transceiver, a 3GPP transceiver, an LTE transceiver, a GSM transceiver, a 5G transceiver, a Bluetooth transceiver, a Wi-Fi transceiver, a WiMAX transceiver, and / or another similar type of wireless transceiver configurable to communicate via a wireless radio network.

[0075] The communication interface 202 may further include one or more wireline transceivers 208, such as an Ethernet transceiver, a USB (Universal Serial Bus) transceiver, or similar transceiver configurable to communicate via a twisted pair wire, a coaxial cable, a fiber-optic link, or a similar physical connection to a wireline network. The transceiver 208 may also be coupled to a combined modulator / demodulator 212.

[0076] The controller 218 may include ports (e.g., hardware ports) for coupling to other suitable hardware components of the system 100.

[0077] The controller 218 may include one or more logic circuits, one or more processors, one or more microprocessors, one or more GPUs (Graphics Processing Units) , and / or the controller 218 may include one or more ASIC (application-specific integrated circuits) and one or more FPGA (field-programmable gate arrays) , and / or another electronic device. In some examples, the controller 218 and / or the at least one computing device 102 is not a generic controller and / or a generic device, but a device specifically configured to implement functionality for real-time quantitative subject identification. For example, in some examples, the computing device 102 and / or the controller 218 specifically comprises a computer executable engine configured to implement functionality for real-time quantitative subject identification.

[0078] The static memory 220 comprises a non-transitory machine readable medium that stores machine readable instructions to implement one or more programs or applications and / or program code. Example machine readable media include a non-volatile storage unit (e.g., Erasable Electronic Programmable Read Only Memory ( “EEPROM” ) , Flash Memory) and / or a volatile storage unit (e.g., random-access memory ( “RAM” ) ) . In the example of FIG. 2, programming instructions (e.g., machine readable instructions) that implement the functionality of the computing device 102 as described herein are maintained, persistently, at the memory 220 and used by the controller 218, which makes appropriate utilization of volatile storage during the execution of such programming instructions.

[0079] In particular, the memory 220 stores instructions and / or program code and / or a set of instructions corresponding to the at least one application 222 that, when executed by the controller 218, enables the controller 218 to implement functionality for real-time quantitative subject identification, including but not limited to, the blocks of the method set forth in FIG. 3.

[0080] Put another way, the memory 220 may comprise a (e.g., non-transitory) computer-readable storage medium having stored thereon program instructions that, when executed by the controller 218, cause the controller 218 to perform a set of operations comprising the blocks of the method set forth in FIG. 3

[0081] The application 222 and / or one or more of the algorithms 104, 106 may include programmatic algorithms, and the like, to implement functionality as described herein.

[0082] Alternatively, and / or in addition to programmatic algorithms, the application 222 and / or the one or more of the algorithms 104, 106 may include one or more machine learning algorithms to implement functionality as described herein.

[0083] The one or more machine learning algorithms of the application 222 and / or the algorithms 104, 106 may include, but are not limited to: a deep-learning based algorithm; a neural network; a generalized linear regression algorithm; a random forest algorithm; a support vector machine algorithm; a gradient boosting regression  algorithm; a decision tree algorithm; a generalized additive model; evolutionary programming algorithms; Bayesian inference algorithms, reinforcement learning algorithms, and the like. Any suitable machine learning algorithm and / or deep learning algorithm and / or neural network is within the scope of present examples.

[0084] Furthermore, in examples where the application 222 and / or the one or more of the algorithms 104, 106 includes one or more machine learning algorithms, the application 222 and / or the one or more of the algorithms 104, 106 may be operated in a training mode to train the application 222 and / or the one or more of the algorithms 104, 106 to implement the functionality described herein. For example, after implementing the method described with respect to FIG. 3, the input and output from the application 222 and / or the one or more of the algorithms 104, 106 may be labelled as positive training data (e.g., when the output corresponds to a correct decision by the application 222 and / or the one or more of the algorithms 104, 106) or negative training data (e.g., when the output does not correspond to a correct decision by the application 222 and / or the one or more of the algorithms 104, 106) , and used to train from the application 222 and / or the one or more of the algorithms 104, 106.

[0085] While components of the electronic devices of the PAN 116 are not depicted, electronic devices of the PAN 116 may have a structure similar to that of the computing device 102, but adapted for respective functionality of such electronic devices. For example, the BWC 112 and the augmented reality device 114 are understood to include respective cameras that may be provided as respective image sensors, such as a CCD (charge-coupled device) a CMOS (complementary metal-oxide semiconductor) , and the like. Furthermore, the augmented reality device 114 includes a display screen and / or at least a partially transparent display screen, to render an augmented reality view of, for example, the environment 136 and / or a field-of-view of the first responder 108. Furthermore, the communication device 110 is understood to include a transceiver for communicating with the terminal 118, and the like, for example via the computing device 102.

[0086] Attention is now directed to FIG. 3, which depicts a flowchart representative of a method 300 for real-time quantitative subject identification. The operations of the method 300 of FIG. 3 correspond to machine readable instructions that are executed by the controller 218 and / or at least one computing device 102. In the illustrated example, the instructions represented by the blocks of FIG. 3 are stored at the memory 220 for example, as the application 222 and / or the algorithms 104, 106. The method 300 of FIG. 3 is one way in which the controller 218 and / or the at least one computing device 102 and / or the system 100 may be configured. Furthermore, the following discussion of the method 300 of FIG. 3 will lead to a further understanding of the system 100, and its various components.

[0087] The method 300 of FIG. 3 need not be performed in the exact sequence as shown and likewise various blocks may be performed in parallel rather than in sequence. Accordingly, the elements of method 300 are referred to herein as “blocks” rather than “steps". The method 300 of FIG. 3 may be implemented on variations of the system 100 of FIG. 1, as well.

[0088] Furthermore, in the description of the method 300, reference is made to at least one computing device performing the method 300 as functionality indicated by the method 300 may be performed in a distributed manner.

[0089] At a block 302, the controller 218, and / or the at least one computing device 102, monitors (e.g., via the communication interface 202) live electronic audio 134 in an electronic call 132 associated with a first responder 108.

[0090] For example, the live electronic audio 134 in the electronic call 132 associated with the first responder 108 may be between the electronic device associated with the first responder 108 and a respective electronic device associated with the dispatcher 120 (e.g., as represented by the headset 128) . In these examples, the request for the first responder 108 to search for the given subject, and the physical dimension associated with the given subject, may be provided in the live electronic audio 134 from the respective electronic device associated with the dispatcher 120 to the electronic device associated with the first responder 108.

[0091] However, the live electronic audio 134 in the electronic call 132 associated with the first responder 108 may be between the electronic device associated with the first responder 108 and a respective electronic device associated with any suitable user in the system 100, including, but not limited to, other first responders, callers reporting the given subject, and the like.

[0092] At a block 304, the controller 218, and / or the at least one computing device 102, identifies, in the live electronic audio 134: a request for the first responder 108 to search for a given subject, and a physical dimension associated with the given subject.

[0093] In some examples, the given subject may comprise a person or an object (including, but not limited to, animals and / or vehicles, and the like) .

[0094] Furthermore, the request may comprise a verbal request from the dispatcher 120 in the audio 134 to search for the given subject, and may be in the form of an APB, and the like.

[0095] At a block 306, the controller 218, and / or the at least one computing device 102, receives (e.g., via the communication interface 202) images 135 from a camera associated with the first responder 108.

[0096] The camera associated with the first responder 108 may be a component of any suitable electronic device of the PAN 116, or a component of any other suitable electronic device associated with the first responder 108.

[0097] Furthermore, the images 135 may be in the form of video and / or streaming images and / or streaming video.

[0098] At a block 308, the controller 218, and / or the at least one computing device 102, applies the one or more video analytics algorithms 106 to the images 135 to identify one or more reference subjects in the images 135, as has been previously been described.

[0099] At a block 310, the controller 218, and / or the at least one computing device 102, determines whether, or not, one or more reference subjects have been identified in the images 135. In some examples, no reference subjects may be identified in the images 135, for example when there are no references subjects whose physical  dimensions may be suitably compared with physical dimensions of the given subject identified at the block 304. For example, the images 135 may not include people, or objects of physical dimensions suitable for comparison with the physical dimensions of the given subject identified at the block 304; in such examples, an area in which the first responder 108 is located may include no reference subjects that the one or more video analytics algorithms 106 have been trained to identify.

[0100] When no reference subjects have been identified in the images 135 (e.g., a "NO" decision at the block 310) , the method 300 may continue to receive images 135 from a camera associated with the first responder 108, at the block 306, and again apply the one or more video analytics algorithms 106 to the images 135 to identify one or more reference subjects in the images 135 at the block 308. Indeed, the blocks 306, 308, 310 may be repeated until one or more reference subjects have been identified in the images 135; for example, possible reference subjects depicted in the images 135 may change as the first responder 108 moves and / or changes their field of view. Alternatively, or in addition, while not depicted, the method 300 may end when no reference subjects have been identified in the images 135 (e.g., a "NO"decision at the block 310) within a given time period (e.g., 1 minute, 2 minutes, 10 minutes, amongst other possibilities) , or the method 300 may end when no reference subjects have been identified in the images 135 (e.g., a "NO"decision at the block 310) .

[0101] However, in response to identifying one or more reference subjects in the images 135 (e.g., a "YES"decision at the block 310) , at a block 312, the controller 218, and / or the at least one computing device 102, one or more of: retrieves, from the memory 138, respective physical dimensions 142 of the one or more reference subjects; and applies the one or more video analytics algorithms 106 to the images 135 to determine the respective physical dimensions of the one or more reference subjects.

[0102] At a block 314, the controller 218, and / or the at least one computing device 102, determines a given reference subject, of the one or more reference subjects,  having a closest respective physical dimension to the physical dimension associated with the given subject.

[0103] At a block 316, the controller 218, and / or the at least one computing device 102, controls (e.g., via the communication interface 202) an electronic device associated with the first responder 108, to provide an indication of the given reference subject having the closest respective physical dimension to the physical dimension associated with the given subject.

[0104] For example, as has been previously described, the electronic device associated with the first responder 108 may comprise one or more of: a display screen controlled to provide the images 135; and the augmented reality device 114. In these examples, the indication of the given reference subject may comprise a bounding box around the given reference subject in the images 135 at the display screen and / or at the augmented reality device 114. Furthermore, in some these examples (e.g., which may occur when the given reference subject is a person) , the indication of the given reference subject further may further comprise a respective indication, provided with the bounding box, that the given reference subject is not the given subject. For example, the bounding box may be provided with a textual indication that indicates that an identified reference subject is for reference height only, and may not be the given subject identified in the audio 134. However, such a respective indication that the given reference subject is not the given subject may comprise a visual indication that may not be textual, such as the bounding box being a particular color, such as red.

[0105] Furthermore, as has been previously described, in some examples, the electronic device associated with the first responder 108 may comprise one or more of a display screen and speaker. In these examples, the indication of the given reference subject may comprise one or more of: a textual indication or a visual indication in a format compatible with the display screen; and an audio indication in a respective format compatible with the speaker.

[0106] When the indication of the given reference subject comprises one or more of: a textual indication or a visual indication in a format compatible with a display screen,  the controller 218 and / or the at least one computing device 102 may control an associated electronic device associated with the first responder to provide the textual indication or the visual indication at a respective display screen. Returning to the stop sign example, the indication of the given reference subject may comprise a textual indication of "The stop sign is 2.0 meters high, the same height as the suspect" . Alternatively, or in addition, the indication of the given reference subject may comprise a visual indication of a bounding box around the stop sign. Indeed, the indication of the given reference subject may comprise a combination of a textual indication and a visual indication.

[0107] Alternatively, or in addition, when the given reference subject comprises a person, the indication of the given reference subject may comprise a textual indication that described the given reference subject, such as "The blonde woman is 2.0 meters tall, the same height as the suspect" . Alternatively, or in addition, the indication of the given reference subject may comprise a visual indication of a bounding box around the person. Indeed, the indication of the given reference subject may comprise a combination of a textual indication and a visual indication.

[0108] Furthermore, such a textual indication or a visual indication may be provided with the aforementioned respective indication that the given reference subject is not the given subject, such as a textual indication of "The blonde woman is 2.0 meters tall, the same height as the suspect; the blonde woman is not the suspect" .

[0109] Furthermore, one or more of the communication device 110, the BWC 112 and the augmented reality device 114 may comprise a speaker. In these examples, the aforementioned textual indication may be converted to an audio indication of "The stop sign is 2.0 meters high, the same height as the suspect" , or "The blonde woman is 2.0 meters tall" , and the speaker of the electronic device associated with the first responder 108 may be controlled, by the controller 218 and / or the at least one computing device 102, to emit audio of "The stop sign is 2.0 meters high, the same height as the suspect" , or "The blonde woman is 2.0 meters tall" . Again, such an audio indication may be provided with the aforementioned respective indication that the  given reference subject is not the given subject, such as an audio indication of "The blonde woman is 2.0 meters tall, the same height as the suspect; the blonde woman is not the suspect" .

[0110] The method 300 may include other features.

[0111] For example, the method 300 may further comprise, the controller 218, and / or the at least one computing device 102, after controlling the electronic device associated with the first responder 108, to provide the indication of the given reference subject having the closest respective physical dimension: determining that the images 135 from the camera associated with the first responder 108 no longer include the given reference subject; performing dynamic subject switching to identify a further given reference subject in the images 135 having a further closest respective physical dimension to the physical dimension associated with the given subject; and controlling the electronic device associated with the first responder 108 to provide a respective indication of the further given reference subject.

[0112] Put another way, after the block 316 is implemented, the controller 218, and / or the at least one computing device 102, may continue to identify the given reference subject in the images 135, for example as the environment 136 changes (e.g., people move into and out of the environment 136) , and / or as the first responder 108 moves around. When the images 135 from the camera associated with the first responder 108 no longer include the given reference subject, the controller 218, and / or the at least one computing device 102 may repeat the blocks 306, 308, 310, 312, 314, 316 (e.g., and / or a portion thereof) to identify a further given reference subject and provide a respective indication of the further given reference subject to the electronic device associated with the first responder 108. Such a process may be referred to dynamic subject switching, in which different reference subjects are identified in the images 135, for example, as a previously identified reference subject no longer appear in the images 135, and new, possible, references subject appear in the images 135.

[0113] In some examples, the method 300 may further comprise, the controller 218, and / or the at least one computing device 102, first determining: that the one or more  reference subjects are not identified in the memory 138; or the one or more reference subjects are associated with a plurality of the respective physical dimensions at the memory 138; and, in response: applying the one or more video analytics algorithms 106 to the images 135 to determine the respective physical dimensions of the one or more reference subjects.

[0114] Hence, for example, to save processing resources, the one or more video analytics algorithms 106 may first output indications of one or more reference subjects (e.g., via the first set of layers) and perform a database lookup at the memory to determine whether any of such outputs correspond to one or more of the indications 140. When one or more of outputs correspond to one or more of the indications 140, corresponding physical dimensions 142 may be retrieved from the memory 138. Such a process is understood to be less processing intensive than implementing the one or more video analytics algorithms 106 to the images 135 to determine the respective physical dimensions of the one or more reference subjects.

[0115] However, when the one or more reference subjects are not identified in the memory 138, the controller 218 and / or the at least one computing device 102 may apply the one or more video analytics algorithms 106 to the images 135 to determine the respective physical dimensions of the one or more reference subjects, for example via the second set of layers.

[0116] Alternatively, when the one or more reference subjects are associated with a plurality of the respective physical dimensions at the memory 138, for example, as there may be more than one standard size for stop signs, or other objects identified by the indications 140, controller 218 and / or the at least one computing device 102 may apply the one or more video analytics algorithms 106 to the images 135 to determine the respective physical dimensions of the one or more reference subjects. Put another way, such an example may occur when the controller 218 and / or the at least one computing device 102 identifies different physical dimensions 142 of a same type (e.g., height) , such that a specific physical dimension 142 for the one or more reference subjects may not be determinable.

[0117] In some examples, the closest respective physical dimension may not be the same as the physical dimension associated with the given subject, and the indication of the given reference subject may indicate at least one of: a dimensional difference between the closest respective physical dimension and the physical dimension associated with the given subject; and a relative difference between the closest respective physical dimension and the physical dimension associated with the given subject.

[0118] For example, while ideally the reference subject is associated with a same physical dimension as the given subject, in some examples, the closest respective physical dimension may not be the same as the physical dimension associated with the given subject. In some of such examples, the indication of the given reference subject may indicate a dimensional difference between the closest respective physical dimension and the physical dimension associated with the given subject. Returning to the example of a stop sign being a reference subject, but with the stop sign being "1.5 meters" or shorter than the given subject: when the physical dimension of the given subject is "2.0 meters" , and the physical dimension of the reference subject, the stop sign, is "1.5 meters" , the indication of the given reference subject may comprise "The stop sign is 1.5 meters high, 50 centimeters shorter than the suspect" .

[0119] Alternatively, the indication may indicate a relative difference between the closest respective physical dimension and the physical dimension associated with the given subject. Again returning to the example of a stop sign being a reference subject, but with the stop sign being "1.5 meters" or shorter than the given subject: when the physical dimension of the given subject is "2.0 meters" , and the physical dimension of the reference subject, the stop sign, is "1.5 meters" , the indication of the given reference subject may comprise "The stop sign is 1.5 meters high, 75%shorter than the suspect and / or the suspect is 30%taller than the stop sign" .

[0120] In some examples, the method 300 may further comprise, the controller 218, and / or the at least one computing device 102, identifying a location of the first  responder 108 at the electronic map 107; and further identifying the given reference subject at the electronic map 107.

[0121] For example, one or more of the electronic devices of the PAN 116, and / or any suitable electronic device associated with the first responder 108, may include a location determining device including, but not limited to, a Global Positioning System (GPS) device, and the like, a triangulation position determining device, and the like, amongst other possibilities, which determines a location thereof and reports the location to the computing device 102 (e.g., via a communication link therebetween) , for example in association with the call 132, and / or separate from the call 132. Alternatively, or in addition, the images 135 may be tagged (e.g., in metadata) with locations where the images 135 were acquired via one or more of the aforementioned location determining devices, which is understood, herein, to be the same as, or similar to, the location of the first responder 108.

[0122] Furthermore, the one or more video analytics algorithms 106 may be further configured and / or trained to determine a position of a reference subject in the images 135, for example relative to a location where the images 135 were acquired (e.g., such as "3 meters away, and 20° to the right of center" , and the like, amongst other possibilities) . Hence, the computing device 102, having access to location of the first responder 108, and / or a location where the images 135 were acquired, as well as position of a reference subject in the images 135, relative to a location where the images 135 were acquired, may identify the location of the first responder 108 at the electronic map 107, and further identify the given reference subject (e.g., determined at the block 312) at the electronic map 107.

[0123] The computing device 102 may accordingly control an electronic device of the first responder 108, and to render, at a display screen thereof the electronic map 107 with the locations of the first responder 108 and the one or more reference subjects, in particular the given reference subject determined at the block 312.

[0124] Returning briefly to FIG. 1, it is understood that FIG. 1 depicts aspects of the method 300. In particular, FIG. 1 depicts the computing device 102 monitoring (e.g.,  at the block 302 of the method 300) the audio 134 of the call 132, and receiving (e.g., at the block 306 of the method 300) the images 135. In such examples, the images 135 may be provided to the computing device 102, regardless of any information the computing device 102 identifies in the audio 134 of the call 132; for example, an electronic device of the PAN 116 that acquires the images 135 may be generally configured to provide and / or transmit and / or stream the images 135 to the computing device 102.

[0125] However, it understood that the images 135 may not be received until the computing device 102 identifies (e.g., at the block 304) , in the audio 134: a request for the first responder 108 to search for a given subject; and a physical dimension associated with the given subject. Put another way, in such examples, when the computing device 102 identifies (e.g., at the block 304) , in the audio 134: a request for the first responder 108 to search for a given subject; and a physical dimension associated with the given subject, the computing device 102 may request the images 135 from one or more electronic devices of the PAN 116 that acquires the images 135.

[0126] Further aspects of the method 300 are next described with respect to FIG. 4, FIG. 5, FIG. 6, and FIG. 7, which are substantially similar to FIG. 1, with like components having like numbers.

[0127] Attention is next directed to FIG. 4, which depicts the computing device 102 identifying (e.g., at the block 304 of the method 300) , in the audio 134: a request 402 for the first responder 108 to search for a given subject; and a physical dimension 404 associated with the given subject. For example, the dispatcher 120 may be saying, via the headset 128, in the audio 134, that "There is an APB out for a robbery suspect. A male with red hair and is 2.0 Meters tall" using, for example, information from indication 130

[0128] In particular, the one or more audio analytics algorithms 104 may extract, from the audio 134, the terms "APB" , "robbery suspect" , "male with red hair" , and determine that these terms indicate the request 402 for the first responder 108 to search for a given subject. The one or more audio analytics algorithms 104 may  further extract, from the audio 134, the term "2.0 Meters tall" , and determine that this terms indicates the physical dimension 404 of the given subject identified in the request 402.

[0129] Attention is next directed to FIG. 5, which depicts the computing device 102 applying (e.g., at the block 308 of the method 300) the one or more video analytics algorithms 106 to the images 135 to identify one or more reference subjects in the images 135. In particular, as depicted the environment 136 may include three possible reference subjects 502-1, 502-2, 502-3, such as a blonde woman (e.g., a first reference subject 502-1) , a boy (e.g., a second reference subject 502-2) , and a stop sign (e.g., a third reference subject 502-3) . As such, it is understood herein that the images 135 depict the indicated reference subjects 502-1, 502-2, 502-3.

[0130] The reference subjects 502-1, 502-2, 502-3 are interchangeably referred to hereafter, collectively, as the reference subjects 502 and, generically, as a reference subject 502. This convention will be used elsewhere in the present specification.

[0131] As depicted, the computing device 102 applies the one or more video analytics algorithms 106 to the images 135 by inputting the images 135 to the one or more video analytics algorithms 106, and may optionally input the physical dimension 404 to the one or more video analytics algorithms 106, for example so that the one or more video analytics algorithms 106 may search the images 135 for reference subjects 502 that may have closest physical dimensions to the physical dimension 404.

[0132] For example, as depicted, using the images 135 as input, and optionally the physical dimension 404, the one or more video analytics algorithms 106 identifies the three reference subjects 502 by outputting respective indications 504-1, 504-2, 504-3 (e.g., the indications 504 and / or an indication 504) , thereof including: a first indication 504-1 of a "Blonde Woman Standing" , corresponding to the first reference subject 502-1, a second indication 504-2 of a "Boy Standing" , corresponding to the second reference subject 502-2, and a third indication 504-3 of a "Stop Sign" , corresponding to the third reference subject 502-3. Hence, the computing determines  (e.g., a "YES" decision at the block 310) that one or more references subjects 502 have been identified in the images 135.

[0133] As depicted, the one or more video analytics algorithms 106 further determines (e.g., at the block 312 of the method 300) , for example in response to identifying one or more reference subjects 502 in the images 135, respective physical dimensions 506-1, 506-2 (e.g., the physical dimensions 506 and / or a physical dimension 506) . For example, the first reference subject 502-1 is associated with a physical dimension 506-1 of "2.0 Meters Tall" , and the second reference subject 502-2 is associated with a physical dimension 506-2 of "1.0 Meters Tall" .

[0134] However, as depicted, the one or more video analytics algorithms 106 does not determine a respective physical dimension of the third reference subject 502-1, as indicated by the indication 504-3 of the "Stop Sign" having no associated physical dimension.

[0135] Attention is next directed to FIG. 6, which depicts the computing device 102 retrieving (e.g., in an alternative example of the block 312 of the method 300) , from the memory 138, a respective physical dimension 602 of the third reference subject 502-1, by performing a database lookup of the indication 504-3, in the indications 140. In this example, it is understood that the memory 138 stores an indication 140 of a "Stop Sign" associated with a physical dimension 142 of "2.0 Meters High" , and hence respective physical dimension 602 of the third reference subject 502-1 comprises "2.0 Meters High" are returned from the memory 138. As depicted, the computing device 102 associates the physical dimension 602 with the indication 504-3.

[0136] As depicted, the computing device 102 compares (e.g., as indicated by an arrow 604) , the physical dimension 404 of the given subject, identified in the request 402, of "2.0 Meters Tall" with the physical dimension 506, 602 and determines (e.g., at the block 314 of the method 300) , at least one given reference subject 502, of the one or more reference subjects 502, having a closest respective physical dimension 506, 602 to the physical dimension 404 associated with the given subject.

[0137] For example, as both the given reference subjects 502-1, 502-3 have an associated height of 2.0 meters, which is the same as the physical dimension 404, both the given reference subjects 502-1, 502-3 are determined to have a closest respective physical dimension 506-1, 602 to the physical dimension 404 associated with the given subject. Such a determination is indicated by a respective star 606 adjacent the indications 504-1, 504-3 that respectively correspond to the given reference subjects 502-1, 502-3.

[0138] As further depicted in FIG. 6, the computing device 102 controls (e.g., at the block 314 of the method 300) an electronic device associated with the first responder 108, to provide an indication of the given reference subjects 502-1, 502-3 having the closest respective physical 506-1, 602 to the physical dimension 404 associated with the given subject, for example by providing a command 608 to at least one electronic device of the PAN 116.

[0139] The command 608 may comprise instructions to at least one electronic device of the PAN 116 to provide the indication of the given reference subjects 502-1, 502-3 having the closest respective physical 506-1, 602 to the physical dimension 404 associated with the given subject. Furthermore, the command 608 may be customized for a type of the electronic device that provides the indication of the given reference subjects 502-1, 502-3 having the closest respective physical 506-1, 602 to the physical dimension 404 associated with the given subject. An example of the command 608 being customized for controlling the augmented reality device 114 is described herein.

[0140] However, prior to discussing details of such control, it is understood that FIG. 6 further depicts the computing device 102 optionally determining respective locations 610 of the given reference subjects 502-1, 502-3 and the first responder 108 at the electronic map 107. While details of determining the locations 610 are not shown, such details have been described herein with respect to the method 300. Herein, it is further understood that the command 608 may optionally comprise instructions to at least one electronic device of the PAN 116 to provide the electronic map 107 with the locations 610 indicated thereon (e.g., in addition to the indication of  the given reference subjects 502-1, 502-3 having the closest respective physical 506-1, 602 to the physical dimension 404 associated with the given subject) .

[0141] Attention is next directed to FIG. 7, which depicts an example of an electronic device associated with the first responder 108 being controlled, by the computing device 102, to provide the indication of the given reference subjects 502-1, 502-3 having the closest respective physical 506-1, 602 to the physical dimension 404 associated with the given subject, and, optionally, the electronic map 107 with the locations 610 indicated thereon.

[0142] In particular, FIG. 7 is understood to show a display screen 700 of the augmented reality device 114, which may be at least partially transparent, such that the environment 136 is being viewed through the display screen 700.

[0143] Alternatively, the display screen 700 may not be transparent and the environment 136 may be rendered at the display screen 700, for example when a camera of the augmented reality device 114 acquires images of the environment 136. Indeed, other display screens of other electronic devices associated with the first responder 108 may be controlled in a similar manner (e.g., using any suitable images of the environment 136) .

[0144] Regardless, as depicted in FIG. 7, the display screen 700 is controlled to provide respective bounding boxes 701, 703 around the given reference subjects 502-1, 502-3 having the closest respective physical 506-1, 602 to the physical dimension 404 associated with the given subject.

[0145] Furthermore, the bounding box 701 is provided with adjacent optional associated text 705 of "The blonde woman is 2.0 meters high, the same height as the suspect; the blonde woman is not the suspect" . The command 608 may include instructions for providing such text, in addition to the bounding box 701. As depicted, such text 705 further includes an optional indication that the identified reference subject of the "blonde woman" is not the given subject: this indication comprises "The blonde woman is not the suspect" .

[0146] Similarly, the bounding box 703 is provided with adjacent optional associated text 707 of "The stop sign is 2.0 meters high, the same height as the suspect" . The command 608 may include instructions for providing such text, in addition to the bounding box 703. While not depicted such text 707 may further include an optional indication that the identified reference subject of the "stop sign" is not the given subject: this indication may comprise "the stop sign is not the subject" .

[0147] It is further understood that the bounding boxes 701, 703 may move as the augmented reality device 114 moves, such that the bounding boxes 701, 703 remain around the associated reference subjects 502-1, 502-3. When provided, the associated text 705, 707 may also move to remain adjacent to their associated bounding boxes 701, 703.

[0148] As depicted, the display screen 700 is further controlled to provide the electronic map 107 with the locations 610 indicated thereon. For example the electronic map 107 shows a location of the first responder 108, as indicated by a circle with the text "You" , and the locations of the blonde woman and the stop sign, as indicated by respective circles and respective text "Blonde Woman" and "Stop Sign" . It is understood that the computing device 102 may further control a location of the electronic map 107 at the display screen 700 such that the electronic map 107 does not overlap with, and / or does not obscure, the bounding boxes 701, 703 (and optionally the text 705, 707, when present) . Indeed, the bounding boxes 701, 703 (and optionally the text 705, 707, when present) move, as the augmented reality device 114 moves, and the augmented reality device 114 may process instructions of the command 608 to also move the electronic map 107 such that the electronic map 107 continues to not overlap with, and / or not obscure, the bounding boxes 701, 703 (and optionally the text 705, 707, when present) .

[0149] An optional example of the computing device 102 determining a given reference subject, of one or more reference subjects, having a closest respective physical dimension to a physical dimension associated with a given subject is next described with reference to the example of FIG. 4, FIG. 5 and FIG. 6.

[0150] For example, assuming that only the second reference subject 502-2 of the "Standing Boy" is present in the images 135, the one or more video analytics algorithms 106 may output only the indicator 504-2 of the "Standing Boy" and the associated physical dimension 506-2 of "1.0 Meters Tall" . In these examples, the computing device 102 may determine that the second reference subject 502-2 has a closest respective physical dimension 506-2 to the physical dimension 404 associated with the given subject, and control the display screen 700 to place a respective bounding box around the second reference subject 502-2. However, in these examples, associated text may be provided of "The boy is 1.0 meters high, half (e.g., 50%) of the suspect; the suspect is twice the height of the boy" .

[0151] As should be apparent from this detailed description above, the operations and functions of the electronic computing device are sufficiently complex as to require their implementation on a computer system, and cannot be performed, as a practical matter, in the human mind. Electronic computing devices such as set forth herein are understood as requiring and providing speed and accuracy and complexity management that are not obtainable by human mental steps, in addition to the inherently digital nature of such operations (e.g., a human mind cannot interface directly with RAM or other digital storage, cannot implement analytics algorithms, cannot accurately estimate physical dimensions, among other features and functions set forth herein) .

[0152] In the foregoing specification, specific embodiments have been described. However, one of ordinary skill in the art appreciates that various modifications and changes can be made without departing from the scope of the invention as set forth in the claims below. Accordingly, the specification and figures are to be regarded in an illustrative rather than a restrictive sense, and all such modifications are intended to be included within the scope of present teachings. The benefits, advantages, solutions to problems, and any element (s) that may cause any benefit, advantage, or solution to occur or become more pronounced are not to be construed as a critical, required, or essential features or elements of any or all the claims. The invention is defined solely  by the appended claims including any amendments made during the pendency of this application and all equivalents of those claims as issued.

[0153] Moreover in this document, relational terms such as first and second, top and bottom, and the like may be used solely to distinguish one entity or action from another entity or action without necessarily requiring or implying any actual such relationship or order between such entities or actions. The terms "comprises, " "comprising, " “has” , “having, ” “includes” , “including, ” “contains” , “containing” or any other variation thereof, are intended to cover a non-exclusive inclusion, such that a process, method, article, or apparatus that comprises, has, includes, contains a list of elements does not include only those elements but may include other elements not expressly listed or inherent to such process, method, article, or apparatus. An element proceeded by “comprises . . . a” , “has . . . a” , “includes . . . a” , “contains . . . a” does not, without more constraints, preclude the existence of additional identical elements in the process, method, article, or apparatus that comprises, has, includes, contains the element. Unless the context of their usage unambiguously indicates otherwise, the articles “a, ” “an, ” and “the” should not be interpreted as meaning “one” or “only one. ” Rather these articles should be interpreted as meaning “at least one” or “one or more. ” Likewise, when the terms “the” or “said” are used to refer to a noun previously introduced by the indefinite article “a” or “an, ” “the” and “said” mean “at least one” or “one or more” unless the usage unambiguously indicates otherwise.

[0154] Also, it should be understood that the illustrated components, unless explicitly described to the contrary, may be combined or divided into separate software, firmware, and / or hardware. For example, instead of being located within and performed by a single electronic processor, logic and processing described herein may be distributed among multiple electronic processors. Similarly, one or more memory modules and communication channels or networks may be used even if embodiments described or illustrated herein have a single such device or element. Also, regardless of how they are combined or divided, hardware and software components may be located on the same computing device or may be distributed  among multiple different devices. Accordingly, in this description and in the claims, if an apparatus, method, or system is claimed, for example, as including a controller, control unit, electronic processor, computing device, logic element, module, memory module, communication channel or network, or other element configured in a certain manner, for example, to perform multiple functions, the claim or claim element should be interpreted as meaning one or more of such elements where any one of the one or more elements is configured as claimed, for example, to make any one or more of the recited multiple functions, such that the one or more elements, as a set, perform the multiple functions collectively.

[0155] It will be appreciated that some embodiments may be comprised of one or more generic or specialized processors (or “processing devices” ) such as microprocessors, digital signal processors, customized processors and field programmable gate arrays (FPGAs) and unique stored program instructions and / or program code (including both software and firmware) that control the one or more processors to implement, in conjunction with certain non-processor circuits, some, most, or all of the functions of the method and / or apparatus described herein. Alternatively, some or all functions could be implemented by a state machine that has no stored program instructions and / or program code, or in one or more application specific integrated circuits (ASICs) , in which each function or some combinations of certain of the functions are implemented as custom logic. Of course, a combination of the two approaches could be used.

[0156] Moreover, an embodiment can be implemented as a computer-readable storage medium having computer readable code stored thereon for programming a computer (e.g., comprising a processor) to perform a method as described and claimed herein. Any suitable computer-usable or computer readable medium may be utilized. Examples of such computer-readable storage mediums include, but are not limited to, a hard disk, a CD-ROM, an optical storage device, a magnetic storage device, a ROM (Read Only Memory) , a PROM (Programmable Read Only Memory) , an EPROM (Erasable Programmable Read Only Memory) , an EEPROM (Electrically  Erasable Programmable Read Only Memory) and a Flash memory. In the context of this document, a computer-usable or computer-readable medium may be any medium that can contain, store, communicate, propagate, or transport the program for use by or in connection with the instruction execution system, apparatus, or device.

[0157] Further, it is expected that one of ordinary skill, notwithstanding possibly significant effort and many design choices motivated by, for example, available time, current technology, and economic considerations, when guided by the concepts and principles disclosed herein will be readily capable of generating such software instructions and programs and ICs with minimal experimentation. For example, computer program code for carrying out operations of various example embodiments may be written in an object oriented programming language such as Java, Smalltalk, C++, Python, or the like. However, the computer program code for carrying out operations of various example embodiments may also be written in conventional procedural programming languages, such as the "C" programming language or similar programming languages. The program code may execute entirely on a computer, partly on the computer, as a stand-alone software package, partly on the computer and partly on a remote computer or server or entirely on the remote computer or server. In the latter scenario, the remote computer or server may be connected to the computer through a local area network (LAN) or a wide area network (WAN) , or the connection may be made to an external computer (for example, through the Internet using an Internet Service Provider) .

[0158] The terms “substantially” , “essentially” , “approximately” , “about” or any other version thereof, are defined as being close to as understood by one of ordinary skill in the art, and in one non-limiting embodiment the term is defined to be within 10%, in another embodiment within 5%, in another embodiment within 1%and in another embodiment within 0.5%. The term “one of” , without a more limiting modifier such as “only one of” , and when applied herein to two or more subsequently defined options such as “one of A and B” should be construed to mean an existence of  any one of the options in the list alone (e.g., A alone or B alone) or any combination of two or more of the options in the list (e.g., A and B together) .

[0159] A device or structure that is “configured” in a certain way is configured in at least that way, but may also be configured in ways that are not listed.

[0160] The terms “coupled” , “coupling” or “connected” as used herein can have several different meanings depending on the context in which these terms are used. For example, the terms coupled, coupling, or connected can have a mechanical or electrical connotation. For example, as used herein, the terms coupled, coupling, or connected can indicate that two elements or devices are directly connected to one another or connected to one another through intermediate elements or devices via an electrical element, electrical signal or a mechanical element depending on the particular context.

[0161] The Abstract of the Disclosure is provided to allow the reader to quickly ascertain the nature of the technical disclosure. It is submitted with the understanding that it will not be used to interpret or limit the scope or meaning of the claims. In addition, in the foregoing Detailed Description, it can be seen that various features are grouped together in various embodiments for the purpose of streamlining the disclosure. This method of disclosure is not to be interpreted as reflecting an intention that the claimed embodiments require more features than are expressly recited in each claim. Rather, as the following claims reflect, inventive subject matter lies in less than all features of a single disclosed embodiment. Thus the following claims are hereby incorporated into the Detailed Description, with each claim standing on its own as a separately claimed subject matter.

Claims

1.A method comprising:monitoring, via at least one computing device, live electronic audio in an electronic call associated with a first responder;identifying, via the at least one computing device, in the live electronic audio: a request for the first responder to search for a given subject; and a physical dimension associated with the given subject;receiving, via the at least one computing device, images from a camera associated with the first responder;applying, via the at least one computing device, one or more video analytics algorithms to the images to identify one or more reference subjects in the images;in response to identifying one or more reference subjects in the images, one or more of: retrieving, from a database, respective physical dimensions of the one or more reference subjects; and applying the one or more video analytics algorithms to the images to determine the respective physical dimensions of the one or more reference subjects;determining, via the at least one computing device, a given reference subject, of the one or more reference subjects, having a closest respective physical dimension to the physical dimension associated with the given subject; andcontrolling, via the at least one computing device, an electronic device, associated with the first responder, to provide an indication of the given reference subject having the closest respective physical dimension to the physical dimension associated with the given subject.2.The method of claim 1, further comprising, after providing to the electronic device associated with the first responder, the indication of the given reference subject having the closest respective physical dimension:determining, at the at least one computing device, that the images from the camera associated with the first responder no longer include the given reference subject;performing dynamic subject switching to identify a further given reference subject in the images having a further closest respective physical dimension to the physical dimension associated with the given subject; andcontrolling the electronic device associated with the first responder to provide a respective indication of the further given reference subject.3.The method of claim 1, wherein the live electronic audio in the electronic call associated with the first responder is between the electronic device associated with the first responder and a respective electronic device associated with a dispatcher, andwherein the request for the first responder to search for the given subject, and the physical dimension associated with the given subject, is provided in the live electronic audio from the respective electronic device associated with the dispatcher to the electronic device associated with the first responder.4.The method of claim 1, wherein the electronic device comprises one or more of a display screen controlled to provide the images and an augmented reality device, andwherein the indication of the given reference subject comprises a bounding box around the given reference subject in the images or at the augmented reality device.5.The method of claim 4, wherein the indication of the given reference subject further comprises a respective indication, provided with the bounding box, that the given reference subject is not the given subject.6.The method of claim 1, wherein the electronic device comprises one or more of a display screen and a speaker, andwherein the indication of the given reference subject comprises one or more of: a textual indication or a visual indication in a format compatible with the display screen; and an audio indication in a respective format compatible with the speaker.7.The method of claim 1, further comprising:first determining: that the one or more reference subjects are not identified in the database; or the one or more reference subjects are associated with a plurality of the respective physical dimensions at the database; and, in response:applying the one or more video analytics algorithms to the images to determine the respective physical dimensions of the one or more reference subjects.8.The method of claim 1, wherein the closest respective physical dimension is not a same as the physical dimension associated with the given subject, and the indication of the given reference subject indicates at least one of:a dimensional difference between the closest respective physical dimension and the physical dimension associated with the given subject; anda relative difference between the closest respective physical dimension and the physical dimension associated with the given subject.9.The method of claim 1, further comprising:identifying a location of the first responder at an electronic map; andfurther identifying the one or more reference subjects at the electronic map.10.The method of claim 1, wherein the given subject comprises a person or an object.11.A device comprising:a communication interface;a controller; anda computer-readable storage medium having stored thereon program instructions that, when executed by the controller, causes the controller to perform a set of operations comprising:monitoring, via the communication interface, live electronic audio in an electronic call associated with a first responder;identifying, in the live electronic audio: a request for the first responder to search for a given subject; and a physical dimension associated with the given subject;receiving, via the communication interface, images from a camera associated with the first responder;applying one or more video analytics algorithms to the images to identify one or more reference subjects in the images;in response to identifying one or more reference subjects in the images, one or more of: retrieving, from a database, respective physical dimensions of the one or more reference subjects; and applying the one or more video analytics algorithms to the images to determine the respective physical dimensions of the one or more reference subjects;determining a given reference subject, of the one or more reference subjects, having a closest respective physical dimension to the physical dimension associated with the given subject; andcontrolling, via the communication interface, an electronic device, associated with the first responder, to provide an indication of the given reference subject having the closest respective physical dimension to the physical dimension associated with the given subject.12.The device of claim 11, wherein the set of operations further comprises, after providing to the electronic device associated with the first responder, the indication of the given reference subject having the closest respective physical dimension:determining that the images from the camera associated with the first responder no longer include the given reference subject;performing dynamic subject switching to identify a further given reference subject in the images having a further closest respective physical dimension to the physical dimension associated with the given subject; andcontrolling the electronic device associated with the first responder to provide a respective indication of the further given reference subject.13.The device of claim 11, wherein the live electronic audio in the electronic call associated with the first responder is between the electronic device associated with the first responder and a respective electronic device associated with a dispatcher, andwherein the request for the first responder to search for the given subject, and the physical dimension associated with the given subject, is provided in the live electronic audio from the respective electronic device associated with the dispatcher to the electronic device associated with the first responder.14.The device of claim 11, wherein the electronic device comprises one or more of a display screen controlled to provide the images and an augmented reality device, andwherein the indication of the given reference subject comprises a bounding box around the given reference subject in the images or at the augmented reality device.15.The device of claim 14, wherein the indication of the given reference subject further comprises a respective indication, provided with the bounding box, that the given reference subject is not the given subject.16.The device of claim 11, wherein the electronic device comprises one or more of a display screen and a speaker, andwherein the indication of the given reference subject comprises one or more of: a textual indication or a visual indication in a format compatible with the display screen; and an audio indication in a respective format compatible with the speaker.17.The device of claim 11, wherein the set of operations further comprises:first determining: that the one or more reference subjects are not identified in the database; or the one or more reference subjects are associated with a plurality of the respective physical dimensions at the database; and, in response:applying the one or more video analytics algorithms to the images to determine the respective physical dimensions of the one or more reference subjects.18.The device of claim 11, wherein the closest respective physical dimension is not a same as the physical dimension associated with the given subject, and the indication of the given reference subject indicates at least one of:a dimensional difference between the closest respective physical dimension and the physical dimension associated with the given subject; anda relative difference between the closest respective physical dimension and the physical dimension associated with the given subject.19.The device of claim 11, wherein the set of operations further comprises:identifying a location of the first responder at an electronic map; andfurther identifying the one or more reference subjects at the electronic map.20.The device of claim 11, wherein the given subject comprises a person or an object.

Images