Google Assistant puede leer su pantalla y ofrecer información contextual, solo asegúrese de que desee que lo desee.

El Asistente de Google hace muchas cosas. Esta inteligencia artificial invisible que reside (parcialmente) dentro de nuestros dispositivos puede responder todo tipo de preguntas, controlar nuestros hogares, ayudarnos a planificar nuestro día, reproducir nuestra música favorita y, con la adición de funciones como What's on my screen y Google Lens, recopilar más de lo que estamos viendo y proporcionar respuestas contextuales. Lo que quizás no sepa, y algo que descubrí recientemente (aunque no es muy nuevo), es que el Asistente puede leer su pantalla incluso cuando no le pregunta explícitamente qué hay en su pantalla. Eso tiene el potencial de ser muy útil, pero también extremadamente espeluznante si no sabías que era posible.

Lectura de su pantalla para responder algunas preguntas

Digamos que estás hablando con tus amigos en WhatsApp y te mencionan el nuevo tráiler de los Vengadores. Estás interesado, pero no sabes quién está en la película y te gustaría saberlo. Abra Asistente y pregunte "¿quién actúa en esta película?" sin especificar nada más, y sabrá desde tu pantalla de cuál estás hablando. Otro ejemplo es recibir un mensaje sobre una canción de un nuevo artista y preguntar "cuál es el último sencillo", nuevamente sin más detalles. El asistente sabe .

ANDROIDPOLICE VIDEO DEL DÍA 2 Imágenes

En los ejemplos a continuación, puede verme preguntar "cuántos viven allí" después de un mensaje sobre París y "cuál es el último resultado" después de un mensaje sobre el Real Madrid. En cada caso, Assistant sabía exactamente de lo que estaba hablando. Esto también funciona si alguien sugiere el nombre de un restaurante, por ejemplo, y usted pregunta "¿qué tan lejos está de aquí?" Sin embargo, no es infalible, y hay varios casos en los que no captó lo que le estaba preguntando, pero para empezar, es bastante impresionante.

2 imágenes

Permiso implícito y explícito

Antes de que empecemos a ondear la bandera de la invasión de la privacidad, quiero señalar dos cosas.

Primero, en todos los casos, no empiezo con "lo que hay en mi pantalla", pero sigo dando permiso implícito al Asistente para ver lo que hay allí y responder en consecuencia. Palabras como "esto", "eso", "allí", "eso" parecen decirle al Asistente que estoy hablando de algo , y al igual que puede inferir a qué apuntan en conversaciones continuas, también puede hacerlo cuando no hay mando previo. Sabe que debe buscar contexto en alguna parte y las cosas en mi pantalla son las que tienen más sentido.

En segundo lugar, el Asistente no tiene esta libertad para leer pantallas de cualquier manera. La primera vez que le pregunta "qué hay en mi pantalla", le dice que hay una configuración y un permiso involucrados. Si aprueba su solicitud de "usar texto de la pantalla", le está dando el visto bueno para actuar de la manera que describimos anteriormente. Es posible que haya aprobado esto hace unos meses y lo haya olvidado, así que verifíquelo ahora y tenga en cuenta que puede revocar el permiso en cualquier momento si no desea que se comporte de esta manera.

2 imágenes

Actualización: como señaló badzi0r, los dispositivos Pixel tienen algunas opciones más en esa pantalla, una de las cuales es la capacidad de mostrar el borde de la pantalla cuando el Asistente accede a la información de la pantalla. Es un buen comienzo, pero no está disponible en todos los dispositivos.

Beneficios y problemas

Hay algunas cosas para discutir aquí, y mis pensamientos sobre ellos son los mismos que cualquier cosa relacionada con el Asistente: conveniente, oculto y ¿a qué estoy renunciando a cambio?

Poder preguntarle al Asistente sobre algo que recibiste en un mensaje o que estás leyendo ahora es muy conveniente. No necesita copiar y pegar palabras para ser específico en su pregunta, por lo que si un amigo le informa sobre una nueva película, canción, resultado deportivo, restaurante, lugar, puede obtener fácilmente información exacta sobre ellos y esto es más específico. que un "qué hay en mi pantalla" en blanco.

Sin embargo, como ocurre con muchas de las funciones del Asistente, esta no se muestra ni se explica en ninguna parte. Si no lo hubiera visto en una demostración durante el MWC, no habría pensado en probarlo. Ninguno de mis colegas de Android Police lo sabía (actualización: Ryne me recordó que cubrió algo similar hace un tiempo), y hemos estado escribiendo sobre Assistant durante años.

Sin embargo, el verdadero problema, además de la capacidad de detección, es que la configuración de permisos le dice que el Asistente puede leer el texto de su pantalla, pero no especifica que puede hacerlo incluso cuando no le pregunta qué hay en su pantalla, o explica a) qué lo impulsa a hacer eso y b) qué hace con la información que lee.

La primera preocupación genera muchas más preguntas. ¿El Asistente está revisando el texto de mi pantalla cada vez que lo abro mientras estoy en una aplicación de terceros? ¿O está esperando esas palabras clave de permiso implícitas que mencioné anteriormente y solo entonces lee lo que hay en mi pantalla? ¿Pueden las aplicaciones centradas en la privacidad protegerse de los ojos del Asistente, y eso se hace a través de la misma función que desactiva las capturas de pantalla y las capturas de pantalla en aplicaciones sensibles a contraseñas y datos?

La segunda preocupación puede abordarse parcialmente. Al revisar el historial de mi Asistente en myactivity.google.com, veo que no hay ninguna mención de dónde se infirió París, por ejemplo, y no hay una captura de pantalla guardada o un fragmento de texto para ninguna de mis preguntas. Entonces, supongo que ahora mismo el texto solo se lee y se usa localmente, sin que se guarde nada en los servidores de Google, pero una confirmación de eso sería bienvenida.

Si bien sabemos que esta función del Asistente no es nueva en sí misma, no es una con la que estemos familiarizados y nos generó algunas preguntas e inquietudes. Si tampoco lo sabía, ahora es un buen momento para ver si ha elegido la configuración de permisos correcta y cambiarla si no le gusta cómo se usa.

Video:

Ir arriba