Tester Jobs Requirements (VIDEO GAME)

Cada d�a somos testigos de nuevos avances en la conducci�n aut�noma de veh�culos. Muchas empresas presentan prototipos y algunos incluso ya lo tienen en producci�n como Tesla autopilot. Estos veh�culos son capaces de analizar el entorno que les rodea y de esa forma conducir por ellos mismos, sin intervenci�n humana alguna.

Figura 1: Veh�culos aut�nomos hackeados con falsas se�ales de tr�fico

Los veh�culos aut�nomos se basan principalmente en la informaci�n que recogen multitud de sus sensores. Pero la informaci�n m�s importante, al igual que ocurre con el ser humano, es la que llega a trav�s de sus sensores de visi�n. En concreto son las c�maras las que recopilan las im�genes para luego ser procesadas por algoritmos de reconocimiento visual y tomar decisiones en base a ellas.

Por lo tanto, si conocemos o simulamos el algoritmo utilizado para clasificar im�genes, se podr�a manipular la imagen de origen para enga�arlo y modificar la acci�n a realizar por el sistema que est� utilizando dicho algoritmo. Esto es justamente lo que han realizado investigadores de la Universidad de Washington, Michigan, Stony Brook y Berkeley. Han encontrado varias formas de enga�ar a los algoritmos de visi�n utilizando t�cnicas bastante simples como, por ejemplo, colocar pegatinas en las se�ales de tr�fico.


Figura 2: Ejemplo veh�culo Tesla en modo autopilot
Para poder �perturbar� el mundo f�sico y as� confundir a la Inteligencia Artificial prepararon dos tipos de ataques que asombran por su sencillez de implementaci�n:

1. Utilizando posters, es posible imprimir una se�al, introducir las modificaciones y superponerla a la original. 

2. Utilizando pegatinas, las cuales se colocan sobre se�ales reales.

Para que dichas perturbaciones no fueran detectadas por observadores humanos, se camuflaron en forma de actos vand�licos t�picos como grafitis o mensajes, en el caso de las pegatinas. Para los posters, se imprime la misma se�al original, pero se introducen modificaciones muy sutiles y dif�ciles de ver para un observador humano. Todo esto utilizando s�lo una c�mara y una impresora a color.

Figura 3: Ejemplo de poster sobre una se�al de STOP, a diferentes distancias y �ngulos, con detalles borrosos y difuminados en su superficie que ofrecen otra lectura a la IA

Las consecuencias de esta investigaci�n son realmente alarmantes viendo los resultados obtenidos. Utilizando el m�todo de los posters cubrieron la se�al, la cual parece la original, pero se a�adieron ligeras zonas un poco difuminadas de forma superficial o sutil simulando alg�n tipo de pintura hecha con pintura de spray. El algoritmo de visi�n en funci�n de los �ngulos y distancia, podr�a confundirla con otra se�al de limitaci�n de velocidad por ejemplo a 45 millas por hora, provocando que el coche acelerara o directamente no parara en el STOP. Tambi�n probaron esta t�cnica en otras se�ales confundiendo las que indicaban giro con STOP.

Utilizando el segundo m�todo en el cual se utilizan simples pegatinas, las colocaron de manera estrat�gica en una se�al de STOP de forma que formaran la palabra LOVE y HATE. Esta combinaci�n provocaba en m�s de la mitad de los casos, combinando los diferentes algoritmos de ataque, que la IA encargada de conducir el veh�culo pensara que era una se�al de limitaci�n de velocidad en vez de un STOP (y algunas veces la confund�a con una se�al de ceda el paso).

Figura 4: Ejemplo de pegatinas sobre una se�al de STOP, a diferentes distancias y �ngulos, con las palabras Love y Hate para disimular pero que ofrecen una lectura distinta a la IA

La pregunta es �c�mo se puede llegar a realizar este tipo de ataque? Todos los sistemas de visi�n artificial para veh�culos aut�nomos, tienen dos componentes fundamentales, un detector de objetos y un clasificador. El detector de objetos es capaz de detectar peatones, las luces de la carretera, las se�ales de tr�fico, otros veh�culos, etc. El clasificador se encarga en analizar los objetos detectados por el detector e identificarlos (clasificarlos). Por ejemplo, el detector detecta una se�al de tr�fico en una calle y el clasificador la identifica como una se�al de STOP. Es en este clasificador donde se centra el estudio y donde se materializa el ataque.

Por otro lado, hay tres componentes que tienen un gran impacto en el algoritmo clasificador y que ser�n objetivo principal de los atacantes a la hora de analizar el comportamiento del mismo. Estos son la distancia, el �ngulo y la resoluci�n de la imagen. La distancia es importante ya que a medida que el veh�culo se acerca o se aleja, va obteniendo diferentes capturas de la se�al con mayor o menor detalle y una perturbaci�n a�adida en esta fase puede dar varias lecturas en funci�n de la distancia.

El �ngulo es tambi�n importante, ya que no hay una sola c�mara en un veh�culo aut�nomo, por lo tanto, la perturbaci�n en la se�al de tr�fico debe de ser capaz de enga�ar al clasificador con capturas tomadas desde diferentes �ngulos. Y finalmente la resoluci�n, la cual puede variar por diferentes factores como por ejemplo el clima (lluvia, niebla, etc.) y por lo tanto se podr�an obtener diferentes lecturas de la se�al original.

Figura 5: Ejemplo de poster sobre una se�al de giro a la derecha a�adiendo perturbaciones, a diferentes distancias y �ngulos

Para hacer la PoC, crearon su propio clasificador utilizando t�cnicas habituales basadas en redes neuronales (DNNs, Deep Neural Network). Una base de datos con se�ales (47 utilizadas en USA) fue utilizada para generar el dataset de entrada. Para entrenar la red neuronal y escribir el clasificador utilizaron herramientas y t�cnicas ampliamente utilizadas como el famoso Tensorflow y Adadelta. El nivel de acierto del clasificador lleg� al 91%.

La principal condici�n para que este tipo de ataque tenga �xito es que el atacante tenga acceso al clasificador despu�s de haber sido entrenado. Esto que puede parecer complicado, es m�s sencillo de conseguir de lo que parece en un principio por varios motivos. El primero son las t�cnicas utilizadas en visi�n artificial, las cuales son bastante comunes y cuyo acceso a los algoritmos e incluso al c�digo fuente de algunas librer�as es abierto y totalmente accesible. Por otro lado, es posible adivinar el modelo utilizado simplemente probando y entrenando un sistema similar y comprobar sus datos de salida.

Para preparar el ataque, se siguieron los siguientes pasos:

1. Obtener al menos una imagen clara de la carretera y de la se�al sin ninguna perturbaci�n. 

2. Se extrae la se�al desde la imagen tomada en el punto 1 para luego cortarla y separarla del resto utilizando un algoritmo de detecci�n de im�genes o un software espec�fico de recorte de im�genes. 

3. La imagen obtenida y sus resultados en el clasificador son introducidos en el algoritmo de ataque, el cual genera una nueva imagen que ser� la base para luego introducir las modificaciones. Por ejemplo, marcar, cortar o difuminar la parte que rodea a la imagen. 

4. Una vez a�adida la perturbaci�n �ambiental� (en el paper se llama �adversarial perturbation�) en el paso 3, ahora se aplica una funci�n de mapeo que, en funci�n de la ubicaci�n f�sica de se�al, indicar� d�nde colocar la perturbaci�n �digital� (llamada perturbaci�n �digital adversarial�). 

5. Esta perturbaci�n digital se fabrica en funci�n a los resultados obtenidos con la funci�n de mapeo en forma de pegatinas o poster.

Figura 6: Recreaci�n del proceso de identificaci�n de se�ales realizado por un veh�culo aut�nomo.

A pesar de lo perturbador (y a la vez fascinante) de este ensayo, el cual est� a�n en una fase muy temprana de desarrollo, pero hay que empezar a tomar nota para el futuro, ahora es el momento de buscar posibles soluciones para intentar evitar este tipo de ataques. Una de ellas pasar�a por hacer que el veh�culo sepa exactamente en qu� ubicaci�n se encuentra y contraste en todo momento la informaci�n que est� recibiendo de las se�ales. Por ejemplo, si es una calle dentro del casco urbano, es imposible que haya una se�al que le indique un l�mite de velocidad alto.

Esto es s�lo un ejemplo de las nuevas fronteras que se est�n abriendo en la seguridad, los cuales no s�lo los coches aut�nomos son el objetivo, estas t�cnicas podr�an ser utilizadas tambi�n, por ejemplo, en t�cnicas de Realidad Aumentada, c�maras de seguridad que utilicen tambi�n t�cnicas de IA para el reconocimiento de im�genes y un largo etc. Desde luego, tanto si eres aficionado la seguridad o te dedicas a esto, no te vas a aburrir en los pr�ximos meses o incluso a�os ;)

Figura 7: Broma de disfraz de radar m�vil
PD: Este trabajo recuerda a lo que hace a�os se hizo muy popular. La bromadonde se disfrazaron de Radar M�vil para enga�ar a los conductores y hacerles detenerse. El v�deo de hizo muy popular, incluso con la detecci�n de los bromistas.

Autor: Fran Ram�rez (@cyberhadesblog) escritor de libro "Microhistorias: an�cdotas y curiosidades de la historia de la inform�tica" e investigador en ElevenPaths