Los empleados de Google, Microsoft y Amazon han planteado públicamente su preocupación por el hecho de que estas empresas ayuden al ejército estadounidense, a las fuerzas del orden y a la Agencia de Inmigración y Aduanas (ICE) a desplegar diversos tipos de tecnologías de vigilancia.
Estos llamamientos públicos de los empleados plantean importantes cuestiones: ¿qué medidas debe tomar una empresa para garantizar que las entidades gubernamentales que compran o conceden licencias de sus tecnologías no hagan un mal uso de ellas? ¿Cuándo deben negarse a vender a una entidad gubernamental?
Las empresas tecnológicas deben dar un paso adelante y asegurarse de que no están ayudando a los gobiernos a cometer abusos contra los derechos humanos.
Aunque el contexto específico del uso de las nuevas tecnologías de vigilancia por parte de las fuerzas de seguridad estadounidenses es más reciente, las cuestiones subyacentes no lo son. En 2011, la EFF propuso un marco básico de Conozca a su Cliente para estas cuestiones. El contexto entonces era el uso por parte de gobiernos represivos extranjeros de la tecnología de empresas estadounidenses y europeas para facilitar los abusos de los derechos humanos. El marco propuesto por la EFF fue citado favorablemente por la Comisión Europea en su guía de aplicación para empresas tecnológicas de los Principios Rectores de las Naciones Unidas sobre Empresas y Derechos Humanos.
Ahora, esas mismas ideas básicas sobre la investigación, la auditoría y la responsabilidad pueden, y deben, desplegarse a nivel nacional.
En pocas palabras, las empresas tecnológicas, especialmente las que venden equipos de vigilancia, deben dar un paso adelante y garantizar que no están ayudando a los gobiernos a cometer abusos contra los derechos humanos, los derechos civiles y las libertades civiles. Esta obligación se aplica tanto si esos gobiernos son extranjeros como nacionales, federales o locales.
Una de las maneras en que las empresas tecnológicas pueden sortear esta difícil cuestión es adoptando un sólido programa de "Conozca a su cliente", basado en los requisitos que las empresas ya tienen que seguir en el contexto del control de las exportaciones y la lucha contra el soborno. A continuación, resumimos nuestra propuesta para las ventas a gobiernos extranjeros desde 2011, con algunas actualizaciones para reflejar el cambio de un enfoque internacional a uno nacional. Los empleados de las empresas que venden a las agencias gubernamentales, especialmente las agencias con un historial tan preocupante como el ICE, pueden querer abogar por esto como un proceso de protección contra la futura complicidad corporativa.
Proponemos un marco sencillo:
- Las empresas que venden tecnologías de vigilancia a los gobiernos deben investigar de forma afirmativa y "conocer a su cliente" antes y durante la venta. Sugerimos que se realicen investigaciones sobre los clientes similares a las que muchas de estas empresas ya están obligadas a realizar en virtud de la Ley de Prácticas Corruptas en el Extranjero y de la normativa de exportación para sus clientes extranjeros.
- Las empresas deben abstenerse de participar en transacciones en las que sus investigaciones de "conozca a su cliente" revelen pruebas objetivas o preocupaciones creíbles de que las tecnologías proporcionadas por la empresa se utilizarán para facilitar violaciones gubernamentales de los derechos humanos o civiles o de las libertades civiles.
Este marco puede aplicarse de forma voluntaria y debe incluir revisiones y auditores independientes, la participación de los empleados y la presentación de informes públicos. Un enfoque voluntario puede ser más flexible a medida que las tecnologías cambian y las situaciones en el mundo cambian. Nokia Siemens Networks ya ha adoptado una política de derechos humanos que incorpora algunas de estas directrices. En un ejemplo más reciente, los principios de IA de Google contienen muchos de estos pasos junto con orientaciones sobre cómo deben aplicarse.
Sin embargo, si las empresas no actúan por su cuenta y no lo hacen con una transparencia y un compromiso convincentes, puede ser necesario un enfoque legal. Microsoft ya ha indicado que no sólo estaría abierta a un enfoque legal (en lugar de voluntario), sino que dicho enfoque es necesario. Para que las empresas tecnológicas sean realmente responsables, un enfoque legal puede y debe incluir la ampliación de la responsabilidad a las empresas que facilitan a sabiendas y activamente los abusos gubernamentales, ya sea a través de la responsabilidad de ayuda e instigación. La EFF lleva mucho tiempo defendiendo la responsabilidad de las empresas por ayudar a la vigilancia gubernamental, incluso en el caso Doe contra Cisco a nivel internacional y en nuestro caso Hepting contra AT&T a nivel nacional.
Partiendo del marco básico anterior, he aquí algunas directrices:
[Nota: Estas directrices utilizan términos clave -Tecnologías, Transacción, Empresa y Gobierno- que se definen al final y se escriben en mayúsculas].
Investigación afirmativa: La empresa debe tener un proceso, dirigido por una persona específicamente designada, para participar en una evaluación continua de si las tecnologías o las transacciones serán, o están siendo, utilizadas para ayudar, facilitar o encubrir abusos de los derechos humanos, los derechos civiles y las libertades civiles ("abusos gubernamentales").
Este proceso debe ser algo más que palabrería y debe ser verificable (y comprobado) por personas externas independientes. También debe incluir a los empleados implicados, que merecen tener voz para garantizar que las herramientas que desarrollan no sean mal utilizadas por los gobiernos. Debe ser un compromiso de la organización, con mecanismos de aplicación eficaces. Debe incluir herramientas, formación y educación del personal, además de las consecuencias para la carrera profesional cuando no se siga el proceso. Además, para fomentar la transparencia y la solidaridad, una empresa que decida rechazar (o continuar) un servicio sobre la base de estas normas debe, cuando sea posible, informar de esa decisión públicamente para que el público entienda las decisiones y otras empresas puedan beneficiarse de su evaluación.
El proceso de investigación debe incluir, como mínimo:
- Revisar lo que el Gobierno comprador y los agentes gubernamentales, así como el personal y los agentes de la empresa, dicen sobre el uso de las tecnologías, tanto antes como durante cualquier transacción. Esto incluye, entre otras cosas, la revisión de los materiales de venta y marketing, las discusiones y preguntas técnicas, las presentaciones, las especificaciones técnicas y contractuales y las conversaciones o solicitudes de asistencia técnica. En el caso de las aplicaciones de aprendizaje automático o de IA, debe incluir la revisión de los datos de entrenamiento y los mecanismos para identificar qué preguntas se le pedirá a la tecnología que responda o aprenda. Los ejemplos incluyen:
- Las pruebas en el caso Doe contra Cisco, derivadas de la participación de Cisco con el gobierno chino en la construcción de herramientas de vigilancia destinadas a identificar a Falun Gong, son las presentaciones realizadas por los empleados de Cisco que se jactan de cómo su tecnología puede ayudar al gobierno chino a combatir la "religión maligna Falun Gong."
- En 2016, la ACLU del Norte de California publicó un informe en el que se describía cómo Geofeedia anunciaba que su sistema de vigilancia de las redes sociales basado en la localización podía ser utilizado por las oficinas gubernamentales y la policía para vigilar las actividades de protesta de los activistas, incluyendo específicamente a los de color, lo que suscita preocupaciones fundamentales en relación con la Primera Enmienda.
- Revisar las capacidades de la Tecnología para los abusos de los derechos humanos y considerar posibles medidas de mitigación, tanto técnicas como contractuales.
- Por ejemplo, el hecho de que el software de reconocimiento facial identifique erróneamente a las personas de color en un porcentaje mucho mayor que a los blancos es una clara señal de que la tecnología es muy vulnerable a los abusos gubernamentales.
- Obsérvese que no creemos que las empresas deban ser consideradas responsables por el mero hecho de vender al gobierno productos de uso general o incluso de doble uso que posteriormente se utilicen de forma indebida, siempre que la empresa haya llevado a cabo una investigación suficiente que no haya revelado que el abuso gubernamental constituya un riesgo grave.
- Revisar las leyes, reglamentos y prácticas del Gobierno en materia de vigilancia, incluida la aprobación de la compra de equipos de vigilancia, las leyes relativas a la interceptación de las comunicaciones, el acceso a las comunicaciones almacenadas, los requisitos del debido proceso y otros procesos legales pertinentes. Para los vendedores de herramientas de aprendizaje automático e inteligencia artificial, la cuestión de si la herramienta puede estar sujeta a verdaderos requisitos de debido proceso -es decir, si una persona afectada por la decisión de un sistema puede tener suficiente acceso para poder determinar cómo se tomó una decisión adversa- debería ser un factor clave.
- Por ejemplo, Nokia Siemens afirma que sólo proporcionará las capacidades básicas de interceptación legal (es decir, de vigilancia) que sean legalmente necesarias y estén "basadas en normas claras y en un fundamento transparente en la ley y en la práctica".
- En algunos casos, como en el de la IA, esta revisión puede incluir la interpretación y aplicación de los principios legales y éticos, en lugar de limitarse a esperar a que surjan los "generalmente aceptados", ya que las fuerzas del orden a menudo implementan las tecnologías antes de que esas normas estén claras. La EFF y una amplia coalición internacional ya han interpretado las doctrinas jurídicas internacionales clave sobre la vigilancia masiva en los Principios Necesarios y Proporcionados.
- En el caso de los usos domésticos, esta revisión debe incluir una evaluación de si existe un control local suficiente. La EFF y la ACLU han trabajado para garantizar esto con un conjunto de propuestas denominadas Control Comunitario de la Vigilancia Policial o (CCOPS). Si el control y las protecciones locales aún no existen, la empresa debe negarse a suministrar la tecnología hasta que lo hagan, especialmente en lugares en los que la población ya corre el riesgo de ser vigilada.
- Examinar los informes creíbles sobre el Gobierno y su historial de derechos humanos, incluidas las noticias u otros informes de fuentes no gubernamentales o locales que indiquen si el Gobierno utiliza o abusa de las capacidades de vigilancia para cometer abusos contra los derechos humanos.
- A nivel internacional, esto puede incluir los informes del Departamento de Estado de EE.UU., así como otros informes gubernamentales y de la ONU, así como los de ONGs y periodistas muy respetados.
- A nivel nacional, esto puede incluir todo lo anterior, además de los informes del Departamento de Justicia sobre los departamentos de policía, como los emitidos sobre Ferguson, MO, y San Francisco, CA.
- En ambos casos, esta revisión puede y debe incluir también fuentes no gubernamentales y periodistas.
Abstenerse de participar: La Empresa no debe participar o seguir participando en una Transacción o proporcionar una Tecnología si parece razonablemente previsible que la Transacción o la Tecnología facilitará directa o indirectamente los abusos gubernamentales. Esto incluye los casos en los que
- La parte de la Transacción en la que participa la Empresa o la Tecnología específica proporcionada incluye la construcción, personalización, configuración o integración en un sistema que se sabe o se prevé razonablemente que se utilizará para abusos gubernamentales, ya sea realizado por la Empresa o por otros.
- La parte del Gobierno que participa en la Transacción o que supervisa las Tecnologías ha sido reconocida por cometer abusos gubernamentales utilizando o confiando en Tecnologías similares.
- El historial general del Gobierno en materia de derechos humanos suscita en general una preocupación creíble de que la Tecnología o la Transacción se utilicen para facilitar los abusos gubernamentales.
- El Gobierno se niega a incorporar términos contractuales que confirmen el uso o los usos previstos de la Tecnología, que confirmen el control local similar a las Propuestas de CCOPS, o que permitan la auditoría de su uso por parte de los compradores del Gobierno en las ventas de Tecnologías de vigilancia.
- La investigación revela que la tecnología no es capaz de funcionar de manera que proteja contra los abusos, como cuando no se puede garantizar el debido proceso en la toma de decisiones de la IA/ML, o el sesgo en los datos de entrenamiento o el resultado del reconocimiento facial es endémico o no puede corregirse.
Definiciones clave y alcance del proceso: ¿Quién debe realizar estos pasos? En realidad, el ámbito es bastante reducido: las empresas que participan en transacciones para vender o alquilar tecnologías de vigilancia a los gobiernos, definidas de la siguiente manera:
- Los "abusos gubernamentales" incluyen las violaciones gubernamentales del derecho internacional de los derechos humanos, el derecho internacional humanitario, las violaciones de los derechos civiles nacionales, las violaciones de las libertades civiles nacionales y otras violaciones legales que implican que los gobiernos hagan daño a las personas. Como se ha señalado anteriormente, en algunos casos que implican tecnología o usos de la tecnología nuevos o en evolución, esto puede incluir la interpretación y aplicación de esos principios y leyes, en lugar de limitarse a esperar a que surjan interpretaciones legales.
- "Transacción" incluye todas las ventas, arrendamientos, alquileres u otros tipos de acuerdos en los que una empresa, a cambio de cualquier forma de pago u otra consideración, proporciona o ayuda a proporcionar tecnologías, personal o apoyo no tecnológico a un gobierno. Esto también incluye la prestación de cualquier tipo de apoyo continuo a los gobiernos, como actualizaciones de software o hardware, consultoría o servicios similares.
- "Las tecnologías" incluyen todos los sistemas, tecnologías, servicios de consultoría y software que, a través de la comercialización, la personalización, los procesos de contratación gubernamental, o de otra manera, son conocidos por la empresa para ser utilizados o es razonablemente probable que se utilicen para vigilar a terceros. Esto incluye las tecnologías que interceptan las comunicaciones, el software de detección de paquetes, las tecnologías de inspección profunda de paquetes, los sistemas de reconocimiento facial, la inteligencia artificial y los sistemas de aprendizaje automático destinados a facilitar la vigilancia, determinados dispositivos y sistemas biométricos, los sistemas de votación y los contadores inteligentes.
- Tenga en cuenta que la FEP no cree que las tecnologías de uso general deban incluirse en esto, a menos que la empresa tenga una razón clara para creer que se utilizarán para la vigilancia.
- Las tecnologías de vigilancia, como los sistemas de reconocimiento facial, no suelen venderse a los gobiernos tal cual. Los proveedores de tecnología participan casi inevitablemente en la formación, el apoyo y el desarrollo de estas herramientas para usuarios finales gubernamentales específicos, como un organismo policial concreto.
- "Compañía" incluye las filiales, las empresas conjuntas (especialmente las empresas conjuntas directamente con entidades gubernamentales) y otras estructuras corporativas en las que la Compañía tiene participaciones significativas o tiene el control operativo.
- "Gobierno" incluye todos los segmentos del gobierno: las fuerzas de seguridad locales, las estatales y las federales e incluso las militares. Incluye los gobiernos formales y reconocidos, incluidos los Estados parte de las Naciones Unidas.
- También incluye a las entidades gobernantes o similares al gobierno, como el Partido Comunista Chino o los talibanes y otras entidades no gubernamentales que ejercen efectivamente poderes de gobierno sobre un país o una parte de él.
- A estos efectos, "Gobierno" incluye las ventas indirectas a través de un agente, revendedor, integrador de sistemas, contratista u otro intermediario o múltiples intermediarios si la empresa sabe o debería saber que el destinatario final de la tecnología es un gobierno.
Si las empresas tecnológicas quieren formar parte de la mejora del mundo, deben comprometerse a tomar decisiones empresariales que tengan en cuenta los posibles abusos gubernamentales.
Este marco es similar al de los actuales controles de exportación de Estados Unidos y también a los pasos exigidos por las empresas en virtud de la Ley de Prácticas Corruptas en el Extranjero. Se basa en el reconocimiento de que las empresas que participan en la contratación del gobierno nacional, especialmente para los tipos de sistemas de vigilancia caros y con muchos servicios que proporcionan las empresas tecnológicas, ya están participando en un proceso altamente regulado con muchos requisitos. En el caso de los grandes contratistas federales, éstos incluyen la presentación de complejos datos sobre costes o precios, la realización de controles de inmigración y la realización de pruebas de detección de drogas. Pedir a estas empresas que se aseguren de que no facilitan los abusos gubernamentales no es un gran esfuerzo adicional.
Independientemente de cómo lleguen las empresas tecnológicas, si quieren formar parte de un mundo mejor, no peor, deben comprometerse a tomar decisiones empresariales que tengan en cuenta los posibles abusos gubernamentales. Ninguna empresa razonable quiere ser conocida como la empresa que ayuda a sabiendas a facilitar los abusos gubernamentales. Los trabajadores del sector tecnológico están dejando claro que tampoco quieren trabajar para esas empresas. Aunque las publicaciones en el blog y las declaraciones públicas de algunos de los gigantes tecnológicos son un buen comienzo, es hora de que todas las empresas tecnológicas tomen medidas reales y ejecutables para garantizar que no están sirviendo como "ayudantes del abuso".