internetbis1617

O’Neil, Cathy: Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy [Armas de destrucción matemática: cómo los Big Data aumentan la desigualdad y amenazan la democracia], Crown, New York 2016.

El título del libro de O’Neil es un evidente juego de palabras con weapons of mass destruction (armas de destrucción masiva), tristemente célebres como excusa tejida por el Pentágono para atacar el Iraq de Sadam Husein. Sin embargo, en este caso las “armas de destrucción matemática” no son hipotéticas, sino bien reales. O’Neil, matemática de formación, ha trabajado en los Big Data durante años, para implicarse luego en el movimiento Occupy Wall Street, llevada por una aguda conciencia de las injusticias que se producen en el mundo de Internet por un empleo torticero de los algoritmos. Injusticias en Red que aumentan conforme las administraciones públicas y las empresas privadas hacen más uso de los algoritmos. Pero empecemos por el principio.

Un algoritmo es un programa, puro software. Contiene las instrucciones que ha de seguir la computadora para llegar a un resultado. El más famoso es el algoritmo secreto del motor de búsqueda de Google. Hoy día hay algoritmos con cincuenta millones de líneas de código, como Windows 10. No son algo sencillo de manejar. Dado que nuestra vida y nuestras incursiones en Internet quedan registradas de múltiples modos (dónde estamos, en qué fecha, qué páginas visitamos, cuánto tiempo estamos en cada página, etc., etc.), se emplean algoritmos para extraer los datos que interesan y correlacionarlos entre sí. Es el mundo de los Big Data, y son big porque manejan millones de datos imposibles de procesar sin potencia informática. El problema de los algoritmos es que en su elaboración se siguen implícitamente criterios que luego no se explicitan, y que a veces ni los mismos programadores son conscientes de poseer.

Pongamos un ejemplo elemental y hasta tonto, pero que puede ayudarnos a entender lo que estamos diciendo. Imaginemos que un colegio quiere evaluar a sus maestros. Para ello, decide contratar una empresa, que le proporciona un programa de evaluación al efecto. Este programa se basa en un algoritmo que correlaciona las notas de los alumnos con los maestros, de modo que cuanto más altas sean las notas, mejor puntuación obtiene el maestro. Según esto, pongamos que el maestro “Paco” obtiene un 6, y la maestra “Marta” un 4. Este es el resultado del programa, y el director o directora del colegio pensará que “Paco” es mejor que “Marta” y, dado que hay que prescindir de un maestro, despedirá a “Marta”. Pero ¿es así en realidad? ¿Qué ocurre si, por ejemplo, los alumnos que tiene “Paco” este año son mucho mejores que los que le han tocado a “Marta”? El fallo está en la asunción implícita del algoritmo de que mejor maestro=mejores notas de sus alumnos. Esta suposición no la conoce mas que quien hace el programa, si es que es consciente de ella, y todos los demás -el ejecutivo o ejecutiva de la empresa, la dirección del colegio, el mismo profesorado- solo saben el resultado del programa. Para ellos el programa es una auténtica caja negra: no se sabe cómo procede, no se sabe cómo está hecho, solo se conocen sus resultados. Su opacidad lo convierte en imposible de criticar. Les presento lo que O’Neil llama un “arma de destrucción matemática” (ADM). Un algoritmo que realizará auténticos destrozos en la vida académica. Podemos refinar el ejemplo todo lo que queramos, incluyendo todo tipo de datos, pero el problema persiste desde el momento en que para escribir el código del programa necesariamente hay que realizar suposiciones que no se explicitan y que quedarán ocultas por diseminación en todo el algoritmo. Si además no nos preocupa “si es así en realidad”, sino que lo que queremos es sacar el mayor provecho económico posible, la potencia destructiva del algoritmo se multiplica. Si no hacemos algo por remediarlo, nuestro mundo se encamina lentamente hacia esta nueva forma de injusticia masiva.

Porque la realidad es que estos algoritmos se usan para cada vez más cosas: para conceder créditos, para contratar personal y para eliminarlo, para contratar todo tipo de seguros, para la sanidad, para vendernos cosas y fijar los precios que podemos pagar, para distribuir ayudas sociales, etc.

Las “armas de destrucción matemática” o ADM son, pues, opacas y masivas: se extienden a grandes dominios. Pero lo que acaba por redondear su carácter es que presentan un bucle venenoso de retroalimentación. Para explicar qué es esto, vayamos al ejemplo anterior. “Marta” ha sido despedida, el colegio sale de números rojos, padres y madres saben que los docentes también son evaluados, la credibilidad del colegio aumenta, y todo ello confirma que el programa de evaluación de los maestros ha funcionado. Esto es un bucle venenoso de retroalimentación. Si “Marta” es contratada en el curso siguiente por otro colegio y su alumnado destaca por sus notas, esto no entra en el programa de evaluación que empleó la primera escuela, no es un dato que obligue a replantear el algoritmo, porque no se tiene en cuenta. Si hubiera que hacerlo, habría que reescribir el código, y ello supondría un desembolso económico que el colegio no se puede permitir. “Cuando consideramos las ADM, a menudo nos encontramos con que hay que decidir entre lo justo y lo eficaz. Nuestras tradiciones legales se inclinan fuertemente por la justicia. Las ADM, por contra, tienden a favorecer la eficiencia. Por su propia naturaleza, se alimentan de datos que pueden ser medidos y contados. Pero la justicia es complicada y difícil de cuantificar. Es un concepto. Y las computadoras, con todos sus avances lingüísticos y lógicos, todavía luchan denodadamente con los conceptos. Solo “entienden” la belleza como una palabra asociada al Gran Cañón, a las puestas de sol en el mar, y a consejos de belleza en el Vogue. Intentan en vano medir la “amistad” por el número de “me gusta” y de conexiones en Facebook. El concepto de justicia se les escapa clamorosamente. Los programadores no saben cómo codificarlo, y pocos de sus jefes se lo exigen.”[2]

O’Neil investiga el uso de las ADM en variados contextos sociales: el sistema penitenciario, el educativo, el sanitario, el bancario, el de los seguros, el laboral, etc. En todos ellos se desvelan las injusticias que estas “armas de destrucción matemática” producen. Resumiremos brevemente alguno de estos aspectos para hacernos cargo de su importancia.

“La Corte Suprema falló en un caso de 1971, Griggs v. la compañía Duke Power, que emplear tests de inteligencia para contratar personas era discriminatorio y por tanto ilegal.”[3] ¿Qué hicieron las compañías? Buscar una manera de esquivar el problema sin renunciar al objetivo: sustituyeron los tests de inteligencia por tests de personalidad. Ahora ya no había modo de acusarlas de discriminación, siempre que los criterios de selección de puestos de trabajo según la personalidad no se hicieran públicos. Es el principio de opacidad, el de la caja negra, el que actúa aquí. Con el tiempo la selección de personal, y los programas usados para ello, cambiaron de objetivo. Ahora ya no se trata de encontrar al mejor empleado, sino de excluir al mayor número posible de solicitantes del modo más económico.[4] Para ello, las ADM son esenciales. Se calcula que el 72% de los currículos jamás son leídos por ojos humanos, sino por computadoras.[5] Esto inicia un círculo vicioso: hay empresas que preparan a los solicitantes para que elaboren un currículo que pueda pasar el filtro de los programas, y a su vez las empresas que buscan fuerza laboral emplean otros programas que las primeras empresas no puedan analizar, etc. En medio de toda esta guerra está el inerme ciudadano que, si tiene algo claro, es que “su vida depende cada vez más de su habilidad para que las máquinas le favorezcan”.[6] “La clave es saber qué es lo que buscan las máquinas”[7]: pero esto es precisamente lo que más se oculta, es la esencia del algoritmo, la fórmula de la Coca-Cola. En consecuencia, siguiendo el ejemplo propuesto al principio, “Marta” será despedida, pero ella no sabrá por qué, aparte de por la puntuación que haya sacado en el programa evaluador. Pensará que a lo mejor es mala maestra, dudará de sí misma, quizá reoriente su docencia para poder sacar mejor nota en la próxima evaluación a la que sin duda la someterán en la nueva escuela, etc. Y si en su nueva escuela le va bien, quizá acabe atribuyendo todo al azar y se prepare para vivir en un mundo en el que, como le espetaba un nazi en Auschwitz a un judío recién llegado: Hier ist kein warum, Aquí no hay ningún por qué.[8] En este caso el cuento de Borges, La lotería en Babilonia[9] no hace sino anticipar nuestra realidad.

“De acuerdo con datos del Gobierno norteamericano, dos tercios de los trabajadores en negocios que sirven comidas y más de la mitad de los trabajadores en la venta al por menor reciben avisos por cambio de horario con una semana o menos de antelación, a menudo con un día o dos de adelanto.”[10]

“Hoy día, las empresas pueden analizar el tráfico de los clientes para calcular con exactitud cuántos empleados van a necesitar en cada hora del día. El objetivo, por supuesto, es gastar el menor dinero posible, lo que supone mantener la plantilla al mínimo, asegurando por otra parte refuerzos para las horas punta.”[11] “Las condiciones cambian de una hora a otra, y la fuerza de trabajo debe organizarse para que encaje con las fluctuaciones de la demanda.” [12]

“Los nuevos programas de plantillas y horarios laborales ofrecen opciones mucho más sofisticadas. Procesan nuevos flujos de datos en continuo cambio, desde la meteorología hasta las pautas del paseante urbano. Una tarde lluviosa, por ejemplo, probablemente hará que la gente vaya a los cafés en lugar de los parques. Por tanto, necesitarán más personal, al menos para una hora o dos.”[13]

Así llegamos al fenómeno del clopening, el hecho de que el mismo personal tenga a veces que trabajar hasta el cierre (closing) del negocio y abrirlo (opening) de nuevo antes de la llegada de un nuevo turno.

“Starbucks, cuya marca depende más que la mayoría del buen trato a sus trabajadores, fue más allá, declarando que la compañía ajustaría el software para reducir la pesadilla de los horarios de sus 130.000 camareros. Todas las horas de trabajo se anunciarían al menos con una semana de antelación.

Sin embargo, un año después Starbucks no llegaba a cumplir este objetivo, sin eliminar siquiera los clopenings, según un reportaje del Times. El problema era que mantener la plantilla al mínimo era parte integral de su cultura empresarial.”[14]

“Debo añadir que las compañías toman medidas para que la vida de la gente no sea demasiado penosa. Conocen al céntimo el precio de reemplazar a un trabajador quemado que al final se va. También esos números están en los datos.”[15] “Y debido a que estos programas de optimización son omnipresentes, los trabajadores saben demasiado bien que cambiar de trabajo no es probable que mejore su suerte. Tomadas en conjunto, estas dinámicas suministran a las corporaciones algo muy cercano a una fuerza de trabajo cautiva.”[16] “Es casi como si el software estuviera diseñado expresamente para castigar a los trabajadores de bajo salario y mantenerlos abatidos.”[17]

“Los horarios largos e irregulares dificultan también que los trabajadores se organicen o protesten por mejorar su condición. En lugar de esto, afrontan una elevada ansiedad y privación de sueño, que causan drásticos cambios de humor y un 13% estimado de muertes en carretera.”[18]

“Este software condena también a un elevado tanto por ciento de nuestros niños a crecer sin rutinas. Ven a la madre con ojeras en el desayuno, o saliendo apresuradamente de casa sin cenar, o discutiendo con la abuela quién puede encargarse de ellos el domingo por la mañana. Esta vida caótica afecta profundamente a los niños. De acuerdo con un estudio del Economic Policy Institute, un think tank progresista, “los niños y adolescentes de padres que trabajan con horarios impredecibles o fuera de las horas normales de trabajo tienen más probabilidad de obtener peores resultados en conocimientos y conducta”.”[19]

“Ya hay compañías que establecen ambiciosos estándares de salud para sus trabajadores, y los penalizan si no llegan a ellos. Michelin, la compañía de neumáticos, marca a sus empleados objetivos de salud que van desde la presión sanguínea, la glucosa, el colesterol, o los triglicéridos, al diámetro abdominal. Aquellos que no fallan en tres de estas categorías tienen que pagar un extra de 1.000 dólares al año a su seguro de salud. La cadena nacional de droguerías CVS anunció en 2013 que pediría a sus empleados informar de sus niveles de grasa corporal, azúcar en sangre, presión cardíaca y colesterol, o tendrían que pagar 600 dólares al año.”[20]

“Gran parte de la tecnología de planificación horaria tiene sus raíces en una poderosa disciplina de las matemáticas aplicadas denominada “investigación de operaciones” (IO). Durante siglos, los matemáticos emplearon rudimentos de IO para ayudar a los agricultores a planificar la siembra de sus cosechas y a los ingenieros civiles para diseñar redes de carreteras eficientes para el transporte de mercancías y personas. Sin embargo, esta disciplina no despegó verdaderamente hasta la Segunda Guerra Mundial, cuando los ejércitos británico y norteamericano reclutaron equipos enteros de matemáticos para optimizar el uso de sus recursos. Los aliados centraron su atención en varias formas de una “proporción de cambio” que comparaba los recursos aliados empleados frente a los recursos enemigos destruidos. Durante la Operación Starvation, que tuvo lugar entre marzo y agosto de 1945, la 21ª compañía de bombarderos tuvo como misión destruir los buques mercantes japoneses para evitar que llegaran alimentos y otros bienes a la costa de Japón. Los equipos de IO trabajaron para minimizar el número de aviones portadores de minas necesarios para hundir cada mercante japonés. Manejaron una “proporción de cambio” de unos 40 a 1: solamente se perdieron 15 aviones por 606 barcos japoneses hundidos. Esto se consideró muy eficiente, y en parte fue debido al trabajo del equipo de IO. Después de la Segunda Guerra Mundial, las grandes compañías (así como el Pentágono) dedicaron enormes recursos a la IO. La ciencia de la logística transformó radicalmente el modo en que producimos mercancías y las llevamos al mercado.”[21]

“La gente pobre es más probable que tenga poco crédito y viva en vecindarios con alta criminalidad, rodeada de más gente pobre. Una vez que el oscuro universo de las ADM asimila estos datos, los inunda con publicidad depredadora para préstamos subprime o colegios privados. Envía más policía para arrestarlos, y cuando se los encarcela, sus sentencias son más largas. Estos datos alimentan a otras ADM que clasifican a esta misma gente como de alto riesgo (presas fáciles), y proceden a bloquearlos en sus solicitudes de trabajo, a la vez que elevan la cuota de sus hipotecas, la del préstamo para el coche y la de cualquier tipo de seguro imaginable. Esto les hace descender más aún en su clasificación crediticia, y se crea una espiral funesta. Ser pobre en un mundo de AMD se está volviendo cada vez más caro y peligroso. [...] La índole silenciosa y personalizada de este proceso clasificatorio impide que los ganadores en esta sociedad puedan ver cómo esos mismos procesos están destrozando las vidas de gente a menudo separada unas pocas manzanas de ellos.”[22]

Las subvenciones públicas a gente necesitada son uno de los datos que manejan las AMD. Mientras que el Gobierno las concede con la expectativa de que la persona en dificultades pueda un día salir adelante sin la ayuda del Estado, las AMD se diseñan para detectar a estas personas y extraer todo lo posible de ellas. Es una táctica depredatoria con una consecuencia socialmente nefasta: al cabo del tiempo se comprueba que las ayudas estatales no sirven para lo que se pensaron, y tienden a eliminarse. Sin embargo, ¿a dónde fueron a parar esas subvenciones? A las empresas con potentes AMD. Mientras tanto, se oye una vez más la leyenda urbana de los inicios del capitalismo: que si se ayuda a los pobres, estos se acostumbran a vivir del cuento y se vuelven vagos e incapaces. “No podemos contar con el mercado libre para corregir estos errores”, concluye la autora.[23]

Internet es una máquina de generación de datos. Los intereses empresariales, por un lado, controlan la Red en lo posible, según hemos visto en la primera parte de esta recensión. La Red ha de ser eficiente para ofrecer muchos más datos de los que aparecen cuando hacemos un click, así como para mover el dinero. Pero a la vez que una simple entrada en Facebook genera más de treinta metadatos, hacen falta programas muy potentes capaces de manejarlos. Los programas gratuitos que se ofrecen son a menudo la principal fuente de extracción de datos, pero no sirven de nada sin otros programas, secreto de la empresa, que puedan rentabilizarlos. Este es el terreno de las ADM. Cruzando miles de millones de datos se obtienen pautas, y uno de los principales objetivos empresariales es descubrirlas y clasificarlas. La causalidad no juega aquí ningún papel. Si, por ejemplo, los habitantes de determinado distrito postal comen más hamburguesas que los de los alrededores en los días que no hay fútbol y llueve, tenemos una pauta. Al empresario no le importa por qué lo hacen, sino que lo hacen. De este modo se investigan pautas y se clasifican según el objetivo que se quiera perseguir. El problema surge el día que una ADM establece que no vale la pena invertir demasiado en infraestructuras en determinado barrio porque su población no suele votar, o lo hace por un partido que no nos conviene. ¿Puede estar más claro el peligro? O’Neil nos cuenta que en las últimas campañas electorales norteamericanas ha habido un inmenso esfuerzo para clasificar grupos de población en sus componentes mínimos, lo que se llama microsegmentar. El objetivo es que el candidato les diga a cada uno de estos grupos lo que quieren oír, y se calle lo que le podría perjudicar. Así, se programan distintos anuncios electorales en la televisión, dependiendo del canal y de la hora, con mensajes diferentes. En uno el candidato, que está ante una audiencia mayoritariamente hispana, habla de la defensa de los puestos laborales. Pero en otro, ante una audiencia blanca, de clase baja, etc., hablará de los problemas de la inmigración, por ejemplo. El candidato se multiplica y se adapta a lo que cada segmento de la población quiere oír. Ahora bien, no lo hará en todos los Estados, sino en aquellos que otra ADM ha seleccionado como clave para ganar las elecciones. Algo parecido ha ocurrido siempre, la diferencia está en que con las ADM el juego se puede llevar a una nueva dimensión de complejidad que puede acabar poniendo en duda la calidad democrática de todo el proceso.

Los algoritmos empleados en las AMD tienen un problema interno, que es el de los necesarios supuestos que han que incorporar para su funcionamiento. Pueden ser malas presuposiciones, inútiles, inevitablemente sesgadas, bienintencionadas o malignas, pero en todo caso pasan desapercibidas, están ocultas por la misma naturaleza del código en el que se encarnan. La única forma práctica de corregir este problema es retroalimentar el programa con nuevos datos contextuales no previstos en su primera redacción, obligando de esta forma a reescribir el código para que se adapte a la realidad. Esto implica ir contracorriente, porque las AMD tienen la tendencia a crear su propio mundo y confirmarlo con sus propios datos. Que es exactamente lo que se está viendo que sucede con los navegantes de Internet: tienden a construirse mundos propios con personas de la misma opinión, que leen los mismos periódicos, ven las mismas películas, etc., dando de lado al resto, olvidando que existe. Si esto sucede a escala pública, entonces surge la injusticia, que es lo que ocurre con las AMD.

Pero estas también tienen un problema externo, y es el de los objetivos que persiguen. Si lo que se busca es la máxima rentabilidad económica, entonces el precio a pagar es de nuevo la injusticia. Podrían diseñarse AMD benignas, con bucles positivos de retroalimentación para evitar que confirmaran su propio modelo al margen de la realidad, y con objetivos socialmente loables. Esta es una labor por hacer. Mientras tanto, hay que vigilar policialmente las AMD y controlar su uso, como se hace con las armas de destrucción masiva. “¿Vamos a tener que sacrificar la precisión del modelo en aras de su justicia? ¿Tenemos que hacer que nuestros algoritmos sean un poco tontos? En algunos casos, sí. Si vamos a ser iguales ante la ley, o a ser tratados con igualdad como votantes, no podemos apoyar sistemas que nos clasifican en diferentes castas y nos tratan de modo diferente.”[24]

“Mi pronóstico es que en los próximos años océanos de datos conductuales alimentarán directamente sistemas de inteligencia artificial. Y estos seguirán siendo, a ojos humanos, cajas negras. A través de este proceso pocas veces, si alguna, sabremos a qué tribus “pertenecemos” o por qué.”[25]

“Estos programas automáticos determinarán cada vez más el trato que van a darnos las demás máquinas, las que eligen los anuncios que vemos, fijan los precios que pagamos, nos sitúan en una lista para una cita con el dermatólogo, o planifican nuestros recorridos. Serán altamente eficientes, aparentemente arbitrarias, y manifiestamente inexplicables. Nadie entenderá su lógica, o bien no sabrá explicarla.”[26]

[1] En adelante, no cito por número de página por haber manejado la edición electrónica. La traducción es mía.

“an algorithm—an opinion formalized in code—“.

[2] “While looking at WMDs, we’re often faced with a choice between fairness and efficacy. Our legal traditions lean strongly toward fairness. WMDs, by contrast, tend to favor efficiency. By their very nature, they feed on data that can be measured and counted. But fairness is squishy and hard to quantify. It is a concept. And computers, for all of their advances in language and logic, still struggle mightily with concepts. They “understand” beauty only as a word associated with the Grand Canyon, ocean sunsets, and grooming tips in Vogue magazine. They try in vain to measure “friendship” by counting likes and connections on Facebook. And the concept of fairness utterly escapes them. Programmers don’t know how to code for it, and few of their bosses ask them to.”

[3] “...the Supreme Court ruled in a 1971 case, Griggs v. Duke Power Company, that intelligence tests for hiring were discriminatory and therefore illegal.”

[4] ““The primary purpose of the test,” said Roland Behm, “is not to find the best employee. It’s to exclude as many people as possible as cheaply as possible.” ”

[5] “...some 72 percent of résumés are never seen by human eyes. Computer programs flip through them”.

[6] Traducción ligeramente modificada. “Our livelihoods increasingly depend on our ability to make our case to machines.”

[7] “The key is to learn what the machines are looking for”.

[8] Primo Levi: Si esto es un hombre (1947).

[9] Jorge Luis Borges en Ficciones (1944).

[10] “According to US government data, two-thirds of food service workers and more than half of retail workers find out about scheduling changes with notice of a week or less—often just a day or two, which can leave them scrambling to arrange transportation or child care.”

[11] “Businesses can now analyze customer traffic to calculate exactly how many employees they will need each hour of the day. The goal, of course, is to spend as little money as possible, which means keeping staffing at the bare minimum while making sure that reinforcements are on hand for the busy times.”

[12] “Conditions change, hour by hour, and the workforce must be deployed to match the fluctuating demand.”

[13] “new software scheduling programs offer far more sophisticated options. They process new streams of ever-changing data, from the weather to pedestrian patterns. A rainy afternoon, for example, will likely drive people from the park into cafés. So they’ll need more staffing, at least for an hour or two.”

[14] “Starbucks, whose brand hinges more than most on fair treatment of workers, went further, saying that the company would adjust the software to reduce the scheduling nightmares for its 130,000 baristas. All work hours would be posted at least one week in advance.

A year later, however, Starbucks was failing to meet these targets, or even to eliminate the clopenings, according to a follow-up report in the Times. The trouble was that minimal staffing was baked into the culture.”

[15] “I should add that companies take steps not to make people’s lives too miserable. They all know to the penny how much it costs to replace a frazzled worker who finally quits. Those numbers are in the data, too.”

[16] “And because these optimization programs are everywhere, the workers know all too well that changing jobs isn’t likely to improve their lot. Taken together, these dynamics provide corporations with something close to a captive workforce.”

[17] “It’s almost as if the software were designed expressly to punish low-wage workers and to keep them down.”

[18] “The long and irregular hours also make it hard for workers to organize or to protest for better conditions. Instead, they face heightened anxiety and sleep deprivation, which causes dramatic mood swings and is responsible for an estimated 13 percent of highway deaths.”

[19] “The software also condemns a large percentage of our children to grow up without routines. They experience their mother bleary eyed at breakfast, or hurrying out the door without dinner, or arguing with her mother about who can take care of them on Sunday morning. This chaotic life affects children deeply. According to a study by the Economic Policy Institute, an advocacy group, “Young children and adolescents of parents working unpredictable schedules or outside standard daytime working hours are more likely to have inferior cognition and behavioral outcomes.”

[20] “Already, companies are establishing ambitious health standards for workers and penalizing them if they come up short. Michelin, the tire company, sets its employees goals for metrics ranging from blood pressure to glucose, cholesterol, triglycerides, and waist size. Those who don’t reach the targets in three categories have to pay an extra $1,000 a year toward their health insurance. The national drugstore chain CVS announced in 2013 that it would require employees to report their levels of body fat, blood sugar, blood pressure, and cholesterol—or pay $600 a year.”

[21] “Much of the scheduling technology has its roots in a powerful discipline of applied mathematics called “operations research,” or OR. For centuries, mathematicians used the rudiments of OR to help farmers plan crop plantings and help civil engineers map highways to move people and goods efficiently. But the discipline didn’t really take off until World War II, when the US and British military enlisted teams of mathematicians to optimize their use of resources. The Allies kept track of various forms of an “exchange ratio,” which compared Allied resources spent versus enemy resources destroyed. During Operation Starvation, which took place between March and August 1945, the Twenty-first Bomber Command was tasked with destroying Japanese merchant ships in order to prevent food and other goods from arriving safely on Japanese shores. OR teams worked to minimize the number of mine-laying aircraft for each Japanese merchant ship that was sunk. They managed an “exchange ratio” of over 40 to 1—only 15 aircraft were lost in sinking 606 Japanese ships. This was considered highly efficient, and was due, in part, to the work of the OR team. Following World War II, major companies (as well as the Pentagon) poured enormous resources into OR. The science of logistics radically transformed the way we produce goods and bring them to market”.

[22] “Poor people are more likely to have bad credit and live in high-crime neighborhoods, surrounded by other poor people. Once the dark universe of WMDs digests that data, it showers them with predatory ads for subprime loans or for-profit schools. It sends more police to arrest them, and when they’re convicted it sentences them to longer terms. This data feeds into other WMDs, which score the same people as high risks or easy targets and proceed to block them from jobs, while jacking up their rates for mortgages, car loans, and every kind of insurance imaginable. This drives their credit rating down further, creating nothing less than a death spiral of modeling. Being poor in a world of WMDs is getting more and more dangerous and expensive. [...] The quiet and personal nature of this targeting keeps society’s winners from seeing how the very same models are destroying lives, sometimes just a few blocks away.”

[23] “We cannot count on the free market itself to right these wrongs”.

[24] “Are we going to sacrifice the accuracy of the model for fairness? Do we have to dumb down our algorithms?

In some cases, yes. If we’re going to be equal before the law, or be treated equally as voters, we cannot stand for systems that drop us into different castes and treat us differently.”

[25] “My point is that oceans of behavioral data, in coming years, will feed straight into artificial intelligence systems. And these will remain, to human eyes, black boxes. Throughout this process, we will rarely learn about the tribes we “belong” to or why we belong there.”

[26] “These automatic programs will increasingly determine how we are treated by the other machines, the ones that choose the ads we see, set prices for us, line us up for a dermatologist appointment, or map our routes. They will be highly efficient, seemingly arbitrary, and utterly unaccountable. No one will understand their logic or be able to explain it.”