Verkstaden byggs
När tekniken missar halva mänskligheten
Amazon byggde ett AI-system för att gallra jobbansökningar. Det tog fem år att träna, och det fungerade som det var byggt att fungera. Det var det som var problemet: systemet sorterade systematiskt ned ansökningar som innehöll ordet “women”.
Ingen programmerade in det med flit. Systemet lärde sig av tio år av tidigare anställningsbeslut, fattade av ett homogent team i en bransch som anställt mest män. Det upprepade alltså mönstret det fått se. Ingen hade bestämt att kön skulle vägas in, men det var det som byggdes, och för den som sorterades bort spelade avsikten ingen roll. Amazon lade ner projektet 2018, när de förstod vad som hänt.
Hur kan ett program diskriminera utan att någon ville det?
Tekniken är neutral, men inte de som bygger den
Det finns ett argument som ofta dyker upp i teknikvärlden: kod är objektiv. Det är bara matematik. Det har inga fördomar.
Matematiken i sig har inga åsikter. Men ett program är aldrig bara matematik: det är en lång rad mänskliga beslut, omvandlade till kod.
Kod skrivs av människor. De väljer vad som ska mätas och vad som ska ignoreras. De bestämmer vad som räknas som ett bra resultat. De väljer vilken data systemet ska lära sig av. Och om de som fattar de besluten alla ser likadana ut, tänker likadant och har likadana erfarenheter, så byggs det in i systemet.
Sedan körs systemet i verkligheten, där människor är olika.
Tre exempel
Röstigenkänning
De tidiga systemen, Siri, Alexa, Google Voice, tränades på dataset som till övervägande del bestod av manliga röster. Resultatet var mätbart: systemen förstod manliga röster bättre. Det var inte sabotage. Det var slarv med vem som var med i träningsdatan.
Krocktestdockan
I decennier utformades bilindustrins krocktestsdocka efter en genomsnittlig manlig kropp. Säkerhetsbälten, krockkuddar, huvudstöd, allting kalibrerades mot den kroppen. Konsekvensen var att kvinnor vid likvärdiga olyckor löpte signifikant högre risk att skadas allvarligt. Samma mönster upprepade sig när de första medicintekniska wearables kom: kalibrerade för manlig fysiologi, sämre precision för andra.
Ansiktsigenkänning
En studie från MIT av forskarna Joy Buolamwini och Timnit Gebru visade att kommersiella ansiktsigenkänningssystem hade en felmarginal under 1% för ljushyade män, och upp till 35% för mörkhyade kvinnor. Samma algoritm. Enorm skillnad i precision. Orsaken: träningsdatan var skev.
Men tekniken började faktiskt inte så här
Ada Lovelace skrev det som anses vara världens första Algoritm En steg för steg-instruktion för att lösa ett problem eller utföra en uppgift. på 1840-talet, för en maskin som ännu inte existerade. De sex programmerarna som opererade ENIAC, en av de första elektroniska datorerna, var alla kvinnor. Grace Hopper uppfann Kompilator Ett program som översätter hela källkoden till maskinkod på en gång, innan programmet körs. Grace Hopper skapade den första kompilatorn 1952. , verktyget som översätter mänsklig kod till maskininstruktioner, och populariserade ordet “bug” efter att hennes team bokstavligen hittat en mal inuti en dator.
Programmering betraktades länge som kontorsarbete och var ett kvinnodominerat yrke. Det förändrades gradvis under 1970- och 80-talen, när yrket fick högre status och lön. Marknadsföringen av hemdatorer riktades nästan uteslutande mot pojkar. Kulturen i branschen förändrades. Andelen kvinnor på datavetenskapsprogram i USA nådde sin topp 1984, och har sjunkit sedan dess. Mönstret är varken unikt amerikanskt eller enbart historia. I dag är mjukvaru- och systemutvecklare det vanligaste yrket för män i Sverige, men bara ungefär en av fem som har jobbet är kvinna.
Det är inte en naturlag. Det är ett val som gjorts, och om det är ett val kan det göras om.
Varför det angår dig
Du är på väg att bli någon som bygger saker som andra människor använder.
Det gäller inte bara stora AI-system. Det gäller ett formulär som kräver för- och efternamn i separata fält, vad gör det med kulturer som inte namnger sig så? Det gäller ett gränssnitt som antar att alla användare är högerhänta. Det gäller en färgkombination som är omöjlig att läsa för de ungefär en av tolv män och en av tvåhundra kvinnor som har färgblindhet.
Varje designbeslut är ett antagande om vem som ska använda det du bygger. De antagandena kan vara medvetna eller omedvetna. Skillnaden avgörs ofta av vem som sitter i rummet när besluten fattas, och om de ens tänker på frågan.
Det är en av de starkaste anledningarna till varför det behövs fler olika röster i tekniken. Inte av politiska skäl. Av kvalitetsskäl.
Att koda är mer än att skriva kod
De flesta som börjar programmera föreställer sig samma sak: man sitter vid en dator och skriver. Det stämmer, och det är den minsta delen av arbetet.
Tänk efter hur tiden faktiskt fördelar sig när något ska byggas. En del går åt till att skriva. Resten går åt till att förstå vad som egentligen ska hända, bestämma i vilken ordning det ska ske, och framför allt ta reda på varför det som redan är skrivet inte gör det du trodde att det skulle göra. Det sista är inget tecken på att du är dålig på det här. Det är arbetet.
Det är också därför kursen inte bara handlar om att skriva rader. Du kommer att läsa om saker som inte ser ut som kod: hur datorns minne håller sina värden bara så länge strömmen är på, varför processorn i grunden bara förstår på och av, hur ett felmeddelande är uppbyggt och i vilken ände man börjar läsa det. Inget av det är utfyllnad före den roliga delen, och inget av det ska memoreras för sin egen skull.
Poängen är den här. Den som bara lärt sig skriva kod kan bygga något som fungerar. Den som dessutom förstår vad som händer under ytan kan svara på varför det inte fungerar, och det är den skillnaden som avgör om du fastnar eller tar dig vidare.
Det är den verkstaden du nu går in i.