Hej, jag är Bernard, direktör för teknik på Drift. Jag började på företaget för ett år sedan efter att ha träffat Drifts CTO, Elias Torres. När vi träffades talade Elias om Drifts uppdrag att förändra ansiktet på företagens Amerika, och mer specifikt tekniken.
Under mina år inom mjukvaruutveckling har de flesta företag jag arbetat för haft som mål att skapa en arbetsplats som främjar rasmångfald och arbetar för att eliminera partiska system. Men av en eller annan anledning kom de ofta till korta – inte bara i sina anställningsprocesser, utan också i sitt förhållningssätt till mjukvaruutveckling. Även om svarta mjukvaruproffs arbetar målmedvetet för att eliminera partiskhet, är vår påverkan ofta osynlig.
Så i ett försök att bättre förstå den senaste industriforskningen om kodade fördomar vände jag mig till Ruha Benjamins arbete, en docent i afroamerikanska studier vid Princeton. Hennes bok, , uppmärksammar flera former av kodad orättvisa och rasism, inklusive i prediktiva algoritmer och AI.
Vi lever genom ett ögonblick präglat av en öppenhet att lyssna och vidta åtgärder för att avveckla systemisk rasism i våra samhällen. Även om många av oss är inblandade på individuell nivå, skulle jag vara försumlig om jag inte nämnde det viktiga ansvar som teknikföretag har att ta för att hitta en lösning.
Varför denna bok är ett måste för produktchefer och utvecklare
I sin bok diskuterar Ruha Benjamin etnicitet inom programvara för polisarbete, hälsa, marknadsföring av varor och tjänster, sysselsättning, politik och andra. Var och en “innehåller sociala fördomar inbäddade i tekniska artefakter, tjusningen av objektivitet utan offentligt ansvar” [p.53].
Boken beskriver hur logik med rasistiska fördomar kommer in genom bakdörren till teknisk utveckling, medan människor som utvecklar och optimerar algoritmer är “dolda från synen” [p.11]. Diskriminerande mjukvarudesign genom “konstruerad orättvisa, standarddiskriminering, kodad exponering och teknisk välvilja – faller på det spektrum som sträcker sig från det mest uppenbara till omedvetna på det sätt det bidrar till att skapa social orättvisa” [p.160].
Den vanliga uppfattningen att AI och teknik är “neutrala verktyg” ignorerar hur ras också fungerar som ett verktyg och blir inbäddad i teknik och system [p.29]. Detta förnekande av rasfixar eller kategorier kan leda till “några av de mest olycksbådande och systemiska formerna av rasism” “när människor vägrar att erkänna och utmana hur logik strukturerar utveckling” [p.157].
Om mångfald och inkludering fortsätter Ruha Benjamin med att förklara hur man håller tekniska plattformar och produktutvecklare ansvariga “som vi räknar med vår önskan om mer mångfald och inkludering” [p.33]. Boken handlar om de “anslutningar” som skapar fördomar i programvara snarare än att “jämföra” olika kodade fördomar [p.160]och författaren trycker tillbaka på föreställningen att teknisk bias är “oavsiktlig” eller “omedveten” [p.28].
Hur man tar bort en partiskhet från programvara (och var man ska börja)
Vilka problem som behöver lösas kräver bedömning som också är potentiellt partisk. Men vi måste försöka. Min topplista över Ruha Benjamins uppmaningar (och det finns mycket mer att packa upp genom hela boken) inkluderar:
- Förstå sambanden och “gör[ing] rasfixar synliga” [p.158].
- ”Tackl[ing] de många diskriminerande designerna som kodifierar värdegapet mellan svart och vitt genom att automatisera rasvanor” i systemens kod [p.159]. Identifiera dem när du designar och bygger.
- När fördomar upptäcks ska de inte behandlas som programvarufel eller defekter, utan som signaler [p.87]. Boken förklarar varför mer i detalj.
- Granska märkning i automatiserade system, eller partiska datamängder som “inte kunde existera utan data som producerats genom historia av uteslutning och diskriminering” [p.10]. Detta är inte bara AI, utan system som använder “intelligens”. Vilken algoritms inbäddade preferenser finns [p.50].
- Ta itu med hur datafiltrering utförs när ett användargränssnitt erbjuder frågor/svar och visualisering [p.33]. Ett automatiserat system kan vara mindre mänskligt när det gäller interaktioner men ändå diskriminerande [p.142]. Så fråga dig själv om det finns en rasskatt pålagd genom design? På detta ämne är boken uttömmande.
- Läser Black och Latinx exempel på strukturellt partiska datamängder.
- Begränsande risker vid rengöring av data som en lösning för att eliminera partiskhet [p.141]. Boken förklarar riskerna mer i detalj.
Ett sista ord…
Många av koncepten som Ruha Benjamin lägger fram har blivit bekanta för mig under mina år av mjukvaruutveckling. Samtidigt som jag inser att det finns kodad orättvisa och brist på teknisk neutralitet, vet jag att dessa kommer att återkomma även efter att förändringar har gjorts om ändringar i mjukvarudesignen inte också görs. Den här boken är en bra sammanfattning av orsakerna bakom detta.
“Race After Technology” är en praktisk bok som alla borde läsa. När allt kommer omkring är alla inom tekniken ansvariga för att få denna medvetenhet för att verklig förändring ska kunna ske.
Vilka åtgärder kommer du att vidta?
