Enligt en FN-rapport förstärker den nästan exklusiva användningen av kvinnliga röster i virtuella assistenter – tillsammans med andra problematiska beteenden – negativa stereotyper om kvinnor.
Rapporten, med titeln Jag skulle rodna om jag kunde, genomfördes av Unesco för att studera effekterna av den ökande trenden med könsrelaterad artificiell intelligens. Det har fått sitt namn från vad som fram till nyligen var Siris svar på kommentarer som är lite mer än trakasserier på gatan i den verkliga världen. Och låt oss bara säga att de inte hittade mycket goda nyheter.
Hur är virtuella assistenter sexistiska?
FN-rapporten var ingenting om inte omfattande och grävde mycket noggrant in i exakt vilka aspekter av virtuella assistenter som anses sexistiska i sin skildring av den genomsnittliga mänskliga kvinnan, som deras röster tydligt modelleras efter. Här är några specifika exempel som finns i rapporten.
Humaniserade backstories
Det är svårt att inte märka att nästan alla ledande virtuella assistenter är modellerade på kvinnor, i namn och röst. Men det är inte bara ett namn och en röst som tillskrivs tekniken. Kreativa team får betalt för att utveckla mer fördjupade bakgrundshistorier för dessa “kvinnor” för att humanisera dem och hjälpa AI att uttrycka sig på ett mer tillfredsställande och välbekant sätt. Och några tydliga teman dyker upp i dessa karaktärsutvecklingar: sexöverklagande och underkastelse.
Namnet Siri betyder “vacker kvinna som leder dig till seger” på norska. Cortana är baserad på en “sinnlig oklädd kvinna” från videospelet Halo. Även Ava, en virtuell agent för kundhjälp som utvecklats av Autodesk, beskrivs som en ”tjugo-något med slät hud, fulla läppar, långt hår och genomträngande brunblå ögon…. servil, lydig och ständigt artig. ”
Förmodligen är dessa karaktärsdrag inte problematiska på egen hand, och du kan förvänta dig att en virtuell assistent ska vara lydig i karaktär. Men när sådana idéer tillämpas så konsekvent och uteslutande för att skapa skildringar av kvinnor, skapar det ett problem. Vad mer är, om syftet med humaniseringen av tekniken är att passa in i samhället mer naturligt, skulle det säkert göra bättre att representera vår mångsidiga verklighet än att industrin återuppväcker de stela stereotypa förväntningarna hos kvinnor på 1950-talet.
Skaparna av dessa feminina karaktärer är snabba med att ursäkta sig från alla skulder eller negativa föreningar, eftersom de påminner oss om att dessa assistenter är tekniskt könslösa.
”Mycket använda röstassistenter hävdar ofta att de varken är män eller kvinnor som svar på direkta frågeställningar. När en användare frågar Siri om det är en kvinna, svarar tekniken: ‘Jag är könslös som kaktusar och vissa fiskarter’ eller ‘jag har inget kön.’ Google Assistant: “Jag är all-inclusive.” Och Cortana: ‘Tja, tekniskt sett är jag ett moln av oändlig databehandling.’ Endast Alexa svarar: “Jag är kvinnlig karaktär.” “
Men att hävda att dessa assistenter är tekniskt könslösa är inte ett “fri från fängelse” -kort för skaparna, tills de inte gör andra aspekter av deras “personligheter” könslösa också.
”Nästan alla dessa assistenter har feminiserats – i namn, i röst, i talmönster och i personlighet. Denna feminisering är så komplett att onlineforum inbjuder människor att dela bilder och teckningar av hur dessa assistenter ser ut i deras fantasi. Nästan alla skildringar är av unga, attraktiva kvinnor. ”
Svar på missbruk
Problemet är ännu tydligare i virtuella assistenters otroligt olämpliga svar på övergrepp och trakasserier. Som du kan se från diagrammet här är det genomsnittliga röstsvaret på dessa oönskade uttalanden – som ibland kan anses vara läskiga eller roviga om de kallas ut i verkliga livet – snälla, lekfulla och flirtiga. Även om de kan verka ofarliga på ytan, vet man inte vilken typ av långsiktiga psykologiska effekter dessa svar kan ha på manliga användare.
För att göra saken värre fann rapporten att virtuella assistenters svar på kvinnor som ägnar sig åt samma grymma beteende var särskilt mindre uppmuntrande (“Det är inte trevligt” eller “Jag är inte den typen av personlig assistent”). Detta främjar ytterligare den problematiska inställningen “pojkar kommer att vara pojkar” som användarna kan ta till sig mer än vad som bör uppmuntras, och det har nästan inte gjorts några framsteg för att göra det bättre genom teknologins åtta år.
”Assistentens underdanighet (Siri) inför könsmissbruk är oförändrad sedan teknikens breda utgåva 2011.”
Som en bransch som ständigt utvecklas talar detta stillastående svar på föråldrade könsstereotyper inom deras teknik volymer, särskilt när man tänker på vad som driver på denna sexism.
(Inte) Lyssna på kvinnor
Eftersom virtuella assistenter oftast är röstaktiverade är lyssnande lika viktigt som att svara. Förmågan att höra och förstå exakt vad en användare vill ha är en integrerad del av enhetens primära funktion. Tyvärr uppvisar virtuella assistenter sexistiska tendenser här också, eftersom de är mycket mindre benägna att höra kvinnliga användare på en konsekvent basis.
“Googles allmänt använda program för taligenkänning är 70 procent mer benägna att exakt känna igen manligt tal än kvinnligt tal, enligt forskning utförd vid University of Washington.”
Medan något så enkelt som att kunna upptäcka höga toner i motsats till låga toner kan verka som ett godtyckligt, är det ett beslut som troligen fattades av ett lag som övervägande består av män. Och det är en stor del av problemet.
Vad driver på denna sexism?
Könsskillnaden har varit ett väletablerat och mycket forskat faktum, särskilt inom teknik. Kvinnors underrepresentation är särskilt i hela branschen, från datorjobb, där kvinnor bara har 1 av 4 positioner, till grundare av Silicon Valley, varav kvinnor endast utgör 12 procent.
Som du förväntar dig följer artificiell intelligens efter med sina landsmän i den tekniska industrin. Enligt FN-rapporten är endast 12% av AI-forskarna och 6% av AI-programvaruutvecklarna kvinnor, vilket är en drivande faktor i virtuella assistenters sexistiska beteende.
”Bias kan. . . framträder i AI-system på grund av den mycket smala delmängden av befolkningen som utformar dem. AI-utvecklare är mestadels manliga, i allmänhet högt betalda och liknande tekniskt utbildade. Deras intressen, behov och livserfarenheter kommer nödvändigtvis att återspeglas i den AI de skapar. Bias, oavsett om det är medvetet eller omedvetet, återspeglar problem med inkludering och representation. ”
Det är ett smärtsamt uppenbart och ändå knappast adresserat problem inom teknik, och följderna börjar äntligen komma fram. Tills teknologins samhälls demografi börjar återspegla demografin i den verkliga världen kommer problem som könsbestämd AI att fortsätta att dyka upp.
Varför det spelar roll
Som FN-rapporten visade är könsbestämd AI långt ifrån ett slumpmässigt och ofarligt beslut om vilken typ av röst dessa virtuella assistenter kommer att använda. De långsiktiga förgreningarna är långtgående och betydande, särskilt när man överväger vad det kan göra för mentaliteten hos män och kvinnor som använder dem regelbundet.
“Ju mer kulturen lär människor att jämföra kvinnor med assistenter, desto mer verkliga kvinnor kommer att ses som assistenter – och straffas för att inte vara assistentliknande.”
Det är ett enkelt koncept: Du behandlar virtuella ”kvinnor” på ett visst sätt och detta beteende kommer att manifestera sig i den verkliga världen med riktiga kvinnor. Det är därför som det är så viktigt att beakta konsekvenserna av små tekniska beslut. eftersom det sällan stannar där. Med mer och mer avancerad teknik som skapas och programmeras dagligen är det viktigare än någonsin att tänka på framtiden.
“Könsfrågorna som tas upp här förhandlar om debatter som kommer att bli mer och mer framträdande när AI-tekniker antar större mänsklig kommunikationsförmåga.”
Att förstå problemet och varför det är viktigt är ett bra första steg för att se till att sådana tekniska problem inte blir ett allt svårare problem att lösa. Dock kommer teknikföretag att behöva vidta åtgärder för att få någon form av meningsfull inverkan.
Hur kan teknikföretag åtgärda detta?
Flirt med virtuella assistenter under antagandet att ett kvinnligt kön har blivit så vanligt att det ofta är föremål för humor.
Källa: Dilbert Comics, april 2019.
Som de enda kontrollanterna för deras respektive virtuella assistenter är företag som Google, Apple och Amazon ensamma ansvariga för att åtgärda det könsrelaterade AI-problemet som nu har dykt upp tack vare denna FN-rapport. Tyvärr är problemet med att förvänta sig att teknikföretag korrigerar det könsbestämda AI-problemet att de har den perfekta ursäkten för att upprätthålla status quo: kapitalismen.
”För att motivera beslutet att göra röstassistenter kvinnliga har företag som Amazon och Apple citerat akademiskt arbete som visar att människor föredrar en kvinnlig röst framför en manlig röst. Denna motivering tar bort frågor om könsförskjutning: företag gör vinst genom att locka och glädja kunder; kunder vill att deras digitala assistenter ska låta som kvinnor; Därför kan digitala assistenter tjäna mest på att låta kvinnliga.
Som rapporten dock påpekar, är det kanske det mest idiotsäkra sättet att skada din produkt för några extra dollar, särskilt när den forskning du bedriver för att få dig att låta rätt.
”Borttappad i den här berättelsen är dock studier som motbevisar eller försvårar idén att människor har en heltäckande preferens för kvinnliga röster. Forskning har föreslagit att de flesta föredrar lågmäldigt manligt tal (tänk Sean Connery); att människor gillar ljudet av en manlig röst när det gör auktoritativa uttalanden, men en kvinnlig röst när det är till hjälp. ”
Därefter är det första steget för att åtgärda problemet att teknikföretag ska ta itu med att det finns ett. Förhoppningsvis kommer denna FN-rapport att göra det lättare för AI-ingenjörer, utvecklare och VD: ar att vidta åtgärder och studera exakt hur könsförskjutning påverkar virtuell assistentprogrammering.
Om en FN-rapport dock inte gör tricket – vilket sannolikt är med tanke på hur mycket pengar som ska göras från virtuella assistenter – finns det andra organisationer som driver dem att göra rätt om de vill eller inte.
”En framställning i slutet av 2017 som organiserades av det sociala nätverket Care2 och undertecknades av cirka 17 000 personer, förutom Quartzstudy, krediteras för att ha hjälpt Apple och Amazon att stoppa deras röstassistenter från att svara lekfullt på könsförolämpningar. Framställningen uppmanade teknikföretagen att “omprogrammera sina robotar för att driva tillbaka mot sexuella trakasserier” och notera att “i # MeToo-rörelsen har vi en unik möjlighet att utveckla AI på ett sätt som skapar en snällare värld.” “
Det finns mer konkreta exempel på att lösa problemet, från könslösa röster till artighetskontroller, men den verkliga lösningen kommer att vara att minska klyftklyftan inom teknik. Oavsett hur många snabba lösningar och en minutslösningar teknikindustrin kan samla för att lösa sina många könsbaserade problem, kommer den verkliga lösningen att finnas i form av en diversifierad arbetskraft som arbetar tillsammans för att tillgodose alla behov snarare än bara välutbildade, raka, vita män. Tyvärr, tills könsskillnaden hanteras, kommer det att finnas fler ton-döva tekniska innovationer i horisonten.
