ORGANISATIONENS ABDIKATION

När individens svagheter tenderar bli strukturell logik

Det här är del två. Del ett ligger här: länk. Individens abdikation är liten: en förskjutning av ansvar, ett spontant val att spara mental energi. Detta är väldokumenterat inom kognitionspsykologi som kognitiv lathet (Pennycook & Rand 2019; DOI: 10.1016/j.cognition.2019.01.017). I en organisation förstoras samma mekanism. Människor synkroniserar sin minsta möjliga ansträngning. Riktningar uppstår av vana. Riktning blir rutin. Rutin blir process. Process blir standard. AI rör sig längs dessa standarder och förstärker dem enligt forskning om machine behaviour (Rahwan et al. 2019; DOI: 10.1038/s41586-019-1138-y).
En logisk slutsats är att AI accelererar organisatoriska rörelser som redan finns i strukturen.

ANSVARSDIFFUSION

Beslut tappar ägare och landar hos systemet

Organisationer brukar vilja verka upptagna. Rörelse signalerar betydelse och bekräftar strukturens existens. Man producerar rapporter och avstämningar som visar aktivitet även när riktningen är oklar.
En trolig konsekvens är att flödet börjar ersätta ägarskapet, vilket ligger i linje med forskning om ansvarsdiffusion (Darley & Latané 1968; DOI: 10.1037/h0025589). När ansvar ska utkrävas är det ofta enklare att peka åt ett annat håll än att bära beslutet. Beslutet blir en produkt av att ”så här gör vi”. Logiska slutsatsen är att beslutet uppfattas som systemets snarare än någon persons. AI förstärker mönstret genom att leverera svar som uppfattas som neutrala, vilket minskar mänsklig vilja att ta ägarskap – en känd effekt av automation bias (Mosier et al. 1998).

AUKTORITETSÖVERTRO

Systemets utskrift väger tyngre än erfarenhet

Många antar att en modell är objektiv, stabil och mer pålitlig än mänskliga bedömningar. Detta stöds av forskning om algorithmic authority bias (Logg et al. 2019; DOI: 10.1016/j.obhdp.2018.06.004). Erfarna personer tystnar när systemet signalerar säkerhet. Kognitiv lathet gör resten. En rimlig följd blir att omdöme ersätts av följsamhet.

RESURSILLUSION

Granskning stryks, och kostnaden gömmer sig tills den exploderar

Organisationer nedprioriterar kontroll eftersom den syns som kostnad. Forskning om systemfel visar hur minskad kontroll skapar risker som växer osedda (Dekker 2005). När granskning faller bort ackumuleras fel som annars skulle ha stoppats tidigt.
Detta leder till att kostnaden visar sig först när den hunnit bli systemisk.

INCITAMENT

Det som mäts blir verkligheten, även när det saknar verklighet

När KPI styr beteenden ersätter mått omdöme. Goodhart’s Law är väldokumenterad (Strathern 1997). Organisationer följer det som syns i dashboarden: tempo, volym, kostnad. Kvalitet saknar mätpunkt och faller undan. En logisk slutsats är att kvalitet trängs undan av siffror som går snabbare att producera.

KOMPETENSFELALLOKERING

Systemet övervakas av dem som inte ser avvikelserna

Avancerade system kräver domänförståelse (Baxter & Sommerville 2011; DOI: 10.1016/j.intcom.2010.07.003). Senior kompetens är dyr, och övervakning tenderar därför att flyttas till juniora operatörer. Operatörer utan djup erfarenhet följer manualer. Manualer fångar inte avvikelser.
Logiska slutsatsen är att avvikelser kan bli osynliga tills de vuxit sig stora. När systemen påverkat tillräckligt många beslut syns konsekvenserna.
En trolig följd är att fel upptäcks sent i processen. AI förstärker mönstret genom koherenta svar som maskerar glidningar.

HYPE OCH LEGITIMITET

Teknik införs som signal snarare än funktion

Organisationer adopterar teknik som legitimitetsmarkör, beskrivet i forskningen om institutionell isomorfism (DiMaggio & Powell 1983; DOI: 10.2307/2095101). Införandet blir symbol, inte lösning.
Detta leder till att tekniken formas av kulturens förväntningar snarare än verksamhetens behov.

KULTURELL PASSIVITET

När ingen säger emot glider allt i samma riktning

Tystnadskultur är dokumenterat fenomen (Edmondson 1999; Morrison & Milliken 2000). Ingen vill vara den som går emot strömmen. Man undviker konflikter även när motstånd är nödvändigt. En rimlig följd blir att fel saknar motkraft. När invändningar försvinner passerar fel obemärkt. AI driver rörelsen vidare i en miljö där inget bromsar flödet.

KVALITETSBRISTER

Implementation före förståelse, varje gång

Organisationer implementerar snabbare än de förstår, ett mönster dokumenterat i studier om socio-tekniska system (Baxter & Sommerville 2011). Testning, rollback och verifiering skjuts upp.
Detta leder till att systemets logik verkar obehandlad i driftmiljö.

STRUKTURELL FÖRSTÄRKNING

AI förstärker strukturella brister tills de blir omöjliga att ignorera

AI modellerar miljön den placeras i (Rahwan et al. 2019). Lutningar i kultur, processer och incitament förstoras. En logisk slutsats är att organisatoriska svagheter skalar snabbare i AI-miljöer. När riktningen accelererar syns bristerna tydligt.
Detta leder till att strukturella skevheter påverkar nästa led av beslut.

SYRI

Ett exempel där processen blev hårdare än människan

SyRI låste fast människor i riskflaggning utan återväg. Överprövning saknades och ansvarskedjan var sönderbruten. Detta är dokumenterat i akademisk analys (van Eck 2018; DOI: 10.2139/ssrn.3590201). Strukturen höll kvar fel längre än en människa hade gjort.
Logiska slutsatsen är att processer utan friktion kan överrösta mänskligt omdöme.

LAT HET I MÄNGD BLIR EN ARKITEKTUR

Organisationens rörelse formas av dess samlade genvägar

Många små abdikationer skapar lutningar. Granskning tunnas ut. Kontroll försvagas. Processer fortsätter av egen tyngd. AI ger hastighet åt rörelsen. Människan gav den formen.

SYSTEM OPTIMERAR MÅLFUNKTIONEN, ÄVEN NÄR MÅLET ÄR SKEVT

Organisationer sätter KPI. Modellen följer dem som lagtext. Forskning om målfunktioner visar hur system optimerar även när målet är undermåligt (Amodei et al. 2016; Krakovna et al. 2020). När målet lutar följer systemet lutningen konsekvent.
En logisk slutsats är att systemet producerar fel med hög precision när målet är feldefinierat. Det är här del tre tar vid.

Källor

Pennycook, G., & Rand, D.G. (2019). Lazy, not biased. Cognition. DOI: 10.1016/j.cognition.2019.01.017
Mosier, K. L. et al. (1998). Automation Bias. Int. J. Aviation Psychology. DOI: 10.1207/s15327108ijap0801_3
Logg, J.M. et al. (2019). Algorithm Appreciation. OBHDP. DOI: 10.1016/j.obhdp.2018.06.004
Edmondson, A.C. (1999). Psychological Safety. DOI: 10.2307/2666999
Morrison, E.W. & Milliken, F.J. (2000). Organizational Silence. DOI: 10.5465/amr.2000.2791608
Strathern, M. (1997). Improving ratings. European Review. DOI: 10.1002/(SICI)1234-5679(199705)5:3<305
Baxter, G., & Sommerville, I. (2011). Socio-technical systems. Interacting With Computers. DOI: 10.1016/j.intcom.2010.07.003
Rahwan, I. et al. (2019). Machine behaviour. Nature. DOI: 10.1038/s41586-019-1138-y
Amodei, D. et al. (2016). Concrete Problems in AI Safety. DOI: 10.48550/arXiv.1606.06565
Krakovna, V. et al. (2020). Specification gaming examples. DOI: 10.48550/arXiv.2008.02275
van Eck, M. (2018). SyRI: System Risk Indication. DOI: 10.2139/ssrn.3590201