Människa–datorinteraktion · Föreläsning 1
Hur kom vi hit ?
Vad är interaktion mellan människa och dator, och varför ser den ut som den gör?
Vad är interaktion mellan människan och datorn, och hur kom vi hit?
(Sensmoralen kommer vara att vi är här för att någon tog beslut om denna riktning. Vart vi hamnar härnäst bestämmer ni.)
En fråga att börja med
Har vi alltid haft interaktion mellan människor och datorer? Och började det verkligen med datorn ?
Har vi alltid haft interaktion mellan människor och datorer? Började det verkligen med datorn? Eller när började själva interaktionen och hur har den sett ut genom åren?
Tidslinje · klicka på en punkt
Från rattar och kablar till fönster och pekare
1936 Alan Turing
Beräkning är att flytta symboler enligt regler
Turing beskrev en abstrakt maskin: ett band med symboler, ett läshuvud och en tabell med regler. Maskinen behöver inte förstå vad symbolerna betyder.
Tillstånd Läser Skriv Flytta Nästa
Programmet adderar 1 till ett binärt tal. Klicka på rutorna för att ändra talet.
Tillstånd höger Steg 0 Tal 11
Ett steg
Kör
Börja om
Alan Turing beskrivs som fadern till både modern datorvetenskap och artificiell intelligens.
1936 beskrev han en abstrakt matematisk maskin, vad vi idag kallar en Turingmaskin. Med denna idé visade han att man kunde förstå beräkningar som en mekanisk manipulation av symboler genom en serie regler.
Symbolerna i sig behövde inte vara betydelsefulla för maskinen, utan de behövde bara finnas för att reglerna skulle ha något att utgå från.
Demo: kör maskinen steg för steg. Den "vet" inte att den räknar, den följer bara tabellen.
1950 Alan Turing
”Kan maskiner tänka ?”
Computing Machinery and Intelligence, 1950. Här beskrivs det som idag kallas Turingtestet.
Maskiner kan utföra beräkningar
De kan programmeras för många olika uppgifter
De kanske kan lära sig tänka
Men inget om hur människor skulle använda eller interagera med en sådan maskin.
1950 ställde han frågan, i vad som kommit att bli ett historiskt viktigt papper: Kan maskiner tänka? Det var i det pappret han beskrev vad vi idag känner till som Turingtestet.
Så Turing visade att det skulle kunna gå att bygga maskiner som kunde utföra beräkningar, att dessa maskiner skulle vara programmerbara för en mängd olika uppgifter, och han beskrev en idé om hur man skulle kunna bygga maskiner som kunde lära sig tänka.
Men han pratade ingenting om hur vi människor skulle använda eller interagera med en sådan maskin. Det tog framtiden hand om.
1945 ENIAC · Electronic Numerical Integrator And Computer
Programmering av ENIAC: kablar och rattar
Man använde den inte. Man kopplade om den.
Ett syfte var att se om den ens gick att bygga
Program = maskinens hårdvarukonfiguration
Varje instruktion matades in för hand: operation och operander
Under körningen fanns ingen interaktion. Man väntade.
Vad man brukar beskriva som den första elektroniska datorn var denna koloss till maskin: ENIAC, Electronic Numerical Integrator And Computer.
Ett av syftena med ENIAC var att ens se om den gick att bygga. Teori är en sak men praktik är något annat.
Och det gick. Men det som är intressant för oss är hur man interagerade med den. Det är nog fel att säga att man använde datorn. Man programmerade den, men inte så som vi tänker oss idag. Man ändrade dess hårdvarumässiga konfiguration.
I bilden flyttar människor kablar och vrider på rattar. Man fick manuellt mata in varje instruktion, och varje instruktion består ofta av flera delar, som operation och operander: vad operationen ska operera på och med.
När programmet väl körde fanns ingen interaktion med människor. Programmeraren fick vänta tills körningen var klar.
1945 Prova själv
Programmera genom att koppla kablar
Klicka på ett uttag och sedan på ett annat för att dra en kabel. Vrid ratten för att välja operation. Klicka på en kabelände igen för att ta bort kabeln.
Ackumulator 1 7
Ackumulator 2 5
Räkneenhet
+ − ×
ut
Utskrift
—
Starta körning
Låt någon i publiken säga vilka kablar som ska kopplas. Poängen: under körningen kan man inte göra något. Allt gjordes innan.
1948 Manchester Baby
Small-Scale Experimental Machine, Manchester Första datorn med lagrat program. Programmet låg i minnet, men matades in bit för bit med reglage.
Välj adress, ställ in bitarna med reglagen och skriv till minnet. Upprepa.
Adress −
Adress 0
Adress +
Skriv rad
Reglagetryck hittills 0 Riktiga Baby: 32 rader × 32 bitar = 1 024 bitar
Den första datorn som hade ett program så som vi tänker oss det var Manchester Baby. Den var den första som kunde lagra sina programinstruktioner i minnet. Plötsligt kunde man lägga in program i minnet istället för att ändra hårdvarukonfigurationen.
Men sättet man lade in program var inte lika kul som idag. Man fick mata in det bit för bit genom att ändra reglage: ställa in minnesadress, sätta värde, repeat.
Så det var fortfarande inte tal om någon interaktivitet med datorn så som vi känner den.
Minnet i Baby var ett Williamsrör, ett katodstrålerör där bitarna syntes som prickar. Det är därför demon ser ut som en skärm.
1948 Norbert Wiener · Cybernetics
Norbert Wiener
Inte beräkning, utan återkoppling
Maskinen verkar i en miljö. Miljön påverkar maskinen dynamiskt genom feedback. Det är en förutsättning för interaktion: när vi använder en dator påverkar vi dess beräkningar medan de pågår.
System
Miljö
Handling
Återkoppling (feedback)
Ett rum som ska hålla 21 °C. Öppna fönstret och se vad som händer med och utan återkoppling.
Stäng av återkoppling
Öppna fönstret
återkoppling på
Samtidigt som datorn växte fram som en maskin som kunde utföra beräkningar fanns Norbert Wiener. Om datorer var maskiner som processade information och skapade resultat, så menade Wiener att det inte var så naturen fungerade.
Istället för computation pratade han om cybernetics. Maskinen verkar i en miljö, och miljön kan genom feedback påverka maskinen dynamiskt.
Det blev ett sätt att tänka på maskinen som något som verkar i en miljö, snarare än något som utför beräkningar från givna indata. Nyckeln enligt Wiener: feedback.
Det är en förutsättning för interaktion med människor. När vi interagerar med datorer påverkar vi datorns beräkningar, och det är det som ger upphov till interaktiviteten.
1958 SAGE · Semi-Automatic Ground Environment
Realtid, skärm och ljuspistol
Amerikanska militären kopplade radarstationer runt Nordamerika till terminaler. Operatörer pekade på objekt på skärmen med en ljuspistol och fick mer information.
INGET MÅL VALT
Samtidigt började de som byggde datorer, och framförallt amerikanska militären, arbeta med datorer för realtidsanvändning.
SAGE var ett tidigt datorsystem som bestod av radaranläggningar runtom Nordamerika och terminaler där användare kunde interagera med informationen som kom från radarn. Operatörer använde ljuspistoler för att välja objekt på skärmen, varpå de fick mer information om objektet.
Det här var ett tidigt exempel på människa–datorinteraktion!
1960 J.C.R. Licklider · Man-Computer Symbiosis
J.C.R. Licklider
Ett partnerskap där var och en gör det den är bäst på
Vem är bäst på vad? Klicka på ett kort.
1960 skrev J.C.R. Licklider pappret Man-Computer Symbiosis. Han tog Wieners idéer om miljö och feedback till hur människor och maskiner skulle kunna arbeta ihop.
Enligt Licklider skulle datorer inte bara utföra förbestämda funktioner. Datorer och människor skulle forma ett partnerskap där var och en bidrog med sina bästa förmågor. Han ville kombinera dessa i ett tätt kopplat system.
Det står i kontrast till idén att datorer skulle ersätta mänskligt tänkande. Han såg dem snarare som ett komplement.
Låt studenterna gissa innan du klickar.
1960 Från batch till interaktiv databehandling
Datorn blir något vi arbetar med
Batch
Lämna in jobbet. Kom tillbaka senare. Vill du ändra något får du lämna in igen.
Lämna in jobb
Inga resultat ännu.
Interaktiv
Svaret kommer medan du skriver. Du kan tänka tillsammans med maskinen.
.
1960 byggde mycket av datorberäkningarna på så kallad batch-processning. Man gav datorerna en uppsättning jobb och väntade senare på resultaten. I verkligheten kunde väntan vara timmar eller dagar, inte sekunder.
Lickliders idé byggde på att människor använde datorer direkt, interaktivt, och att datorer blev en del av mänskligt tänkande. Datorn blir något vi arbetar MED. Med andra ord tänkte han sig datorn som en "intellektuell partner".
Fråga till studenterna: har vi nått dit nu, i och med ChatGPT och liknande system?
1962 & 1968 Douglas Engelbart
Douglas Engelbart
Augmenting human intellectLicklider tänkte symbios. Engelbart ville att datorn skulle göra människor smartare.
Inte lätt att använda, utan kraftfull när man lärt sig
1962: Augmenting Human Intellect
1968: The Mother of All Demos
Det här är Douglas Engelbart! 1968 gav han vad som senare kallats The Mother of All Demos.
Om Licklider tänkte Human-Computer Symbiosis så tänkte Engelbart: Augmenting human intellect. Datorer skulle göra människor smartare. Han ville inte göra datorer lätta att använda, utan göra dem till så kraftfulla verktyg att man blev bättre när man väl lärt sig.
Och 1968 demonstrerade han detta.
9 december 1968 The Mother of All Demos
Visa utdrag ur demon: musen, hypertext, delad skärm, videokonferens, samtidig redigering.
1968 Vad demon visade
Datorn var plötsligt något man…
direkt interagerade med direkt
tänkande använde för intellektuellt arbete
tillsammans använde för samarbete
Datorn var nu plötsligt något man interagerade med direkt. Datorn var något man använde för intellektuellt arbete. Datorn blev något man använde för samarbete.
1973 Xerox PARC · Alto
Xerox Alto, 1973
En dator som vem som helst kan använda
Engelbarts system krävde mycket träning. På PARC föreställde man sig en värld där alla hade en egen dator.
Grafiskt gränssnitt
Mus och tangentbord
Nätverk
Ordbehandling och ritprogram
Engelbart visade hur man kunde använda datorn interaktivt och tillsammans med andra. Men han var inte så intresserad av att den skulle vara lätt att använda för vem som helst. Det krävdes mycket träning.
På Xerox PARC, ett forskningslabb, började man fundera på hur en dator skulle kunna se ut och fungera så att vem som helst kunde använda den. De föreställde sig en värld där alla hade en egen dator.
1973 byggde de Alto: grafiskt gränssnitt, mus och tangentbord, nätverk, ordbehandling och ritapplikationer.
1973 Prova själv · ta bort filen rapport.txt
Kom ihåg ett kommando, eller se vad som går att göra
Skriv ett kommando och tryck Enter
Dra filen till papperskorgen
Återställ båda
Istället för att tvinga människor att lära sig kommandon visade man på skärmen vad datorn kunde göra. Genom att välja bland detta kunde man använda datorn direkt, utan att först lära sig vad den kunde.
Filer blev ikoner, ikoner blev handlingar, menyer gav alternativ.
Låt en student försöka med kommandoraden utan ledtråd. (Den godtar del, delete, rm och erase.)
1972–1977 Alan Kay & Adele Goldberg · Dynabook
Dynabook: en dator i bokformat för barn
Ett medium , inte ett verktyg
Datorn som kreativt instrument för lek och lärande, även för barn. Något man uttrycker sig med.
Personal Dynamic Media, 1977
Två personer på PARC var Alan Kay och Adele Goldberg. De ville inte bara skapa en dator som vem som helst kunde jobba med. De ville att datorn skulle vara ett kreativt instrument för lek och lärande, inklusive för barn!
1977 publicerade de Dynabook, som var tänkt att vara en dator i bokformat som barn kunde använda för att lära sig och uttrycka sig.
Datorn skulle inte vara ett verktyg, utan ett medium för att uttrycka sig!
1979 → 1984 Apple på besök hos Xerox PARC
Xerox Star
Från forskningslabb till produkt
1979 var Steve Jobs och kollegor på studiebesök på Xerox PARC och fick se grafiskt gränssnitt, mus och nätverk.
Det blev inspirationen till bland annat Macintosh, 1984.
1979 var Steve Jobs och kollegor på studiebesök på Xerox PARC. Det var den här datorn, Xerox Star, som de fick se en tidig version av. Grafiskt gränssnitt, mus och nätverk.
Det var inspirationen för Steve Jobs att designa bland annat Macintosh.
1984 → idag WIMP, nu och då
Fortfarande här, mer än 50 år senare
W Windowsfönster · dra i titelraden I Iconsikoner M Menusmenyer · håll över menyraden P Pointerpekare
Brev till kursledningen
Hej! Varför ser datorer fortfarande ut så här?
Och det är ungefär här vi är idag, fortfarande mer än 50 år senare. Våra grafiska gränssnitt bygger väldigt mycket på paradigmen WIMP: windows, icons, menus and pointers.
Genom allt detta har det först handlat om att göra datorn interaktiv. Sedan att få den att bli begriplig. Hela fältet människa–datorinteraktion fortsätter mycket i den här traditionen.
Men det behöver inte vara på det här sättet. Nya teknologier som språkmodeller och generativ AI visar kanske på en ny era där datorer inte behöver se ut så här.
Nu LLM-mediated computing
1936
1948
1968
1984
idag
mer WIMP
LLM-medierad
det ni bygger
Det behöver inte se ut så här
Stora språkmodeller öppnar för andra sätt för datorer att fungera och för oss att använda dem. Jag har kallat det LLM-mediated computing.
Läs mer i artikeln från förra året, eller fråga mig.
Jag har själv beskrivit ett alternativt sätt som datorer kan fungera på och som vi kan använda på nya sätt, möjliggjort av stora språkmodeller. Något jag kallat LLM-mediated computing. Ni kan läsa mer i en artikel från förra året, eller fråga mig.
Sensmoralen
Vi är här för att någon tog beslut om riktningen. Vart vi hamnar härnäst bestämmer ni .
För att kunna påverka det behöver ni några fundamentala bitar. Det är dem ni får i den här kursen.
Det viktigaste för er är kanske att veta att sättet vi interagerar med datorer och teknik inte alls behöver vara som det är idag. Och NI har möjlighet att vara med och påverka detta. Men för att kunna göra det är det bra att lära sig några fundamentala bitar, och det är det ni kommer ta del av i den här kursen.
