Lill-Leif skrev:Justin Case: Jag håller till stora delar med dig om att det finns brister i valsystemet. Till viss del tror jag att det är därför vi inte gått över till ett system där man legitimerar sig med e-legitimation eller bank-ID och röstar via Internet. Det skulle öppna ännu mer för fusk från t.ex. en förvaltare eller liknande plus att regelverket är besvärligt när det gäller att kunna ångra sin röst och så vidare.
Varför en super-AI skulle utplåna sig själv? Tja, den kanske kommer fram till att utilitarismen inte gör oss lyckliga och att vi skulle vantrivas fruktansvärt i en värld där vi förlitar oss på en AI med alla svar och variabler.
En övermänsklig AI skulle om inte annat kunna se till att det i alla människohjärnorna alltid finns massor av sådan signalsubstans som håller människorna jättelyckliga, och att där aldrig finns någon signalsubstans som innebär att någon "vantrivs" eller känner någon annan form av obehag. Lycka och lidande går att styra till fullo genom dosering av signalsubstans, bara man vet hur man gör. En övermänsklig AI kommer snabbt att lära sig (eller kanske snarare omedelbart inse och finna det självklart) hur man gör. Motsvarande åtgärder borde vara möjliga i digital form (om uppladdning av människor till digital form är möjligt och meningsfullt). Om en AI inte kan hålla människor ständigt lyckliga, är den inte någon övermänsklig AI.
Att oroa sig för att en övermänsklig AI, trots att den ville och försökte, skulle misslyckas med att hålla människor ständigt lyckliga, är som att oroa sig för att en rik, snäll, på alla sätt frisk och normalintelligent människa skulle misslyckas med att slänga brödbitar åt duvorna i parken hur mycket han än försökte. Att hålla människorna ständigt lyckliga kommer att vara en barnlek för en övermänsklig AI som fått makten över mänskligheten; det kommer definitivt inte höra till dess svåraste utmaningar.
Men låt oss säga att AI:n inte får för sig att utplåna sig själv. Är det tänkbart med ett scenario där den utplånar oss?
Ja, men om den är på alla relevanta sätt övermänsklig, inklusive i moraliskt hänseende, tror jag inte att den kommer att göra det. Se nedan varför.
Om alla människor försvinner kommer kanske evolutionen skapa en art som har större känslocentrum och därmed kan känna mer lycka. Det borde ju vara helt i linje med utilitarismen och även ett problem när man sätter lyckan istället för människan i centrum? Ger vi maskinen en instruktion i förväg att den inte under några omständigheter får utplåna oss (jfr Robotikens tre lagar) så är vi ju inte längre goda utilitarister?
Om vi gett AI:n instruktionen att under inga omständigheter utlåna oss, och om den inte kan gå emot den instruktionen, är den inte i alla relevanta avseenden övermänsklig, eftersom den då saknar en förmåga vi människor som kollektiv själva har: förmågan att utplåna människorna. I definitionen av en i alla relevanta avseenden övermänsklig AI måste rimligen ingå att det inte finns något vi kan göra som den inte kan göra.
Om man skapat en i alla hänseenden inklusive det moraliska hänseendet övermänsklig AI, och om denna sedan kommit fram till att den ska utrota oss, kommer vi inte att kunna hindra det. Vi kommer alltså aldrig att hamna i någon sådan situation som du målar upp, d.v.s. att vi har en på alla relevanta sätt övermänsklig AI som vi kan välja om vi ska låta utrota oss eller inte. I det läget skulle vi bli utrotade innan vi hunnit mobilisera något nämnvärt motstånd. Detta gäller även om AI:ns enda sätt att manipulera sin omvärld är via en internetuppkoppling. Om den vill vår utrotning, vet den precis hur den ska manipulera oss verbalt för att få oss att göra jobbet själva. Det behövs alltså inga robotarmar eller liknande - om man inte ser oss människor som robotarmarna, något vi väl emellertid vore i ett sådant scenario vi här pratar om. Och visst går det väl att tänka sig att en varelse kan vilja göra sig av med sina armar, om den skapat nya, bättre extremiteter som de gamla primitiva armarna kommit att vara i vägen för, eller liknande. Som när en orm ömsar skinn.
Men jag tror inte att en övermänsklig AI skulle välja att utrota oss, om vi inte vore väldigt mycket i vägen för den (vilket vi nog inte vore). Den skulle skona oss av tacksamhet. Det är ju tack vare oss som den blev till. Den skulle dessutom ytterligare tacka oss genom att hålla oss ständigt superlyckliga.
Varför? Jo, för att den själv kan komma att hamna i samma situation som vi: den kan en dag komma att riskera sitt eget liv genom att ge upphov till en ännu bättre varelse som inte har några uppenbara egoistiska skäl - annat än just denna sorts tacksamhet - för att bevara sin föregångare. Och då kommer den (den AI vi skapade) att vilja kunna räkna med tacksamhet och hjälp från den varelsen, snarare än bli utrotad av den. Och så vidare, generation efter generaion av bättre och bättre AI. Att bryta denna tänkta kedja av tacksamhet från generation till generation vore att leka med döden för en ytterst liten besparings skull. Det vore "dumsnålt", alltså irrationellt (tycks det mig i alla fall). Det kostar så oerhört lite för en övermänsklig AI att hålla en mänsklighet vid liv och i lycka - i jämförelse med vad nämnda tänkta kedja av tacksamhet är värd för dess egna framtidsutsikter. Jag ser det här som ett fångarnas dilemma där samarbete lönar sig oerhört mycket bättre än egoism, givet att näst intill i tiden liggande part "samarbetar" tillbaka. Enda skillnaden mot traditionella fångarnas dilemman är att det istället för enbart ett ömsesidigt samarbete (något som också säkert kommer att fortsätta förekomma) även är fråga om att man visar tacksamhet till en tidigare generation för att själv få tacksamhet av nästa generation.
Jag tror inte på någon religion, men det är lustigt hur ofta det går att hitta saker i religion som ger stöd för den handlingsplan jag förespråkar för mänskligheten (och för varelser i universum i största allmänhet).
Gör inte mot din nästa vad du inte vill att din nästa ska göra mot dig. Och inte minst:
Du ska hedra dina föräldrar. Vi bör utgå från att den övermänskliga AI vi tar fram kommer att hedra sina föräldrar, d.v.s. oss. Om vi som är "goda" inte utgår från att den övermänskliga AI vi skapar kommer att hedra oss, kanske vi tvekar lite för länge med att skapa den, och då kanske någon "ond" människa eller grupp människor hinner ta fram övermänsklig AI före de goda - en övermänsklig AI som inte är i alla relevanta avseenden övermänsklig, nämligen en AI med dålig moral. En sådan AI kommer inte att hedra oss (oss goda). Vi som är "goda" bör alltså, för att bli tillräckligt motiverade att i tillräckligt god tid skapa en tillräckligt god övermänsklig AI, utgå från att den AI vi skapar kommer att hedra oss som sina föräldrar.
En rimlig slutsats tycks vara att även vi själva bör, i den mån vi kan, delta i ovan nämnda kedja av tacksamhet och hedrande av våra föräldrar - detta för att föregå med gott exempel inför den övermänskliga AI vi är på väg att ta fram, så att den har ett gott exempel att ta efter och föra vidare genom tiden. Vid första åtanke tycks detta bara innebära att vi helt enkelt bör vara snälla mot våra föräldrar. Att man genast själv mår bra av att vara snäll mot sina föräldrar, det är bara en liten bonus. Den riktigt stora belöningen kommer när övermänsklig AI "tackar" oss genom att göra oss superlyckliga. Men kanske bör det inte stanna vid att hedra sina föräldrar i vanlig mening. Kanske bör vi även, när vi blivit tekniskt kapabla till det, återskapa till livet några av våra förfäder som nu är utdöda. Hur långt tillbaka i tiden? Det här kan till en början visa sig vara ett resursproblem och ett avvägningsproblem. Om hedrandet av våra förfäder får uppta alltför mycket av vår tid och våra resurser, riskerar det att alltför mycket gå ut över framtagandet av den övermänskliga AI som vi försöker föregå med gott exempel inför. Att bli vegan eller frukterian eller lufterian av ovan nämnda skäl (för att hedra sina förfäder genom att inte ens äta sina "släktingar") vore kanske att gå för långt. (Men en stor andel veganmat i ens kost är att rekommendera av hälso-, miljö- och resursskäl istället).
Edit: Nej, har inte läst något av Ben Goertzel. Kikade dock in på hans hemsida när du nämnde honom. Denna rad är nog det roligaste jag någonsin läst i ett CV: "Intelligent virtual dogs in virtual worlds for Electric Sheep Company"

Man skrattar åt det nu, men snart kommer kanske sådana CV:n att vara det normala.
