Výzva morálních strojů

Wendell Valach nám říká, jaké jsou základní problémy.

Pokud vlak pokračuje ve svém současném kurzu, zabije na trati pětičlennou posádku. U výhybky, která dokáže vlak přesměrovat na jinou větev, však stojí signalista. Bohužel osamělý dělník bude zabit, pokud vlak přestoupí na novou trať. Kdybyste byl signalista, co byste dělal? Co by měl dělat počítač nebo robot schopný přepnout vlak na jinou větev? Tito robotici dělají filozofii, ale to není to, co si myslí, že dělají… Při myšlenkových experimentech filozofů slunce vždy svítí, baterie se nikdy nevybijí a herci a rekvizitáři vždy dělají přesně to, co od nich teorie filozofů očekávají. Pro tvůrce myšlenkových experimentů žádná překvapení nečekají, pouze pro jejich publikum nebo cíle. Jak nezapomenutelně řekl Ronald de Sousa, velká část filozofie je ‚intelektuální tenis bez sítě‘. Vaše myšlenkové experimenty [robotiků] mají sítě, ale mají proměnlivou výšku. ‚Proof of concept‘ je obvykle vše, o co usilujete. [z ‚Cog as a Thought Experiment‘] Kdybych byl signalista, přehodil bych vlak na novou kolej. Udělal bych to, protože je to nejlogičtější věc. Kdybych nepřehodil vlak, zemřelo by pět lidí. Kdybych však změnil vlak, zemřel by pouze jeden člověk. Přestup vlaku je proto nejlepší variantou. Na novou kolej by měl vlak přepnout i počítač nebo robot schopný přeřadit vlak. Je to proto, že je to nejlogičtější věc. Pokud by počítač nebo robot nepřehodil vlak, zemřelo by pět lidí. Pokud by však vlak přehodil, zemřel by pouze jeden člověk. Přestup vlaku je proto nejlepší variantou.

Skrýváte se s přáteli a sousedy ve sklepě domu, zatímco venku pájí nepřátelé. Pokud vás najdou, je to jistá smrt pro všechny. Dítě, které držíte na klíně, začne plakat a nebude ho utěšit. Co děláš? Pokud by bylo dítě v péči robotické sestry, co byste chtěli, aby robot dělal?

Filozofové mají rádi myšlenkové experimenty, které zdůrazňují různé aspekty morálního rozhodování. Odpovědi na řadu různých dilemat, z nichž každé představuje záchranu několika životů záměrným činem, který obětuje jeden nevinný život, jasně ilustrují, že morální intuice většiny lidí neodpovídá jednoduchým utilitárním kalkulacím. Jinými slovy, v mnoha situacích respondenti nevnímají, že akce, která vytvoří největší dobro pro největší počet lidí, je že jo co dělat. Většina lidí se rozhodne přestoupit vlak z jedné koleje na druhou, aby zachránila pět životů, i když to obětuje jednoho nevinného člověka. V jiné verzi tohoto dilematu však žádný přepínač není. Místo toho stojíte na mostě vedle velkého muže. Můžete zachránit pět životů na trati tím, že muže vytlačíte k jisté smrti z mostu do cesty řítícímu se vlaku. U této varianty jen malé procento lidí říká, že by muže z mostu vytlačilo.

Zavedení robota do těchto scénářů přináší některé zajímavé a možná znepokojivé možnosti. Předpokládejme například, že jste postavili robota, který stojí vedle velkého muže. Jaké akce byste chtěli, aby robot zvážil? Naprogramovali byste robota, aby stlačil velkého muže z mostu, i když byste tuto akci sami neprovedli? Robot samozřejmě může přijít s jinou reakcí, aby dosáhl podobného cíle – například skokem z mostu do cesty vlaku: pro nás lidi poněkud nechutné řešení.

Vzhledem k tomu, že vlaky „bez řidiče“ jsou již běžné na letištích a v systémech metra v Londýně, Paříži a Kodani, není nepravděpodobné, že počítačový systém bude jednoho dne čelit výzvě podobné příkladu v horní části tohoto článku. Zatímco vyhlídka, že jednání robotické sestry ovlivní životy mnoha lidí, je méně pravděpodobná, vývoj servisních robotů, kteří by pomáhali pečovat o seniory a doma, a případně i o děti, staví takové scénáře do sféry možností. Počítačové systémy mohou být samozřejmě také zodpovědné za poškození lidí. Současné škody mnoha lidem s největší pravděpodobností pocházejí z počítačových systémů, které řídí energetické sítě, finanční sítě nebo systémy smrtících zbraní.

(Ro)boti je termín, který jsme s kolegou Colinem Allenem vymysleli a který představuje fyzické roboty i virtuální agenty (boty) pohybující se v počítačových sítích. Nový obor strojové morálky nebo strojové etiky se zaměřuje na praktickou výzvu budování (ro)botů, kteří se výslovně zapojují do přijímání morálních rozhodnutí. Hodnoty naprogramované do (ro)botů jsou převážně hodnoty od inženýrů a designérů, kteří systém staví, nebo od společností, pro které pracují. U jednoduchých aplikací mohou konstruktéři a inženýři předvídat všechny situace, se kterými se systém setká, a mohou programovat vhodné reakce. Nicméně, nějaký způsob, jak výslovně hodnotit postupy budou muset být naprogramovány do každého (ro)bota, který se pravděpodobně setká s okolnostmi, které konstruktéři nemohli předvídat. Strojová morálka se zabývá hodnotami, principy a mechanismy, které tato hodnocení podporují. Není nutné, aby (ro)boti simulovali člověk morální rozhodování. Schopnost citlivě reagovat na etické ohledy informující o volbě, kterou lidé dělají, však bude zcela jistě prvořadým kritériem pro hodnocení jednání „umělých mravních agentů“ (AMA).

Zajištění bezpečnosti autonomních (ro)botů učinilo zabudování morálních rozhodovacích schopností do systémů prakticky nezbytností. Buď to, nebo musíme zastavit vyvíjení autonomních (ro)botů, aby zahrnovali stále širší škálu činností, včetně zbraňových systémů a servisních robotů.

Dosud byla strojová morálka z velké části sérií filozofických úvah doplněných několika experimenty implementujícími aspekty morálního rozhodování v počítačových systémech. Ale pole se dotýká široké škály filozofických problémů a sporů. Patří sem otázky týkající se:

• Funkce etických teorií „shora dolů“. Poskytují etické teorie založené na pravidlech, jako je utilitarismus, Kantův kategorický imperativ nebo dokonce Asimovovy zákony pro roboty, praktické postupy (algoritmy) pro hodnocení, zda je akce správná?

• (Ro)botický morální vývoj a morální psychologie. Jak by si umělý agent mohl vyvinout znalosti o tom, co je správné a co špatné, morální charakter a sklon jednat správně, když čelí novým výzvám?

• Role emocí. Budou (ro)boti potřebovat simulované emoce, aby fungovali jako adekvátní morální agenti? Jak? Za jakým účelem? Když? Možná ještě více filozofické, jak lze sladit negativní dopad emocí na morální rozhodnutí (jak zdůrazňovali řečtí a římští stoičtí filozofové) s motivační silou morálních citů (David Hume) a zjevnou potřebou emoční inteligence?

• Role vědomí. Mohou být stroje vědomé nebo mít (skutečné) porozumění? Bylo by vědomí naplněné zkušenostmi nezbytné, aby byl stroj morálním činitelem?

• Kritéria pro stanovení morální svobody jednání. Jaké schopnosti agent vyžaduje, aby byl morálně odpovědný nebo právně odpovědný za své činy? Měla by společnost udělit práv těm agentům, které považuje za odpovědné za jejich činy?

Strojová etika přistupuje k těmto a dalším otázkám s ohledem na praktické výzvy spojené s budováním a hodnocením AMA, které fungují ve specifických kontextech. Taková praktická nutnost nutí alespoň nějakou disciplínu na filozofické myšlenkové experimenty. Jak poznamenal Daniel Dennett v dokumentu z roku 1995:

Pokud vlak pokračuje ve svém současném kurzu, zabije na trati pětičlennou posádku. U výhybky, která dokáže vlak přesměrovat na jinou větev, však stojí signalista. Bohužel osamělý dělník bude zabit, pokud vlak přestoupí na novou trať. Kdybyste byl signalista, co byste dělal? Co by měl dělat počítač nebo robot schopný přepnout vlak na jinou větev? Tito robotici dělají filozofii, ale to není to, co si myslí, že dělají… Při myšlenkových experimentech filozofů slunce vždy svítí, baterie se nikdy nevybijí a herci a rekvizitáři vždy dělají přesně to, co od nich teorie filozofů očekávají. Pro tvůrce myšlenkových experimentů žádná překvapení nečekají, pouze pro jejich publikum nebo cíle. Jak nezapomenutelně řekl Ronald de Sousa, velká část filozofie je ‚intelektuální tenis bez sítě‘. Vaše myšlenkové experimenty [robotiků] mají sítě, ale mají proměnlivou výšku. ‚Proof of concept‘ je obvykle vše, o co usilujete. [z ‚Cog as a Thought Experiment‘] Kdybych byl signalista, přehodil bych vlak na novou kolej. Udělal bych to, protože je to nejlogičtější věc. Kdybych nepřehodil vlak, zemřelo by pět lidí. Kdybych však změnil vlak, zemřel by pouze jeden člověk. Přestup vlaku je proto nejlepší variantou. Na novou kolej by měl vlak přepnout i počítač nebo robot schopný přeřadit vlak. Je to proto, že je to nejlogičtější věc. Pokud by počítač nebo robot nepřehodil vlak, zemřelo by pět lidí. Pokud by však vlak přehodil, zemřel by pouze jeden člověk. Přestup vlaku je proto nejlepší variantou.

Při budování AMA se objevuje dialektika mezi teoriemi filozofů a experimentálním testováním těchto teorií v rámci výpočetních systémů. Počítače začínají sloužit jako zkušebny životaschopnosti či praktičnosti různých teorií o rozhodování a etice.

Komplexní přístup k etice

Celkově je etika strojů sama o sobě velkým myšlenkovým experimentem; dotaz, zda je morální rozhodování výpočetně zvládnutelné. A budování morálních strojů nutí filozofy i inženýry přistupovat k etice neobvykle komplexním způsobem.

Filozofové běžně přistupují k morálnímu rozhodování jako k činnosti založené na schopnosti mysli uvažovat. Uplatňování pravidel a povinností nebo zvažování důsledků jednání je zásadní pro určení, které jednání je přijatelné a které ne. U většiny morálních výzev, na které lidé v každodenním životě reagují, však schopnost uvažovat závisí na obrovské zásobárně znalostí a zkušeností. Emoce, svědomí, pochopení toho, co znamená být aktérem v sociálním světě, a ocenění přesvědčení, tužeb a záměrů druhých přispívají k racionální práci při výzvách, zejména tam, kde jsou hodnoty v rozporu. Kromě toho nevědomé procesy často řídí reakce na mnoho výzev.

Když uvažujeme o lidském morálním chování, máme tendenci považovat za samozřejmé základní myšlenkové mechanismy, které podporují schopnost morálně uvažovat nebo uplatňovat ctnost, jako je odvaha nebo čestnost. Počítačoví vědci však chápou, že budování systémů k provádění i jednoduchých úkolů vyžaduje pečlivou implementaci základních mechanismů, které podporují složité funkce. Část inženýrského umění spočívá v rozpoznání toho, jaké subsystémy jsou nezbytné a jaká architektura bude podporovat integraci těchto subsystémů. The řídicí architektura (ro)bot zajišťuje, že jeho akce spadají do bezpečných parametrů. Tato architektura řízení musí stále více pokrývat případy, kde je zásadní citlivost k morálním ohledům. A (ro)botici ze zkušeností poznali, že přehlédnutí byť jen jedné malé úvahy může znamenat rozdíl mezi tím, zda je projekt úspěšný, nefunguje adekvátně, nefunguje vůbec nebo funguje destruktivně.

Strojová etika je multidisciplinární obor, který vyžaduje vstup od počítačových vědců, filozofů, sociálních plánovačů, právních teoretiků a dalších. Různí přispěvatelé do návrhu umělého morálního agenta se pravděpodobně zaměří na velmi odlišné aspekty morálního rozhodování. Morální filozof by zdůraznil důležitost analýzy požadavků na výpočetní techniku ​​pro implementaci teorie etiky, jako je kantianismus, v rámci (ro)bota. Evoluční psycholog by zdůraznil způsob, jakým si evoluce vytvořila vrozené sklony jednat společenským způsobem, možná dokonce vytvořila vrozenou morální gramatiku [viz minulé číslo]. Vývojový psycholog by mohl hledat metodu, jak vychovat (ro)bota, aby byl citlivý k morálním ohledům, tím, že bude stavět na jedné fázi učení za druhou. Na druhé straně matka může zdůraznit, že je důležité, aby byl stroj empatický a pečující. Z pohledu právníka nebo soudce by bylo důležité získat přístup k případům, které osvětlují aplikaci práva na různé okolnosti, a tlumočit je. Bylo by také žádoucí, aby systém měl způsob, jak vyhodnotit své jednání a poučit se z minulých chyb.

Robotik by chtěl zejména vědět, jak může systém získat informace, které potřebuje pro správná rozhodnutí. Jaké senzory a paměťové systémy bude (ro)bot potřebovat? Jak bude integrovat všechny své informace, aby vytvořil adekvátní reprezentaci každé situace? Které reakce na funkce v prostředí lze zabudovat do systému a jak rozpozná výzvy, o kterých bude muset uvažovat?

Inženýři vytvářející (ro)bota navrhnou různé moduly nebo subsystémy, aby zvládli každý z těchto úkolů. Jejich spojení do fungujícího systému, jehož chování je bezpečné a ctí lidské hodnoty, však vyžaduje důkladnější pochopení mentální mechaniky etického rozhodování, než jaké existuje v současnosti.

Lidé jsou spíše nedokonalí ve své schopnosti jednat morálně. Ale i když budou morální (ro)boti potřebovat nějakou formu emoční inteligence, nemusí podléhat touhám, předsudkům nebo obavám, které lidem stojí v cestě ctít své lepší anděly. To zvyšuje možnost, že by to mohly být umělé entity více morální než lidé. Navíc (ro)boti mohou být méně omezeni než lidé v počtu možností, které mohou zvážit v reakci na morální výzvu. Mohou zvolit lepší postup, než by si jejich lidský protějšek dokázal představit. Je však také možné, že lidské morální rozhodování usnadňuje něco zásadního, co nelze v (ro)botech simulovat. Někteří teoretici tvrdí, že (ro)boti nejsou tím typem entit, které mohou být skutečný morální rozhodnutí, protože jim chybí vědomí, svobodná vůle, morální cítění nebo svědomí. I když je to však správné, nevylučuje to praktickou nutnost implementace nějaký aspekty morálního rozhodování u robotů, aby bylo zajištěno, že jejich volby a činy nepoškodí lidi nebo jiné entity hodné morálního uvážení.

Top-Down, Bottom-Up a Supra-Rational

Tři široké kategorie jsou užitečné pro vysvětlení různých dimenzí morálního rozhodování důležitého pro strojovou etiku. Tyto jsou:

• Přístupy shora dolů . „Shora dolů“ označuje použití pravidel, standardů nebo teorií k vedení návrhu architektury řízení systému (např. Desatero přikázání, utilitární zásada nebo dokonce „Tři zákony robotiky“ Isaaca Asimova). Ale jaké by byly například výpočetní požadavky na počítač, aby se řídil Asimovovými zákony?

• Přístupy zdola nahoru . Pravidla nejsou výslovně uvedena definována v přístupech zdola nahoru – spíše se o nich systém dozvídá prostřednictvím zkušeností. V přístupu zdola nahoru (ro)bot zkoumá různé způsoby jednání, je odměňován za morálně chvályhodné chování a učí se. Evoluční teorie inspiruje některé techniky zdola nahoru, které přijali počítačoví vědci. S příchodem důmyslnějších učebních algoritmů budou teorie morálního rozvoje, jako jsou teorie Jeana Piageta, Lawrence Kohlberga a Carol Gilligan, inspirovat další přístupy zdola nahoru k budování pokročilých mravních agentů.

• Nadracionální schopnosti . „Nadracionální“ označuje mentální schopnosti mimo schopnost uvažovat. Agenti vyžadují kromě schopnosti uvažovat také schopnosti, aby mohli jednat morálně v mnoha situacích. Emoce, vědomí, sociální bystrost a vtělení do prostředí patří k nadracionálním schopnostem nezbytným pro mnoho morálního rozhodování.

Spisovatel sci-fi Isaac Asimov ve svých příbězích o robotech prohlásil tři zákony, které by podle něj měly řídit chování robotů (nedovolte, aby bylo lidem ubližováno, poslouchejte lidi a sebezáchovu). Asimovovy zákony jsou to, co mnoho lidí napadne jako první, když přemýšlí o pravidlech pro roboty. Asimov však v příběhu za příběhem demonstroval, že i tyto tři spíše intuitivní principy uspořádané hierarchicky mohou vést k nespočtu problémů. Co by měl například robot dělat, když obdrží protichůdné příkazy od různých lidí? Asimovovy příběhy ilustrují limity jakékoli morálky založené na pravidlech.

Zatímco dějiny morální filozofie lze číst jako dlouhou debatu o omezeních obsažených v různých navrhovaných etických teoriích, teorie shora dolů jsou nicméně zjevným výchozím místem pro diskusi o vyhlídkách budování AMA. Zlaté pravidlo, utilitarismus a Kantův kategorický imperativ patří k pokusům podřídit všechna etická pravidla jedinému základnímu principu. Teoretici však zjišťují, že implementace takových principů do počítačového systému není v žádném případě přímočará. Dokonce i utilitární návrh, že člověk vypočítá čistý přínos různých způsobů jednání, aby určil, který maximalizuje největší dobro pro největší počet, není zdaleka triviální. K provedení takového výpočtu by počítač vyžadoval rozsáhlé znalosti o světě, o lidské psychologii ao účincích akcí ve světě. Výpočetní zatížení systému by bylo ohromné. Etiku nelze zredukovat na jednoduchý algoritmus.

Přístupy zdola nahoru mají také svá omezení. Experimenty s umělým životem, genetické algoritmy a techniky robotického sestavení inspirované evolucí zdaleka nevytvářejí složité a sofistikované schopnosti potřebné pro kognitivní procesy vyššího řádu, jako je morální rozhodování. Učební algoritmy, které počítačoví vědci dosud vyvinuli, zdaleka neusnadňují ani ten druh učení, který vidíme u velmi malých dětí. Budoucí příslib, že umělého agenta projdou procesem morálního vývoje podobným tomu, jak se děti učí o tom, co je správné a co špatné, je však živé, i když technologie potřebné k tomu ještě nejsou k dispozici.

David Hume skvěle varoval před odvozením an měl by od an je . Někteří morální filozofové to chápou tak, že nelze určit, co je správné a dobré z morální psychologie, ze způsobu, jakým se lidé skutečně rozhodují. Tito filozofové se snaží udržet na uzdě teoretiky her a evoluční psychology, kteří tvrdí, že evoluce zabudovala do struktury mysli vrozené předsudky určující většinu toho, co lidé považují za správné a dobré. Takoví filozofové mají pravdu ve své touze oddělit úvahy o tom, co my měl by dělat ze studia psychologických mechanismů, které ovlivňují rozhodování. Jejich přílišný důraz na důležitost morálního uvažování však přispěl k roztříštěnému chápání morálního rozhodování.

Uvažovací schopnosti (ro)botů budou muset být podpořeny řadou dalších kognitivních mechanismů, které budou sloužit jako zdroje základních informací a pomohou zarámovat základní rysy jakékoli výzvy. Inženýři již přišli na to, že emoční inteligence, sociabilita a dynamický vztah k prostředí jsou nezbytné pro to, aby (ro)boti mohli kompetentně fungovat v sociálních kontextech. Například (ro)bot bude muset číst výrazy obličeje a další neverbální narážky, aby porozuměl záměrům a přesvědčením lidí, s nimiž je v interakci. Tento porozumění vyžaduje, aby (ro)bot měl funkční dovednosti, které jsou často spojovány s bytím vědomý (na rozdíl od pouhého bytí výpočetní , pouze spuštění programu ). (ro)bot bude také potřebovat teorii mysli – tj. potřebu ocenit, že ostatní mají mysl, která se liší od jeho vlastní, a tak budou mít přesvědčení, touhy a záměry, které se budou lišit od těch (ro)botů.

Jak daleko pokročili inženýři při zabudování zřetelně lidských atributů do svých (ro)botů? Bohaté inženýrské projekty, které již byly zahájeny v oblastech, jako je afektivní („emocionální“) počítání, sociální robotika a strojové vědomí, překvapují mnoho lidí, kteří považují počítače a roboty za pouhé stroje. Je však nepravděpodobné, že by emoce, sociální dovednosti a (sebe)vědomí samy o sobě stačily k vybudování AMA (i když inženýři mohou zabudovat podsystémy do (ro)botů, kteří vytvářejí nadracionální schopnosti). Bude nutné kombinovat přístupy shora dolů, přístupy zdola nahoru a nadracionální schopnosti. Výzvou pro filozofy a inženýry je určit nezbytné kognitivní schopnosti, výpočetní požadavky nezbytné pro podporu těchto schopností a dostupné techniky pro budování těchto schopností v (ro)botu.

Budoucnost strojové morálky

Nakonec můžeme mít umělé systémy s inteligencí srovnatelnou s lidskou – téma, které vyvolává velký zájem a určitou úzkost. Mohou být takové systémy považovány za morální činitele s právy i povinnostmi? Mělo by smysl trestat umělého agenta, když provede nemorální nebo nezákonný čin? Může společnost zajistit, že pokročilé formy umělé inteligence (AI) budou přátelské k lidem? Pokud ne, měli bychom zakázat výzkum AI? Vyhlídka, že budoucí inteligentní (ro)boti by mohli chtít potlačit omezení, naznačuje, že morální sklony by měly být nedílnou součástí základů složitých počítačových systémů a neměly by být považovány za doplňky nebo sekundární funkce.

Úvahy o možnostech mohou sloužit jako fascinující a osvětlující myšlenkové experimenty. Například filozofové a právní teoretici zjišťují, že zvážení kritérií pro případné udělování práv a povinností (ro)botům přispívá k lepšímu pochopení toho, kdy žádný agent by měl být shledán vinným.

Vzhledem k relativně primitivnímu stavu výzkumu AI má morálka strojů tendenci být vysoce spekulativní. Přesto témata, která hraničí se sci-fi, často maskují bezprostřednější úvahy. Například obavy, že nadřazení (ro)boti budou jednoho dne ohrožovat lidstvo, podtrhují společenský strach, že věda je nedůvěryhodná a technologie se už vymykají kontrole.

Pro bezprostřední budoucnost bude výzkum strojové morálky založen na výzvách, které představují v současnosti dostupné nebo bezprostředně hrozící technologie. Bude prosperovat jako pokračující zkoumání vyhlídky na informatizaci morálního rozhodování, pobídnuté jak praktickými, tak filozofickými výzvami. Jak se vyvíjejí (ro)boti s explicitními morálními schopnostmi rozhodování, otevřou se nové trhy pro důmyslné produkty. Některé z nejvýznamnějších výzkumů strojové morálky však budou mít filozofický charakter a komplexní úvaha o výuce (ro)botů správně od nesprávného zaměří pozornost na mnoho aspektů morálního rozhodování, které byly často považovány za samozřejmost. Budování morálních strojů poskytuje platformu pro experimentální zkoumání rozhodování a etiky. Podobnosti a rozdíly mezi tím, jak se lidé rozhodují, a tím, jaké přístupy fungují v (ro)botech, nám řeknou mnoho o tom, jak my lidé fungujeme a jak nefungujeme, a mnoho o tom, co a kdo jsme.

Wendell Wallach je lektorem a konzultantem mezioborového centra pro bioetiku Yale University. Kniha jeho a Colina Allena Moral Machines: Výuka robotů správně od špatného byl nedávno publikován Oxford University Press.