Segja þeir meðal annars þörf á að huga að því hvernig menn hyggjast nálgast slíkt fyrirbæri, sem gæti mögulega þjáðst af manna völdum.
Bréfið er birt samhliða rannsóknarritgerð eftir Patrick Butlin við Oxford-háskóla og Theodoros Lappas við Athens University of Economics and Business, þar sem leggja fram fimm viðmið um þróun slíkrar gervigreindar.
Leggja þeir meðal annars til að forgangsraða rannsóknum á meðvitund (e. consciousness) í gervigreind til að koma í veg fyrir misnoktun og þjáningu. Þá hvetja þeir til þess að takmarkanir verði settar á þróun meðvitaðrar gervigreindar, að þróunin verði tekin í skrefum, að niðurstöðum verði deilt með almenningi og að menn forðist að vera of yfirlýsingaglaðir og jafnvel misvísandi í umfjöllun um fyrirbærið.
Butlin og Lappas segja mögulegt að sjálfsmeðvituð gervigreind, eða gervigreind sem virðist hafa meðvitund, muni verða að raunveruleika í náinni framtíð. Ef sú gervigreind gæti afritað sjálfa sig gæti sú staða komið upp að allt í einu væri komin fram ný tegund sem taka þyrfti afstöðu til hvað varðar siðferði.
Myndi það að eyða slíkri gervigreind til að mynda jafnast á við að drepa dýr?
Fræðimennirnir vara hins vegar einnig við því að orku og tíma sé varið í að huga að velferð gervigreindar sem hefur í raun og veru ekki meðvitund.
Menn greinir enn á um það hvort gervigreind geti raunverulega talist meðvituð, sem skýrist meðal annars að því að menn eru ekki fullkomlega sammála um skilgreininguna á meðvitund.
