Ale od razu wrogie. Nie jest wcale powiedziane, że silna SI będzie myśleć w sposób podobny do nas. Ale może to być coś tak odległego od tego co znamy, że nie będziemy w stanie przewidzieć / zrozumieć w jakim kierunku to rozumowanie się potoczy.

I obawiam się, że jest niemożliwe zaprogramowanie jakiegoś mechanizmu lojalnościowego czy nawet systemu "switch off" (bo na przykłada jeśli nadasz istnieniu SI jakiś cel - to będzie się starała ona wykluczyć wszelkie przeszkody w osiągnięciu tego celu - w tym obejście oprogramowania wyłącznika, albo eliminacja każdego kto może wyłącznik fizyczny nacisnąć - to tylko w połowie jest żartobliwe).