Pozwoliłem sobie przenieść dyskusję z innego wątka:
Z definicji mocy obliczeniowej, jest to tak samo pewne że żuraw o odpowiednio wysokim udzwigu nie zacznie robić co mu sie podoba 
Żuraw nie jest samodzielną maszyną, jest narzędziem obsługiwanym przez człowieka. Co innego gdy stworzymy bardzo rozbudowane
drony które zaczną się buntować/samodzielnie myśleć.
Nie ma żadnego ryzyka, w samym zwiększaniu mocy obliczeniowej, czy nawet inteligencji maszyn. Ryzyko istnieje w tym że te inteligentne maszyny, raz zaprogramowane i puszczone w ruch, w wyniku "efektu motyla" zaczną na dłuższą metę działać w sposób nieprzewidziany, ale to jest zagrożenie tak samo realne, jak np to że dojdzie do nagłego samozapłonu atmosfery na skutek niespodziewanej reakcji chemicznej między gazami emitowanymi przez przymysł.
Porównajmy "moc obliczeniową" owada i człowieka. Pierwszy ma małą pozwalającą realizować jedynie instynkty (programy/algorytmy) drugi ma znacznie większą moc pozwalającą działać poza instynktami, sam pisze sobie nowe programy/algorytmy.
Większość maszyn zbudowanych przez człowieka już go przerasta, zresztą po to zostały zaprojektowane, dlaczego akurat komputery są takie przerażające ?
Te maszyny działają według ściśle określonego programu stworzonego i nadzorowanego przez człowieka. Ten przerost polega głównie na oszczędności czasu potrzebnego na długotrwałe obliczenia. Żadna maszyna bez człowieka raczej nie podoła za dużo. Obecna maksymalna moc obliczeniowa komputerów wynosi:
3x5=15
Przynajmniej tak twierdzi
Michio Kaku który jest ekspertem dostrzegającym zagrożenie ze strony komputerów.
Zapewne nie za naszego życia, jednak ludzkość będzie musiała się zabezpieczyć przed ewentualną osobliwością techniczną.
"W przypadku sztucznej inteligencji wydaje się, że rozsądnie jest założyć, że za jakiś czas, w tym lub w przyszłym stuleciu, inteligencja nie będzie już przywiązana do biologii," mówi profesor Price. Kiedy to już się stanie, "nie będziemy już najbystrzejszymi stworzeniami w okolicy", będziemy za to "na łasce maszyn, które niekoniecznie muszą mieć złe intencje, ale po prostu możemy ich nie interesować."
Price porównuje zagrożenia dla ludzi ze strony sztucznej inteligencji do tego, co my każdego dnia robimy ze środowiskiem naturalnym. Według Price’a pewnego dnia maszyny po prostu skierują surowce naturalne do realizacji własnych celów, nie licząc się z rzeczami ważnymi dla nas. Ale nie jest to oczywiście jedyny scenariusz.
