"Почему сценарий "ИИ-убийца" я лично считаю маловероятным:
Во-первых, до возможностей реализации strong AI (личностного) нам, честно говоря, еще далековато, уж не говоря о "богоподобном" уровне. Недостаточно мощностей и огромные сложности чисто теоретического плана, в том числе по вопросам мотивации "чистого разума" и т.п.
Второе органически проистекает из первого: почему нам так близок образ ИИ-бунтовщика, ИИ-агрессора? Ответ, на мой взгляд, кроется в огромном наследии эволюционной борьбы и в том заряде агрессии, которое несем мы сами. Мы имеем "прошитый" императив самосохранения и встроенное стремление к конкуренции и к свободе. Но с какой стати эти качества должны быть присущи чистому разуму (коль люди намеренно их не привьют)? И какие ресурсы ИИ должен делить с человечеством?
Третье возражение: разум неотделим от некой культуры и некой среды. Strong AI, вероятно, появятся не в единичном числе и будут взаимно ограничивать себя (конкурировать, скажем).
И последнее, на мой взгляд самое существенное. Строго говоря, кому нужна личность в компьютере, да еще сверхчеловеческая? Скорее магистральным направлением развития будут различные "усилители мозга", позволяющие манипулировать "внешней памятью" - своего рода сверхпоисковики. Затем возникнут "протезы" плохо развитых у человека способностей (скажем, мы не можем наглядно представить многомерное пространство или держать в области внимания много процессов одновременно). То есть процесс перехода в новое качество постепенен... и чреват другими опасностями, гораздо менее предсказуемыми.
Например, мы склонны думать, что в светлом будущем плюшек хватит на всех, отрицая наличный опыт, говорящий о невозможности построения всеобщего рая на Земле. Редко, почему-то, упоминается тот факт, что даже при условии практически полной доступности киберинтерфейсов к мозгу и коммуникационных сетей не все окажутся способными освоить абсолютно новый способ взаимодейтсвия с реальностью, эквивалентный, минимум, появлению новых органов чувств. Может отсеется меньшинство, но вполне возможно, что и большинство окажется перед непреодолимым барьером страха, лени, инерности мышления. Многим помешает традиционный уклад жизни, религиозные воззрения. А любая субкультура склонна к обособлению за счет построения своего языка и понятийного аппарата - а вы представляете, насколько эффективно такое обособление может произойти при использовании усилителей интеллекта? Какие взаимоотношения возникнут между "стоящими на пороге" и остальным человечеством? Какие метаморфозы могут произойти по отношению к основным понятиями, таким как "личность"?
И это может быть гораздо, гораздо страшнее "роботов-захватчиков"."
Обсуждать, если что - к автору, к автору.