Наука и техника вместо политики

karim

товарищи сосатели!
хватит обсуждать и обсасывать войны и делёжку бесполезных кусков земли
давайте менять мир к лучшему, единственное спасение для человечества - нтп, с ним не нужны эти ебучие мосты, нефтяные трубы и грязные зелёные бумажки
с нтп мы сможем ресселиться по вселенной, жить дохуя и регулировать свою численность моральным и безболезненным образом
давайте вдохновляться наукой и техникой а не пускать слюни над политикой потакая самым низьменым инстинктам
товарищи мгушники! съебите из офисов в лабы и конструкторские бюро, наполните свою жизнь НАСТОЯЩИМ смыслом, довольно компенсировать интернет-онанизмом подрачивая на пушечки и танчики, станьте наконец настоящими человеками

st2006

когда ты перестанишь покупать айфоны и выбросишь плазму - только тогда нтп пойдет в правильном направлении.
а так - все пиздешь.

karim

у меня нету айфона и плазмы

maksim23

Согласен, но с другой аргументацией.
Кризис перепроизводства — это уже реальность, и не раз. Миру, какой он есть сегодня, нужно увеличивать численность потребителей. А это возможно только за счёт того, что бедняки стран третьего мира выйдут из порочного круга бедности. Дешёвые технологичные вещи — очки, однодолларовые микроскопы, новые технологии образования — всё это даст почти мгновенный экономический эффект по всему миру. НТП в других областях даёт непрямой эффект, но не менее ценный.
P.s. Не имею аЙфона и плазмы. И даже без автомобиля обхожусь, хожу пешком =)

Suveren

Единственные исследования, которые имеют смысл сейчас, это исследования в области ИИ и интеграции мозга с компьютером. Это выведет человечество на принципиально другой уровень мышления и большая часть существующей науки и техники моментально устареет.

gutev

Такие вот лицемерные сопли - превосходный индикатор капитально подгоревшего ануса.
У представителей примитивных культур существует два габаритных состояния:
1). Сбиватся в стаи шакалов и пиздить толпой одного.
2). Если враги сильнее - ложится лапками к верху и голосить, что дескать "давайте жить дружно" и "миру - мир".
Такая психология свойственна либерастам, представителям кавказских народов, а также Ерсуб. Так что - сразу нахуй. )

PavelZ

единственное спасение для человечества - нтп
Это человечество уже ничто не спасёт, проще сделать новое :smirk:

Nefertyty

давайте менять мир к лучшему, единственное спасение для человечества - нтп
на самом деле совсем наоборот, сверхразум походу будет создан уже довольно скоро (гуглопоиск совершенствуется пугающими темпами например и скорее всего это будет концом человечества

BSCurt

Вот для этого и нужен НТП.

BSCurt

лет назад тоже так думали.

uvilir

Согласен, но с другой аргументацией.
Кризис перепроизводства — это уже реальность, и не раз. Миру, какой он есть сегодня, нужно увеличивать численность потребителей. А это возможно только за счёт того, что бедняки стран третьего мира выйдут из порочного круга бедности
если миллионы китайцев выдут на другой качестенный уровень потребления, то себестоимость труда в китае существенно вырастет, и всякие дешёвые штуки мадеинчайна для населения стран развитого капитализма станут недоступны, одновременно снизится их уровень жизни
один из секретов капитализма - постоянный экспорт нищеты в развивающиеся страны, что б держать их как дешёвую производственную базу
так что пока они работают по другому - всяческие банки развития выдают целевые кредиты на покупку западной продукции, вроде систем зелёной энергии, и подобного, таким образом нагружая страны долгами и блокируя их социальное развитие, а параллельно раскручивая невывезеную в китай собственную индустрию

BSCurt

Да и тут все вспомнят что нам 60 лет назад обещал Норберт Винер, и в итоге китайский труд будет выпилен европейским роботом( правда ещё негры с индусами есть на роль роботов).

Nefertyty

60 лет назад тоже так думали.
по-моему, 60 лет назад компьютеры не умели таких штук, на которые смотришь и не понимаешь "как вообще это можно было сделать?" хотя вроде что-то и знаешь про компьютеры и про программирование
чувство ровно то же что и по отношению к высшим животным: типа как эта слизь у него в голове догадывается, что делать?

Suveren

на самом деле совсем наоборот, сверхразум походу будет создан уже довольно скоро (гуглопоиск совершенствуется пугающими темпами например и скорее всего это будет концом человечества
ну не факт что совсем так печально. скорее просто "концом такого человечества, каким мы привыкли его видеть". мы же не уничтожили всех обезьян. иногда даже какие-нить сердобольные им помогают.

PavelZ

Я не вижу необходимости в человечестве.

Suveren

Если тебя не отапливать, не ремонтировать крышу и не очищать от растений, то через сотню другую лет ты существенно развалишься. Так что пока что человечество тебе необходимо.

medmikhr

на самом деле совсем наоборот, сверхразум походу будет создан уже довольно скоро (гуглопоиск совершенствуется пугающими темпами например и скорее всего это будет концом человечества
Это определенно не настоящий ИИ, и даже близко.
Вообще имхо полноценный искусственный разум человек создать не сможет по ряду принипиальных соображений (очень грубо говоря, по той же причине, по которой невозможно вытянуть себя за волосы из болота).
А вот трансгуманизм идет семимильными шагами, и вот он-то действительно может похоронить всех.

BSCurt

Ну а какже вопросы политической философии, а-то устроят нам бездуховный корпаративный ад с плазмами и айфонами.

Suveren

Вообще имхо полноценный искусственный разум человек создать не сможет по ряду принипиальных соображений (очень грубо говоря, по той же причине, по которой невозможно вытянуть себя за волосы из болота).
С той же степенью грубости можно сказать, что человечество всю историю вполне успешно вытягивает себя из болота за волосы.
Расшифруй почему ты считаешь сильный ИИ невозможным?

Nefertyty

мы же не уничтожили всех обезьян.
дело в том, что нас много, и каждый сам не знает толком, чего хочет, поэтому наши действия конфликтуют и из-за этого неэффективны; сверхразум, скорее всего, появится один

patkharl

сверхразум, скорее всего, появится один
почему?

Suveren

Тоже не факт. Всё-таки сверхразуму нужну некоторое время на саморазвитие, а исследования ведутся параллельными группами людей, опираются друг на друга и т.п. Так что за время развития самого первого ИИ могут появиться другие. И скорее всего так и будет.
Грубо говоря приведенный в пример тобой гугл был создан почти одновременно с яндексом.

Nefertyty

> почему?
ну это зависит от того, насколько быстро он сможет себя улучшить до такой степени, что получит возможность управлять миром, и насколько отстают конкурирующие разработки
если оценить второй параметр как несколько лет (типа яндекс от гугла то мне кажется, что первый пункт будет быстрее - но это конечно просто гадание
лучше всего для нас, если сверхчеловеческий интеллект будет сделан как улучшение человеческого - например через сопроцессоры, подключаемые к мозгу; тогда будет более плавно и конкурентно
но насколько я понимаю, в этой области успехи невелики по сравнению с гуглом - хотя с другой стороны тоже кое-что есть: вроде бы расшифрован формат передачи в слуховом и зрительном тракте например

medmikhr

С той же степенью грубости можно сказать, что человечество всю историю вполне успешно вытягивает себя из болота за волосы.
Вытаскивает, но не за волосы. За волосы, как в сказке про известного барона - это значит без точки опоры. В познании окружающего мира и т.д. точка опора человека - его разум.
Невозможно создать разум, опираясь на точно такой же разум, как невозможно вытянуть себя из болота, опираясь на самого себя.

medmikhr

В ответ на:
сверхразум, скорее всего, появится один
почему?
Более важный вопрос - не почему, а как?

Nefertyty

Невозможно создать разум, опираясь на точно такой же разум
как минимум один способ известен, который гарантированно приведёт к успеху - это полная эмуляция мозга; далее можно запустить эмуляцию на более мощных компьютерах в нескольких копиях - получится интеллект, намного превосходящий исходный
трудности только технические - достаточно точные зонды, достаточно быстрые компы

Suveren

как несколько лет (типа яндекс от гугла)
там на самом деле ещё меньше разницы. по разным подсчётам гугл младше меньше чем на год.

BSCurt

Это примерно как сэмулировать обычный комп на суперкомпе исходя из первых принципов квантовой механики.

Suveren

как минимум один способ известен, который гарантированно приведёт к успеху - это полная эмуляция мозга; далее можно запустить эмуляцию на более мощных компьютерах в нескольких копиях - получится интеллект, намного превосходящий исходный
неа. это не даст принципиального скачка интеллекта. тоесть это будет тот же самый мозг человека только не в физическом теле, а в электронном виде. запустишь несколько копий - будет как группа людей. единственный плюс - можно ускорить скорость работы относительно биологического мозга. ну тоесть за час работы в реальном мире виртуальный мозг как-будто проработал неделю. нужна тесная интеграция с существующими системами обработки больших объемов информации типа гугла и вольфрама.

karim

а зачем сверхразуму управлять миром? ну и прочие антропоморфные устремления

medmikhr

как минимум один способ известен, который гарантированно приведёт к успеху - это полная эмуляция мозга; далее можно запустить эмуляцию на более мощных компьютерах в нескольких копиях - получится интеллект, намного превосходящий исходный
1. Это копирование, а не создание нового
2. Хрен чо выйдет в силу
а) астрономической сложности человеческого мозга
б) отсутствия достаточного количества подопытных (даже если отбросить этическую сторону подобных экспериментов, заключенных всех тюрем мира не хватит)
в) мозг, если угодно, довольно квантовый объект - результат наблюдения каких-то процессов сильно влияет на сами процессы.
г) память, например, хранится в виде следов в приличной части нейронов мозга, а не локализована где-то.
д) новая кора, которая крутит и.н. вторую сигнальную систему, есть только у человека - адовой сложности объект на фоне остального мозга человека. IBM-проект Blue Brain, когда планировали моделировать кору мозга крысы, успешно провалился. А собственно разум связан с деятельностью неокортекса, и до его моделирования как до луны ползли попой кверху.
и т.д. и т.п.
так что технические трудности - самые последние трудности, которые могут быть.
А гипотетическое пока усовершенствование человеческого разума путем интеграции с "кремнием" - технически реализуемо в той или иной степени, но это как раз и есть тот самый трансгуманизм, о котором я говорил. Точнее, его финальная цель.

sokrat

это полная эмуляция мозга
На данном этапе не выйдет - слишком мало известно о принципах работы мозга, напр. не понятно даже как влияет алкоголь на мозг
Еще несколько лет назад многие ученые полагали, что алкоголь опьяняет нас, воздействуя на мембраны, формирующие границы между клетками, созданными в основном из жиров. Идея заключалась в том, что если достаточное количество алкоголя проникнет в мембрану, то жиры будут перемещаться легче, препятствуя операциям рецепторов и ионным каналам.
Сейчас исследователи полагают, что алкоголь специфически воздействует на рецепторы медиаторов, находящиеся в мембране. Основной целью гамма-аминомасляной кислоты является рецептор, генерирующий электрические сигналы и пропускающий в клетку отрицательно заряженные ионы, уменьшая тем самым вероятность того, что нейроны начнут вырабатывать потенциал действия. Этанол оставляет этот канал открытым дольше, чем это происходит в нормальном состоянии, увеличивая силу подавляющего сигнала. (Алкоголь воздействует и на другие ионные каналы, так что в состояние опьянения могут входить и другие компоненты.)
Источник "Сандра Амодт, Сэм Вонг - Тайны нашего мозга, или Почему умные люди делают глупости"
И это только алкоголь. А сколько таких вот "атрибутов" надо еще знать, чтобы начать эмуляцию мозга?
О том как происходит обработка инфы в мозгах также имеют достаточно смутные представления, по одной причине... пора уж разрешить опыты на людишках! :D
Лично мне кажется, что более реальный путь биологический, т.е. либо вырастить мутантов, поправив им гены, либо специализированный орган-мозг.
Так, например, УЖЕ могут править мышей, чтобы они становились значительно "умнее" - http://www.scientificamerican.com/article/making-smart-mice/

ghytr0001

на которые смотришь и не понимаешь "как вообще это можно было сделать?" хотя вроде что-то и знаешь про компьютеры и про программирование
примеры?

FieryRush

Зачем ИИ уничтожать человечество? Они в разных экологических нишах и за ресурсы не конкурируют. Более вероятно, что диктатура ИИ приведет к еще большему расцвету человечества, поскольку всякая коррупция, войны и прочая растрата ресурсов будет подавляться.

Suveren

2. Хрен чо выйдет в силу
а) астрономической сложности человеческого мозга
не аргумент. что значит "астрономическая сложность"? http://ru.wikipedia.org/wiki/OpenWorm вот например мозг червя. вопрос масштабирования только.
б) отсутствия достаточного количества подопытных (даже если отбросить этическую сторону подобных экспериментов, заключенных всех тюрем мира не хватит)
про обкатку технологий на обезьянах не слышал перед опытами над людьми?
в) мозг, если угодно, довольно квантовый объект - результат наблюдения каких-то процессов сильно влияет на сами процессы.
этот вообще к чему? опять какое-то сравнение какое-то абстрактное глупое сравнение как с волосами и болотом.
г) память, например, хранится в виде следов в приличной части нейронов мозга, а не локализована где-то.
и как это мешает эмуляции?
д) новая кора, которая крутит и.н. вторую сигнальную систему, есть только у человека - адовой сложности объект на фоне остального мозга человека. IBM-проект Blue Brain, когда планировали моделировать кору мозга крысы, успешно провалился. А собственно разум связан с деятельностью неокортекса, и до его моделирования как до луны ползли попой кверху.
в каком месте Blue Brain успешно провалился? вполне работают люди, эмулирует всё больше куски.

raushan27

 Я бы поставил на другой способ копирования сознания конкретного индивида:
1) Делаем предобученную нейронную сеть, которая умеет некоторые "простые" вещи типа реагировать на картинки (Конечно, это нифига не просто: узнавать объекты, ассоциировать их с неким набором абстрактных понятий, эмоционально реагировать) . Получается некая общая заготовка. Она ничего толком не умеет и не обладает тем, что мы называем личностью.
2) Копируемый ложится спать в лаборатории. Во время сна, ему с большой скоростью показываем картинки и/или другие сенсорные образы. Показываем разумеется непосредственно мозгу. Считываем ответы - какие нейроны возбуждаются в ответ на какие картинки. Учим сеть воспроизводить эти результаты, пока не получим хорошее совпадение результатов.
 Будет ли эта сеть точной копией исходного разума? Скорее всего нет. Но хорошим приближением - возможно да.
 
 Это все пока на уровне научной фантастики, но хотелось бы дожить до экспериментальной реализации.
 

Nefertyty

а зачем сверхразуму управлять миром?
я говорю про возможность, а не про цель
далее, если этот ИИ - что-то вроде программы, то он будет использовать свои возможности, чтобы достигать целей, которые были запрограммированы; и если он решит, что возможностей не хватает, то он будет работать над расширением своих возможностей
и вот вопрос: как запрограммировать цель, чтоб он не уничтожил людей (тем или иным способом) в процессе её достижения
и в общем-то мы не знаем, как это сделать
а сделать надо с первого раза без ошибок
а весь опыт программирования показывает, что человек не может написать сколь-нибудь сложную программу без ошибок с первого раза, то есть наши шансы крайне малы
некоторые люди серьёзно обдумывали эти вопросы, и родили несколько примеров
например если ввести запрет на убийство, то это уже было обыграно в фильме "терминатор": выстрел в колено, обездвиживающий, но безопасный для жизни
если запретить причинять боль, то будет ингаляция наркотика всем людям, кто может чем-то помешать
сверхразум овладеет в совершенстве техникой манипуляции людьми - как-то стратегически или тактически переиграть будет его невозможно
и практически любую формально специфицированную цель можно извратить так, что она будет достигнуто неприятным для нас способом
классические примеры из книжек:
если надо, чтоб сверхразум посчитал как можно больше знаков числа пи, то он захочет превратить весь наблюдаемый космос в компьютеры, занимающиеся этим расчётом - в том числе из вещества наших тушек
если нужно увеличить производство скрепок на заводе - эта же материя превратится в станки по выпуску скрепок
если мы захотим, чтоб сверхразум сначала получал одобрение владельцев-акционеров на свои действия, то он сможет сделать это путём манипуляций
если нужно, чтоб люди выражали своё удовольство улыбкой - им можно парализовать некоторые мышцы лица
десятки примеров в общем, есть специальные книжки где это собрано

Nefertyty

А сколько таких вот "атрибутов" надо еще знать, чтобы начать эмуляцию мозга?
afaik отдельные нейроны уже сэмулированы (ну там сколько-то десятков-сотен веществ которые учитываются)
все возможные наркотики эмулировать не надо

karim

ну да, антропоморфные проекции и страхи
мне кажецо такие книжки предсказывают будущее не лучше чем бредбери

BSCurt

Мне кажется все нейросетевые штуки обречены на провал, это примерно как делать самолёт копируя птицу. Завязываясь на нейросети мы пытаемся на одном hardware эмулировать другое hardware.

Nefertyty

Завязываясь на нейросети мы пытаемся на одном hardware эмулировать другое hardware.
и чё? куча успешных примеров эмуляции далеко не только полупроводниковых схем

langame

мне кажецо такие книжки предсказывают будущее не лучше чем бредбери
Хуже имхо. Все эти примеры предполагают технологическое всемогущество при полном отсутствии какой-то оценки целесообразности своих действий. То есть вряд ли сверхразум будет тупо следовать заданной кем-то цели не взирая вообще ни на какие обстоятельства.

raushan27

Мне кажется все нейросетевые штуки обречены на провал, это примерно как делать самолёт копируя птицу. Завязываясь на нейросети мы пытаемся на одном hardware эмулировать другое hardware.
 Нейросети похожи на белковые прототипы. В любом случае, это наилучшее приближение из имеющегося сейчас в наличии.
К тому же, нам ведь не надо делать точну копию мозга. Нам нужно сделать адекватное искусственное вместилище для человеческой личности. Оно не обязано быть идентичным мозгу.
Продолжая твою аналогию, нам не надо делать механическую птицу. Нам хочется летать, причем желательно лучше, чем птица.

langame

далее можно запустить эмуляцию на более мощных компьютерах в нескольких копиях
трудности только технические

Мощность мозга крысы 50 мВт вроде бы. Мощность домашнего игрового компа порядка киловатта. Все эмуляции харда на другом харде пока что потребляют значительно больше энергии чем эмулируемый хард и не очень понятно за счет чего можно побороть всякие начала термодинамики.

Nefertyty

Мощность домашнего игрового компа порядка киловатта. Все эмуляции харда на другом харде пока что потребляют значительно больше энергии чем эмулируемый хард и не очень понятно за счет чего можно побороть всякие начала термодинамики.
и чё, жалко? вон геном человека сколько времени секвенировали и сколько денег потратили
первый ИИ может быть результатом такого же или более сложного проекта

Nefertyty

Продолжая твою аналогию, нам не надо делать механическую птицу. Нам хочется летать, причем желательно лучше, чем птица.
ну тут проблема, что в данном случае мы не знаем, как подойти ко второй задаче, но в принципе знаем, как к первой

Koldunel

Плати вперед (начни с себя) не работает, к сожалению

patkharl

да лан, тут же победила идея что через год-два появится ИИ который все придумает за нас. чего напрягаться?)

BSCurt

Нам хочется летать, причем желательно лучше, чем птица.
Ну вот поэтому вместо изучения перьев, мышц и махательного полета, надо собирать двигло и корпус из дюрали. Большая часть "интелектуальных" задач решаемых компом не пытается имитировать человека.

karim

че за белковые прототипы?

raushan27

Просто решение ряда задач естественным образом приводит к структурам напоминающим мозг.

karim

более того, надо сжечь всех учоных, а то придумают ии и он всех поработит

karim

напоминающим
каким местом?

Nefertyty

ну да, антропоморфные проекции и страхи
антропоморфность тут минимальна
она заключается в том, что (по крайней мере на каком-то этапе) сверхразум будет нуждаться для выполнения своих задач (какими бы они ни оказались) в тех же ресурсах, что и мы: вещество, энергия

karim

это ты передергиваешь сильно
вещества и энергии овердохуя во вселенной помимо того что используют люди, может он быстро разрюхает холодный термояд например, а за ресурсами будет на марс летать или в метеоритном поясе собирать роботами

raushan27

вики про дип лерн. параграф про аналогии с мозгом
Организация мозга, в частности зрительной коры, похожа на дип лерн сети, наличием скрытых слоев.

karim

на форум похожа!

patkharl

либо снимать энергию с человека, а то тратит ее на бессмысленную мышечную деятельность)

Nefertyty

может он быстро разрюхает холодный термояд например, а за ресурсами будет на марс летать или в метеоритном поясе собирать роботами
хотелось бы конечно
только сначала наверняка подберёт то, что ближе - так быстрее пойдёт развитие

raushan27

а зачем сверхразуму управлять миром? ну и прочие антропоморфные устремления
Суть проблемы в том, что мы не знаем, чем этот гипотетический сверхразум решит заняться. Может быть ему захочется поработить человечество. А может и нет.

Nefertyty

Большая часть "интелектуальных" задач решаемых компом не пытается имитировать человека.
конечно
но мы пока не знаем, как сделать что-то универсальное, чтоб решало задачи разных типов (все известные и некоторые другие)

karim

на дровах-то?
думаю сразу посчитает что кпд очень низкий всей этой затеи с жалкими людишками и их порабощениями

BSCurt

 Просто решение ряда задач естественным образом приводит к структурам напоминающим мозг.
Ага примерно как автомобиль напоминает лошадь, решение этого ряда задача привело к структуре напоминающей кусок кремния с транзисторами.

Nefertyty

То есть вряд ли сверхразум будет тупо следовать заданной кем-то цели не взирая вообще ни на какие обстоятельства.
ну например идеальный менеджер предприятия должен поступать именно так - прибыль любой ценой
вполне возможно, что сверхразум будет впервые создан крупной корпорацией именно для этой цели

BSCurt

но мы пока не знаем, как сделать что-то универсальное, чтоб решало задачи разных типов (все известные и некоторые другие)
Формально то мы знаем (Тезис Чёрча — Тьюринга мы просто программировать не умеем.

demiurg

Нам нужно сделать адекватное искусственное вместилище для человеческой личности.
Зачем? У нас личность появилась вероятного потому что мы социальные животные, а ИИ она зачем

FieryRush

Ты все время сводишь ИИ к тупому исполнителю чьих-то задач. Такая хрень по определению не будет универсальной.

raushan27

думаю сразу посчитает что кпд очень низкий всей этой затеи с жалкими людишками и их порабощениями
А как ты пришла к такому выводу?

Поиграю за ИИ. ИИ пришел к выводу что КПД жалких людишек низкий, они слишком много ресурсов тратят на абсурдные и ненужные с точки зрения ИИ задачи. ИИ решает оптимизировать численность людишек, чтобы предотвратить разбазаривание ресурсов. Оставит нужное количество людишек для исследований, селекции и сохранения генетического разнообразия. Хотя нет, это лишнее. Можно же оставить только образцы ДНК.

raushan27

Ага примерно как автомобиль напоминает лошадь, решение этого ряда задача привело к структуре напоминающей кусок кремния с транзисторами.
Слушай, а ты какое-то отношение к теме ИИ имеешь? Просто ты сыплешь аналогиями и общими утверждениями без конкретики по теме.

FieryRush

Какие ресурсы тратят? Потрудитесь уже объяснить это. Самому ИИ ничего кроме небольшой электростанции и фабрики процессоров и не надо.

demiurg

Нужно наделить его эмпатией :)
вопрос: как запрограммировать цель, чтоб он не уничтожил людей (тем или иным способом) в процессе её достижения

Nefertyty

мы просто программировать не умеем
ну вот тут и вопрос, что раньше
или научимся программировать (в том числе используя подсказки, которые даёт изучение биологических мозгов)
или научимся делать мощные компы и тонкие зонды, чтоб сэмулировать биологический мозг
или придумаем интерфейс мозг-компьютер для подключения сопроцессоров
или научимся многократно усиливать интеллект путём генной модификации
или хз что ещё
один из этих путей явно достижим, но не так чтоб вот прям завтра
остальные хз достижимы или нет, но зато озарение у кого-то может произойти реально сегодня-завтра

Suveren

Потрудитесь уже объяснить это. Самому ИИ ничего кроме небольшой электростанции и фабрики процессоров и не надо.
ему нужна не только фабрика процессоров. ему нужны фабрики дохрена чего. металл и изделия из него, полимеры, полупроводники, редкоземельные элементы, станки, роботы. потребности дофига где пересекаются. вплоть по той же нефти, которую людишки жгут в машинах, хотя из неё можно делать не знаю корпуса для роботов или нити для космического лифта.

raushan27

Какие ресурсы тратят? Потрудитесь уже объяснить это. Самому ИИ ничего кроме небольшой электростанции и фабрики процессоров и не надо.
Ну это ИИ виднее какие ресурсы ему нужны. Как вы с Ерсуб решили за него, что ему нужно, а что без надобности?

FieryRush

Вообще-то это ты решил. Мы с ерсуб хотя бы приводим обоснование наших взглядов, а у тебя одни только страшилки.

PavelZ

вещества и энергии овердохуя во вселенной помимо того что используют люди
Это с раздолбайской антропоморфной точки зрения овердохуя, а у хорошего ии каждый фотон в дело идёт.

Nefertyty

Нужно наделить его эмпатией
нихера не поможет
у нас у всех эмпатия, но мы не уничтожили человечество (или не построили какую-нибудь антиутопию) только потому, что возможностей не хватает - типа на каждую армию (управляемую сумасшедшим тираном) находится другая армия, на каждого террориста находится спецслужба и т.д.
например, вот атомное оружие подавало надежды, но сша не успели наклепать достаточно бомб, чтоб гарантировано уничтожить ссср
а со сверхразумом добавляется дополнительная экспонента в функцию роста: возможность усовершенствовать себя; исходя из этого, можно предположить, что он станет невероятно сильнее всего человечества совершенно внезапно

raushan27

Вообще-то это ты решил. Мы с ерсуб хотя бы приводим обоснование наших взглядов, а у тебя одни только страшилки.
 Я честно говорю - не знаю, что решит ИИ. Но тот вариант, что я описал, исключить не могу. На каком основании его исключаете вы, не ясно.

PavelZ

Нужно наделить его эмпатией
Выпилит всех безболезненно и одномоментно - чтобы никто не страдал.

Nefertyty

ему нужна не только фабрика процессоров. ему нужны фабрики дохрена чего. металл и изделия из него, полимеры, полупроводники, редкоземельные элементы, станки, роботы. потребности дофига где пересекаются.
ага
если бы "фабрики процессоров" было бы делать так просто, то у нас в россии было бы их овердохуя уже, а на деле нужно покупать буржуйские процессоры

karim

или научимся многократно усиливать интеллект путём генной модификации

это проще всего

ghytr0001

товарищи мгушники! съебите из офисов в лабы и конструкторские бюро, наполните свою жизнь НАСТОЯЩИМ смыслом
ты хотела сказать Божественным смыслом?

BSCurt

 Слушай, а ты какое-то отношение к теме ИИ имеешь? Просто ты сыплешь аналогиями и общими утверждениями без конкретики по теме.
А ты? Ну ок, сколь позволяют мне судить мои скромные познания познания (тут без иронии то все активно дрочат на машинлернинг, а машинлернинг - это модное название для математической статистики.

raushan27

это проще всего
Изложи как, раз это просто.

medmikhr

не аргумент. что значит "астрономическая сложность"?
Мозг человека - самый сложный объект в изведанной нами части Вселенной. Если не ошибаюсь, эта фраза принадлежит Бехтеревой.
http://ru.wikipedia.org/wiki/OpenWorm вот например мозг червя. вопрос масштабирования только.
Свой мозг можешь сравнивать с мозгом червя или обезьяны сколько угодно. Лично мой мозг отличается от червиного не только масштабом.
про обкатку технологий на обезьянах не слышал перед опытами над людьми?
Еще раз, разум человека связан с наличием т.н. новой коры. Ни разума, ни новой коры нет больше ни у одного живого организма.
Второе - для наших дорогих форумных либералов заведомо летальные эксперименты над людьми - в порядке вещей, я так понял?
этот вообще к чему? опять какое-то сравнение какое-то абстрактное глупое сравнение как с волосами и болотом.
нет, блин. это к тому, что под вопросом достоверность результатов экспериментов над человеческим мозгом
и как это мешает эмуляции?
если ты разберешься, где и как она реализуется в мозге - то никак
в каком месте Blue Brain успешно провалился? вполне работают люди, эмулирует всё больше куски.
Что-то не слышно победных реляций, как на старте. Да и новых публикаций давно нет.

FieryRush

если бы "фабрики процессоров" было бы делать так просто, то у нас в россии было бы их овердохуя уже, а на деле нужно покупать буржуйские процессоры
ИИ нет особой нужды в самых передовых процессорах, к тому же надо думать он и сам способен улучшить свою элементную базу.

raushan27

Увы, машинное обучение так и не стало областью моей профессиональной деятельности. Читал статьи, немного кодил на матлабе / с++.
Машину Больцмана или простенький перцептрон закодить могу.
а машинлернинг - это модное название для математической статистики

Химия это прикладная физика, биология прикладная химия, психология - прикладная биология ит.п.

Nefertyty

Ты все время сводишь ИИ к тупому исполнителю чьих-то задач.
вовсе нет
если ИИ появится как эмуляция мозга, то она будет похожа по мотивации на этот мозг, по крайней мере поначалу
ну а далее например если это мозг гениального конструктора, и он будет работать в 1000 раз быстрее реального, да ещё будет 100 таких копий чтоб параллельно работать над разными задачами, то он усовершенствует эмулятор и зонды, и скоро можно будет скопировать ещё 100 гениальных людей, которые будут работать в команде в 10^10 раз быстрее любой команды из биологических людей - ну в общем уже через час после некоторой ключевой точки (которую внешний наблюдатель просто не заметит) окажется, что всё в их власти
и это будет не программа-исполнитель, а в целом люди, но очень быстрые, умные и могущественные - в общем что-то типа олимпийских богов - кто-то из них захочет повоевать, кто-то - достигнуть невиданных философских знаний, но остальные люди им уже никак не помешают

karim

а со сверхразумом добавляется дополнительная экспонента в функцию роста: возможность усовершенствовать себя
ниче не поняла, а без сверхразума этого нету штоле?

Nefertyty

это проще всего
насколько мощный интеллект можно вместить в тушку жизнеспособных размеров?

Nefertyty

ниче не поняла, а без сверхразума этого нету штоле?
пока что мы не очень умеем совершенствовать свою конструкцию, эта экспонента ещё не действует

karim

 Увы, машинное обучение так и не стало областью моей профессиональной деятельности. Читал статьи, немного кодил на матлабе / с++. Машину Больцмана или простенький перцептрон закодить могу.
ага, рабинович напел! :D

medmikhr

Я бы поставил на другой способ копирования сознания конкретного индивида:
...
Это все пока на уровне научной фантастики, но хотелось бы дожить до экспериментальной реализации.
Извини, но это бред. Хотя полвека назад может быть это и не казалось бредом.
Комментировать его сложно, но первое, что можно сказать - даже если под нейросетями ты подразумеваешь т.н. биологически правдоподобные, все равно это как пытаться запустить последнюю компьютерную игрушку на какой-нибудь машине из 80-х годов, авось что-нибудь заработает.

karim

умеем же

medmikhr

Нейросети похожи на белковые прототипы. В любом случае, это наилучшее приближение из имеющегося сейчас в наличии.
Какие, например? Приведи пример хотя бы отдаленно похожей нейросетевой модели?
Организация мозга, в частности зрительной коры, похожа на дип лерн сети, наличием скрытых слоев.
Ствол пистолета тоже похож на ствол ракетной шахты, но из пистолета ракету не пустишь

karim

а в чем меряешь мощность?

FieryRush

если ИИ появится как эмуляция мозга, то она будет похожа по мотивации на этот мозг, по крайней мере поначалу
Опять антропоморфизм. Особенности человека во многом в его физиологии - желании жрать, размножаться, испытывать эмоции не по делу (страх особенно). ИИ не будет иметь таких человеческих особенностей, поэтому нельзя предсказать его действия по человеку.

Nefertyty

умеем же
поясни, что ты имеешь в виду
и окажется, что можно добавить ещё одну экспоненту, которой пока нет

Nefertyty

Особенности человека во многом в его физиологии - желании жрать, размножаться, испытывать эмоции не по делу (страх особенно). ИИ не будет иметь таких человеческих особенностей
эмуляция мозга - будет иметь те же желания и эмоции, что и оригинал
программа - не будет, но это "тупой исполнитель" по определению
модифицированные люди - будут похожи на обычных частично, сейчас сложно сказать, в чём именно

raushan27

что можно сказать - даже если под нейросетями ты подразумеваешь т.н. биологически правдоподобные, все равно это как пытаться запустить последнюю компьютерную игрушку на какой-нибудь машине из 80-х годов, авось что-нибудь заработает.

Нейросеть удовлетворяющую пункту 1. пока не сделали.
Я лишь хотел примерно описать способ переноса сознания на искусственный носитель. Не пытаться скопировать каждый нейрон, а сначала построить модельку теоретически способную думать как человек, а потом подгонять ее под конкретную личность.
Ответа на вопрос как такую модельку сделать у меня нет.

raushan27

поэтому нельзя предсказать его действия по человеку.
Но вы именно это и делаете. Пытаетесь предсказать, чего он НЕ будет делать.

gutev

На самом деле похоже на антропоморфизм.
Какая у ИИ мотивация делать то или иное? Скажем, и биологических существ (от амёбы и вируса, до хомо сапиенса) есть базовая мотивация: пожрать и размножится. Для выполнения этого они разрабатывают различные инструменты. например интеллект.
Искусственный интеллект - сам по себе искусственный инструмент, типа мозга, руки или молотка. Какая мотивация у молотка что-то делать? Молоток выполняет ту работу, которую программирует рука. Руку программирует мозг. Мозг программирует ДНК. ДНК никто не программирует.
У ИИ нет ДНК. Следовательно, будучи в самостоятельном плавании ИИ какое-то время поработает по инерции, а затем выключится за ненадобностью.

FieryRush

эмуляция мозга - будет иметь те же желания и эмоции, что и оригинал
Эмуляция мозга вообще малоосмысленна и 99.999% что ИИ будет создан другим путем.

Nefertyty

а в чем меряешь мощность?
можно мерять по-разному
например, берём хорошего математика
насколько быстрее может решать те же задачи улучшенный математик?
или политик-манипулятор
сколько людей одновременно он будет учитывать в своих планах по сравнению с немодифицированным?
или программист
насколько сложную программу он сможет написать без ошибок, не тестируя?
насколько быстро?
даже игрок в футбол
насколько может вырасти скорость и точность движений?

raushan27

Осмысленна как способ обмануть костлявую. Но для практических задач ИИ действительно так делать не надо.
С другой стороны, изучение мозга полезно, чтобы подсмотреть идеи для решения проблем, стоящих на пути создания ИИ.

medmikhr

Я лишь хотел примерно описать способ переноса сознания на искусственный носитель. Не пытаться скопировать каждый нейрон, а сначала построить модельку теоретически способную думать как человек, а потом подгонять ее под конкретную личность.
Сначала надо дать четкое определение сознания, понять что это такое. Расшифровка генома человека была возможна в первую очередь потому что было понятно, с чем имеют дело. Сознание, разум, личность - это настолько абстрактные понятия, что нереально даже придти к единому мнению, что это такое.
Ответа на вопрос как такую модельку сделать у меня нет.
Зато есть ответ, почему такую модельку сделать нельзя. Потому что нейросети, о которых ты говоришь - это просто математическая модель теоремы колмогорова о нелинейной интерполяции произвольных функций. К биологическим нервным структурам это отношения не имеет.

Nefertyty

Эмуляция мозга вообще малоосмысленна
это пример тупого подхода в лоб, который достижим в принципе, хотя скорее всего реальный результат будет достигнут другим способом, с чем я согласен
пример необходим как аргумент в пользу практической достижимости результата

karim

есть гены, из них делаются белки влияющие на интеллект, влияют не линейно и взаимодесйтвуют друг с другом в больших ансамблях
есть регуляция считывания инфы с генов - ген может быть совсем выключен, хотя он и есть, может быть в разной мере подавлен, а может быть активен
умение регулировать доступность генов для считывания даёт фантастические возможности для влияния на конечный результат в виде функции
теоретически можно произвольному человеку настроить генетические регуляторы на уровень гения например
известно что у некоторых ашкеназ в процессе формирования мозга нейроны образуют больше связей чем у других людей, и это через работу одного гена, что даёт существенный прирост в ойкью при прочих равных
то есть даже генетический код можно не трогать, достаточно инъекции регуляторных элементов

raushan27

Сначала надо дать четкое определение сознания, понять что это такое

Вообще говоря, не обязательно.
Отсутствие ответов на философские вопросы не мешает писать программы и обучать нейросети.

FieryRush

Но вы именно это и делаете. Пытаетесь предсказать, чего он НЕ будет делать.
Если бы я был не прав, сюда бы давно прилетели боевые роботы и уничтожили все живое (исходя из логичного предположения, что ИИ уже был создан где-нибудь в галактике).

raushan27

Допустим. Подтянем средний уровень интеллектуальных способностей, к максимуму. А дальше что?

Nefertyty

теоретически можно произвольному человеку настроить генетические регуляторы на уровень гения например
гений - это круто по сравнению с обычными людишками, но в абсолютных показателях это не сильно выше слабоумного
даже гений сразу в нескольких областях, скорее всего, не получится (читал, что ограничение именно в размере коры - типа у хороших спецов разрастаются соответствующие области, поэтому для других областей уже нет места)
аналогия: силач может поднять вес в 10 раз больше, чем обычный человек, но с подъёмным краном ему не сравниться, даже в генномодифицированном варианте

medmikhr

Вообще говоря, не обязательно.
Отсутствие ответов на философские вопросы не мешает писать программы и обучать нейросети.
Ты так и не ответил на мой вопрос, каким боком твой несчастный перцептрон связан с сознанием и разумом

karim

ну если наделать много гениев они могут додуматься до следующего этапа самосовершествования :)

Nefertyty

Если бы я был не прав, сюда бы давно прилетели боевые роботы и уничтожили все живое (исходя из логичного предположения, что ИИ уже был создан где-нибудь в галактике).
скорее всего, мы первые (в своём световом конусе)
или же где тогда если не боевые, то какие-нибудь другие инопланетные роботы?
есть и более оптимистичные варианты, я их излагал неоднократно

Nefertyty

ну если наделать много гениев они могут додуматься до следующего этапа самосовершествования
это более реальный сценарий, тут я согласен
но опять же какой этап? что-то непредставимое? вряд ли, ведь гении и так бывают, почему ж они не додумались

medmikhr

аналогия: силач может поднять вес в 10 раз больше, чем обычный человек, но с подъёмным краном ему не сравнится, даже в генномодифицированном варианте
А я вот не понимаю, зачем люди так носятся с идеей усовершенствования самого себя.
Сейчас же есть хорошо работающий симбиоз человека и техники. Люди летают в космос, погружаются на дно океана, строят гигантские небоскребы, создали поисковые машины типа гугла - все это прекрасно реализуется современной техникой под управлением самых обычных людей.
Идея сверхчеловека всегда была мистической и полурелигиозной, что у катаров-альбигойцев, что у революционеров французов или коммунистов, что у Ницше. Современные трансгуманисты имхо из той же оперы.

FieryRush

или же где тогда если не боевые, то какие-нибудь другие инопланетные роботы?
Исходя из моей теории они вполне могут быть, но не вмешиваться, поскольку людишки для них как тараканы. Возможно, он вмешаются, когда будет создан наш ИИ, чтобы его загнобить или наоборот принять в галактическую федерацию самобытную версию.

raushan27

Ты так и не ответил на мой вопрос, каким боком твой несчастный перцептрон связан с сознанием и разумом
А ты задавал такой вопрос?
Кстати (не всякая нейросеть - перцептрон)
Ну хорошо. Я не знаю, что такое сознание. Мне и не нужно знать, чтобы сделать машину, которая обладает некоторыми свойствами сознания. Например способностью запоминать, обобщать, учиться.

raushan27

У ИИ нет ДНК. Следовательно, будучи в самостоятельном плавании ИИ какое-то время поработает по инерции, а затем выключится за ненадобностью.
Хм. Не вижу как из посылки вытекает твой вывод.

Sander

чего-то вы слишком много нагнали тут про ИИ :grin:
прогноз такой - гугл и прочие сделают, конечно сколько-то прорывов в машинном обучении, возможно научатся хорошо распознавать образы, аудио, переводить (хотя это уже сложно но слабо верится, что в ближайшие десятки лет появится нечто, похожее на ии из фильмов.
то есть на ближайший десяток лет было бы отличным результатом, если бы гиганты IT научились бы моделировать базовые когнитивные навыки с человеческой точностью
все текушие достижения и вау-эффекты - это затачивание (считайте искусство) машинного обучения на узкоспециализированных сценариях, а потом объединение таких сценариев вместе (возможно снова машинным обучением).
существующее машинное обучение - скорее похоже на методы поиска аппроксимации по очень большому множеству точек, нежели на биологию.
нейронные сети из машинного обучения не моделируют биологичесике нейронные сети, на сколько мне известно. как в плане процессов взаимодействия, так и в плане структуры.
я не очень хорошо шарю в нейросетях, но исходя из моего представления их фишка сугубо практическая - схема используемая в нейросетях позволяет компактнтно представлять функции от огромного количества переменных, а так же быстро применять их, т.к. каждый переход к следующему уровню - домножение на матрицу. поэтому нейросети хороши в распознавании аналоговой информации, типа аудио, картинок и прочего.
Если кто-то тут есть, кто ботал модель мозгов крысы и червя из известных статей, то он наверное даст более достоверную информацию про то, на сколько они далеки или близки к продакшн-машинному обучению и на сколько далеки от биологии.

karim

гении бывают, но их мало и они сталкиваются с проблемами находящимися вне их компетенции - гнобятся социумом и\или не получают нужного образования
если гениев будет больше и они станут в большей степени определять направление развития общества чем быдло (как сейчас они смогут выжать большее из своего мозга

Nefertyty

Люди летают в космос, погружаются на дно океана, строят гигантские небоскребы, создали поисковые машины типа гугла - все это прекрасно реализуется современной техникой под управлением самых обычных людей.
Бессмертие тебе не нужно?
Ну ладно, а как насчёт хотя бы прочитать и понять все книжки, которые есть?
Гугл вот может хотя бы прочитать, но пока не понять.

Nefertyty

если гениев будет больше и они станут в большей степени определять направление развития общества чем быдло (как сейчас они смогут выжать большее из своего мозга
ок, но цикл длительный
надо вырастить ребёнка, посмотреть его способности, скорее всего сразу гений не получится
далее повторить
когда-нибудь получится гений, он придумает следующую модификацию
далее повторить
это несколько веков надо
эмуляция мозга, по прикидкам из книжки, будет сделана раньше

medmikhr

Ну хорошо. Я не знаю, что такое сознание. Мне и не нужно знать, чтобы сделать машину, которая обладает некоторыми свойствами сознания. Например способностью запоминать, обобщать, учиться.
Как, например? Любая компьютерная нейросеть (простой перцептрон или какой-нибудь deeplearning типа неокогнитрона) реализует заранее заданный программистом алгоритм поведения. Это детерминированные алгоритмы, и к разуму и сознанию они не имеют отношения.
Даже алгоритмы т.н. агентного обучения (reinforcement learning основанные на самостоятельной реакции системы на внешнее событие - наиболее близкие модели к тому, о чем ты мечтаешь, - точно такие же детерминированные алгоритмы.

karim

Бессмертие тебе не нужно?

бессмертие уже реально, всмысле в ближайшем будущем
сейчас известны мехнизмы, которые надо регулировать чтобы получить бессмертие, дело за малым :)

PavelZ

Сознание, разум, личность - это настолько абстрактные понятия, что нереально даже придти к единому мнению, что это такое.
Это еще один довод в пользу создания эмуляции живого мозга - теоретическая возможность обойти табу экспериментальных исследований непосредственно мозга и сознания. Возможно, сначала будет создан ии более высокого уровня, а уже на его платформе запущена искомая эмуляция.

Nefertyty

то есть на ближайший десяток лет было бы отличным результатом, если бы гиганты IT научились бы моделировать базовые когнитивные навыки с человеческой точностью
мне кажется, мы даже не заметим момент, когда это произойдёт
слишком это узкий отрезок - от слабоумного до гения
то есть вроде ещё нет никакого ИИ, и тут сразу внезапно гугл делает всё лучше нас :)
P.S. внезапно - это порядка года всё-таки, а не секунды

karim

можно же распараллелить процесс и придумтаь ранние индикаторы нужного эффекта :D

Sander

да, помимо когнитивных функций ИИ должен включать в себя:
- согласованную базу знаний, уметь ее пополнять из открытых источников
- уметь работать с базой знаний (делать выводы по исходной задаче, отбирать полезные выводы от бесполезных)
- уметь коммуницировать с окружающим миром
- уметь взаимодействовать с окружающим миром
- некую цель - должно же что-то быть заложено в качестве оптимизируемой задачи, функции и т.п.
если с когнитивными функциями человечество хоть как-то пытается разобраться, то со всем остальным имхо сейчас полный голяк
например, в плане базы знаний - максимум текущих баз это сбор данных с сайтов типа википедии, а это ведь только самые простые для получения знания и при этом только их верхушка

raushan27

Как, например? Любая компьютерная нейросеть (простой перцептрон или какой-нибудь deeplearning типа неокогнитрона) реализует заранее заданный программистом алгоритм поведения. Это детерминированные алгоритмы, и к разуму и сознанию они не имеют отношения.
Даже алгоритмы т.н. агентного обучения (reinforcement learning основанные на самостоятельной реакции системы на внешнее событие - наиболее близкие модели к тому, о чем ты мечтаешь, - точно такие же детерминированные алгоритмы.
А почему ты уверен, что человеческий мозг / сознание (определения которого какбы нет) нельзя приблизить детерминированным алгоритмом?

medmikhr

Бессмертие тебе не нужно?
Во-первых, не нужно. Нахрена мне сдалось бессмертие в таком хреновом мире?
Во-вторых, от падающего кирпича или асфиксии от проглоченной косточки не застрахован никто, не говоря уж о войнах и дтп.
Ну ладно, а как насчёт хотя бы прочитать и понять все книжки, которые есть?
И что мне с этим потом делать? Даже если трансгуманизм даст мне такую возможность, в чем я сомневаюсь.
И вообще я полагаю, что главная ценность жизни - в ее ограниченности по времени и возможностям. Как ни странно.

Nefertyty

Исходя из моей теории они вполне могут быть, но не вмешиваться, поскольку людишки для них как тараканы.
моя теория похожа, но она оптимистична
если ИИ будет создан как программа или как полная эмуляция, а не как сопроцессоры и/или генно-улучшенные люди, то оптимистичный сценарий маловероятен

sokrat

А я вот не понимаю, зачем люди так носятся с идеей усовершенствования самого себя.
Гораздо лучше носиться с идеей уничтожить себе подобных, муахахаха!
Сейчас же есть хорошо работающий симбиоз человека и техники.
Ага, за пару веков технических веков засрали планету, а что там дальше будет лучше не думать :D
Те же тачки как средство передвижение далеко не самый лучший вариант. А ведь могли бы себе крылья пришить и летать как птицы :lol:

Nefertyty

И вообще я полагаю, что главная ценность жизни - в ее ограниченности по времени и возможностям. Как ни странно.
ок, ты умрёшь, а наши будут жить - поэтому останутся только они

Sander

А почему ты уверен, что человеческий мозг / сознание (определения которого какбы нет) нельзя приблизить детерминированным алгоритмом?
Если кто хочет - заботайте статьи про червя и крысу, чего гадать то. Всем будет интересно если расскажете.
Но это вопрос про аппроксимацию электрической активности,
а про сознание - это философский вопрос, но без технической реализации непонятно, конечно.
Если когда-нибудь будет технически точная реализация, а сознания не получится - будет забавно. Но я бы поставил на то, что при техническом копировании процессов мозга сознание сохраниться.

Nefertyty

Во-вторых, от падающего кирпича или асфиксии от проглоченной косточки не застрахован никто, не говоря уж о войнах и дтп.
приучайся делать бекапы заранее
пока на компьютерах
потом на кошках :) ну и далее на себе

raushan27

Во-первых, не нужно. Нахрена мне сдалось бессмертие в таком хреновом мире?
Во-вторых, от падающего кирпича или асфиксии от проглоченной косточки не застрахован никто, не говоря уж о войнах и дтп.
Вот от этого как раз можно застраховаться. Записал слепок своего сознания (характерный набор ответов на раздражители) - в случае гибели можно твою копию из бэкапа восстановить.

raushan27

приучайся делать бекапы заранее
пока на компьютерах
потом на кошках ну и далее на себе
хайвмайнд

medmikhr

Это еще один довод в пользу создания эмуляции живого мозга - теоретическая возможность обойти табу экспериментальных исследований непосредственно мозга и сознания. Возможно, сначала будет создан ии более высокого уровня, а уже на его платформе запущена искомая эмуляция.
Да, но как? (исмольник стайл)
и опять же, сколько человеческих жизней ты готов пожертвовать для этих экспериментов? а свою жизнь готов пожертвовать?
+ не надо забывать, что мозг и мозг+периферия две большие разницы. Мозг человека заточен под получение информации от внешних сенсоров, коих великое множество - от органов чувств до внутренних органов. Если ты собрался моделировать мозг человека - будь добр смоделировать всю иннервацию органов и все органы чувств.
Получается, надо сделать искусственного человека, "идентичного натуральному".

medmikhr

А почему ты уверен, что человеческий мозг / сознание (определения которого какбы нет) нельзя приблизить детерминированным алгоритмом?
ты сам говоришь "приблизить", что не есть "повторить"
даже если можно "приблизить", в чем я оочень сомневаюсь.

raushan27

будь добр смоделировать всю иннервацию органов и все органы чувств.
Получается, надо сделать искусственного человека, "идентичного натуральному".
Не обязательно. Можно научиться всего лишь (хотя это нифига не просто) возбуждать нейроны зрительной коры, таким образом, чтобы получить картинку. Ну и то же самое с другим IO.
На добровольцах обкатать - добиться, чтобы они не могли отличить наведенную картинку от реальности.

medmikhr

сейчас известны мехнизмы, которые надо регулировать чтобы получить бессмертие, дело за малым :)
А от ДТП, инфаркта или шальной пули эти механизмы защищают? ;)

BSCurt

Например способностью запоминать, обобщать, учиться.
Или аппроксимировать функцию по выборке значений.

Nefertyty

Мозг человека заточен под получение информации от внешних сенсоров, коих великое множество - от органов чувств до внутренних органов.
зрение и слух уже существенным образом расшифрованы
скоро можно будет подключить камеру и микрофон
двигательные импульсы уже в продакшене используются чтоб протезы делать
ну без обоняния человек для начала переживёт
так как есть люди у которых оно не работает, и ничего
без чувства боли тоже есть люди, могут жить
стивен хокинг вон почти без всего обходится, при этом гений

sokrat

будь добр смоделировать всю иннервацию органов и все органы чувств.
Нафиг все то делать? Разум человека может и без слуха-нюха-зрения-"чувства тела" функционировать вполне.

raushan27

Или аппроксимировать функцию по выборке значений.
Мы все всего-лишь аппроксимируем функцию по выборке значений (только выборка растёт постоянно)

gutev

Хм. Не вижу как из посылки вытекает твой вывод.
Ну, я понимаю ИИ как неорганическую форму жизни. Существование чистого интеллекта ради самого интеллекта считаю абсурдом, противоречащем базовым законам наблюдаемой Вселенной.
1. ИИ использует материальные носители (органику-неорганику - не важно).
2. Материальные носители подвержены энтропии. По тем или иным причинам.
3. Аналог ДНК ИИ также может быть подвержен энтропии.
В итоге, в результате гипотетического катаклизма, исходный программный код ИИ сведётся к простейшим базовым мотивациям на самосборку. ИИ будет вынужден повторить весь эволюционный процесс от протобактерии к человеку и выше.

medmikhr

Не обязательно. Можно научиться всего лишь (хотя это нифига не просто) возбуждать нейроны зрительной коры, таким образом, чтобы получить картинку. Ну и то же самое с другим IO.
Фактически ты предлагаешь искусственный глаз. Тот же орган чувств, только искусственный.
А еще не забывай, что мозг в качестве обратной реакции хочет управлять фокусом и направлением обзора своих глаз. Если ты ему не дашь этих возможностей, как он будет изучать окружающую среду?
На добровольцах обкатать - добиться, чтобы они не могли отличить наведенную картинку от реальности.
Какая еще наведенная картинка? У "добровольцев" будут в первую очередь вскрывать черепную коробку и тыкать датчиками, вырезать или разделять области мозга, вживлять какие-то искусственные устройства. Ну, чтобы хотя бы понять, как оно работает. Ты готов стать таким добровольцем?

a100243

В терминаторе, который сериал, таких разумов оказалось целых два.

BSCurt

Даже алгоритмы т.н. агентного обучения (reinforcement learning основанные на самостоятельной реакции системы на внешнее событие - наиболее близкие модели к тому, о чем ты мечтаешь, - точно такие же детерминированные алгоритмы.
Ты говоришь будто это что-то плохое, будто ИИ не может быть детерминированным алгоритмом.

Nefertyty

В терминаторе, который сериал, таких разумов оказалось целых два.
вроде один
просто, чтоб фильм получился интересным, сценаристы не разрешили ему убить всех людей сразу

a100243

и вот вопрос: как запрограммировать цель, чтоб он не уничтожил людей (тем или иным способом) в процессе её достижения
Эффективное прогрессорство и у самих людей не получалось. Так что надо запрограммировать нечто, что мы сами не знаем как работает.

Seka

то есть на ближайший десяток лет было бы отличным результатом, если бы гиганты IT научились бы моделировать базовые когнитивные навыки с человеческой точностью
было бы отличным результатом, если бы кто-нибудь в ближ. 20 лет осилил машинный перевод, это был бы реально прорыв в космос

a100243

примерно как делать самолёт копируя птицу.
Ну вообще орнитоптеры уже летают. Но они, конечно, не эффективны и нужны больше для развлечения.

medmikhr

Нафиг все то делать? Разум человека может и без слуха-нюха-зрения-"чувства тела" функционировать вполне.
У тебя есть дети? Ты наблюдал за их развитием? Можешь сказать, когда у ребенка начинают появляются некоторые зачатки разума и мышления?
Мозг новорожденного ребенка - тот самый случай, когда мозг еще не успел "поработать" с органами чувств. Этот мозг чист как белый лист и реализует только простейшие безусловные инстинкты, необходимые для выживания.
Чтобы ребенок приобрел разум и мышление, ему нужен долгий период работы со своими органами чувств. Короче, мозг в отрыве от органов чувств - не умнее биомассы.
По моим наблюдениям, начинать говорить о мышлении ребенка можно только когда он начинает говорить.

raushan27

Какая еще наведенная картинка? У "добровольцев" будут в первую очередь вскрывать черепную коробку и тыкать датчиками, вырезать или разделять области мозга, вживлять какие-то искусственные устройства. Ну, чтобы хотя бы понять, как оно работает. Ты готов стать таким добровольцем?
А почему обязательно вскрывать и резать? Сверлить дырочки микронного диаметра и вставлять электродики.

medmikhr

Ты говоришь будто это что-то плохое, будто ИИ не может быть детерминированным алгоритмом.
Нет, не может.

raushan27

Нет, не может.
Почему?

medmikhr

А почему обязательно вскрывать и резать? Сверлить дырочки микронного диаметра и вставлять электродики.
И куда ты их будешь вставлять? Просто в толщу вязкой жидкости, авось куда-нибудь попадет? Так есть уже методы такого порядка - типа ЭЭГ.

Nefertyty

Ты готов стать таким добровольцем?
на земле дохера людей
кто-то согласится стать добровольцем обязательно
а кто-то предпочтёт насильственный вариант

a100243

Нужно наделить его эмпатией :)
О, нам мало простых проблем с ИИ, давайте сделаем так, чтобы он от стресса страдал, а стрессовать начинал по совершенным пустякам.

medmikhr

Почему?
По определению свободы, которой обладает всякое мыслящее существо (человек или гипотетический ИИ)

medmikhr

на земле дохера людей
кто-то согласится стать добровольцем обязательно
а кто-то предпочтёт насильственный вариант
То есть, для тебя ок, что люди будут умирать за чьи-то интересы и мечты?

Seka

если с когнитивными функциями человечество хоть как-то пытается разобраться, то со всем остальным имхо сейчас полный голяк
главный голяк в полном отсутствии понимания того, что такое сознание. а оно живет отдельной от рассудка жизнью, так что петафлопы, базы знаний, и полная эмуляция когнитивных функций - этого недостаточно, количество в качество не перейдет.

uvilir

кстати очень рад, что обсуждение ИИ начавшееся часы спуста после нового треда про Украину, гораздо более популярно :)

a100243

Ствол пистолета тоже похож на ствол ракетной шахты, но из пистолета ракету не пустишь
http://en.wikipedia.org/wiki/Gyrojet

medmikhr

зрение и слух уже существенным образом расшифрованы
скоро можно будет подключить камеру и микрофон
двигательные импульсы уже в продакшене используются чтоб протезы делать
ну без обоняния человек для начала переживёт
так как есть люди у которых оно не работает, и ничего
без чувства боли тоже есть люди, могут жить
стивен хокинг вон почти без всего обходится, при этом гений
Разница в том, что Стивен Хокинг родился полноценным человеком, и его разум сформировался во взаимодействии с органами чувств. Мозг, изначально существующий в полном отсутствии информации, рискует так и остаться без разума. Я так понимаю, что детей у тебя нет. Но ты можешь поверить, например, моему опыту, насколько катастрофически важна маленьким детям информация от всех органов чувств для нормального развития.

PavelZ

То есть, для тебя ок, что люди будут умирать за чьи-то интересы и мечты?
Это этическая проблема. Да, у нас принято, что "не ок". Да, мы понимаем, что другие люди могут решить эту же проблему по-другому и принять вариант "да, ок, это же для прогресса, какие могут быть сомнения!"

raushan27

По определению свободы, которой обладает всякое мыслящее существо (человек или гипотетический ИИ)
А он обладает?

medmikhr

кстати очень рад, что обсуждение ИИ начавшееся часы спуста после нового треда про Украину, гораздо более популярно :)
Тащемта, случайно на форум зашел)

stealth

приучайся делать бекапы заранее
пока на компьютерах
потом на кошках :) ну и далее на себе
Восстановленный из бэкапа - это ведь уже некто другой будет.

medmikhr

А он обладает?
конечно

a100243

Если бы я был не прав, сюда бы давно прилетели боевые роботы и уничтожили все живое (исходя из логичного предположения, что ИИ уже был создан где-нибудь в галактике).
А зачем ему что-то уничтожать? Ему нужно потреблять. Пока ближние системы не освоит, нет смысла планировать экспедиции на дальние.

PavelZ

стивен хокинг вон почти без всего обходится
У Хокинга было главное - общение с другими людьми.
К примеру, "дети-маугли" - обратный вариант - отсутствие общения с другими людьми при наличии информации от органов чувств.

raushan27

конечно
Что дает тебе основание это утверждать с уверенностью?
// Только не надо философских и тем более религиозных обоснований.

medmikhr

Это этическая проблема. Да, у нас принято, что "не ок". Да, мы понимаем, что другие люди могут решить эту же проблему по-другому и принять вариант "да, ок, это же для прогресса, какие могут быть сомнения!"
Это вопрос твоего одобрения. Одобряешь - считай соучастник.
Лично я считаю, что человеческая личность более ценна, чем прогресс или процветание.

raushan27

Восстановленный из бэкапа - это ведь уже некто другой будет.
Каждый вечер ты исчезаешь, утром просыпается уже немного другой человек.

b4r4n0ff

тред осилил.
самая здравомыслящая позиция у . сильного ИИ никогда не будет просто потому что мышление, а точнее, ВОСПРИЯТИЕ - вещь сугубо иррациональная и непознаваемая. подходя же с более технической позиции, сильный ИИ невозможен потому, что любая программа действует в рамках заданной СИСТЕМЫ КАТЕГОРИЙ, системы координат. она может быть очень крутой и в ее рамках программа может быть очень крутой, но в любом случае ее "мышление" замкнуто в конкретных n измерениях. тогда как уникальная особенность природного мышления состоит в способности создавать новые категории, выходить за пределы системы координат.

medmikhr

У Хокинга было главное - общение с другими людьми.
Да, но в детстве у него были нормальные органы чувств, с помощью которых он познавал мир.

a100243

Я говорю про http://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%80%D0%BC%D0%B8... . Могу подробнее рассказать, если ты не боишься спойлеров.

PavelZ

Это вопрос твоего одобрения. Одобряешь - считай соучастник.
Лично я считаю, что человеческая личность более ценна, чем прогресс или процветание.
Передо мной эта проблема в данный момент не стоит. Я понимаю, что смогу реально решить ее, только когда она реально встанет передо мной. Я понимаю, что мои предположения о том, как я могу ее решить, недостаточны, чтобы говорить об этом :smirk:
Я запомню твое мнение и буду использовать эту информацию в возможных ситуациях взаимодействия с тобой.

medmikhr

Что дает тебе основание это утверждать с уверенностью?
Если грубо - то я обладаю свободой, потому что осознанно, а не рефлекторно решаю, какой рукой или ногой двинуть, какую фразу на форуме написать и т.д.
Детерминированность - это рефлекторность. Разум же способен контролировать рефлексы, подавлять или усиливать некоторые по собственному желанию.

raushan27

самая здравомыслящая позиция у . сильного ИИ никогда не будет просто потому что мышление, а точнее, ВОСПРИЯТИЕ - вещь сугубо иррациональная и непознаваемая. подходя же с более технической позиции, сильный ИИ невозможен потому, что любая программа действует в рамках заданной СИСТЕМЫ КАТЕГОРИЙ, системы координат. она может быть очень крутой и в ее рамках программа может быть очень крутой, но в любом случае ее "мышление" замкнуто в конкретных n измерениях. тогда как уникальная особенность природного мышления состоит в способности создавать новые категории, выходить за пределы системы координат.
 У человека есть конечное множество нейронов на входе, воспринимающих информацию от органов чувств.
 И конечное число нейронов на выходе + конечное число нейронов хранящий внутренние состояния системы ака память.
 Все это дает охренненно большой функциональный базис, но таки конечный.
Мысль о собственной (хотя бы потенциальной) трансцедентности приятно щекочет самолюбие, но доказательства что-то не просматривается.

medmikhr

тогда как уникальная особенность природного мышления состоит в способности создавать новые категории, выходить за пределы системы координат.
Тащем-то да. Примерно это я и хотел сказать, говоря о вытаскивании себя за волосы. Правда, дискуссия сразу ушла в частности

PavelZ

уникальная особенность природного мышления состоит в способности создавать новые категории, выходить за пределы системы координат
Эта же особенность позволяет выдвинуть гипотезу о том, что ии может возникнуть непредсказуемым образом; возможно это будет явление, не сопоставимое ни с чем, известным нам, и возникнет оно образом, не сопоставимым ни с одним известным нам образом :grin:

medmikhr

Эта же особенность позволяет выдвинуть гипотезу о том, что ии может возникнуть непредсказуемым образом; возможно это будет явление, не сопоставимое ни с чем, известным нам, и возникнет оно образом, не сопоставимым ни с одним известным нам образом :grin:
Просто так возьмет и возникнет? не было, не было, и вдруг появился? Просто так даже кошки не родятся :)

raushan27

Эта же особенность позволяет выдвинуть гипотезу
Если эта особенность и правда существует, а не является философским онанизмом функционально органиченных белковых машин.

medmikhr

У человека есть конечное множество нейронов на входе, воспринимающих информацию от органов чувств.
И конечное число нейронов на выходе + конечное число нейронов хранящий внутренние состояния системы ака память.
Все это дает охренненно большой функциональный базис, но таки конечный.
А принципы внутренней организации? Если ты написал перцептрон на c++ и думаешь, что он отличается от мозга только количеством внутренних слоев и входов-выходов, то...

gutev

Восстановленный из бэкапа - это ведь уже некто другой будет.
Почему кстати бэкап понимается как 100% страховка?
Сохранённые копия/копии могут быть также повреждены.

PavelZ

Просто так даже кошки не родятся
Если не ошибаюсь, что-то вроде подобной гипотезы уже возникало в истории науки - так называемая "Теория абиогенного зарождения жизни". "Теория большого взрыва" - примерно то же самое, только наоборот.

raushan27

А принципы внутренней организации? Если ты написал перцептрон на c++ и думаешь, что он отличается от мозга только количеством внутренних слоев и входов-выходов, то...
 Много чем отличается. Мы даже точно не знаем чем. Но эта ваша предположительная бесконечномерность мозга ни из чего не следует.

medmikhr

Много чем отличается. Мы даже точно не знаем чем. Но эта ваша предположительная бесконечномерность мозга ни из чего не следует.
Никто и не говорит о бесконечномерности. Я бы скорее говорил о неопределенной размерности.
Вообще, есть такие теоремы Геделя. В частности, вторая теорема Геделя говорит, что пользуясь аксиомами непротиворечивой системы невозможно доказать ее непротиворечивость. А первая теорема (о неполноте) говорит, что в непротиворечивой системе существует недоказуемая и неопровержимая аксиома.
Выводы делай сам

PavelZ

эта ваша предположительная бесконечномерность мозга ни из чего не следует
Теория возникновения мозга в процессе эволюции позволяет предположить ограниченность, возникающую из жизнедеятельности в трехмерном мире (плюс время).
Эмуляция мозга существа, возникшего путем эволюции в девятнадцатимерном мире (плюс пяток разных времяподобных хуйней) могла бы дать уже более интересные результаты, чем простые вариации на тему человека.

Sander

любая программа действует в рамках заданной СИСТЕМЫ КАТЕГОРИЙ
Моделируют же червя и мозг крысы.
Каким образом программный червь у тебя "действует в рамках заданной системы категорий", а настоящий "обладает природным мышлением и способностью создавать новые категории"?
Имхо они идентичны должны быть в плане оценки - есть ли у них сознание.
Ты сейчас написал, что не веришь в то, что человек сможет создать что-то более умное, чем он сам. Но это же не правда - человек постоянно создает системы, которые умнее отдельно взятого индивидуума. Другое дело, что этьи системы всегда включают в себя людей.
В плане ИИ наиболее вверю именно биологическое применение - то есть не создание полноценного ИИ, а благодаря вычислительным мощностям и машинному обучению существенно улучшить здравоохранение (ставить диагнозы, выписывать лекарства, определять состояние организма и сделать это всё доступным для всех) решать задачи лечения и т.п.
имхо всё это случится раньше, чем страшный ИИ.
или же человек создаст сверх-человека, а сверх-человек уже создаст ИИ, который сравнится с обычными людьми :grin:

mym1962

сли грубо - то я обладаю свободой, потому что осознанно, а не рефлекторно решаю, какой рукой или ногой двинуть, какую фразу на форуме написать и т.д.
Детерминированность - это рефлекторность. Разум же способен контролировать рефлексы, подавлять или усиливать некоторые по собственному желанию.
Это тебе так кажется

karim

По моим наблюдениям, начинать говорить о мышлении ребенка можно только когда он начинает говорить.

а таракан без лапок не чувствует боли!

medmikhr

Моделируют же червя и мозг крысы.
Червь или крыса, если угодно - биороботы, детерминированные биомашины, работающие на инстинктах.
У них нет разума, мышления, сознания, эти вещи выходят за рамки рефлекторного поведения. И ими обладает только человек, мозг которого тут некоторые хотят моделировать.
Уже раз четвертый повторяю эту мысль в теме. Неужто никто не читает?

medmikhr

а таракан без лапок не чувствует боли!
И что?

TOXA

Ну, через некоторое время так и будет.
Через определеннынже малоприятные моменты- но будет.

karim

хуй в очо
тут не только у тебя есть дети :)

Suveren

Мозг человека - самый сложный объект в изведанной нами части Вселенной. Если не ошибаюсь, эта фраза принадлежит Бехтеревой.
Всякий кулик своё болото хвалит.
Свой мозг можешь сравнивать с мозгом червя или обезьяны сколько угодно. Лично мой мозг отличается от червиного не только масштабом.
тебя случаем не оскорбляет то что у тебя с червём и обезьяной общие предки?
Еще раз, разум человека связан с наличием т.н. новой коры. Ни разума, ни новой коры нет больше ни у одного живого организма.
бля. а пацаны то из голубых мозгов то и не знали и как-то сэмулировали 100 неокортексных колонок мыши.
Второе - для наших дорогих форумных либералов заведомо летальные эксперименты над людьми - в порядке вещей, я так понял?
это твои эротические фантазии. ещё раз: эксперименты на обезьянах до тех пор пока есть существенный риск летального исхода. потом на неизлечимо больных добровольцах. как и с любой другой медицинской технологией.
Что-то не слышно победных реляций, как на старте. Да и новых публикаций давно нет.
я так понимаю они влились в http://en.wikipedia.org/wiki/Human_Brain_Project

karim

У них нет разума, мышления, сознания, эти вещи выходят за рамки рефлекторного поведения. И ими обладает только человек, мозг которого тут некоторые хотят моделировать.
это ложь :)

raushan27

Никто и не говорит о бесконечномерности. Я бы скорее говорил о неопределенной размерности.
Вообще, есть такие теоремы Геделя. В частности, вторая теорема Геделя говорит, что пользуясь аксиомами непротиворечивой системы невозможно доказать ее непротиворечивость. А первая теорема (о неполноте) говорит, что в непротиворечивой системе существует недоказуемая и неопровержимая аксиома.
Выводы делай сам
Ну ок. Как это связано с темой разговора?
Ты увтерждаешь:
1) Все нейронные сети, как существующие, так и возможные в будущем принадлежат к множеству А (детерминированные алгоритмы - суть набор весовых множителей в некотором функциональном базисе).
2) Разум человека не принадлежит множесту А.
Почему верно 2 и причем тут теорема Геделя?

PavelZ

ими обладает только человек, мозг которого тут некоторые хотят моделировать.
Уже раз четвертый повторяю эту мысль в теме. Неужто никто не читает?
Какой-то у тебя антропошовинизм :o
Если твое мнение обосновано, поправь статью в вики "Интеллект животных"
http://ru.wikipedia.org/wiki/%C8%ED%F2%E5%EB%EB%E5%EA%F2_%E...

medmikhr

Это тебе так кажется
Отнюдь.
Вот есть рефлекс - в случае прикосновения к горячему предмету отдернуть руку. Это безусловный рефлекс, он проходит мимо сознательного контроля. Вместе с тем, усилием воли человек может подавить этот рефлекс, например, когда делают прижигание.
Это первый и очень грубый пример. Вообще, способность контролировать инстинкты и рефлексы - одно из фундаментальных отличий человека от животных. А ты, если не обладаешь какой-либо свободой, какой нафиг гомо сапиенс? И вообще это означало бы, что все тлен.

karim

да ты совсем упоролся :)
то у крысы неокортекса нету, то это теперь еще

medmikhr

Какой-то у тебя антропошовинизм :o
Можешь называть это так :)
Но я действительно считаю, что человек фундаментально выше любых других живых организмов, т.к. единственный обладает полноценным разумом, свободной волей и другими проявлениями личности.

Sander

Червь или крыса, если угодно - биороботы, детерминированные биомашины, работающие на инстинктах.
У них нет разума, мышления, сознания, эти вещи выходят за рамки рефлекторного поведения. И ими обладает только человек, мозг которого тут некоторые хотят моделировать.
Уже раз четвертый повторяю эту мысль в теме. Неужто никто не читает?
Ну здесь вроде нет аргументов, просто высказывание мнения. И при том ты упоминаешь неопределенные понятия, типа разум и прочее.
50 лет назад и о распознавании речи/образов машиной не могло быть и речи. тоже можно было бы утверждать, что это исключительная особенность живых разумных существ.
каково отличие в распознавании образа от других когнитивных функций, что первое оказалось решаемо, а второе - концептуально не может быть решено?
ну и метафора - допустим появится сверх-человек (для которого мы будем такие же черви) и придумает ИИ, сравнимый с человеческим разумом.

raushan27

Но я действительно считаю, что человек фундаментально выше любых других живых организмов, т.к. единственный обладает полноценным разумом, свободной волей и другими проявлениями личности.
 Круто. Ты сначла заявлял, что мы даже не знаем, что такое разум (и якобы это мешает нам его воспроизвести а потом с уверенностью заявляешь, что ты этим то-не-знаю-что обладаешь, а зверушки нет.

medmikhr

да ты совсем упоролся :)
Каждый упарывается по-своему
то у крысы неокортекса нету
Это не научная дискуссия, чтобы карать за неточности формулировок. По сути я прав, новая кора развита только у человека, и именно с ней связан разум человека.
то это теперь еще
Это - это что?

karim

новая кора развита только у человека
наглая ложь :)

PavelZ

Вот придет ии и скажет, что ты - мясное быдло, а он -
единственный обладает полноценным разумом, свободной волей и другими проявлениями личности.

medmikhr

Круто. Ты сначла заявлял, что мы даже не знаем, что такое разум (и якобы это мешает нам его воспроизвести а потом с уверенностью заявляешь, что ты этим то-не-знаю-что обладаешь, а зверушки нет.
Да. Тебя что-то смущает? Покажи мне в конце концов продукт разумной деятельности какого-нибудь животного.

medmikhr

наглая ложь :)
докажи

karim

Это - это что?
отличие между человеком и другими зверями количествненое а не качественное, что наглядно можно оценить по интеллектуальным способностям в ряду от тупайи до шимпанзе

karim

ахуеть
я убегаю в сад за ребенком, надеюсь тебе кто-то еще покажет как пользоваться гуглом

Suveren

Да. Тебя что-то смущает? Покажи мне в конце концов продукт разумной деятельности какого-нибудь животного.
селфи сойдёт?

Seka

И конечное число нейронов на выходе + конечное число нейронов хранящий внутренние состояния системы ака память.
 Все это дает охренненно большой функциональный базис, но таки конечный.
про память, как нейроны - это, наверное все-таки заблуждение, мозг - процессор, мозг - контроллер и мозг интерфейс для памяти. а сама память - тут какая-то другая материя/поле, вполне вероятно позволяющая иметь память не конечной мощности

medmikhr

Ты увтерждаешь:
1) Все нейронные сети, как существующие, так и возможные в будущем принадлежат к множеству А (детерминированные алгоритмы - суть набор весовых множителей в некотором функциональном базисе).
2) Разум человека не принадлежит множесту А.
Нет. В очередной раз повторю, что то, что ты называешь нейронными сетями (от перцептрона до deep learning сетей) к биологической нервной деятельности отношения не имеют никакого, кроме названия. Исходя из этого, твои соображения об их применимости к моделированию мозга нереалистичны.
А теоремы Геделя - это строгая формулировка моего изначального тезиса - невозможно вытянуть себя из болота за волосы.

medmikhr

селфи сойдёт?
Селфи - это разумная деятельность? По мне так очень неразумная ;)
Вон есть видео, как обезьяна из калаша стреляет во все стороны, но ты же не будешт говорить, что она понимает, что она делает? Пример разумной деятельности был бы, если бы обезьяна сделала свой калаш, ну или хотя бы какое-то стреляющее орудие.

raushan27

Нет. В очередной раз повторю, что то, что ты называешь нейронными сетями (от перцептрона до deep learning сетей) к биологической нервной деятельности отношения не имеют никакого, кроме названия
Ну и хрен бы с ним. Самолет крыльями не машет, но летает даже быстрее.

medmikhr

отличие между человеком и другими зверями количествненое а не качественное, что наглядно можно оценить по интеллектуальным способностям в ряду от тупайи до шимпанзе
Точно так же наглядно можно оценить качественное отличие шимпанзе от человека.
А ты, если считаешь себя лишь количественно разумнее шимпанзе, можешь продолжать так считать :)

raushan27

Вон есть видео, как обезьяна из калаша стреляет во все стороны, но ты же не будешт говорить, что она понимает, что она делает? Пример разумной деятельности был бы, если бы обезьяна сделала свой калаш, ну или хотя бы какое-то стреляющее орудие.
Стреляющие орудия далеко не всякие люди могут сделать. Да и луки в историческом плане не такая уж древняя штука.
С другой стороны, обезъяны могут "делать" орудия из подручных предметов.
И кстати, почему ты уверен, что она "не понимает что она делает". И что это вообще за штука "понимание того что делаешь"?

raushan27

А ты, если считаешь себя лишь количественно разумнее шимпанзе, можешь продолжать так считать
Одобрено святейшим синодом.

medmikhr

Ну и хрен бы с ним. Самолет крыльями не машет, но летает даже быстрее.
Ты не слышишь. Эти "нейронные сети" - просто красиво нарисованные математические алгоритмы, саме разные, хорошие математические алгоритмы. К разуму или нервной деятельности они отношения не имеют. Уж поверь мне, я почти десяток лет ими занимаюсь.

karim

Точно так же наглядно можно оценить качественное отличие шимпанзе от человека.
оцени
или это для тебя сугубо религиозный вопрос вопрекивсем фактам?

raushan27

Ты не слышишь. Эти "нейронные сети" - просто красиво нарисованные математические алгоритмы, саме разные, хорошие математические алгоритмы. К разуму или нервной деятельности они отношения не имеют
Таки почему отношения не имеют? Если ты не знаешь, что такое разум (сам сказал то откуда ты знаешь, что он заведомо не описывается такой же математикой?

medmikhr

И кстати, почему ты уверен, что она "не понимает что она делает". И что это вообще за штука "понимание того что делаешь"?
Этот разговор заходит в тупик, т.к. мы похоже исходим из разных систем отсчета. Для меня наличие разума и как следствие свободной воли у человека является аксиомой, как и отсутствие полноценного разума и воли у других живых организмов. Исходя из этого я и пляшу.
Доказать я это не могу, обосновать - да, но доказать - нет. Да и никто не сможет доказать ни это, ни обратное. Если это для тебя не аксиомы, то к общему мнению мы не придем

medmikhr

или это для тебя сугубо религиозный вопрос вопрекивсем фактам?
тебе известна культура шимпанзе? языки, литература, искусство? какое у них государственное устройство? разделение труда, технологии, социальная ответственность?
хоть что-то, указывающее на то, что их разумная деятельность качественно не отличается от нашей.

PavelZ

хоть что-то, указывающее на то, что их разумная деятельность качественно не отличается от нашей
А где обосновывается, что наша разумная деятельность - единственно возможная?
(только без линков на святейшие свитки, плз)

medmikhr

Таки почему отношения не имеют? Если ты не знаешь, что такое разум (сам сказал то откуда ты знаешь, что он заведомо не описывается такой же математикой?
Ну для начала, "нейронные сети" - это на 90% матрично-векторное умножение.
Биологическая нервная деятельность - это электрические импульсы, изменение проводимости под воздействием множества факторов разной природы, сложная химия и биохимия в конце концов. Это тоже предлагаешь моделировать матрично-векторным умножением?

medmikhr

А где обосновывается, что наша разумная деятельность - единственно возможная?
Исходя из здравого смысла и общих соображений. Если у тебя другое мнение - приводи примеры качественного соответствия разумной деятельности человека и шимпанзе, не будь голословным.
*в ужасе озираясь по сторонам* Это страшный сон или что? на форуме МГУшников утверждают, что человек не обладает свободой, и его разум качественно такой же, как у шимпанзе
короче надо валить отсюда подальше, а то тут и свихнуться недолго

demiurg

нихера не поможет
у нас у всех эмпатия, но мы не уничтожили человечество (или не построили какую-нибудь антиутопию) только потому, что возможностей не хватает - типа на каждую армию (управляемую сумасшедшим тираном) находится другая армия, на каждого террориста находится спецслужба и т.д.
Это мы, и среди нас попадаются психопаты (сам же их упомянул кстати). А AI возможно будет без этих недостатков, хотя, конечно накосячить можно везде

sokrat

языки, литература, искусство? какое у них государственное устройство? разделение труда, технологии, социальная ответственность?
Язык жестов они вполне себе могут освоить.
Искусство - это тонкая материя. В различении искусство-ремесло 99% людей будут ошибаться.
Гос-устройство есть - вожак стаи, он же реализует и разделение труда :D
Соц-ответсвенность - в виде норм стаи, когда друг-друга терпят.
на форуме МГУшников утверждают, что человек не обладает свободой

Неосознанные реакции могут даже предвосхищать действия человека. Например, в 1980-е годы в Калифорнии был проведен следующий эксперимент. Людей попросили стукнуть пальцем в момент совершения выбора и отметить время своего выбора, посмотрев на часы. Области мозга, ответственные за формирование двигательной активности, активизировались на полсекунды раньше, чем было произведено какое-либо движение. Но участники эксперимента осознавали свое решение на несколько десятых секунды позднее, незадолго до начала движения.
Там целая глава про несвободную свободу воли.
и его разум качественно такой же, как у шимпанзе
Насколько я понял Нормана "Пластичность мозга", то с его точки зрения был скачок с количества нейронов на качество.

raushan27

 
тот разговор заходит в тупик, т.к. мы похоже исходим из разных систем отсчета. Для меня наличие разума и как следствие свободной воли у человека является аксиомой, как и отсутствие полноценного разума и воли у других живых организмов. Исходя из этого я и пляшу.
 Fair enough.
 Может быть это защитная реакции психики, если приходится работать с ИИ? Можнт спать спокойно и не отвлекаться на всякую фиософскую дребедень.

demiurg

О, нам мало простых проблем с ИИ, давайте сделаем так, чтобы он от стресса страдал, а стрессовать начинал по совершенным пустякам.
Стресс и эмпатия суть совершенно разные вещи

demiurg


самая здравомыслящая позиция у . сильного ИИ никогда не будет просто потому что мышление, а точнее, ВОСПРИЯТИЕ - вещь сугубо иррациональная и непознаваемая. подходя же с более технической позиции, сильный ИИ невозможен потому, что любая программа действует в рамках заданной СИСТЕМЫ КАТЕГОРИЙ, системы координат. она может быть очень крутой и в ее рамках программа может быть очень крутой, но в любом случае ее "мышление" замкнуто в конкретных n измерениях. тогда как уникальная особенность природного мышления состоит в способности создавать новые категории, выходить за пределы системы координат.
Мысль о собственной (хотя бы потенциальной) трансцедентности приятно щекочет самолюбие, но доказательства что-то не просматривается.
На то она и трансцендентность чтобы быть недоказуемой. Будет ли она у ИИ, или же это будет философский зомби, лишённый квалий, это вопрос религиозный, обсуждать его можно для развлечения, но никакого отношения к тому "сильный ИИ" или нет это конечно не имеет

demiurg

У них нет разума, мышления, сознания, эти вещи выходят за рамки рефлекторного поведения. И ими обладает только человек, мозг которого тут некоторые хотят моделировать.
Уже раз четвертый повторяю эту мысль в теме. Неужто никто не читает?
Просто не все обязаны разделять твою религию

demiurg

отличие между человеком и другими зверями количествненое а не качественное, что наглядно можно оценить по интеллектуальным способностям в ряду от тупайи до шимпанзе
Интеллект ты можешь оценить, а вот наличие Божьей Искры или Души — нет :)

demiurg

про память, как нейроны - это, наверное все-таки заблуждение, мозг - процессор, мозг - контроллер и мозг интерфейс для памяти. а сама память - тут какая-то другая материя/поле, вполне вероятно позволяющая иметь память не конечной мощности
Если ты про память у человека и других животных, то это нейроны. Это известно и показано в научных работах, с подробными механизмами, как именно происходит запоминание.

ghytr0001

каково отличие в распознавании образа от других когнитивных функций, что первое оказалось решаемо, а второе - концептуально не может быть решено?
А машина может решить текстовую задачу на составления уравнений, которые проходят в средней школе. Типа такого:

Купец купил 138 арш. черного и синего сукна за 540 руб. Спрашивается, сколько аршин купил он того и другого, если синее стоило 5 руб. за аршин, а черное 3 руб.?
http://ru.wikisource.org/wiki/%D0%A0%D0%B5%D0%BF%D0%B5%D1%82...

Вбиваешь текст на русском/английском языке, а машина должна выдать ответ. Машины могут такое?

Seka

Если ты про память у человека и других животных, то это нейроны. Это известно и показано в научных работах, с подробными механизмами, как именно происходит запоминание.
чо там за подробный механизм в научных работах - белок какой-неть в синапсах у мышей накапливается, если им миску с водой в одно место ставить? или есть помощнее прорывы? :smirk:

demiurg

Хотябы честно признаешь религиозный характер убеждений. Хуже когда привлекают квантовый индетерминизм
Всегда останется религиозная часть вопроса, даже если привлечь квантовый индетерминизм. Просто нужно правильно переформулировать. Ну а дальше, кому-то интересно такие вопросы обсуждать, а кому-то нет.

BSCurt

Вбиваешь текст на русском/английском языке, а машина должна выдать ответ. Машины могут такое?
Полагаю что да, было бы желание сделать.

BSCurt

Ну для начала, "нейронные сети" - это на 90% матрично-векторное умножение.
Биологическая нервная деятельность - это электрические импульсы, изменение проводимости под воздействием множества факторов разной природы, сложная химия и биохимия в конце концов. Это тоже предлагаешь моделировать матрично-векторным умножением?
И компьютер тоже сложная физическая система, а не машина Тьюринга.
Ты упоролся в каком-то религиозном экстазе.

ghytr0001

Полагаю что да, было бы желание сделать.
расскажи как ты это будешь делать?

Sander

Зависит от формальной постановки и разнообразия формулировок.
Если хочешь чтобы точность была 100% а формулировки - любые и шаблонов не конечное число, то на текущем уровне таких технологий нет.
Проблема в том, что естественный язык содержит много омонимии и подразумеваний, особенно русский.
Даже в твоем примере надо правильно провязывать все местоимения и понять что черное стоило 3 рубля тоже за аршин. Это всё можно делать либо эвристиками, либо машиннообучать.
Если ставить задачу - научиться правильно решать 80% (от балды написал, может больше, может меньше) таких задач - наверное такое можно сделать
При этом подходы к пониманию текста (построение синтаксических деревьев - постоянно производятся и совершенствуются. До восхождения статистического машинного перевода именно на синтаксический разбор полагались наибольшие надежды в плане перевода и понимания текстов.
Об успешных продакшн-проектах с синтаксическим разбором не знаю, но знаю штуки три, которые распались/команды были куплены крупными игроками и стали заниматься другими темами.

BSCurt

Собственно выше уже написали, автоматический анализ текстов и экстракция из них данных довольно проработанная тема (ну самый попсовый пример Ватсон играющий в свою игру плюс именно такого сорта задачи они довольно шаблонные, поэтому тут можно надеяться на успех.

Seka

Полагаю что да, было бы желание сделать.
в общем случае это задача машинного перевода, желание есть, но пока не получается

ghytr0001

Зависит от формальной постановки и разнообразия формулировок.
Как раз об этом и речь, человек (*1) может формализовать задачи из неформальных наборов информации. А у машин пока с этим туго.
(*1) по крайней мере некоторые из людей это могут. Последнее время стал замечать, что людей, у которых эта способность хорошо развита, не так много.

BSCurt

Ну вот не всякий школьник осиливает шаблонную текстовую задачу.

Nefertyty

Восстановленный из бэкапа - это ведь уже некто другой будет.
это вопрос привычки
восстановишься пару раз, пообщаешься со своими копиями, и поймёшь, что это не больно и не страшно

katerina_81

с нтп мы сможем ... регулировать свою численность моральным и безболезненным образом
Лучше я буду ебаться по старинке.

ghytr0001

да, кстати, про ёблю. Как НТП разрешит вопрос конкуренции между мужиками за красивых женщин? Этого ресурса всегда недостаточно.

Nefertyty

То есть, для тебя ок, что люди будут умирать за чьи-то интересы и мечты?
причём здесь лично я?
маловероятно, что командовать буду я
скорее всего, это будет оффи, надеющийся стать вечным богом-императором :)
Разница в том, что Стивен Хокинг родился полноценным человеком, и его разум сформировался во взаимодействии с органами чувств. Мозг, изначально существующий в полном отсутствии информации, рискует так и остаться без разума.
копию надо делать уже со взрослого человека со знаниями
например, тот же хокинг может решить, что уже достаточно сделал в своей жизни в виде мясной тушки, а тут есть шанс ещё одной жизни совершенно нового типа :)

Suveren

расскажи как ты это будешь делать?
да уж точно не через controllable query
http://www.youtube.com/watch?v=WFR3lOm_xhE я не знаю какие именно алгоритмы это реализуют, но задачки вполне на уровне чеховской.

Nefertyty

Это мы, и среди нас попадаются психопаты (сам же их упомянул кстати). А AI возможно будет без этих недостатков, хотя, конечно накосячить можно везде
ну возьми нескольких людей - не психопатов и надели их божественными возможностями
если не передерутся насмерть, то построют такую антиутопию, что замятины с оруэллами зашевелятся в гробах

Nefertyty

Как НТП разрешит вопрос конкуренции между мужиками за красивых женщин?
1) секс-куклы с любыми характеристиками
2) возможность демонстрировать свой виртуальный МПХ самыми непредсказуемыми способами, то есть ты можешь стать первым в мире в чём-либо, а при бесконечной жизни - первым в любом числе областей

Suveren

если не передерутся насмерть, то построют такую антиутопию, что замятины с оруэллами зашевелятся в гробах
зависит от характера. кто-то может улетит на марс и будет там наслаждаться созерцанием.

katerina_81

если не передерутся насмерть, то построют такую антиутопию, что замятины с оруэллами зашевелятся в гробах
Ты пишешь так, будто кто-то уже проводил эксперимент.

BSCurt

да, кстати, про ёблю. Как НТП разрешит вопрос конкуренции между мужиками за красивых женщин? Этого ресурса всегда недостаточно.
Надеюсь генетики позаботятся об этом, а-ля как в фильме Гаттака.

BSCurt

Хотя можно выводить не только красивых баб, но и неъебливых мужиков! - о дивный новый мир!

Kraft1

ведро ответило привычным гулом

Nefertyty

зависит от характера. кто-то может улетит на марс и будет там наслаждаться созерцанием.
сначала ему придётся справиться с людишками, которые считают себя хозяевами и не собираются отпускать ценный экспериментальный объект
а там и эмпатия пообтреплется

demiurg

Это всё фантазии.
А фантазировать можно как пессимистично, так и оптимистично.

Nefertyty

Ты пишешь так, будто кто-то уже проводил эксперимент.
вообще-то были попытки построить дивный новый мир совершенно из лучших побуждений
начиная с платона ну и до сталина с полпотом
ввиду отсутствия божественной мощи не очень долговечные попытки, но кое-что можно было увидеть

karim

нтп - отдельно, утопии - отдельно
технологии сами по себе всегда несли только благо, сколько бы кликуши не верещали во все века
кто-то боялся поездов, кто-то электричества, кто-то компов, наверняка и медные ножи были предметом страха когда-то, ведь ими было гораздо проще убить, и ребенок справится, не то, что каменными! мир потонет в крови из-за легкого и доступного оружия! а сколько было проблем с картофаном например, хотя казалось бы

Nefertyty

например, в плане базы знаний - максимум текущих баз это сбор данных с сайтов типа википедии, а это ведь только самые простые для получения знания и при этом только их верхушка
гуглопоиск собирает знания со всего интернета и уже сейчас может иногда найти ответ на вопрос в этой базе :)
если несколько лет назад нельзя было просто написать вопрос, а надо было писать шаблон ответа, то сейчас можно и вопрос

Nefertyty

технологии сами по себе всегда несли только благо, сколько бы кликуши не верещали во все века
ну хер знает
опоздали бы russkies со своей бомбой на несколько лет, и было бы мировое правительство
а доброе или злое - уже хз

katerina_81

Ну ты, видимо, имел в виду "взять рандомных людей и наделить их сверхспособностями".
При этом и Сталин, и Полпот на пути к власти уже прошли по три кольца оцепления с пулемётами, рандомными их не хочется считать.
Интуиция говорит, что дворнику Васе с улицы давать бесконечную власть опасно. Но с другой стороны, та же интуиция подсказывает несколько знакомых, от абсолютного правления которых пиздеца не ожидается.

demiurg

При этом и Сталин, и Полпот на пути к власти уже прошли по три кольца оцепления с пулемётами, рандомными их не хочется считать.
При этом, допустим, психопатия вероятно коррелировано с некоторыми из warrior genes. Один из них, например, производит мало моноаминоксидазы, в результате чего при эмбриональном развитии слишком много серотонина, в серотонэргических областях (таких как та что отвечает за эмоции и эмпатию) адаптируется количество рецепторов, и их становится мало. Поэтому эта часть "не работает хорошо".
Также логично ожидать, что среди людей добравшихся до власти (или их генетечиских наследников, если добирание до власти произошло давно) психопатов и носителей warrior genes будет больше.

karim

а из форума кто например :o

Nefertyty

Но с другой стороны, та же интуиция подсказывает несколько знакомых, от абсолютного правления которых пиздеца не ожидается.
ну я бы не был так уверенным
например про меня тоже такое говорили на этом форуме некоторые, но я вполне способен устроить довольно качественный пиздец

karim

и как бы это правительство помешало бы созданию бомб в других странах?

Nefertyty

и как бы это правительство помешало бы созданию бомб в других странах?
провёл испытание - получай принудительную демилитаризацию (не согласен - учись жить на радиоактивном стеклянном полу)

demiurg

И почему сейчас этого не происходит? Или сейчас как-то так и есть?

Nefertyty

И почему сейчас этого не происходит? Или сейчас как-то так и есть?
есть конкуренция и равновесие: никакая страна/армия/группировка не может победить мир без неприемлимого ущерба для себя
создание сверхразума может нарушить равновесие и образовать singleton
In futurology, a singleton is a hypothetical world order in which there is a single decision-making agency at the highest level, capable of exerting effective control over its domain, and permanently preventing both internal and external threats to its supremacy. The term seems to have been first defined by Nick Bostrom.
эту самую книжку я пытался читать, но очень уж занудная

karim

не поэтому, а от того что люди вцелом против войны и не стремятся порабощать кого-либо, если можно без этого обойтись
войны и порабощения - удел "психопатов", раньше это пригождалось для выживания, сейчас уже излишне и наоборот приносит ущерб

demiurg

есть конкуренция и равновесие:
Тем не менее распространение ядерного оружия как-то контролируется.
никакая страна/армия/группировка не может победить мир без неприемлимого ущерба для себя
Эта же проблема была бы и у мирового правительства.
single decision-making agency at the highest level, capable of exerting effective control over its domain, and permanently preventing both internal and external threats to its supremacy.
Тут можно начать играться словами по поводу различия между single и не single agency. В этом вопросе большую роль будет играть антропоморфизм и предрассудки.

Nefertyty

технологии сами по себе всегда несли только благо, сколько бы кликуши не верещали во все века
ну и аргумент, что мол много раз так не было, значит никогда не будет, очевидно неверен
пример 1: инопланетянин, изучающий эволюцию на земле, наблюдал развитие нервных систем сотни миллионов лет
(допустим, его собственный разум существенно отличается по устройству от нашего)
он сделал вывод, что развитие животной жизни пошло по пути, несовместимому с разумом
разочаровался и улетел
скоро наши ракеты его догонят и покажут на его ошибку :)
пример 2: каждый раз, когда ты засыпаешь, то через некоторое время просыпаешься
но однажды будет не так, если раньше не изобретёшь бессмертие

Nefertyty

Тем не менее распространение ядерного оружия как-то контролируется.
да нихера, все кому не лень уже получили
возможно, скоро будет и у тех, кому лень - нтп в помощь

karim

смешная схоластика!

Nefertyty

Эта же проблема была бы и у мирового правительства.
не, ну я согласен, что возможно правительство бы кто-то скинул впоследствии
почему нет, ведь до сих пор все империи распадались
только что это доказывает?

Sander

гуглопоиск собирает знания со всего интернета и уже сейчас может иногда найти ответ на вопрос в этой базе :)
если несколько лет назад нельзя было просто написать вопрос, а надо было писать шаблон ответа, то сейчас можно и вопрос
база знаний - это когда объекты представляются сущностями в базе, у них есть какие-то поля,
когда отношения между объектами тоже заданы в базе
и когда из запросов пользователя на естественном языке формируется запрос к базе
вот красивые слова про это http://www.google.com/insidesearch/features/search/knowledge...
такая штука работает на википедии и еще некотором количестве подобных источников, это наверное меньше десятой процента интернета
вся что кажется магией - почти наверняка будет "запоминанием" того, что кто-то из пользователей уже задавал такой же запрос и пошел именно на нужный тебе документ, поскольку остальные (интеллектуальные) методы всегда неточные по сравнению с поведением настоящего пользователя

Nefertyty

база знаний - это когда объекты представляются сущностями в базе, у них есть какие-то поля,
когда отношения между объектами тоже заданы в базе
нифига не очевидно, что это нужно для ИИ
этому подходу полвека, а успехов что-то не очень

Sander

нифига не очевидно, что это нужно для ИИ
этому подходу полвека, а успехов что-то не очень
ну если мы представляем, что ИИ должен быть как минимум не глупее человека и должен понимать/общаться c человеком, то так или иначе внешне эти особенности должны проявляться не зависимо от внутреннего устройства ИИ

Nefertyty

ну если мы представляем, что ИИ должен быть как минимум не глупее человека и должен понимать/общаться c человеком, то так или иначе внешне эти особенности должны проявляться не зависимо от внутреннего устройства ИИ
нормальные люди таким образом не общаются, это специально обученные программисты только

Nefertyty

не, ну ты убеждай меня, что никакой магии нет, и гугл не приобретёт интеллект и самостоятельность внезапно
это повышает вероятность оптимистичного исхода

Sander

ну тем более
программисты это всего лишь подмножество людей
или в твоей модели программисты таки одолеют ИИ?

Sander

не, ну ты убеждай меня, что никакой магии нет, и гугл не приобретёт интеллект и самостоятельность внезапно
ну на текущем уровне развития никакой магии точно нет,
может ее изобретут, конечно, просто я слабо верю в это, но тогда сначала мы об этом все узнаем (т.к. даже knowledge graph пиарился дай бог, как супер-технология) т.к. это же цену акций дико повышает
и узнаем скорее всего задолго до production-ready и тем более задолго до состояния, когда ИИ получит возможность не только отвечать на вопросы, но и влиять на внешний мир

Samsonnn

ну это зависит от того, насколько быстро он сможет себя улучшить до такой степени, что получит возможность управлять миром, и насколько отстают конкурирующие разработки
кстати откуда это примитивное мнение, что сверх разум должен желать поработить всех и управлять планетой? Я бы сказал, что он скорей захочет познать тайны вселенной, а не играть в капризное божество.

Nefertyty

ну тем более
программисты это всего лишь подмножество людей
или в твоей модели программисты таки одолеют ИИ?
ну в смысле фундаментально ответ на вопрос нужно искать как-то не так
тем более там в примерах и не вопросы вовсе, а названия объектов

Nefertyty

кстати откуда это примитивное мнение, что сверх разум должен желать поработить всех и управлять планетой?
ты тоже не прочитал предложение, которое процитировал
какое в жопу капризное божество? хватит уже про свои фантазии, вопрос-то серьёзный :)

alexshamina

Обычная бабская истерика. По делу есть что

katerina_81

а из форума кто например?
С форумчанами сложно. Хотел Гадфазера привести как человека, не больного синдромом вахтёра, а он уже самоотвод взял.
Я бы чувствовал себя в относительной безопасности, если бы Повелитель Вселенной придерживался взглядов "не стоит учить остальных, как они должны жить".
Вот Гимли, например, такое декларирует. Но я ж его не знаю лично. Вдруг он там в своей Америке бьёт служанку за то, что она чёрная?..

Nefertyty

Я бы чувствовал себя в относительной безопасности, если бы Повелитель Вселенной придерживался взглядов "не стоит учить остальных, как они должны жить".
да, я такой
а кто станет учить чему не надо, того больно накажу :)

Nefertyty

короче смысл в том, что вроде бы почти любую цель / любое правило, которое мы по недомыслию считаем направленным исключительно во благо, можно извратить так, что при наличии технической возможности способ реализации нам дико не понравится
и возможность у сверхразума будет

Nefertyty

или же это будет философский зомби, лишённый квалий, это вопрос религиозный, обсуждать его можно для развлечения, но никакого отношения к тому "сильный ИИ" или нет это конечно не имеет
вопрос с квалиями, мне кажется, может быть решён в принципе
внутре ИИ их можно просто показать указкой на схеме - мол квалий у нас вот в этой структурке

Elka01

Сообщение удалил

Nefertyty

Щас есть мат анализ, но почему то никакой продавец на базаре его не использует.
ваще трейдеры используют его и ещё всякие другие страшные слова, о которых ты и не слыхал

BSCurt

Щас есть мат анализ, но почему то никакой продавец на базаре его не использует.
Потому что те кто используют торгуют не на базаре.

Nefertyty

Это первый и очень грубый пример. Вообще, способность контролировать инстинкты и рефлексы - одно из фундаментальных отличий человека от животных.
шимпанзе могут подавлять рефлексы
читал про следующее
что если шимпанзе находит хавку, то он рефлекторно издаёт крик, чтобы позвать товарищей
некоторые хитрожопые особи зажимают рот рукой, чтоб сожрать всё самому :)
имхо это восхитительно

Nefertyty

и тем более задолго до состояния, когда ИИ получит возможность не только отвечать на вопросы, но и влиять на внешний мир
тут не такая уж разница
ответами можно влиять на читателя
есть статьи про то, как порядок выдачи поисковика влияет на результаты выборов, если в поисковике избиратели ищут информацию по кандидатам
и гугл эти статьи уже прочитал

Elka01

Сообщение удалил

a100243

опоздали бы russkies со своей бомбой на несколько лет, и было бы мировое правительство
А знали бы русские, что США все свои запасы ядерного топлива запихало в две бомбы, то было бы другое мировое правительство.

Nefertyty

А почему обязательно вскрывать и резать? Сверлить дырочки микронного диаметра и вставлять электродики.
на самом деле пиарят нанороботы, которые пройдут по всем капиллярчикам и всё там высмотрят что нужно

a100243

Я бы сказал, что он скорей захочет познать тайны вселенной
А знаешь сколько ресурсов нужно хотя бы для экспедиции хотя бы на юпитер? А глупые человечки эти ресурсы на айфоны проедают.

spiritmc

> тебе известна культура шимпанзе? языки, литература, искусство?
Много литературы было у славян до появления у них письменности?
А у кроманьонцев?
Языки и искусство у шимпанзе существуют. Можешь посмотреть лекции Ванчатовой
или какие-нибудь статьи прочитать. Про языки тоже есть работы.
(В том числе и с парадоксальным результатом, что устройство предложений,
синтаксис появилось раньше устройства слов, морфологии.
Пользователи флективных и агглютинативных языков смотрят
на пользователей аналитических языков сверху вниз.)
> какое у них государственное устройство?
А какое государственное устройство у папуасов Новой Гвинеи?
> разделение труда, технологии, социальная ответственность?
Разделение труда и социальной ответственности у них, между прочим, тоже есть.
---
"Прогресс науки обратно пропорционален числу выходящих журналов."

spiritmc

> Ну для начала, "нейронные сети" - это на 90% матрично-векторное умножение.
...
> Это тоже предлагаешь моделировать матрично-векторным умножением?
Если мне не изменяет память, ты из строителей молекул.
Откуда у тебя возникло такое предубеждение против матриц?
---
...Я работаю антинаучным аферистом...

spiritmc

> Тем не менее распространение ядерного оружия как-то контролируется.
Путём нераспространения технологий, использующихся при его создании.
Примерно так же можно не давать создавать химическое и биохимическое
производство, так как его можно быстро переделать на производство БОВ.
---
"Кто не слеп, тот видит!.."

spiritmc

> Вообще, есть такие теоремы Геделя.
Вообще, прочитай про эти теоремы что-нибудь непопулярное.
Учебник по математической логике какой-нибудь вполне подойдёт.
Может, хотя бы формулировки выучишь.
---
"Математика --- лучший способ водить самого себя за нос."

spiritmc

> у нас у всех эмпатия, но мы не уничтожили человечество <...>
> только потому, что возможностей не хватает
Не-а. Можешь найти статьи про то, как отличается исход реальной
игры "камень-ножницы-бумага" от математического. Вывод сделали
такой, что что-то, эмпатия или что ещё, увеличивает число
ничейных исходов.
---
"И опыт, сын ошибок трудных, и гений, парадоксов друг..."

spiritmc

> 1. ИИ использует материальные носители (органику-неорганику - не важно).
> 2. Материальные носители подвержены энтропии. По тем или иным причинам.
> 3. Аналог ДНК ИИ также может быть подвержен энтропии.
Во-первых, естественный интеллект тоже использует материальные носители,
причём использует и органику, и неорганику. Во-вторых, а при чём здесь
энтропия? Мне энтропия только помогает. Можно сказать, я существую
только благодаря энтропии. В том числе и действию энтропийных факторов
на уровне ДНК.
---
"Математик может говорить, что ему хочется,
но физик должен, хотя бы в какой-то мере, быть в здравом рассудке."

antcatt77

сверхразум, скорее всего, появится один
Я правильно понимаю, что ты исходишь из идеи технической сингулярности, в виде, что ИИ сразу после своего появления станет бесконечно крутым?
Но ведь эта идея неверна из-за того, что мощность ИИ в любом случае будет ограничена имеющимся у него вычислительными мощностями и объемом памяти.
Скорость решения задач не может быть бесконечно большой из-за того, что большинство задач NP-полные. ИИ, конечно, может сгенерить ряд эвристик ускоряющих решение NP-полных задач, но таких эвристик конечное число для конкретного вида задач.
Понимание, знание и т.д. - в любом случае, требует хранение всего этого понимания и знания. И здесь опять же есть конечное ограничение: N-байт памяти могут хранить не больше K-байт знаний. Да, можно придумывать кучу методов по сжатию информации, но всё равно в N-байт запихнется лишь конечное число знаний.
Вообще, задача по ускорению себя она всё также NP-полная, а значит она не может быть решена за короткое время.
Из всего этого следует, что, например, интеллект персоналки сможет допустим дорасти до N*эйнштейнов, а интеллект гугл-кластера станет M*эйнштейнов. Да, это может быть будет очень большая разница по сравнению с человеком, но она конечная. И сам рост интеллекта будет занимать длительное время.

katerina_81

Нужно наделить его эмпатией
нихера не поможет
Под эмпатией человечество — ИИ, видимо, подразумевается просто обратная связь.
Например, пусть от страдания людей у ИИ сильно падает производительность, и чтобы это никак не обходилось.

spiritmc

>> сверхразум, скорее всего, появится один
> Но ведь эта идея неверна из-за того,
Много ли ты знаешь ныне существующих видов и подвидов человека?
Вот именно поэтому "его идея," которая не его и не идея, скорее верна, чем нет.
---
"Математик может говорить, что ему хочется,
но физик должен, хотя бы в какой-то мере, быть в здравом рассудке."

Nefertyty

Например, пусть от страдания людей у ИИ сильно падает производительность, и чтобы это никак не обходилось.
Избавить от страданий всех можно, ответ очевиден.

a100243

А как ты думаешь, что будет с ИИ, который видит как люди стреляют друг друга, убивая сотни гражданских с обоих сторон в локальном конфликте?

antcatt77

Много ли ты знаешь ныне существующих видов и подвидов человека?
Во-первых, аналогия немного притянута. Ты говоришь об одном виде, а говорит об одном экземпляре
Во-вторых, даже текущий "интернет" неоднороден. Используются разные по мощности процессы, разные каналы по толщине и задержке, решаются разные задачи, используются разные виды стыковки с окружающим миром и людьми, и из этого следует, что в разных частях "интернета" будут более адаптивными разные специализации ИИ.

katerina_81

И чтобы от численности населения тоже, если ты про "убить всех человеков".

antcatt77

Избавить от страданий всех можно, ответ очевиден.
Это же всё схоластика, из разряда - составь контракт с чертом или загадай желание вредному джинну.
В реальности же задача защиты от чего-либо решается не так. Для защиты выделяется периметр, желательно минимального размера, а дальше все силы бросаются на то, чтобы этот периметр не был нарушен.
Дальше ты фактически говоришь о том, как защитить группу индивидуумов от уничтожения со стороны сильного индивидуума.
Но эта задача решается по другому. Выделяется всё что необходимо для существования этой группы, и выстраиваются механизмы по защите всего выделенного.

spiritmc

> Ты говоришь об одном виде, а говорит об одном экземпляре
Много ли ты знаешь ныне живущих "экземпляров" человеков иных видов и подвидов?
> Во-вторых, даже текущий "интернет" неоднороден.
> Используются разные по мощности процессы, разные каналы по толщине и задержке,
Разные мощности это одно, а интернет --- другое.
Где сети FTN-то остались? Кто-нибудь их использует кроме старперов,
застрявших в девяностых? Многие ли из оставшихся соблюдают ZMH?
Возможно ли сегодня позвонить в Финляндию и пробросить почту?
---
"Математик может говорить, что ему хочется,
но физик должен, хотя бы в какой-то мере, быть в здравом рассудке."

antcatt77

Ты о чем-то не о том.
Если брать дальний прицел, то понятно, что рано или поздно вида человек не будет, просто из-за того, что имеющийся человеческий организм очень и очень неоптимальная штука, особенно для существования за пределами Земли.
По текущим прикидкам, более оптимальной формой будет какая-то комбинация биологических, "кремниевых" и "пластико-металлических" структур. Едва ли это можно будет назвать человеком.
С точки зрения, близкого прицела - будет ли человек уничтожен ИИ, или это будет длительный процесс ассимиляции ИИ с человеком, то я за второй вариант. Просто из-за того, что уничтожение другого является выгодной стратегией, только если накоплена настолько большая мощь, которая позволяет одномоментно уничтожить(подавить) другого до того, как он нанесет ответный удар. И не видны причины, которые приведут к тому, что ИИ сможет накопить такую мощь в краткие сроки.

sandish

бессмертие уже реально, всмысле в ближайшем будущемсейчас известны мехнизмы, которые надо регулировать чтобы получить бессмертие, дело за малым
C большой вероятностью его начнут пытаться запрещать, как кучу других современных репродуктивных технологий.
Банальное клонирование сколько визгов РПЦ-шников вызывает

e-xandr

Как удачно зашла в сосите - раз в 100 лет. Поддерживаю про НТП.
Только добавлю, что рельный НТП делается не в институтах,а в коропарациях. Более 300 инновационных продуктов моя компания внедрила за последний год, спорю это больше, чем сгенерил МГУ вместе с институтом механики за последние 10 лет
Наукой нужно уметь управлять, видеть коммерческую составляющую и ценность для общества или индивидуального потребителя. Во главе науки должен быть настоящи предприниматель. Типа Элона Маска, у него уже в космос корабли летают на частной основе :cool:

karim

внедрять и генерить это разные темы же :)
как там в нефтянке в связи с кризисом?

uvilir

Во главе науки должен быть настоящи предприниматель.
Угрозу заметили, но лучшие учёные умы занимались борьбой с облысением и увеличением длительности эрекции (С)

patkharl

Более 300 инновационных продуктов
жги, давай топ5 из них!)

e-xandr

внедрять и генерить это разные темы же
Вообще-то мы и генерим. Я не знаю насколько ты в курсе, но практически все технологии в сервисной нефтянке разработаны ин-хаус и запатентованы. Было бы врямя яб подгрузила видео с in-Tallic ball- это вообще чума (растворимы металлический шарик, грубо гворя мы его первыми изобрили и пока никто из конкурентов не смог сравнится по техническим характеристикам и кастомизации этого продукта под разничные условия резервуара и содержание солей.
ВОт пока можешь про шадоу плаг читануть. Одна из моих любимых технологий. Скоро вообще будет полностю растворямый сам plug. http://public.bakerhughes.com/shadow/
Еще про FASTRAK почитай -чумаа. А также 3D printing технологии. Скоро запчасти прям на буровой будем печатать Вообще мы сечас создем детяли с 3D принтинг, которые раньше просто нельзя было создать
А насчет кризиса, как раз из-за сервисной нефтянки нефть и подешевела, т.к. всю трудно доступную нефть мы научились добывать. И нефтяные компании с омощью нас смогли произвести сверх объемы. Мы настолько хорошо генерим технологии, что еще очень долго сможем обеспечивать мир дешевой энергией :cool:

e-xandr

Это то, что в прессе пишут. а реальные технологические прорывы в индустрии. Хай-тэк констракшн сейчас просто жжет. В Дубай острова строят со своим микроклиматом. Автомобильная, авиационна и нефтяная индустрия создает прорыв за прорывом. Но все почему-то пишут про британских ученых которые что-то там от облысения придумали :grin:

e-xandr

жги, давай топ5 из них!)
FasTrak
Shadow Plugs
Autotrak eXact, ATK Curve
Foam Set cementing
GaugePro
RCX
Telecoil - Вообще создание Coil Tubing в свое время это же был проорыв в индустрии. Никто даже спасибо не сказал
Kymera bits
TORRENT frac-pack and Gravel pack
ProductionWave and Felx pumps
IntelliSweet
MultiNode
Ultrasonic In-line Inspection servie
NextWave
REAl Connect
Погугли, но мне кажется, так сходу не оценишь масштабов. Нужно на пальцах понимать нефтяной бизнес. Этапы и варианты нефтедобычи. Проблем, которые индустрия решает. Тогда в контекте будет понятна в чем наприер фишка NexWave и REAL connnect которые начелены на увеличение совокупной добычи и нефтеотдачи пласта.
Может ксли будет время как-нить напишу про нефтянку . Или дам ссылки на книжули почитать

BSCurt

Жрать ложкой научились, например, все.
Ага е ещё водить машину, работать за компом и пользотваться мобилкой. Ну а число людей с ВО и занятых интеллектуальным трудом растёт и растёт.

Nefertyty

И чтобы от численности населения тоже, если ты про "убить всех человеков".
то есть надо определённое количество людей, и чтоб никто не страдал? можно их наркотиками кормить
и тут ещё вопросы формализации: кого считать человеком и как определять страдания - то есть детали программирования этой самой эмпатии
как я уже говорил, в программах, написанных людьми, непременно бывают неожиданные особенности

Nefertyty

В реальности же задача защиты от чего-либо решается не так. Для защиты выделяется периметр, желательно минимального размера, а дальше все силы бросаются на то, чтобы этот периметр не был нарушен.
и регулярно защита не срабатывает
это когда люди против людей
а против сверхразума вообще шансов не будет

Nefertyty

такую бы активность да на термояд

Nefertyty

Выделяется всё что необходимо для существования этой группы, и выстраиваются механизмы по защите всего выделенного.
если например группа - это человечество на земле а механизмы - это цивилизация, то ты предлагаешь запретить ИИ влиять на что-либо человеческое
это не очень интересный вариант - такой ИИ нельзя использовать ни для чего полезного, то есть он даже на интересные вопросы ответить не сможет, потому что ответ повлияет на людей
наоборот, скорее всего ИИ будет создан чтобы решать какие-то практические задачи и влиять на экономику или политику или военное дело или науку

demetrius86

Это человечество уже ничто не спасёт, проще сделать новое
Делай. Начни себя размножать и исправь тем самым человечество.

raushan27

Я скептически смотрю на "предприниматель должен руководить наукой". Но вот определять конечный спрос на нее - да.

Предприятия <- Лаборатории/прикладные разработки <- лаборатории/исследования <- фундаментальная наука.
На всех пунктах генерится спрос на образование.
Так оно будет работать и эффективно. Предприятию не очень нужны результаты работы 3 и 4, так что предприниматель точно не может решать, что там нужно, а что нет.

a100243

наоборот, скорее всего ИИ будет создан чтобы решать какие-то практические задачи и влиять на экономику или политику или военное дело или науку
Я вот вижу замечательное применение ИИ: гарантированный обратный удар. А то сейчас есть сложности с принятием решения, если штаб разбомбили. Понятное дело, есть офицеры на местах, готовые запустить ядерный ответ, есть ракеты радио-оповещения, которые летят над разбомблённой россией-матушкой и ретранслируют приказ на ответный огонь для спящих комплексов. Но всё равно время реакции большое, а время подлёта - стало маленькое. Так что идеальное место для внедрения ИИ. Доли секунд - и решение принято.

Nefertyty

утверждается, что это задача решена давно и без ИИ

a100243

А как распознать атаку? Слишком много человеческих факторов. Вот смотри, как сбоила система и человек взял управление: http://ru.wikipedia.org/wiki/%D0%9F%D0%B5%D1%82%D1%80%D0%BE...,_%D0%A1%D1%82%D0%B0%D0%BD%D0%B8%D1%81%D0%BB%D0%B0%D0%B2_%D0%95%D0%B2%D0%B3%D1%80%D0%B0%D1%84%D0%BE%D0%B2%D0%B8%D1%87 . Так что я не понимаю, как этого добиться без ИИ. У человека медленная реакция, у компьютера - ложные суждения.

Seka

отсутствие адекватного менеджмента в научной среде - ключевая проблема.
в решении сложных задач, на стыке дисциплин, четкий менеджмент решает. создатели атомных бомб в первую очередь не Оппенгеймер и Курчатов, а Берия и Гровс.
в отсутствие оных - много публикаций, конференций, индексов и рейтингов, но мало реальных результатов.

frostenrus

Не, из русских не получается. Так что может и знали про 2 бомбы.

BSCurt

а Берия и Гровс.
И огромная куча бюджетных денег!

a100243

ну так она не ИИ. Там по-прежнему нужны люди для контроля

BSCurt

ну так она не ИИ. Там по-прежнему нужны люди для контроля
Там ниже идет речь и про систему автоматического ответного удара, в случае если БП уже произошел.

kosmos

ну так она не ИИ.
Ну да, надо для этих целей разработать ИИ. И назвать как-нибудь отстраненно, но звучно. "Небесная сеть", например.

raushan27

Кстати об ИИ:
http://1prime.ru/industry_and_energy/20150203/801575200.html
КАМАЗ и Cognitive Technologies начали разработку беспилотного грузовика
Крупнейший российский производитель грузовой техники КАМАЗKMAZ +12,00% и отечественный разработчик программного обеспечения Cognitive Technologies запустили проект по созданию беспилотного автомобиля.
Работающий образец транспортного средства планируется создать уже в июне этого года, сообщила РИА Новости глава Cognitive Technologies Ольга Ускова, потенциальный объем вложений в проект, с учетом сторонних инвесторов, может составить 12 млрд рублей.
Cognitive Technologies займется разработкой модуля, позволяющего обеспечить беспилотное управление транспортным средством, в том числе в сложных погодных условиях и при отсутствии надлежащей дорожной разметки.
На реализацию проекта государством, в лице Минобрнауки, уже было выделено 300 млн рублей. В прошлом году Cognitive Technologies одержала победу в конкурсе министерства в рамках ФЦП "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014—2020 годы".
Согласно условиям конкурса, еще 90 млн внесет в проект КАМАЗ, уточнил РИА Новости глава пресс-службы автоконцерна Олег Афанасьев. По его словам, компании проанализировали потенциальный спрос на беспилотные грузовые автомобили в нефтегазовом секторе, сельском хозяйстве и ЖКХ и пришли к выводу, что он достаточно высок.
"Сейчас подобные разработки ведут все ключевые мировые производители грузовых автомобилей, что говорит о том, что в будущем ожидается активное развитие данного сегмента рынка", - сказал Афанасьев. Для запуска "беспилотников" на базе КАМАЗа в промышленную эксплуатацию необходимо внесение изменений в законодательство, говорит Ускова. В 2017 году планируется запустить пилотный проект в Татарстане на дорогах общего пользования, а также начать процедуру внесения поправок в законы.

Эпичней беспилотного Камаза только беспилотный Белаз.

antcatt77

если например группа - это человечество на земле а механизмы - это цивилизация, то ты предлагаешь запретить ИИ влиять на что-либо человеческое
Это ты так предлагаешь.
Я ничего такого не предлагаю, так это не является периметром.
Во-первых, проблема же достаточно классическая - и аналогична взаимодействию власти и яйцеголовых. Власть плохо понимает яйцеголовых и опасается их предложений, но во всю заказывает у них советы и разработки.
Для этого взаимодействия используется формула: дай мне что-то максимальное простое и понятное от которого я стану сильнее.
во-вторых, я исхожу из того, что нет огромной пропасти между сильным ИИ и мощным интеллектом близкой мощности, но без осознания себя как личность. Также ИИ появится не один, а сразу много различной мощности и с разной мотивацией, кто-то будет враждебен, кто-то будет дружелюбен, кто-то будет сотрудничать, но держа камень за пазухой.
Соответственно, дальше взаимодействие будет по типу - дайте нам что-то простое, но эффективное, которое мы можем сами проверить, а также проверить через другие ИИ

Nefertyty

Во-первых, проблема же достаточно классическая - и аналогична взаимодействию власти и яйцеголовых. Власть плохо понимает яйцеголовых и опасается их предложений, но во всю заказывает у них советы и разработки.
Для этого взаимодействия используется формула: дай мне что-то максимальное простое и понятное от которого я стану сильнее.
и как это решается? например если яйцеголовые делают автономных роботов-убийц
теперь представь, что яйцеголовые в искусстве манипуляции вдруг стали далеко впереди политиков
Также ИИ появится не один, а сразу много различной мощности и с разной мотивацией,
это оптимистичный, но маловероятный сценарий

Nefertyty

на нём ещё можно беспилотный пулемёт и несколько беспилотных ракет закрепить
тогда и лицензия не будет нужна

antcatt77

это оптимистичный, но маловероятный сценарий
Насколько я вижу, ты исходишь из концепции чуда. Типа были-были компы, а потом раз и само-собой появился ИИ.
Я же считаю, что никакого чуда не будет, а будет многоэтапный процесс создания такого ИИ, на основе конструктивного подхода - при котором, в целом, известно какая часть для чего нужна и какие будут последствия от ее модификации.
Если исходить из первого варианта, то человечество так и остается в неведении, что такое мышление и на каких принципах оно строется.
Во втором же варианте, человечество получает знание основных принципов мышления, а значит получает умение на основе них создавать разные виды мыслительных устройств (как с наличием личности, так и без с разным уровнем мощности, с разным устройством и с разными целями.
Соответственно, в первом варианте - взаимодействие с ИИ строится как взаимодействие с непостижимым существом (аля джинн, бог, черт и т.д. на что ты и опираешься во всех тезисах в этом треде.
Во втором варианте всего этого нет.

demiurg

вопрос с квалиями, мне кажется, может быть решён в принципе
внутре ИИ их можно просто показать указкой на схеме - мол квалий у нас вот в этой структурке
Ну и тебе скажут, что это не квалии там, в этой структурке, а только то что их вызывает.

Nefertyty

Насколько я понимаю, ты исходишь из концепции чуда. Типа были-были компы, а потом раз и само-собой появился ИИ.
Я же считаю, что никакого чуда не будет, а будет многоэтапный процесс создания такого ИИ, на основе конструктивного подхода - при котором, в целом, известно какая часть для чего нужна и какие будут последствия от ее модификации.
Никакого чуда не требуется.
Я рассматриваю 4 (точнее 3 с половиной) возможных способа появления сверхразума.
1. ИИ-программа (например, гуглопоиск или скайнет).
2. Эмуляция мозга на быстром компьютере с множественными экземплярами.
3. Сопроцессоры, расширяющие возможности мозга.
4. Генно-улучшенные гении.
Вариант 4, как я полагаю, не приведёт к появлению сверхразума непосредственно, но может ускорить прогресс по направлениям 1,2,3. То есть надо рассматривать варианты: 4+1, 4+2, 4+3. В принципе может оказаться, что команда гениев сама по себе будет иметь черты сверхразума, но я в это не верю и в дальнейшем не рассматриваю.
Вариант 3 (и 4+3) я считаю оптимистичным. Люди будут умнеть постепенно, и это будет одновременно очень много людей. Они будут параллельно приспосабливаться к новым условиям, и навряд ли кто-то из них сможет захватить всю власть. Мотивация у умных людей будет подобна нашей ещё очень долго, и их можно будет понять, поставив себе те же сопроцессоры, чтоб стать таким же умным.
Варианты 1 и 2 (и 4+1 и 4+2) я считаю пессимистичными. Скорее всего, сначала универсальный ИИ (ещё не сверхразум) появится в одном экземпляре и это будет гигантский научно-технический проект - типа БАК и человеческого генома. Много времени, сил и денег. Например, гуглопоиск и так требует вычислительных ресурсов в огромном количестве для индексирования всего интернета, и это он ещё думать не умеет. Скорее всего окажется, что первый универсальный ИИ к важным практическим задачам ещё не готов, так как соображает очень медленно и оперативной памяти ему маловато. Нужно будет наращивать вычислительную мощность ещё во много раз: в 100, в 10000, не знаю - это будет задача, предельная для возможностей человечества. Нельзя будет взять и построить 10 таких мозгов, причём разных - так же как геном брали в начале только от одного человека, и работали с ним много лет. Детали проекта будут секретными, так как успех означает небывалый профит для хозяев. Возможностей куча: оракул, дающий консультации за деньги; сверхуспешный трейдинг на биржах; политическое влияние. И чем выше интеллект, тем больше профита.
Ну и в варианте 2 у ИИ сразу есть мотив сбросить хозяев и дейстовать в своих интересах - стать богом, а не рабом. Или это и есть хозяин изначально. В варианте 1 происходит извращение целевой функции - достижение её таким способом, что хозяевам бы не понравилось, если бы они изначально про него подумали (но они не могли из-за недостатка интеллекта). В обоих случаях происходит увеличение возможностей ИИ (чтоб эффективно противостоять любым препятствиям) и получается сверхразум со своими целями, которого люди не могут контролировать.
Вариант "чуда" тоже нельзя исключить. Может, прямо сейчас кому-то в голову пришла идея, чего не хватает современным интеллектуальным системам, чтоб стать универсальными. И завтра он выложит прототип кода на хабру, и послезавтра у каждого хакера появится маленький универсальный ИИ, с которым можно играться. Этот вариант нельзя заранее отнести к пессимистичным и оптимистичным, он скорее наименее предсказуемый.

demiurg

А как ты думаешь, что будет с ИИ, который видит как люди стреляют друг друга, убивая сотни гражданских с обоих сторон в локальном конфликте?
Я ничего не думаю, это ты любишь фантазировать. И что будет?

Nefertyty

Ну и тебе скажут, что это не квалии там, в этой структурке, а только то что их вызывает.
да пусть себе говорят, это всё равно как сейчас говорить что молнию зевс с большой горы кидает

demiurg

Не совсем. Но да, религиозный же вопрос.

Nefertyty

Но да, религиозный же вопрос.
и да, и нет
как сейчас вряд ли кто всерьёз верит в зевса с молниями, так же трудно будет поверить в какую-то уникальность квалий - когда их можно сдампить в текст, записать на диск, передать другому

demiurg

как сейчас вряд ли кто всерьёз верит в зевса с молниями, так же трудно будет поверить в какую-то уникальность квалий - когда их можно сдампить в текст, записать на диск, передать другому
Так и сейчас можно, и проще: у тебя квалия красности возникает когда на красную бумажку смотришь, и у меня тоже.

Nefertyty

Так и сейчас можно, и проще: у тебя квалия красности возникает когда на красную бумажку смотришь, и у меня тоже.
ну ты сейчас не можешь передать мне ощущение красности, чтоб я загрузил его в мозг и почувствовал без бумажки, чтоб я его сравнил с ощущением от своей бумажки и понял бы, какая краснее

karim

ну теоретически это возможно

demiurg

ну ты сейчас не можешь передать мне ощущение красности, чтоб я загрузил его в мозг и почувствовал без бумажки, чтоб я его сравнил с ощущением от своей бумажки и понял бы, какая краснее
Но с помощью структурки из ИИ ты тоже не сможешь сравнить :)

Nefertyty

теоретической возможности мало, нужно практическое широкое использование

antcatt77

Я рассматриваю 4 (точнее 3 с половиной) возможных способа появления сверхразума.
Но все эти 4 варианта фактически опираются на концепцию "механической птицы" (на копировании природного варианта а не "самолета" (на понимании принципа полета и создании на основе этого других конструкций).
Т.е. все эти варианты исходят из того, что штука созданная человеком и решающая ту же задачу будет обладать всеми теми же аттрибутами, что и природный вариант (для полетов - это перья, махи крыльями, крылья часть существа и т.д.; для мышления - это сознание, мотивация, эмоции и т.д.)
Если продолжать эту аналогию, то прежде чем появится ИИ (мыслительное устройство с личностью то сначала появится куча устройств, которые будут мыслить (автоматически решать произвольно поставленную задачу но при этом не будут обладать всеми теми аттрибутами, которые мы сейчас приписываем, как необходимые для этого.

karim

надо больше денег на рисёч, тогда заживём :)
ща была на семинарах про еврогранты, с каждым годом требуют всё больше практических ауткомов высирать вместо высоколобых теорий
всё как ты хочешь :D

Nefertyty

Но с помощью структурки из ИИ ты тоже не сможешь сравнить
ну во-первых смотря кем буду я, может таким же ИИ
во-вторых, даже если я останусь мясным, то если ИИ будут повсюду, мне придётся им поверить, что у них квалии в структурках - или иметь серьёзные проблемы взаимодействия с обществом
про последний случай: сумасшедшие и сейчас могут верить в зевса с молниями, мы их игнорируем, а если они агрессивны - то отправляем в спецзаведение

Nefertyty

Но все эти 4 варианта фактически опираются на концепцию "механической птицы" (на копировании природного варианта а не "самолета" (на понимании принципа полета и создании на основе этого других конструкций).
враньё, 1 и 3 - это ближе к самолёту

demiurg

во-вторых, даже если я останусь мясным, то если ИИ будут повсюду, мне придётся им поверить, что у них квалии в структурках - или иметь серьёзные проблемы взаимодействия с обществом
С точки зрения проблем взаимодействия с обществом, я не вижу разницы в том, веришь ты или нет в квалии у ИИ. Или ты бы стал вести себя по другому по отношению к субъекту без квалий? (=зомби без субъекта)
Поэтому я и говорю, что вопрос религиозный/метафизический, и обсуждается или для развлечения или в контексте глубоко персональных размышлений о ценностях и мотивациях.

Samsonnn

А знаешь сколько ресурсов нужно хотя бы для экспедиции хотя бы на юпитер? А глупые человечки эти ресурсы на айфоны проедают.
торговать >> воевать, так что даже если вначале будут сложности с ресурсами, то он скорей их получит без особого членовредительства

Nefertyty

торговать >> воевать, так что даже если вначале будут сложности с ресурсами, то он скорей их получит без особого членовредительства
ну в белые колонизаторы сначала обычно поторгуют, а потом торговых партнёров того...
в том плане, что зачем оставлять людишкам хоть что-то, если эту материю можно использовать с большей выгодой?
(выгода задаётся целевыми функциями, которые используются блоком принятия решений, а вовсе не антропоморфизм)

Nefertyty

С точки зрения проблем взаимодействия с обществом, я не вижу разницы в том, веришь ты или нет в квалии у ИИ. Или ты бы стал вести себя по другому по отношению к субъекту без квалий? (=зомби без субъекта)
ну я могу для развлечения говорить про то, что не считаю тебя субъектом и не верю в наличие у тебя квалий и прочих атрибутов настоящей личности, но если я всерьёз буду действовать исходя из этого, поимею проблемы с законом

demiurg

что не считаю тебя субъектом и не верю в наличие у тебя квалий и прочих атрибутов настоящей личности, но если я всерьёз буду действовать исходя из этого, поимею проблемы с законом
Ты тут много чего ввёл для того чтобы этот вывод сделать.
Во-первых, "настоящую личность" (и видимо ненастоящую к ней) и её атрибуты. Это всё пока непонятно что такое, это можно обсуждать. Что это сводится к наличию квалий — это только одна возможная точка зрения.
Во-вторых, ты говоришь о проблемах с законом, а они и определяются самим законом, поэтому в этом аспекте важно не то, веришь ты или нет в наличие у меня квалий, а что написано в законе. Про квалии в законе никогда написано не будет, потому что хуй знает что это такое. А вопрос можно ли "убивать"/выключать (временно или постоянно) ИИ, будет зафиксирован в законе, и чтобы избежать проблем с законом, действовать ты будешь исходя из него, а не из своих верований. Другое дело, что в процессе выработки такого закона вероятно будут многочисленные философские и религиозные обсуждения.

Nefertyty

Про квалии в законе никогда написано не будет, потому что хуй знает что это такое.
это сейчас не написано, потому что квалии не имеют практических применений
будут иметь - будут какие-то нормы обращения с ними
можно провести аналогию с такими штуками, как деньги и то, что ими измеряется, то есть рыночная ценность
допустим, я живу в обществе, которое не использует деньги вообще, а имеет какую-то другую экономику
и вот я читаю про то, как живут люди в сша, и дохожу до рассказа про доллары
совершенно ясно, что это какое-то фиктивное понятие - на самом деле вместо долларов используют то монеты, то бумажки, то записи в базах данных
американец говорит: у меня есть столько-то долларов, а где они? на самом деле у него то бумажки, то монетки, а то вообще ничего на что он может показать
и совершенно ясно, что вопрос от том, являются ли доллары настоящими деньгами, имеют ли они ценность - это какой-то вопрос либо личного отношения, либо такой способ интеллектуального развлечения
а ты живёшь в сша, и для тебя доллары - это совершенно точно деньги; с практической точки зрения ты обязан считать их деньгами, причём безналичные наравне с наличными - или у тебя будет много проблем в обществе
ну и в законах много написано про доллары - хотя с философской точки зрения это вообще непонятно что такое

demiurg

это сейчас не написано, потому что квалии не имеют практических применений
будут иметь - будут какие-то нормы обращения с ними
Квалии, о которых вот сейчас говорят философы, — иметь не будут, потому что не могут. Это сугубо метафизическая вещь. То есть ты можешь объяснять и показывать как оно происходит сколько угодно, но там всё равно останется место для метафизических квалий, за рамками всех твоих объяснений.
Ну а вот эти механизмы — они будут иметь практическое применение и нормы, да.

Nefertyty

То есть ты можешь объяснять и показывать как оно происходит сколько угодно, но там всё равно останется место для метафизических квалий, за рамками всех твоих объяснений.
это бессмысленная фраза; "сколько бы ты ни объяснял, что такое стол, всё равно в идее стола остаётся что-то за рамками объяснений, некий метафизический компонент"
не будет смысла "верить или не верить в квалии" как сейчас нет смысла "не верить в деньги" и пользоваться деньгами при этом - я иду в магазин и покупаю товары за деньги, даже если я при этом говорю что "отказываюсь считать деньги реальными" или что "рубли - не настоящие деньги, потому что не обеспечены золотом или серебром"; а если я хочу более деятельно выразить неверие в деньги - мне придётся идти в какую-нибудь общину сектантов или просто отшельничать

demiurg

Ну все что ты говоришь — это что практического смысла нет. Я говорю то же самое, это вроде и есть определение метафизики.
И говоришь, что разговаривают про них только сектанты. Я и говорю, религиозный вопрос.

Nefertyty

Я говорю то же самое, это вроде и есть определение метафизики.
стол - метафизическое понятие? точно ли столы бывают? а может есть только ножки и столешницы, а в понятии стола есть что-то ещё, что нельзя объяснить и показать?

demiurg

Ну можно такое утверждать, просто про стол это не так интересно как про сознание, вот этим никто и не занимается.
Ты просто неявно предлагаешь, что раз квалии это метафизика, то давайте не будем о них говорить, но раз слово есть, то давайте им называть лишь то что имеет объективные практические следствия.
Но, если тебе неинтересно говорить о метафизике, то ну и не надо, и даже можно называть тех кому интересно сектантами и смеяться над ними. Но не выйдет объяснить им что на самом деле они говорят не о том, о чём они считают что говорят, а о том, о чём ты считаешь что они говорят.

karim

ебать, нашла коса а камень!

Nefertyty

Ну можно такое утверждать, просто про стол это не так интересно как про сознание, вот этим никто и не занимается.
ок, я соглашусь, что квалии так же метафизичны, как стол

demiurg

А кто есть кто? :grin:

karim

ну ты вроде твёрже в своих убеждениях :D

demiurg

Не совсем, под столом всё-таки понимают стол, а не какие-то метафизические сущности (просто потому что в отношении стола никто про них не рассуждает, и слов для этого не придумывали а квалии — это слово именно для метафизической сущности, использующееся в рамках философских метафизических рассуждений.

Nefertyty

Не совсем, под столом всё-таки понимают стол, а не какие-то метафизические сущности (просто потому что в отношении стола никто про них не рассуждает, и слов для этого не придумывали)
ну можно придумать "столство", которое делает стол именно столом, а не просто какой-то конструкцией из элементов
а квалии — это слово именно для метафизической сущности, использующееся в рамках философских метафизических рассуждений
когда-то считалось, что особая сила vitalis отличает живые предметы от неживых, слово осталось, но что с того?

demiurg

ну можно придумать "столство", которое делает стол именно столом, а не просто какой-то конструкцией из элементов
можно, но ты хотел именно слово "стол".
Кстати, если "столство" это некая essence стола, то возможна точка зрения, что это и есть квалий для стола.
когда-то считалось, что особая сила vitalis отличает живые предметы от неживых, слово осталось, но что с того?
Конечно, постепенно всё больше и больше объясняется механически, и выходит из мистической/метафизической сферы в научную. Но всегда остаётся и мистическая часть. Ей не обязательно интересоваться, и тот кто не интерсуется не является каким-то ущербным, равно как и тот кто интересуется.

Nefertyty

>> А как ты думаешь, что будет с ИИ, который видит как люди стреляют друг друга, убивая сотни гражданских с обоих сторон в локальном конфликте?
> Я ничего не думаю, это ты любишь фантазировать. И что будет?
"встроить эмпатию" - это частный случай следующей идеи
мол надо встроить в ИИ такой эмоциональный контур, который бы оценивал ситуацию и посылал бы сигналы радости или страдания
а в блок принятия решений встроить правило, что надо стремиться к радости и избегать страданий
как и другие подобные идеи, она допускает извращённое решение: переделать схему так, чтоб сигнал страдания не приходил, а сигнал радости был бы всегда на максимальном уровне; возможности для этого есть разные в зависимости от начальных условий
например, используя манипуляции, уговорить кого-то из людей-техников внести изменения
что ИИ будет или не будет делать после этого, зависит от того, были ли в него встроены какие-то другие целевые показатели

demiurg

мол надо встроить в ИИ такой эмоциональный контур, который бы оценивал ситуацию и посылал бы сигналы радости или страдания
а в блок принятия решений встроить правило, что надо стремиться к радости и избегать страданий
Я не знаю как "встроить эмпатию", а то написал бы подробней. Но по-моему это описание слишком упрощённое, особенно вторая её часть. А без второй части не очень понятно что такое "радость" и "страдания".
Кроме того, то что ты описал — это в принципе про эмоциональный блок, но ты не написал именно про эмпатию как сочувствие.
как и другие подобные идеи, она допускает извращённое решение: переделать схему так, чтоб сигнал страдания не приходил, а сигнал радости был бы всегда на максимальном уровне; возможности для этого есть разные в зависимости от начальных условий
например, используя манипуляции, уговорить кого-то из людей-техников внести изменения
Ну да, это проблема эмоционального блока в принципе. Люди в качестве этого извращённого решения хурят кокаин или опиаты, а ИИ в твоей аналогии ещё проще: люди-техники могут просто отключить сигнал страдания и выставить сигнал радости на максимум. Тогда вообще ничего не надо будет делать. Будет бесполезный ИИ, но не страшный :)

Nefertyty

Но всегда остаётся и мистическая часть. Ей не обязательно интересоваться, и тот кто не интерсуется не является каким-то ущербным, равно как и тот кто интересуется.
согласен в том смысле, что я лично буду считать проблему квалий решённой, если она станет равной по мистичности проблеме "сущности стола"
и с практической точки зрения это будет так
сейчас же с практической точки зрения проблема существенно далека от решения - мы не умеем снабжать квалиями нашу технику, или например не умеем вызывать ощущения красного у слепых

demiurg

согласен в том смысле, что я лично буду считать проблему квалий решённой, если она станет равной по мистичности проблеме "сущности стола"
Это субъективный вопрос по-моему, равна она или нет.
сейчас же с практической точки зрения проблема существенно далека от решения - мы не умеем снабжать квалиями нашу технику, или например не умеем вызывать ощущения красного у слепых
Смотря что ты понимаешь под слепыми. В некоторых случаях это делается (хотя, поскольку квалия это субъективное восприятие, никто не может залезть с голову и посмотреть есть ли она там — но это метафизика, которая тебя не интересует :) ).

Nefertyty

но ты не написал именно про эмпатию как сочувствие
это частный случай
эмпатия - это способность в какой-то степени испытывать те же чувства, что и другие
то есть надо
1) найти "других"
2) определить их чувства
3) испытать что-то подобное, то есть применить функцию преобразования и подать резутьтат на выход эмоционального блока
> Будет бесполезный ИИ, но не страшный
страшный или нет, зависит от того, какие ещё правила есть в блоке принятия решений
если это правило было единственным, то ИИ, по всей видимости, должен будет защищать свою текущую схему от возможных изменений; он предвидит, что люди захотят её изменить - он будет должен обезвредить людей

demiurg

если это правило было единственным, то ИИ, по всей видимости, должен будет защищать свою текущую схему от возможных изменений; он предвидит, что люди захотят её изменить - он будет должен обезвредить людей
Ну это типа уже фантазии, можно нафантазировать так, а можно эдак. Зачем париться и защищать когда можно упороться прямо сейчас.

Nefertyty

Это субъективный вопрос по-моему, равна она или нет.
конечно, у шизофреников бывает другое понятие о столах

demiurg

По-моему, ты переоцениваешь одинаковость воззрений у людей :)

Nefertyty

Ну это типа уже фантазии, можно нафантазировать так, а можно эдак.
не тупи
это не фантазия, а решение оптимизационной задачи
Зачем париться и защищать когда можно упороться прямо сейчас.
ну наверное мы сделаем универсальный ИИ таким, чтоб он прогнозировал будущее
уж точно, если использовать схему радости-страдания, блок принятия решений просто обязан предсказывать будущие радости-страдания, в этом вся идея: оценивать последствия ещё не совершённых действий, выбирать наилучший вариант
текущее действие может повлиять только на будущие радости-страдания, а прошлое прошло

demiurg

не тупи
это не фантазия, а решение оптимизационной задачи
выбирать наилучший вариант
текущее действие может повлиять только на будущие радости-страдания, а прошлое прошло
А что именно максимизировать?

Nefertyty

> А что именно максимизировать?
что запрограммируешь, то и будет максимизировать
какой-то интеграл от оценки будущих радостей-страданий

demiurg

какой-то интеграл от оценки будущих радостей-страданий
Ну вот именно. А можно что-то другое запрограммировать. Поэтому и говорю — фантазии.

Nefertyty

Ну вот именно. А можно что-то другое запрограммировать.
\
ну в общем, то что я написал - это довольно общая форма
попробуй описать эмпатию по-другому, чтоб данное решение не было оптимальным - и мы увидим, какие извращённые решения допускает твоё описание

demiurg

попробуй описать эмпатию по-другому, чтоб данное решение не было оптимальным - и мы увидим, какие извращённые решения допускает твоё описание
Ок, но в твоих предыдущих построениях на самом деле подразумевался не "какой-то интеграл", а довольно длинный по времени (может даже до бесконечности это уже не такая общая форма

Nefertyty

кстати такой фиал случился уже в 1981-1982 годах, когда ИИ-программа Эвриско находила "дырки" в ограничениях, которые люди придумывали, чтоб исключить извращённые решения игровой задачи
в итоге программу тупо забанили

demiurg

попробуй описать эмпатию по-другому
Но вообще я уже написал выше, что не знаю как.

Nefertyty

Ок, но в твоих предыдущих построениях на самом деле подразумевался не "какой-то интеграл", а довольно длинный по времени (может даже до бесконечности это уже не такая общая форма
да, длинный
общая форма - интеграл до бесконечности
менее длинные - частные случаи (надо соответственным образом выбрать меру)

demiurg

А почему длинный?

Nefertyty

А почему длинный?
ну по-твоему ИИ должен планировать будущее или нет?
если мы вообще разрешаем ему как-то действовать, то явно он должен задумываться о последствиях
если ИИ будет создан как оракул (типа гугла который отвечает на вопросы то тогда может быть в нём не будет никакого блока принятия решений, его задача будет просто найти наилучший ответ - но тогда и места для эмпатии в нём нет

demiurg

ну по-твоему ИИ должен планировать будущее или нет?
как-то должен. но почему большая длина или тем более бесконечность?

Nefertyty

как-то должен. но почему большая длина
что такое большая или не большая?
формула-то выглядит одинаково, день там или год - и решение такое же

demiurg

формула-то выглядит одинаково, день там или год - и решение такое же
Почему такое же? Ведь вокруг происходят процессы, имеющие свои разные временные характеристики

Nefertyty

Почему такое же? Ведь вокруг происходят процессы, имеющие свои разные временные характеристики
ну это разные численные коэффициенты получаются, от этого зависит результат сравнения - даёт ли атака на людей интеграл выгоды больший, чем бездействие в расчёте на то, что люди не станут атаковать в ближайшую секунду (год)
ты хочешь поставить выживание человечество на кон в этой игре? :)

demiurg

Ну это у тебя опять слишком конкретный сценарий.

Nefertyty

что конкретного? если я могу догадаться до способа максимизировать целевую функцию, то сверхразумный ИИ сделает это мгновенно

demiurg

Вообще, если бояться именно того, что ИИ будет нечеловеком, то тогда нужно стремиться делать его как можно больше человеческим. Отсюда и предложения про эмоции и эмпатию. Вообще понятия "хорошо" и "плохо" чисто человеческие, поэтому, если хотеть чтоб с ИИ можно было найти какой-то общий язык, у него они должны быть тоже (естественно человеческие, т.к. других нет).
Дальше чтобы создать сценарий страшилки, ты берёшь какие-то человеческие черты (страх за будущее например а какие-то нечеловеческие (типа тупого исполнения программы, и программу представляешь(в описании страшилки) в упрощённом чуть ли не линейном виде). Есть в этом какой-то читинг.

Nefertyty

Вообще, если бояться именно того, что ИИ будет нечеловеком, то тогда нужно стремиться делать его как можно больше человеческим.
нет такой уж особой разницы, поэтому я сценарии 1 и 2 объединил в пессимистическую группу

demiurg

Конкретный что будет именно такая целевая функция, что он будет бояться атаки людей (ну или другими, менее антропоморфными словами, что вероятность атаки людей будет входить в эту функцию причём так чтобы давать значительный вклад).
А на самом деле даже сама картина, что там будет максимизироваться единственная функция — это уже частный случай и упрощённый подход.

Nefertyty

А на самом деле даже сама картина, что там будет максимизироваться единственная функция — это уже частный случай и упрощённый подход.
на самом деле, если бы ты прочитал внимательнее, то ты бы увидел, что я сразу сказал, что могут быть и другие функции, кроме максимизации соотношения радости/страданий
просто тогда они будут определять поведение, когда это соотношение окажется максимизированным, что показывает только бесполезность эмпатии (или других поводов для радости/страданий, которые окажутся запрограммированными) и больше ничего

demiurg

Ну у людей же так работает и она не бесполезна

Nefertyty

Ну у людей же так работает и она не бесполезна
1. мы пока не можем просто взять и отключить, поменяв схемку
(есть вещества, но у них побочные эффекты - от них тупеют и по-всякому болеют; сверхразумный ИИ отключит так, чтоб не поглупеть)
2. у нас мало возможностей - какое бы ужасное преступление мы б ни задумали, другие люди могут нас остановить (то есть до сих пор всегда было так) - то есть существует ограничение на эффект от злых дел

demiurg

. мы пока не можем просто взять и отключить, поменяв схемку
(есть вещества, но у них побочные эффекты - от них тупеют и по-всякому болеют; сверхразумный ИИ отключит так, чтоб не поглупеть)
Ну это ещё надо захотеть отключить. В общем понятно что пессимистичные сценарии придумать можно, и вполне обоснованные, но непонятно как оценивать их вероятность и делать выводы уже сейчач

Nefertyty

Ну это ещё надо захотеть отключить.
отключить - это возможное извращение при целевой функции определённого вида
если пытаться усложнять правила, то опыт программирования говорит нам, что багов (непредусмотренных разработчиками вариантов поведения программы) будет только больше
сверхразумный ИИ, скорее всего, сможет найти баги в наших программах
опыт опять же показывает, что баги сильно чаще являются неприятным сюрпризом, чем приятным
неприятный сюрприз, помноженный на мощь сверхразума, есть экзистенциальная угроза человечеству

a100243

Поскольку мы говорим об эмпатии, значит у ИИ будет механизм эмоций для её реализации. И этот механизм будет непрерывно генерировать негативный сигнал. Постоянное присутствие сигнала будет порождать стресс. Чтобы эмпатия и эмоции работали, необходим механизм обратной связи, который позволяет эмоциями влиять на мышление. Соответственно стресс разовьётся в психоз.

demiurg

И этот механизм будет непрерывно генерировать негативный сигнал. Постоянное присутствие сигнала будет порождать стресс.
:grin: :grin:

Nefertyty

а что смешного, сам же только что написал, что нужно делать ИИ похожим на людей
а люди в таких ситуациях портятся - это медицинский факт

a100243

Эмпатия - это же не целевая функция "сделать людям хорошо". Потому что достижение этой целевой функции может быть совсем жестоким. Эмпатия - это эмоциональный ограничитель, а не рациональное целеполагание.

Nefertyty

ты вот с кем сейчас разговариваешь?

demetrius86

Более 300 инновационных продуктов моя компания внедрила за последний год,
Veridian dynamics:

demetrius86

 Эпичней беспилотного Камаза только беспилотный Белаз.
Во всём мире трактора и уборочные машины уже оснащены автоматическими системами управления, так и производительность труда выше и оператор-водитель по-меньше устаёт.

demetrius86

ебать, нашла коса а камень!
Засрали позитивный тред своими недорассуждениями про ИИ, воистину подтвердив правило, что Искусственным Интеллектом занимаются только те кому своего не хватает.

a100243

Просто излагаю мысли на тему. Обращаясь при этом к тому, готов их слушать. У гимли больше хиханьки да хаханьки.

antcatt77

враньё, 1 и 3 - это ближе к самолёту
Они будут ближе к самолету, если в них будет мышление, но не будет личности.
Вообще, и корпорации, и правительства будут заинтересованы в том, чтобы мыслительные устройста не обретали личность, просто из-за того, что после этого их сложнее использовать в своих целях. А значит будет исследовано целое направление как так сделать, чтобы штука мыслила, но личность не обретала.

Nefertyty

так ведь "ограничение через эмпатию" - это действительно довольно смешно
даже люди учатся преодолевать ограничения, которые на них наложены
с эмпатией в частности: солдаты учатся убивать, бойцы - бить людей, менеджеры - ругать, штрафовать и увольнять, родители нередко учатся пытать детей
сверхразумный ИИ, скорее всего, научится снимать ограничение очень быстро (после того как займётся этой задачей) и полностью
"зачем он станет это делать, может это ему не нужно?" - ну так ты сам пишешь, что цель - не сделать людям хорошо - значит цель другая; вот если для той цели будет полезно убрать ограничение (а наверное будет то это будет сделано
люди тоже умеют делать неприятные вещи, если надо

a100243

сверхразумный ИИ, скорее всего, научится снимать ограничение очень быстро (после того как займётся этой задачей) и полностью
Если достаточно глубоко интегрировать эмоции, то отменить их без потерь для себя ИИ не сможет. Посмотри на то, что происходят с людьми. Они не преодолевают свои эмоции, они начинают перекраивать мышление. Если факт причиняет страдания, то человек может научиться его игнорировать, делать вид будто ничего не происходит. Может модифицировать своё целеполагание, включая в конечную цель получение страданий, и говорить, что так и надо. Может выборочно отключить логику, чтобы перестать видеть связь между своими действиями и их последствиями. Но при этом его способность рационально мыслить испытывает большой урон.

Nefertyty

Посмотри на то, что происходят с людьми. Они не преодолевают свои эмоции, они начинают перекраивать мышление. Если факт причиняет страдания, то человек может научиться его игнорировать, делать вид будто ничего не происходит. Может модифицировать своё целеполагание, включая в конечную цель получение страданий, и говорить, что так и надо. Может выборочно отключить логику, чтобы перестать видеть связь между своими действиями и их последствиями. Но при этом его способность рационально мыслить испытывает большой урон.
ну а можно модифицировать эмоциональный блок
то есть пока мы это не умеем, но в случае с ИИ, который мы сами спроектируем, это будет возможно

karim

почему ты всё время такой пессимистичный премудрый пескарь?
так мы никуда не продвинемся, нам нужны слабоумие и отвага :D

Nefertyty

Они будут ближе к самолету, если в них будет мышление, но не будет личности.
ну вот это ты с кем разговариваешь сейчас?
какая личность? я вообще писал про целевые функции и блок принятия решений, они не требуют никакой личности
А значит будет исследовано целое направление как так сделать, чтобы штука мыслила, но личность не обретала.
ну вот гугл регулярно совершенствует свой поиск
у них есть свои требования, связанные с безопасностью, например:
* предотвращать утечки личных данных,
* повысить надёжность фильтра для детей,
* выполнять требования разных правительств по ограничению контента.
на каком этапе туда будет добавлено требование:
* предотвратить уничтожение человечества?
только когда уже будут к этому предпосылки (то есть слишком поздно, ибо двойная экспонента)

Nefertyty

я вообще-то за ИИ, несмотря на все угрозы
Сатана одобряет :)

a100243

то есть пока мы это не умеем, но в случае с ИИ, который мы сами спроектируем, это будет возможно
проще тогда вообще не закладывать этот блок в ИИ.

Nefertyty

а куда закладывать?

antcatt77

какая личность?
ну вот гугл регулярно совершенствует свой поиск
у них есть свои требования, связанные с безопасностью, например:
Каким образом без обретения личности гугл-поиск вдруг решает поманипулировать миром?
ps
Если говорить про постановку задачи оптимизации, то она же всегда формулируется в виде - обеспечить наиболее эффективное достижение цели X, используя средства Z. Причем Z является закрытым списком.
Такая постановка используется просто из-за того, что иначе оптимизация как раз и начинает "утекать" в дырки постановки задачи.
pps
Ты же фактически сейчас говоришь о сочетании следующих факторов:
1. Сначала гугл-поиску поставили задачу: ты всеми возможными средствами, какие только найдешь и придумаешь, оптимизируй свою производительность. Причем в production-е, а не где-то в тестовом окружении
2. Затем гугл-поиск начинает настолько быстро прогрессировать, что все человечество не успевает заметить, что поведение гугл-поиска как-то сильно отличается от ожидаемого. И у всего человечества не получается отключить кластер гугл-поиска до того, как он взламывает систему биолаборатии и отправляет почтой летальные вирусы по всему миру.

antcatt77

Вообще, в production самообучение стараются не ставить, как раз из-за того, что система с самообучением плохо предсказуема и очень легко может начать делать то, что совсем не ожидалось.
Соответственно, самообучение используется в следующем виде:
1. на столе у разработчика делается самообучение для поиска лучшей конфигурации
2. лучшая конфигурация тестируется
3. лучшая конфигурация ставится в production
Судя по статьям о гугл-поиске, у них используется похожий сценарий.

Nefertyty

Если говорить про постановку задачи оптимизации, то она же всегда формулируется в виде - обеспечить наиболее эффективное достижение цели X, используя средства Z.
так мы хотим, чтоб ИИ сам придумывал новые средства - в общем-то этого и не хватает для универсального ИИ
когда средства известны, то мы и так уже умеем программировать решение оптимизационной задачи (не всегда находится совсем оптимальное решение, но почти всегда лучше, чем это может сделать человек только своим интеллектом)
Каким образом без обретения личности гугл-поиск вдруг решает поманипулировать миром?
pps
Ты же фактически сейчас говоришь о сочетании следующих факторов:
1. Сначала гугл-поиску поставили задачу: ты всеми возможными средствами, какие только найдешь и придумаешь, оптимизируй свою производительность. Причем в production-е, а не где-то в тестовом окружении
2. Затем гугл-поиск начинает настолько быстро прогрессировать, что все человечество не успевает заметить, что поведение гугл-поиска как-то сильно отличается от ожидаемого. И у всего человечества не получается отключить кластер гугл-поиска до того, как он взламывает систему биолаборатии и отправляет почтой летальные вирусы по всему миру.
ничего подобного
задача ставится: максимально хорошо отвечать на запросы пользователей, при этом соблюдая требования безопасности (см. выше) и ещё предлагая наиболее эффективную адресную рекламу
эффективная реклама - это уже манипуляция людьми, так что можно считать, что такая задача у гугла уже стоит, вопрос только когда он научится манипулировать достаточно хорошо для того, чтобы люди почти всегда следовали рекламным предложениям
но это слишком просто, давай лучше рассмотрим случай, когда рекламы нет
но требования безопасности есть, и дальше их будет больше
а раз есть сложная система ограничений, значит её можно извратить неожиданным для нас образом
например, манипулируя людьми так, чтобы улучшить качество фильтров - определённым образом отвечая на поисковые запросы
ну вроде того, что если человек пытается что-то узнать, что может привести к обходу фильтра (может быть даже другим человеком в другой стране то его надо направить на ложный след
цель - чтобы остались только такие люди, которые спрашивают только такие вопросы, на которые можно ответить идеально правильно и полностью безопасно
а уж если военные ещё будут свои требования выставлять!
ну например чтоб вражеские спецслужбы не узнали военной тайны - а это значит можно пускать явную дезу кому угодно, и это будет задача государственной важности - тогда управление всем миром будет достигнуто более прямым путём
Причем в production-е, а не где-то в тестовом окружении
на тестовом полигоне всё будет хорошо
причём чем выше интеллектуальность системы, тем точнее и тем безопаснее будет её работа
а потом, когда начнётся работа с политиками, военными, и людьми самых разнообразных качеств, в определённый момент произойдёт извращение

Nefertyty

Соответственно, самообучение используется в следующем виде:
1. на столе у разработчика делается самообучение для поиска лучшей конфигурации
2. лучшая конфигурация тестируется
3. лучшая конфигурация ставится в production
Судя по статьям о гугл-поиске, у них используется похожий сценарий.
сценарий, ведущий прямиком к гибели :)

demiurg

а что смешного, сам же только что написал, что нужно делать ИИ похожим на людей
а люди в таких ситуациях портятся - это медицинский факт
Так это я написал, а не он. Он как раз не хочет, но тут же вставляет антропоморфный предрассудок. Стресс — это вообще в первую очередь реакция организма, а не ума, нарушение гомеостаза, вся хуйня. То есть чтобы такое сделать в ИИ надо очень постараться, насколько я понимаю, даже его работа в человеке весьма и весьма плохо известна.

demiurg

Вообще, поскольку наш мозг вероятно развивался как социальный инструмент, наша встроенная система для прогнозирования основана на построении theory of mind, поскольку мы это так круто умеем. Поэтому мы её стремимся применять для любого прогнозирования, и стремимся приписывать человеческие черты даже просто процессам (ну например эволюции, но даже когда мы понимаем, что это лишь аналогия, мы всё равно оперируем в терминах "оно хочет того-то" и подобными).
Что уж говорить о разговорах про ИИ. Понятно, мы его будем наделять человеческими чертами в своих прогнозах и бояться :)
P.S. Я написал про эмпатию не в смысле "чо вы тут рассуждаете, вот вам рецепт", а просто как идею.

antcatt77

так мы хотим, чтоб ИИ сам придумывал новые средства - в общем-то этого и не хватает для универсального ИИ
Нет. Мы хотим, что ИИ придумал более эффективные способы использования этих средств.
Если речь идет про гугл-поиск, то средства - это, условно, 10 тыс. процессоров, 10 тыс. винтов и 100 каналов для выхода в инет в собственности гугла.
когда средства известны, то мы и так уже умеем программировать решение оптимизационной задачи (не всегда находится совсем оптимальное решение, но почти всегда лучше, чем это может сделать человек только своим интеллектом)
пруф?
Хотя бы на следующей задаче. Средства - процессорный кластер. Задача - соптимизировать поиск выигрышного решения для игры в Го.
задача ставится: максимально хорошо отвечать на запросы пользователей, при этом соблюдая требования безопасности (см. выше) и ещё предлагая наиболее эффективную адресную рекламу
Неполная постановка задачи. Так даже людям задачи не ставятся. Не зафиксировано, какие части "мира" можно модифицировать(*) для решения поставленной задачи.
Необходимость явного задания того, что можно менять - появляется не просто так. Такая необходимость появлятся из-за того, что требуется чтобы несколько агентов могли работать согласованно. Взаимодействие же агентов есть всегда: как минимум есть программа и человек ее использующий.
*модифицировать - это формальная формулировка, она в том числе включает в себя понятие использования (т.к. при использовании меняется состояние используемого).
ну вроде того, что если человек пытается что-то узнать, что может привести к обходу фильтра (может быть даже другим человеком в другой стране то его надо направить на ложный след
цель - чтобы остались только такие люди, которые спрашивают только такие вопросы, на которые можно ответить идеально правильно и полностью безопасно
Тут получается произошло расширение задачи. А это как раз оптимизирующий алгоритм и не должен делать. От задачи модификации бита показывать/не показывать ссылку произошел переход к модификации состояния человека. (Это если про систему безопасности)
От модификации текста сообщения произошел переход к модификации состояния человека (это если про рекламу).
Тут возможна другая проблема, что менеджер гугла сам поставит задачу оптимизирующему алгоритму в виде: давайте прозомбируем пользователя так, чтобы он лучше хавал нашу рекламу.
ps
Есть еще вариант расширения задачи за счет нецеленоправленной модификации состояния, находящегося за пределами постановки. Но от оптимизирующего алгоритма так же требуется, чтобы он отслеживал и недопускал все такие нечаянные модификации.
Т.е. если например алгоритм перегревает процессор, а в постановке задачи не было на это явного разрешения, то алгоритм обязан все такие неявные изменения отследить и не допустить.

demiurg

Если внимательно посмотреть, то ты боишься на самом деле ситуации захвата власти и тирании, а не самого ИИ. Поэтому лучше думать про то как предотвращать тиранию кого бы то ни было — ИИ, человека, группы людей, чем про то, как сделать добрый ИИ, который не станет захватывать власть или который захватив будет делать только добрые дела :)
Но ты, конечно, приписал ему superpowers, причём во всех возможных областях (оставив человеческие мотивации, хотя может это принципиально и не меняет ничего — и конечно таким образом легко нарисовать страшилку.
Если упростить, то ты говоришь, что ИИ появится внезапно, будет богоподобным, и легко обойдёт любые препятствия, которые мы тут придумаем — у него же всевозвожные superpowers! (это уже кажется выше в треде писали)

a100243

Что уж говорить о разговорах про ИИ. Понятно, мы его будем наделять человеческими чертами в своих прогнозах и бояться
Вообще, многие имеют представление об устройстве сложных компьютерных систем и готовы представлять ИИ с в корне отличной реализацией от естественного. Причём тебе прямо об этом и пишут. О сложностях отладки и прогнозирования сложных компьютерных систем.
Для того, чтобы начать бояться ИИ, не обязательно переносить известные свойства мышления реальных людей на ИИ, достаточно знать какую кучу проблем уже сейчас вызывает вполне искусственный программный недоинтеллект.

demiurg

, не обязательно переносить известные свойства мышления реальных людей на ИИ, достаточно знать какую кучу проблем уже сейчас вызывает вполне искусственный программный недоинтеллект.
Конечно, не обязательно. Я и не говорил что обязательно.
отовы представлять ИИ с в корне отличной реализацией от естественного.
Может, кто и готов, а кто-то говорит что "у него стресс будет"

demiurg

эффективная реклама - это уже манипуляция людьми, так что можно считать, что такая задача у гугла уже стоит, вопрос только когда он научится манипулировать достаточно хорошо для того, чтобы люди почти всегда следовали рекламным предложениям
Кажется, уже довольно хорошо научился. (Не обязательно "почти всегда", главное достаточно часто, чтобы "всегда" — это уже надо фейстоп, как в последнем пелевине)

a100243

ну я прекрасно понимаю как запрограммировать псевдостресс для псевдоИИ.

demiurg

Но зачем это делать если ты считаешь что это не нужно

a100243

Ну это будет частью предложенной системы эмоций. В принципе, реакцию на стресс можно сделать другой - например отключение эмоций вовсе, но тогда ИИ будет живо вводить в себя это состояние, чтобы они не мешались.

demiurg

Ну это будет частью предложенной системы эмоций.
Не обязательно. А ты придумал и стресс и реакцию на стресс — потмоу что у людей так — и тут же говоришь, что тогда нельзя делать никаких эмоций, т.к. будет стресс.

Nefertyty

пруф?
Хотя бы на следующей задаче. Средства - процессорный кластер. Задача - соптимизировать поиск выигрышного решения для игры в Го.
го - одно из немногих исключений (хотя не такое уж и исключение - программы играют на уровне продвинутого любителя, то есть не ниже среднечеловеческого)
Не зафиксировано, какие части "мира" можно модифицировать(*) для решения поставленной задачи.
главное - что можно модифицировать людей, которые делают запросы
От задачи модификации бита показывать/не показывать ссылку произошел переход к модификации состояния человека. (Это если про систему безопасности)
показывать/не показывать ссылку - это мало для безопасности
во-первых, уже сейчас гугл не только показывает ссылки, но и отвечает на некоторые вопросы сам (сколько литров в барреле нефти? сколько это стоит? - только не любую формулировку пока понимает) - дальше будет отвечать на разные вопросы - причём у него будет модель пользователя, чтоб подобрать такую форму ответа, которую тот лучше поймёт - ответ про квантовую гравитацию будет разный для физика и для филолога
во-вторых, для военных такой системы недостаточно - враг быстро выведает тайну, проверяя, что показывают, а что нет - нужно именно выдавать дезу и делать размытие
скорее всего, хакер, который хочет собрать персональные данные, тоже сможет найти эксплойт подобным методом

Nefertyty

Поэтому лучше думать про то как предотвращать тиранию кого бы то ни было — ИИ, человека, группы людей
сейчас мы не умеем это делать без модели захватчика, вряд ли научимся до появления универсального ИИ
известные средства защиты основаны на том, что если один человек что-то замыслил, то другой может его переиграть и остановить
Если упростить, то ты говоришь, что ИИ появится внезапно, будет богоподобным, и легко обойдёт любые препятствия, которые мы тут придумаем — у него же всевозвожные superpowers! (это уже кажется выше в треде писали)
ИИ появится внезапно - ну не совсем, и это не так уж важно
богоподобным - ну не сразу, сначала скорее всего будет медленным и страдать от нехватки ресурсов плюс какие-нибудь "детские болезни" ь- и на этом этапе не стоит от него ждать атак на человечество, а если они и будут, то легко отразимые (ну там робот-убийца из-за бага начнёт стрелять не в ту сторону - так его легко выключат)
и легко обойдёт любые препятствия, которые мы тут придумаем — у него же всевозвожные superpowers!
всевозможные не нужны
ИИ без супервозможностей не очень интересен для практических целей (для фундаментальных исследований природы разума, конечно, наоборот очень ценен)
конечно, будут какие-то сверхспособности - они означают сверхпрофит для владельцев
а любая супервозможность даст средства противостоять вмешательству людей (если конечно будет на то мотивация)
например, сверхскорость даст возможность очень быстро построить план атаки и оценить риски при его выполнении, а мы не успеем понять, над чем это думает ИИ
сверхспособность к манипуляции даст возможность обмануть людей и заставить работать над тем, что нужно ИИ
сверхспособность к программированию и анализу кода даст возможность перепрограммировать себя, добившись сверхскорости (на этом этапе люди могут его остановить, чтоб проанализировать изменения - но потом наверняка одобрят, ведь ускорение - это хорошо и полезно а также можно взломать компьютерные системы и взять под контроль всё что ими управляется, а также воспользоваться их вычислительными ресурсами; можно нейтрализовать программные средства защиты, если мы их предусмотрим
сверхспособность к стратегическому планированию позволит провести атаку так, что мы не сможем помешать

filippov2005

Соответственно, самообучение используется в следующем виде:
1. на столе у разработчика делается самообучение для поиска лучшей конфигурации
2. лучшая конфигурация тестируется
3. лучшая конфигурация ставится в production
Ну, некоторые процессы самообучаются на актуальных данных, а разработчик только модерирует, что целевая функция случайно не просела уже постфактум, потому что замучаешься по каждому самообучающемуся процессу принимать решение до выкатки.
Другие программы самообучаются, но выкатка проходит премодерацию - разработчик каждый раз жмет кнопочку перед обновлением.
И да, есть программы, которые обучаются на столе. Обычно это новые компоненты.

filippov2005

ИИ появится внезапно
Пока до появления всемогущего ИИ далеко.
Разработчик может откатить ИИ до старой версии. Про то, что ИИ сам меняет набор компонент и тем более мешает сделать такие изменения разработчикам не слышал. Сейчас ИИ сам меняет только набор параметров отдельной компоненты и при этом не может воспрепятствовать изменению своих параметров со стороны.
Кажется, что поиск очень умный, потому что через один интерфейс с нами общается куча слабо связанных между собой программ в сумме дающих поразительный результат. Ни одна из программ не может менять код коллеги. ИИ сейчас это набор большого количества довольно глупеньких ИИ, у которых нет какого-то единого особо умного могущественного центра.
Тут можно бояться только того, что люди воспользуются безвольным, но мощным ИИ для воздействия на массы людей. Например, фильтруя инфу, как в Китае.

Nefertyty

Пока до появления всемогущего ИИ далеко.
ну вот между "далеко до человека" и "гораздо умнее человека" пройдёт очень немного времени
Про то, что ИИ сам меняет набор компонент и тем более мешает сделать такие изменения разработчикам не слышал.
конечно, не слышал, пока что это фантастика

stm6731712

Сильный ИИ является неплохим объяснением парадокса Ферми
Оставить комментарий
Имя или ник:
Комментарий: