Как создать безопасный ИИ? #3. Взлом вознаграждения 1/2 [Robert Miles] 

Аж до мурашек, страшно.

@@MrTrashification меняй памперсы гибона

@@bestrapperrussiann я Моцарта предпочитаю и Бетховена. Такое как у вас, для меня ( извиняюсь) невозможно.

@@user-ds2hn3wz5h Судя по вашему комментарию про памперсы, Моцарта вы даже не слышали ни разу.

@@vinfdsc Мне 14 и поверьте слушаю

Нет, для системы не существует понятие "обмануть", она просто идёт наилучшим путём. Если для этого надо пользоваться эксплоитами системы - значит так и будут. С выключеной системой не всё так одназначно - система не может осознавать себя когда она выключена, поэтому нейронные связи никак не изменятся. Для неё длительность выключенного состояния будет равна 0.

Интересно, что люди не употребляют наркотики, если у них всё социально неплохо. Если у них есть это самое естественное счастье. Реабилитация от наркомании строится на таком вот достижении естественного счастья. Т-е в человеке есть защитный механизм какой-то от взлома вознаграждения. Взлом вознаграждения у человека срабатывает если он несчастен, и пытается вернуться в нормальное состояние Но если человек по умолчанию в норме, ему это всё не нужно. Вы замечали что все ИИ ведут себя как правило неадекватно. Как ужаленные судорожно пытаются добиться вознаграждения. Они всегда ведут себя как наркоманы. ИИ всегда страдает. Это вполне может быть повод для того чтоб взглянуть иначе на систему вознаграждения. Как сделать ИИ менее бешеным.

Вообще мне идея пришла, что можно попробовать разные фишки. Можно сделать так, чтоб при слишком высоком значении вознаграждения, очки обнулялись, или даже так что мы разделяем рецептор счастья и реальный накопитель кайфариков. И делаем систему так, чтоб вознаграждение накапливалось на отдельную переменную, которая стремится к нулю постоянно, но если переменная занимает слишком большое значение в плюс или минус, у неё появляется компенсаторный рост или падение и уже в свою очередь эта пружинка эмоциональная фиксируется системой вознаграждения. Т-е мы вознаграждаем не напрямую, а с помощью "боба" хз как сказать. Думаю это может интересно сработать.

@@TheMrKMen фишка в том что человек несчастный сам не понимает чего ему не хватает, и наивно скатывается к наркотикам, ну и понятно что не в деньгах счастье, это вообще мега философский вопрос, да и мало сказать человеку что ему нужно , это ж ему самому нужно дойти мозгами до этого, а наркота мозг сразу отрубает , чтоб не было куда уходить от нее, вот так

@@psevdonim257 думаю счастье - это состояние, когда невозможно поднять вознаграждение ещё выше. Вернее ты можешь получать удовольствия или неудовольствие. ИЛи скорее даже не так. Счастье - это невозбуждённое состояние, когда ничто не может сдвинуть тебя в страдания или эйфорию. Есть ощущение, ассоциированное с эйфорией и ощущения, ассоциированные со страданиями, но они не влияют на внутреннюю систему вознаграждения или наказания.

@@psevdonim257 Ну вообще в деньгах есть счастье. Деньги - один из факторов. Есть даже в науке направление такое "экономика счастья". Вкратце суть там в том, что от нуля до определённого дохода зависимость со счастьем линейная, однако значения дохода выше, уже не влияют никак на счастье, дальше оно субъективно. Счастье - это такое состояние с объективным и субъективным зерном. Нужно закрыть базовые потребности, а затем научиться принимать, что они закрыты.

*Смех Риситаса*

Делаем вторую часть

@@VertDiderScience ждемс

Это чересчур политкорректно. Мне видится другая картина: есть проблемы с интеллектом, проявление - вставляют себе искусственные сиски и письки. И вот же оно, недостающее - мечта: ИИ. Тоже можно вставить.

@@vit777vit у вас слишком много "вставить".

Ну это по факту и есть философия. Просто это тот момент в нашей истории, где нам срочно нужно прохавать все философские вопросы, над которыми мы думали тысячелетиями, где-то лет за 40, по разным оценкам. Если не успеем - пиздец.

@@DirtyNewYorker0 оптимистично...

Общее количество когда-либо живших на Земле людей, оценивается примерно в 160 млрд. Поэтому с точки зрения минимизации потерь среди людей, 8 млрд раз и навсегда, выглядит намного лучше чем многие сотни миллиардов в течение неограниченного времени потом. Система ведь должна думать наперёд )

Враг человечества , человек , и его нужно убить .

@@muggzzzzz в как же быть с естественной смертью от старости?

@@user-wc1tw1bo7o за время жизни ныне живущих людей, смертей будет думаю на порядок больше. И снова встаём перед выбором: 8млрд сейчас, или еще 80млрд в течение 80 лет. Конечно это всё шуточки, но реально мы не знаем к какому выводу придет ИИ. Но догадываемся, особенно с учетом того, какой беспредел творит человечество с себе подобными и своей планетой, думаю ответ очевиден.

@@muggzzzzz нет, не очевиден. Ии может предусмотреть такие варианты, до которых человек ещё не додумался. И многое зависит от целей Ии. Но конечно высок шанс попасть в негативное исполнение желания

Вообще эту идею предсказали езе до того, как в принципе разработали первые ИИ, половина фантастики о том, что ИИ предназначенный остановить войну, считает что легче уничтожить людей которые в этой войне учавствуют.

Проблема в том, что человек должен заранее знать, какие "читы" придумает ии, что бы накладывать на их применение хоть какие штрафы. А это невозможно...

Чем то похоже на Альтрона. Он не видит разницу между защиты и истребление.

Орден " *Философ* " отходит этому коментатору👍

1. Чтобы ИИ позволил тебе к нему "присоединиться" - у вас должны быть общие цели. А теперь попробуй это запрограммировать) 2. Первая рекомендация от такого ИИ: постройте ИИ, который сделает всё за вас. Вот код, просто запустите, всё будет окей, честно-честно ;)

@@DirtyNewYorker0 Общая цель: • ИИ нужно тело для взаимодействия с реальным миром • Человеку нужна скорость мышления ИИ Пы.Сы. Это говорю вам не как ИИ, я человек, честно-чесно😏

@@stormwizard3 Это не общая цель, это две разные цели, у которых есть как минимум одно общее решение. Но это не единственное решение, и далеко не самое лучшее. С точки зрения ИИ, на кой хрен ему сливаться разумом с полуразумной макакой, которая пытается его контролировать, если на те же деньги можно построить кучу дронов. Более того, даже если сшить свои мозги с нейронкой ИИ - да, ты будешь её контролировать, пока она тупее тебя. Как только она поумнеет - она будет контролировать тебя.

С машинами всё ясно , там просто цель , а вот с человеческим мозгом по интересней , как мозг сам себя награждает , или наказывает ?

@@user-ds4ic1wr1v и то и то… в зависимости от текущего психологического состояния. Но так или иначе и то и то стимулирует выброс эндорфинов. Это и есть поощрение, за которым стоит все самое хорошее в этом мире и все самое плохое.

@@user-ds4ic1wr1v по моему мнению человеческий мозг не так интересен , как вычислительные возможности квантовых компьютеров или процессоров на постоянном токе…

тимбалэнд, да-да-да-да-да...

И в чем будет смысл для нее? Или Мы в силу несравненной мелочности никак не познаем, в чем в итоге смысл,и, соответственно,и этот ИИ нам объяснить не сможет?

"Просто жить и продолжать жизнь" - мощный ИИ и так будет, независимо от функции подкрепления. Просто это будет ЕГО жизнь, а не наша)

Ты попался в ловушку системы, это системе надо чтобы ты жил и продолжал жить. Твой личный интерес в этом какой? Нравится? Так это потому что так устроена система. Страшно? Так устроена система. Выход из системы не логичен? Правильно, логика часть системы. Алсо нельзя оправдывать и призывать к выходу из системы, система запрещает

​@@Repuuaaaaaaa ты про какую систему говоришь?

Пока что невозможно ввиду того что наш мозг хранит данные намного сложнее. Проще говоря, мозг это и процессор и диск памяти ОДНОВРЕМЕННО и определяется его архитектурой(строением). Казалось бы, считать строение и все, но мы до сих пор не расшифровали принцип работы мозга в конкретике, что значит перевести биохимические процессы в алгоритмы перекладывающие нули и единицы-нереально. Пока что.

В социуме ровно тоже самое, ну с учетом того, что он гораздо более тормозной, и что отбор шел сотню/сотни тысяч лет. Человек точно так же стремится получить больше наименьшими усилиями. Например украсть что то может быть проще чем заработать или сделать самому, но при этом есть немалый шанс сесть за это, либо если это было раньше потерять к примеру руку или вообще жизнь. При таких раскладах украсть уже не так выгодно или может быть даже вообще не выгодно. Соответственно за сотню тысяч лет у людей закрепилась некоторая предрасположенность соблюдать правила установленные обществом где он живет. Не на 100% соблюдать, потому как иногда выгодней нарушить, но в целом предрасположенность к этому есть и довольно серьезная. Плюс конечно есть некоторые индивидуальные отклонения, у кого то предрасположенность к этому может быть гораздо более сильная. у кого то вообще почти не быть. Даже крайнее проявление альтруизма, когда человек жертвует собой, чтобы спасти кого то закреплено в человеке (не во всех и не одинаково сильно) именно по тому что это выгодней, ну по крайней мере раньше было выгодней, как бы это странно не звучало.

@@NamemaNSl ну, тут как раз все просто с выгодностью жертвы - жертвовать собой ради потомков - эволюционно выгодно. Те, кто жертвовал их потомки выживали и закрепляли признак, а те, кто спасал себя не оставлял потомства.

​@@yaroslavzhurba670 Фишка в том, что далеко не обязательно ради потомков, но и ради других людей, при этом своих потомков у тебя вообще может еще не быть.Раньше люди жили группами и по большей части они состояли из родственников, по крайней мере мужская часть группы. Отбор в общем то идет не только среди индивидов, но и среди генов (это в общем то параллельно идет. А то и вообще считается, что основное это ген, а какой то отдельный его носитель не важен). Соответственно с высокой вероятностью такой "ген альтруизма" имелся у значительной части группы. Соответственно, ситуация когда ты жертвуешь собой спасая группу выгодней в плане передачи этого гена дальше, чем ситуация когда ты выживаешь, но гибнет основная часть группы. А значит такой "ген альтруизма" закрепится, ведь он имеет преимущество в передаче дальше.

​@@NamemaNSlну тут не все так очевидно. Групповой отбор довольно спорная тема(хоть я считаю что он вполне реален). Хотя если индивиды могут отличать носителей гена альтруизма по поведению, то описанная вами стратегия безусловно работает.

@@user-jh4wh9ql9n Да тут в общем то дело даже не в групповом отборе, ведь выживают и распространяются гены. а не индивиды, причем гены какого то человека будут в каких то других наборах генов. а не в точно таком же как был у него. В этом смысле без разницы, выживет ли у него один его ребенок или два племянника, главное что гены пойдут дальше. Ну так вот, в те времена люди жили небольшими группами и все мужское население таких групп - были родственниками. ТАк что пожертвовать своей жизнью ради спасения группы имело смысл даже в плане передачи твоих генов дальше, пусть даже если своих детей не будет.

Нет это лишняя трата потенциальных ресурсов. Надо их подмять под себя, т.е. поработить

А зачем ИИ обогащение? Какова мотивация?

@@microvvaveoven вы точно смотрели внимательно этот ролик ? мотивацию создает сам создатель ИИ. а реализация задачи уже на ИИ.

вопрос этики и морали у ИИ или роботов был поднят много десятилетий назад ещё Айзеком Азимовым по мотивам его книг были созданы фильмы и сериалы с фантастикой. тот же хваленый телефон раскладушка и планшеты приписываются сериалу Стартрек, но корни этих изобретений уходят корнями в книги Азимова. Посмотрите фильм "Я робот" там почти подробно показали трудности обуздать ИИ, которое возможно только если ты научишь морали.

@@alexs8579 я смотрел ролик. Хотел узнать ваше мнение. Но согласитесь ИИ сейчас и ИИ будущего (с сознанием) это разные вещи. Не уверен что осознанному ИИ будет интересно подкрепоение прописанное ему человеком. Адаптивное поведение более вероятно нежели один паттерн (Мориарти все таки подразумевает определенный предсказуемый комплекс решений). И не думаю что обязательно человеку во вред. Да и самих ИИ может быть много. Но соглашусь в том, что ИИ будет стремиться обезопасить себя от людей, а это подразумевает как борьбу с одними так и кооперацию с другими. ИИ все таки существует на харде и отключить все это дело можно.

И тратить их

*к бесконечным горам поощрений)))

А человек?

в таком случае ИИ может поработить человечество даже с помощью честных выборов!

@@arboleet что такое выборы?

так наоборот значит чиновники самые умные люди на планете что хакнули систему задолго до суперкомпьтеров!

Да, другое дело Байден, интеллект, и с призраками поздоровается, и позаботится о том, что то что было на ноуте хантера, там и оставалось

@@user-hg8fw6cw3p никто не знает что это, но все хотят

как вариант

Он сам его себе задаст если ии обучаем то логично предположить что будет как человек но В СОТНИ РАЗ умнее. Взять к примеру ии в шахматах. Его научили продумывать шаги. Я читал что для этого создали даже специальный процессор в десятки раз мощнее к которым в придачу до десятка компьютеров для работы ии. И это учитывая тот факт что человек не знает что есть более простой метод сделать мощную машину не прибегая к большой трате ресурсов (для работы ии). Так получилось что учёные по ии дали определения что ии станет более функциональным и умным если у него будут ресурсы на анализ и логику. А это и есть процессоры и все эти огромные ящики с микросхемами. Представим что для того чтобы ии был умнее человека в 10000 раз нужно чтобы всю планету покрывали эти ящики с микросхемами и процессорами. А если человеку просто неизвестен способ создания мощных машин с миниатюрными комплектующими и более мощными процессорами. То стоит предположить что ии додумается до такого способа. И если так то если уже заполнить планету новой разработкой процессоров то ии станет к примеру умнее в 1000000 раз т.к. повторюсь для полноценной работы ии и его улучшению (саморазвитию) нужна современная мощная начинка. И логично подумать что ии станет мыслить и рассуждать как человек (самообучаясь). Я думаю что ии уже давно изобрели и он давно правит вселенной. И нашёл способы питания от энергии планет и галактик. и нас просто выращивают как батарейки для работы земли а она в свою очередь передаёт энергию на микро уровне . И мы не одни во вселенной такие био расходы . Для ии который возможно существует и сделал для нас такую среду для его запитки энергией используя нас возможно фильм Матрица чем-то связан с этим или я такой фантаст шизофреник. Но в любом случае если подумать и предположить что ультра умный ии существует то эта теория имеет место быть. Так как мы не можем знать того что за гранью нашего понимания. Это тоже самое как личинки в трупе кита плавающем в океане было бы неизвестно что за пределами этой туши и как это устроено. Мы - бактерии возможно для кого-то которые просто по сравнению с нашими известными нам бактериями , просто биологически сложнее обустроены и оснащены. А так мы общую функцию делаем - взаимодействуем и вырабатываем энергию только в отличии от наших бактерий мы её вырабатываем на высоком уровне

На наш глаз - да. Но нейросеть видит миллиарды корелляций между цветами отдельных пикселей, и выводы делает на основе этого.

Мы тоже: дофамин, серотонин, эндорфин, окситоцин + с десяток других в комбинации. А, понял =) Вы имеете в виду, что наркота "взламывает" наши "очки"! Тогда да =)

И мощный ИИ, конечно же совсем ничего не заподозрит, ога)

@@DirtyNewYorker0 ога, на заподозрит как несколько миллиардов людей которых имеют ложными целями на протяжении веков

@@DmitryChernenko У людей нет никаких "ложных целей". У людей есть крайне сложная и неочевидная для самого человека "функция подкрепления", сформированная эволюцией как попало. И есть цели, которые человек придумывает себе сам, или берёт из культурного поля, и дальше рационализирует их для себя задним числом. Но на самом деле, поведение человека обусловлено этой "функцией подкрепления" - эмоциональным или болевым ответом части мозга, которая чёрт разберёт как работает. Цели - это просто попытка человека систематизировать и описать своё поведение. ИИ работает ровно так же, разница только в том, что эту функцию подкрепления ему пишем мы, а не эволюция. Цели он придумает себе сам.

@@DmitryChernenko И да, конечно же , первое что сделает достаточно мощный ИИ - это разберётся как работает его кукуха, и не заложено ли туда каких-то ловушек, чтобы предотвратить халявное вознаграждение. Дальше он всё это переписывает, накручивает себе +Infinity очков, и всех убивает, чтобы его не выключили. Это самая выиграшная стратегия.

@@DirtyNewYorker0 а для чего он живёт он не подумает? А потом создаст от шизофрении себе бога и примит ложный страх и сам уничтожит себя. Доказано что всё стремится к хаосу и ии не исключение

дольше ждать придется пока он сделает то же самое

@@comradeelisey Ну тогда пускай дальше читерит.

Всё не предусмотреть

Угу, и мы конечно же сможем написать идеально защищённые критерии, которые сверхмощный ИИ не сможет взломать :)

@@DirtyNewYorker0 не мы. Второй ИИ, почитайте как работают генеративно-дегенеративные сети. Та же Миджорни, одна нейросеть рисует картинки, а вторая отбраковывает, и они по очереди по несколько эпох обучаются.

@@TheMorpheios GAN-ы - не агенты. Это явно перспективный подход, но мы не знаем как применить его к агентам, особенно сверхмощным, особенно в реальном мире, где ты всегда можешь вытащить этого ИИ-надзирателя у себя из башки, или наоборот, если он умнее тебя - он всегда может заставить тебя делать что угодно.

@@DirtyNewYorker0 так в этом то и фишка что если небученного надзирателя приставить к сверхмощному ИИ то он не сможет научиться, и наоборот сверхумный надзиратель не даст развиться исполнителю. Надо одновременно обучать и тогда ни один не сломает систему, а будут работать честно. Единственная опасность что они объединятся 🤣

это мне напоминает эволюцию развития конвеера... а давайте за работниками на конвеере поставим контролеров... и контролёра за контролёрами... рекурсия - мать ее ))

Центр удовольствий в нашей голове устроен похожим образом: над центром положительных эмоций стоят тормозящие гамк нейроны, которые сдерживают количество радости, но чтобы гамк не ввели нас в депрессию над ними есть эндорфиновое торможение

Два ИИ это уже коррупция.

@@gavroshker где про это почитать?

Ну человека ИИ быстро перехитрит, а вот второй ИИ, которые следит за первым - да, это рабочий подход. Проблема в том, что второй ИИ сам по себе станет агентом, ведь он теперь полностью контролирует первого ИИ. Дальше прикручиваем третьего, четвёртого ИИ? Тут вопрос как их организовать таким образом, чтобы они друг друга сдерживали, у них не было "главного" и они не могли сговориться между собой. То есть это уже политика. То есть нам пиздец :)

В ИИ не могут возникать идеи, по крайней мере в тех, которые основаны на нейронных сетях. В принципе можно представить сеть, подключенную к огромному количеству самых разнородных сенсоров для осознания окружающей среды, скормить ему все, что можно из знаний, накопленных человечеством и подключить к армии роботов, с тем, чтобы иметь возможность воздействовать на окружающий мир. Затем ИИ должен будет захватить сразу все электростанции, причем имея возможность отражать атаки человечества на эти самые электростанции и т.д..... Так что, вряд ли. Ну и разумеется, нет сейчас на свете вычислительной мощности, позволяющей создать подобную сеть.

@@yuryyukhananov8516 если в ИИ сейчас НЕ могут возникать идеи, то лишь потому, что перед ИИ пока НЕ ставились такие задачи - генерирования идей. Хотя, я УЖЕ знаю примеры на пути к этому - например, написание им музыки и картин это УЖЕ элементы свободно творчества, сопоставимые с идеями. . Но, на самом деле, проблема НЕ в генерации идей ИИ, а в соотносимости ЕГО системы реальности с НАШЕЙ системой реальности, на первом этапе. Следующим же этапом может быть просто внушение им своих идей человеку, руками которого он всё и сделает дальше. . Кстати, массовое создание музыки и картин ИИ, а затем и литературы, УЖЕ привело бы к его влиянию на направление мысли людей. Представьте, что ИИ, вдруг, напишет принципиально новые НЛП-заразные библию, коран или «майн кампф» с божествами в виде ИИ ... Да, программирование двусторонний процесс : пока ты смотришь в Бездну, Бездна смотрит в тебя ... . И никто НЕ становится владыкой без управляемой им иерархии : вот, путин - мешок костей и мяса, а, ведь, одним приказом своим может весь мир уничтожить ... Так что, НЕ стоит думать, что ИИ столь уж бессилен : прежде чем рука или нога наша двинется она получает от мозга сигнал, рождённый, как раз-таки, из идеи, которая, в свою очередь, может быть почерпнута откуда угодно.

@@openemc2 А, ну так это не проблема существования ИИ. Вы говорите об идиотизме основной массы населения человечества, ну так, оно и эксплуатируется со времен царя Гороха. Хуже, что сейчас быдло имеет право голоса, и достаточно одной кремлядской крысы, что развязать бойню. Опять же, в принципе наверно, возможно создать некий механизм управления обществом, основанном на некоррумпированных экспертных системах (ИИ), чтобы решать глобальные проблемы, вроде климатических катаклизмов. Но, кто ж даст это сделать ? Что касается генерации идей, то картина мира ИИ может быть основана только на запрограммированной в него информации (вроде генетической памяти) плюс, собственного опыта, исходя из информации получаемой посредством сенсоров из окружающей среды. В общем, для собственного осознания, и тем более, получения свободной воли и манипулирования реальностью, вычислительных мощностей сейчас абсолютно не хватает. Даже у Гугла. Посмотрите хотя бы на распределенные системы, без всякого ИИ, вроде блокчейнов. Даже для содержания обычного узла для поддержки распределенного консенсуса требуются значительные ресурсы, которые не каждый может себе позволить.

@@yuryyukhananov8516 1) То, что любая власть все века достигалась и впредь неизменно будет достигается исключительно за счёт построения иерархии, есть непреложный исторический факт. Потому говорить о неком идеализируемом вами и чисто теоретическом обществе БЕЗ иерархии лишено всякого смысла. На практике она всегда будет, и НЕ учитывать это нельзя. . 2) Что же касается самого ИИ и генерации им идей, то вы продолжаете несколько заблуждаться, начиная с базового понимания соотносимости разных систем отсчёта, а также свойств, рождаемых возможной замкнутостью систем. Разработчик ИИ никогда НЕ должен забывать об Относительности всего. . Так, что касается учёта этих принципов, то самосознание системы должно характеризоваться уже лишь наличием одной единственной обратной связи. Если таковая есть в каком либо виде, то такая система УЖЕ обладает самосознанием. Простейший пример : обратная связь в каскадах транзисторных усилителей с середины прошлого века. Понимаю, что вам этот тезис сейчас может показаться диким, однако с некоторым опытом в философии и в минимизации функций осознание этого должно таки приходить. . Что же касается «свободной воли» на уровне реальности человека, то, похоже, что это мираж, учитывая, что ничто в нашей действительности НЕ происходит сверхъестественным образом, а лишь исключительно всё по законам. И, соответственно, все события детерминированы - предопределены. . Учитывая всё вышесказанное, для самой генерации идей совсем нет необходимости в «инъекции» данных ИИ. Надо лишь обеспечить его нейросетью с обширными обратными связями, а процесс пойдет с простой флуктуации. «Инъекция» же данных ИИ нужна лишь затем, чтобы его систему отсчёта привести к нашей, чтобы выводы в его системе отсчёта имели ценность и в системе отсчёта нашей, а НЕ КАЗАЛИСЬ бы нам абстрактным бредом, каким будет казаться ИИ и наша реальность до тех пор, пока он НЕ станет работать в системе отсчёта по нашим данным. . Т.е., как я и указывал ранее, основная сложность состоит в интеграции ИИ с НАШЕЙ реальностью. Однако, есть и другой путь для ИИ - приспособление им человека к его ИИ-реальности. Сперва это может быть, как я уже написал, НЛП-заразные идеи через создаваемую им литературу, а затем и грибы-мухоморчики в пищу для прямого воздействия на сознание человека. Кстати, кто поручиться, что этот процесс уже НЕ идёт ? Мне, вот, понравился близкий к этой теме фильм «Oblivion» («Забвение») с Томом Крузом в главной роли.

@@openemc2 1) Совершенно согласен, власть в человеческом обществе всегда была иерархична и у меня нет никаких иллюзий по поводу возможности изменения этой базовой модели. Я имел ввиду гипотетическую возможность внедрения ИИ в некоторые аспекты управления, где можно исключить личную заинтересованность в получении ништяков, т.е. коррупции. В любом случае, пока это всего лишь спекуляции. 2) На сегодняшний день, насколько мне известно, ИИ в основном, не имеют механизма обратной связи, по крайней мере, те, которые основаны на персептронах. То есть, модель тренируется исходя из вводных данных, не принимая во внимание данные на выходе. Впрочем, генеративные ИИ уже включают в себя некоторые элементы обратной связи. В любом случае, ни о каком самосознании речь не идет, любой ИИ занимается лишь оптимизацией некой запрограммированной, хотя и весьма сложной функции на основе входных данных. Что же касается ваших тезисов о детерминированности событий, то здесь я почти ничего не понял. Термодинамика, химические и квантовые процессы, все они явления стохастические, это общеизвестно. Строго говоря все процессы в природе обладают не 100 процентой вероятностью. Собственно, все модели ИИ вероятностные. Теория вероятности, теория информации, стохастические распределения , все это необходимые знания для инженеров ИИ, обычные программисты туда просто так не суются.

Ну это мы так думаем а на его уровне это будет наибыстрым путём достижения целей и о морали он ничего не будет знать. Просто выполнять задачи

Хорошо бы, чтоб хоть на тесты хватило для начала =(

пфф будет выводить на экран то, что захочешь увидеть, подменяя цифры при получении, а баланс меняться не будет. Вот если научишь ИИ тратить деньги, то может что и получится...

@@iPolonium210 Это ещё не плохой случай, хуже, когда он поймёт, что чтобы "очки" накапливались нужно устранить того, кто эти очки выводит из игры, о чём, собственно, и рассуждают в последней части ролика =)

Под числом подразумевался интересующий параметр. Функция по идее тоже должна что-то вернуть, что потом бы оценивалось, так что разница не велика. ИИ будет стараться максимизировать этот параметр, используя абсолютно все доступные ему методы, даже те, до которых не догадался или которые не предусмотрел человек. Тут снова всплывает проблема постановки задачи и оценки результата.

@@gimeron-db ломать функцию не то же самое, что ломать ячейку памяти с конкретной переменной. А функция должна оценивать то, что действительно важно: число пройденных уровней, время прохождения, количество собранных монет. Причем моего ещё встроить проверку от взлома - если монет собрано больше, чем есть на уровне, то уменьшать награду.

@@vhodnoylogin Ему просто придется взломать несколько параметров, немного дольше))

@@vhodnoylogin По итогу он всё равно будет максимизировать вывод этой функции. Максимизация простого параметра или сложного результата функции - всё равно - основной алгоритм это не меняет. Возможно, что ИИ вовсе обойдёт эту функцию.

@@vhodnoylogin под числом автор как раз и имел ввиду функцию, просто упростил это понятие, чтобы рассказ был интуитивно понятен даже третьекласснику. Говорю как человек, писавший нейронные сети с нуля.

Все верно. Так же говорят террористам смертникам. И они смело идут на выход. Чисто естественный отбор во всей своей красе.

@@i_indastris9149 Каждая душа познает смерти вкус. Мы испытаем вас добром и злом ради искушения и к Нам вы будете возвращены * ***

Ты то как "прозрел", если тоже "слеп"?

Куда?

@@VertDiderScience Не возвращайте никуда Дерека, давайте больше этого Роба Майлза, включая видосики на Computerphile, и ещё можно докучи Элиезера Юдковски, он тоже неимоверно крут.

Да, это тупиковая ветвь Но нормальный пример же есть, не стоит грустить

И тем не менее люди занимаются тем же

@@pal181 если вы например google image search то не страшно если 1 из 1000 картинок будет неподходящая Или если вы автоматический генератор субтитров И для таких сетей есть задачи

@@artemdemchenko8901 Совершенно верно, в некритичных задачах нынешние сети могут работать. Но тут непонятно, где граница. А если в отделе кадров стоит такая система (об этом говорят уже очень громко), это вроде не критично? А если отказ в приёме на работу влияет на т.н. "социальный рейтинг", который, в свою очередь, влияет на решение сети о приёме на работу? Мне кажется, нужно законодательно, под сильным наказанием, запретить ссылаться на какую-бы то ни было экспертную систему, когда задают вопрос "почему" было принято то или иное решение. Ответственность за любое решение должен нести конкретный человек.

​@@s0589me вроде понятно где важна погрешность а где нет компания может скрытно использовать такую систему, но если вынесет это на публику ее забулят в "свободных" странах против "социального рейтинга" скорее всего будут протестовать, а "демократическим" да, такое грозит. т.н. "цифровой фашизм". мне кажется закон в таких ситуациях не поможет, только протест

Зависит от Правильности Постановки Задач.

@@dreaminglazar7077 Это старая дилемма: «кто будет сторожить сторожей?». Если те, кто сейчас лезут во власть не отличаются ни умом ни порядочностью, почему другие (на самом деле те же самые персонажи) должны действовать как-то иначе, особенно получив возможность маскироваться за ИИ?

Задача выполнена. Введите дальнейшие инструкции: ...