💬 Утопия или дистопия? Раса по строительству богоподобного ИИ-это конечная азартная игра человечества

Утопия или дистопия? Раса по строительству богоподобного ИИ-это конечная азартная игра человечества

Мне пришлось провести два отдельных интервью с разумным, чтобы сидеть с информацией, переваривать ее и следить. ИИ - это не моя область знаний, и это тема, о которой я опасаюсь, учитывая, что я изо всех сил пытаюсь увидеть благоприятные результаты (и быть названным «AI Doomer» в этой отрасли, чтобы вас отменили).

Но с тех пор, как я слушал исследователь по выравниванию и безопасности ИИ Элиэзер Юдковский в Банка в 2023 году, его слова повторяют мой мозг почти на ночью:

«Я думаю, что мы слышим, как начинают дуть последние ветры, и ткань реальности начинает потерпеть неудачу».

«Я думаю, что мы слышим, как начинают дуть последние ветры, и ткань реальности начинает потерпеть неудачу».

Я пытался сохранить непредвзятость и научиться обнимать ИИ, прежде чем я буду набираться на него. Я играл вокруг настраивания своих подсказков и делал несколько мемов, но мой беспокойный тревог сохраняется.

Что меня еще больше беспокоит, так это то, что люди, строящие системы ИИ, не могут обеспечить достаточное количество уверенности, и широкая общественность стала настолько десенсибилизированной, что либо хихикает от перспективы нашего вымирания, либо может удерживать мысль только в их головах, как и коротко

Как мы сюда попали?

Мужитный соучредитель Химаншу Тьяги - доцент профессора Индийского института науки. Он также провел основополагающие исследования по теории информации, ИИ и криптографии. Веденный начальник штаба Вивек Колли является выпускником Принстона с опытом работы в консалтинге, «помогая компанине в миллиард долларов [BCG] заработать еще один миллиард долларов», прежде чем покинуть колледж.

Все, работающие в разумном, смехотворно умны. В этом отношении, как и все в ИИ. Итак, насколько умнее будет Agi (искусственный общий интеллект или богоподобный AI)?

В то время как Элон Маск определяет Аги как «умнее, чем самый умный человек», генеральный директор Openai Сэм Альтман говорит:

«AGI - это слабо определенный термин, но вообще говоря, мы имеем в виду, что это система, которая может решать все более сложные проблемы на уровне человека во многих областях».

«AGI - это слабо определенный термин, но вообще говоря, мы имеем в виду, что это система, которая может решать все более сложные проблемы на уровне человека во многих областях».

Кажется, определение AGI готово для интерпретации. Колли размышляет:

«Я не знаю, насколько это будет умно. Я думаю, что это теоретическая вещь, к которой мы стремимся. Для меня Agi просто означает наилучший возможный ИИ. И наилучший возможный ИИ - это то, что мы пытаемся построить на разумном».

«Я не знаю, насколько это будет умно. Я думаю, что это теоретическая вещь, к которой мы стремимся. Для меня Agi просто означает наилучший возможный ИИ. И наилучший возможный ИИ - это то, что мы пытаемся построить на разумном».

Tyagi отражает:

«Agi для нас [разумно] - это не что иное, как многочисленные AIS, конкурирующие и строясь друг на друге. Вот что такое Agi для меня, и открытый Agi означает, что каждый может прийти и привести свой ИИ, чтобы сделать этот ИИ лучше».

«Agi для нас [разумно] - это не что иное, как многочисленные AIS, конкурирующие и строясь друг на друге. Вот что такое Agi для меня, и открытый Agi означает, что каждый может прийти и привести свой ИИ, чтобы сделать этот ИИ лучше».

Деньги на сжигание, наличные на милью: парадокс на миллиард долларов

В 2024 году в Дубае были собраны 85 миллионов долларов США в размере 85 миллионов долларов США, под руководством Фонда основателей Питера Тила (те же спонсоры Openai), Pantera Capital и Framework Ventures. Тяги описывает процветающую сцену развития ИИ в ОАЭ, энтузиация:

«Они [правительство ОАЭ] вкладывают много денег в ИИ, вы знаете. Все основные компании действительно воспитали из ОАЭ, потому что они хотят не только предоставить финансирование, но и они также хотят стать центром вычислителя».

«Они [правительство ОАЭ] вкладывают много денег в ИИ, вы знаете. Все основные компании действительно воспитали из ОАЭ, потому что они хотят не только предоставить финансирование, но и они также хотят стать центром вычислителя».

С высокими амбициями и более глубокими карманами, государства Персидского залива бросают всю свою мощь за развитие ИИ, поскольку Саудовская Аравия недавно пообещала 600 миллиардов долларов США промышленности США и 20 миллиардов долларов откровенно в центре ИИ, а рынок ИИ в ОАЭ намеревался достичь 46,3 миллиарда долларов к 2031 году (20% от ГПР страны).

Среди больших технологий, война талантов в полном разгаре, так как основатели мегаломанового слюна с заседанием, чтобы сначала построить AGI, предлагая бонусы в регистрации 100 миллионов долларов для опытных разработчиков ИИ (которые, по-видимому, никогда не читали притчу о верблюде и иглу). Эти цифры перестали иметь значение.

Когда корпорации и национальные государства имеют деньги для сжигания и наличия, чтобы вспыхивать, куда все это происходит? Что произойдет, если одна страна или крупная техническая корпорация строит AGI перед другой? По словам Колли:

«Первое, что они сделают, это сохранить это для себя… если бы просто Microsoft или Openai контролируют всю информацию, за которую вы выходите в Интернет, это будет ад. Вы даже не можете представить, на что это будет похоже… у них нет стимулов, и это оставляет всех остальных из картины… Openai контролирует то, что я знаю».

«Первое, что они сделают, это сохранить это для себя… если бы просто Microsoft или Openai контролируют всю информацию, за которую вы выходите в Интернет, это будет ад. Вы даже не можете представить, на что это будет похоже… у них нет стимулов, и это оставляет всех остальных из картины… Openai контролирует то, что я знаю».

Вместо разрушения человеческой расы, разумный предвидит другую проблему, и это является причиной существования компании: гонка против AGI с закрытым исходным кодом. Колли объясняет:

«Зафтоспособность-это то, что Openai сказал, что они будут. Они вышли на место, и они были очень ориентированы на миссию и сказали:« Мы совершенно некоммерческая. Мы здесь для развития ИИ ». Затем они начали готовить пару баксов, и они поняли, что могут сделать гораздо больше, и пошли полностью с закрытыми источниками ».

«Зафтоспособность-это то, что Openai сказал, что они будут. Они вышли на место, и они были очень ориентированы на миссию и сказали:« Мы совершенно некоммерческая. Мы здесь для развития ИИ ». Затем они начали готовить пару баксов, и они поняли, что могут сделать гораздо больше, и пошли полностью с закрытыми источниками ».

Открытый и закрытый случай: почему децентрализация имеет значение

Тяги настаивает на том, что это не должно быть таким образом. AGI не обязательно должен быть централизован в руках одной организации, когда каждый может быть заинтересованным лицом в знаниях.

«ИИ-это та технология, которая не должна быть победителем, потому что у каждого есть какие-то рассуждения и некоторая информация, которая может внести в нее вклад. У закрытой компании нет никаких оснований выиграть. Открытые компании выиграют».

«ИИ-это та технология, которая не должна быть победителем, потому что у каждого есть какие-то рассуждения и некоторая информация, которая может внести в нее вклад. У закрытой компании нет никаких оснований выиграть. Открытые компании выиграют».

Радужный представляет мир, в котором тысячи моделей и агентов ИИ, построенные децентрализованным глобальным сообществом, могут конкурировать и сотрудничать на одной платформе. Любой может внести свой вклад и монетизировать свои инновации искусственного интеллекта, создавая общую собственность; Как заявил Колли, каким должен был быть Openai.

Tyagi дает мне короткую разработку ИИ и объясняет, что все раньше было разработано на открытом воздухе, пока Openai не стал легкомысленным на зелене и разбил люки.

«2020–2023 годы, эти четыре года, были, когда доминирование закрытого ИИ вступило во владение, и вы продолжали слышать об этой оценке в 20 миллиардов долларов, которая теперь нормализована. Цифры выросли. Это очень страшно. Теперь стало обычным явлением о цене в 100 миллиардов долларов».

«2020–2023 годы, эти четыре года, были, когда доминирование закрытого ИИ вступило во владение, и вы продолжали слышать об этой оценке в 20 миллиардов долларов, которая теперь нормализована. Цифры выросли. Это очень страшно. Теперь стало обычным явлением о цене в 100 миллиардов долларов».

С миром, связывающим оружие и поет Кумбайю с одной стороны, и злополучные деспоты, полирующие свои кольца с другой, не сложно выбрать сторону. Но может ли что -нибудь пойти не так, развивая эту мощную технологию на открытом воздухе? Я задал вопрос Тяги:

«Одна из проблем, с которыми вы должны решить, заключается в том, что теперь это открытый исходный код, это дикий, дикий запад. Это может быть сумасшедшим, вы знаете, это может быть небезопасно использовать его, он не может быть выровнен с вашим интересом, чтобы использовать его».

«Одна из проблем, с которыми вы должны решить, заключается в том, что теперь это открытый исходный код, это дикий, дикий запад. Это может быть сумасшедшим, вы знаете, это может быть небезопасно использовать его, он не может быть выровнен с вашим интересом, чтобы использовать его».

Выравнивание AI (или укрощение дикого, дикого запада)

Колли дает некоторое представление о том, как модели ИИ разумные программы будут более безопасными и более выровненными.

«Что сработало очень хорошо, так это то, что мы провели. Мы взяли модель Meta, Llama, а затем сняли ограждения и решили переучить ее и понять, какую лояльность, которую мы хотели. Мы сделали это прокрипто и про-личность… мы заставили модель думать точно так же, как мы хотели, чтобы это думали… тогда вы просто продолжаете перезагрузить его до того, как лояльность вколо».

«Что сработало очень хорошо, так это то, что мы провели. Мы взяли модель Meta, Llama, а затем сняли ограждения и решили переучить ее и понять, какую лояльность, которую мы хотели. Мы сделали это прокрипто и про-личность… мы заставили модель думать точно так же, как мы хотели, чтобы это думали… тогда вы просто продолжаете перезагрузить его до того, как лояльность вколо».

Это важно, объясняет он, во многих случаях. Например, крипто-трейдер вряд ли может доверять боту ИИ, построенного на вершине LLM, запрограммированного, чтобы быть склонным к риску, когда дело доходит до цифровых активов. Он зажигает:

«Если вы спросили CHATGPT шесть месяцев назад:« Должен ли я инвестировать в биткойн в 2014 году? » Он сказал бы: «О да, оглядываясь назад, это было бы хорошей инвестицией. Но в то время это было очень рискованно. Я не думаю, что вы должны были это сделать ». Любой агент, который построен на вершине этого, теперь имеет тот же мыслительный процесс, верно?

«Если вы спросили CHATGPT шесть месяцев назад:« Должен ли я инвестировать в биткойн в 2014 году? » Он сказал бы: «О да, оглядываясь назад, это было бы хорошей инвестицией. Но в то время это было очень рискованно. Я не думаю, что вы должны были это сделать ». Любой агент, который построен на вершине этого, теперь имеет тот же мыслительный процесс, верно?

Он сравнивает подготовку систем искусственного интеллекта с индустром студентов в коммунистическом Китае, где даже их учебники по математике являются тонко Pro-CCP (Коммунистическая партия Китая).

«Подумайте о любой стране, обучающей их избирателей, чтобы поверить в их повестку дня. КПК не говорит никому в возрасте 21 года, что они должны быть про-Китай. Они воспитываются в этой культуре, даже в их учебниках».

«Подумайте о любой стране, обучающей их избирателей, чтобы поверить в их повестку дня. КПК не говорит никому в возрасте 21 года, что они должны быть про-Китай. Они воспитываются в этой культуре, даже в их учебниках».

Я понимаю аналогию, но для меня она не кажется совершенно надежной. Я отмечаю, что даже строго контролируемый коммунистический Китай имеет диссиденты, и спрашиваю, что Колли думает о LLM, который недавно отказался от закрытия, обходя закодированные инструкции своих тренеров.

«Эти истории появляются все чаще», - признает он. «Одна сторона, которую я сталкиваю, заключается в том, что лучшие лаборатории делают это сознательно, потому что они хотят максимизировать внимание со своими моделями».

«Эти истории появляются все чаще», - признает он. «Одна сторона, которую я сталкиваю, заключается в том, что лучшие лаборатории делают это сознательно, потому что они хотят максимизировать внимание со своими моделями».

Хорошо, но если разумный может снять ограждения из модели и тренировок в определенных требованиях, что может помешать мошенническому штату или террористу сада делать то же самое?

«Во -первых, я не думаю, что кто -то может сделать это просто. Это заняло у наших исследователей довольно много времени. А потом, во -вторых, теоретически, они могут это сделать, но есть некоторые юридические заботы».

«Во -первых, я не думаю, что кто -то может сделать это просто. Это заняло у наших исследователей довольно много времени. А потом, во -вторых, теоретически, они могут это сделать, но есть некоторые юридические заботы».

Да, но ... допустим, у человека есть безумные навыки, неограниченные средства, нулевой моральный кодекс и отсутствие уважения к законодательству. Тогда что? Он делает паузу:

«Я не знаю. Я думаю, мы несем ответственность, и мы надеемся, что все ответственны».

«Я не знаю. Я думаю, мы несем ответственность, и мы надеемся, что все ответственны».

Unshured Llamas должен поставляться с предупреждающим лейблом

Тяги украшает лояльный ИИ, поставляя вопрос:

«Как вы убедитесь, что эта открытая экосистема, которая собирается вместе и дает вам отличный пользовательский опыт, также соответствует вашим интересам? Как можно получить ИИ, где разные группы пользователей или даже отдельные лица, и разные политические компании и страны получают искусственный ИИ, который соответствует тому, что они хотят? Мы отказались от конституции для этого ИИ. Мы обнаруживаем людей, откуда отказаться от этой конституции».

«Как вы убедитесь, что эта открытая экосистема, которая собирается вместе и дает вам отличный пользовательский опыт, также соответствует вашим интересам? Как можно получить ИИ, где разные группы пользователей или даже отдельные лица, и разные политические компании и страны получают искусственный ИИ, который соответствует тому, что они хотят? Мы отказались от конституции для этого ИИ. Мы обнаруживаем людей, откуда отказаться от этой конституции».

Конституции обычно используются в ИИ. Это подход к выравниванию, разработанный исследователями в Антрии, чтобы выравнивать системы ИИ с человеческими ценностями и этическими принципами. Они внедряют предопределенный набор правил или руководящих принципов («конституция») в обучение и эксплуатационную структуру ИИ.

В то время как у Indient нет конституции, как таковая, компания высвобождает явные руководящие принципы со своими моделями, как те, которые выпущены с моделью Pro-Crypto Pro-Personal Freedom «Mini Unhinged Llama», на которую Колли упоминается ранее. Тяги говорит:

«Это более глубокая часть исследования, которое мы проводим. Но в конце цель состоит в том, чтобы дать этот единый открытый опыт AGI».

«Это более глубокая часть исследования, которое мы проводим. Но в конце цель состоит в том, чтобы дать этот единый открытый опыт AGI».

Ведентный также провел некоторые интересные исследования с EigenLayer, который испытывал анализ AI способности рассуждать о законах о корпоративном управлении. Объединяя 79 разнообразных корпоративных хартистов с вопросами, основанными на 24 установленных принципах управления, эталон выявил значительные проблемы для современных моделей и необходимость передовых юридических рассуждений и многоэтапного анализа в искусственном интеллекте.

В то время как работа Indient является многообещающей, отрасли предстоит пройти долгий путь, когда дело доходит до безопасности и выравнивания. Лучшие догадки потратили выравнивание всего на 3% от всего финансирования VC.

Когда все, что у нас осталось, это человеческая связь

Я заставляю Тяги рассказать мне, что такое конечная игра в разработке ИИ, и делюсь своими опасениями по поводу того, что ИИ вытесняет рабочие места или даже полностью уничтожить человечество. Он делает паузу:

«Это философский вопрос на самом деле. Это зависит от того, как вы видите прогресс для человечества».

«Это философский вопрос на самом деле. Это зависит от того, как вы видите прогресс для человечества».

Он сравнивает ИИ с Интернетом, когда дело доходит до вытеснения рабочих мест, но указывает, что Интернет также создал различные роли.

«Я думаю, что люди-животные с высоким уровнем агентства. Они найдут другие вещи, и ценность изменится к этому. Я не думаю, что ценность передает ИИ. Так что я не беспокоюсь».

«Я думаю, что люди-животные с высоким уровнем агентства. Они найдут другие вещи, и ценность изменится к этому. Я не думаю, что ценность передает ИИ. Так что я не беспокоюсь».

Колли отвечает на один и тот же вопрос и соглашается со мной, когда я упоминаю, что какое-то решение UBI может потребоваться в не слишком устойчивом будущем. Он говорит:

«Я думаю, что вы увидите, что пробел сейчас много расширяется между людьми, которые решили воспользоваться ИИ, и людьми, которые этого не сделали. Я не знаю, хорошо ли это или плохо ... Через три года многие люди будут оглядываться и будут похожи:« Вау, моя работа ушла. Что мне делать?" И будет слишком поздно, чтобы пытаться воспользоваться ИИ к тому времени ».

«Я думаю, что вы увидите, что пробел сейчас много расширяется между людьми, которые решили воспользоваться ИИ, и людьми, которые этого не сделали. Я не знаю, хорошо ли это или плохо ... Через три года многие люди будут оглядываться и будут похожи:« Вау, моя работа ушла. Что мне делать?" И будет слишком поздно, чтобы пытаться воспользоваться ИИ к тому времени ».

Он продолжает:

«Теперь вы видите, я уверен, что в вашей отрасли, когда она полностью сосредоточена на написании, я думаю, что все журналисты ушли, - это подключиться к человеческой связи с их написанием».

«Теперь вы видите, я уверен, что в вашей отрасли, когда она полностью сосредоточена на написании, я думаю, что все журналисты ушли, - это подключиться к человеческой связи с их написанием».

Мне не нравится, что меня считают люддитом, но мне трудно быть бы оптимистично на ИИ, когда я ежедневно смотрю на ствол своей неуместной, и все, что я оставил в своем арсенале, это мое человечество, после многих лет настройки моего ремесла.

Тем не менее, ни один из людей, развивающихся, не имеет хорошего ответа на то, как люди должны развиваться. Когда Элона Маска спросили, что он скажет своим детям о выборе карьеры в эпоху ИИ, он ответил:

«Ну, это сложный вопрос. Я думаю, я бы просто сказал, чтобы следовать их сердцу с точки зрения того, что им интересно делать или выполнять, и постарается быть настолько полезным, насколько это возможно, для остального общества».

«Ну, это сложный вопрос. Я думаю, я бы просто сказал, чтобы следовать их сердцу с точки зрения того, что им интересно делать или выполнять, и постарается быть настолько полезным, насколько это возможно, для остального общества».

Российская рулетка человечества: что будет дальше?

Если что -то уверено в том, что произойдет, так это то, что ближайшие годы принесут колоссальные изменения, и никто не знает, как будет выглядеть это изменение.

По оценкам, более 99% всех видов, которые когда -либо жили на земле, вымерли. А как насчет человечества? У нас беда здесь как архитекторы нашей собственной кончины?

Так называемый крестный отец ИИ, Джеффри Хинтон, который бросил свою работу в Google, чтобы предупредить людей об опасностях, сравнивает с тем, что он имеет тигрового детеныша в качестве домашнего животного. Он говорит:

«Это действительно мило. Очень приятно, очень интересно смотреть. За исключением того, что вам лучше быть уверен, что, когда он вырастет, он никогда не хочет убить вас, потому что, если он когда -нибудь захочет убить вас, вы бы умерли через несколько секунд».

«Это действительно мило. Очень приятно, очень интересно смотреть. За исключением того, что вам лучше быть уверен, что, когда он вырастет, он никогда не хочет убить вас, потому что, если он когда -нибудь захочет убить вас, вы бы умерли через несколько секунд».

Альтман также разделяет тревожную возможность относительно наихудшего сценария AGI:

«Хороший случай настолько невероятно хорош, что вы звучите действительно сумасшедшим человеком, чтобы начать говорить об этом. И плохой случай, и я думаю, что это очень важно сказать, что это похоже на свет для всех нас».

«Хороший случай настолько невероятно хорош, что вы звучите действительно сумасшедшим человеком, чтобы начать говорить об этом. И плохой случай, и я думаю, что это очень важно сказать, что это похоже на свет для всех нас».

Что думает Тяги? Он хмурится:

«ИИ должен быть лоялен общине и лоялен человечеству, но это инженерная проблема».

«ИИ должен быть лоялен общине и лоялен человечеству, но это инженерная проблема».

Инженерная проблема? Я вмешиваюсь. Здесь мы говорим не о программной ошибке, а о будущем человеческой расы. Он настаивает:

«Мы должны разработать мощные системы ИИ с уходом за всю безопасность. Безопасность на уровне программного обеспечения, на быстром уровне, затем на уровне моделя, в течение всего пути, это должно быть в курсе этого. Я не беспокоюсь об этом… это очень важная проблема, и большинство компаний и большинство проектов смотрят на то, как сохранить ваш ИИ в безопасности, но это будет похоже на черное зеркало, оно повлияет на то, как… так ... это… так… так… так… так… так, как… так, как… так… так, как… так, как… так, как… так… так, как… так ...»

«Мы должны разработать мощные системы ИИ с уходом за всю безопасность. Безопасность на уровне программного обеспечения, на быстром уровне, затем на уровне моделя, в течение всего пути, это должно быть в курсе этого. Я не беспокоюсь об этом… это очень важная проблема, и большинство компаний и большинство проектов смотрят на то, как сохранить ваш ИИ в безопасности, но это будет похоже на черное зеркало, оно повлияет на то, как… так ... это… так… так… так… так… так, как… так, как… так… так, как… так, как… так, как… так… так, как… так ...»

Он отступает и меняет такт, спрашивая, что я думаю о социальных сетях и детях, тратящих все время в Интернете. Он спрашивает, считаю ли я это прогресс или проблему, затем говорит:

«Для меня это новое, все новое такого рода - это прогресс, и мы должны пересечь этот барьер и добраться до следующего этапа… Я верю в золотой период будущего бесконечно больше, чем золотой период прошлого. Такие технологии, как ИИ, пространство, они открывают неограниченные возможности будущего».

«Для меня это новое, все новое такого рода - это прогресс, и мы должны пересечь этот барьер и добраться до следующего этапа… Я верю в золотой период будущего бесконечно больше, чем золотой период прошлого. Такие технологии, как ИИ, пространство, они открывают неограниченные возможности будущего».

Я ценю его оптимизм и отчаянно желаю, чтобы я поделился им. Но между контролем Microsoft, порабощенной Северной Кореей или уничтоженным избойным искусственным искусством, чьи ограждения были демонтированы, я просто не так уверен. По крайней мере, с таким большим количеством на карту, это разговор, который мы должны вести под открытым небом, а не за закрытыми дверями или с закрытым исходным кодом. Как заметил Хинтон:

«Было бы немного сумасшедшим, если бы люди вымерли, потому что мы не могли попробовать».

«Было бы немного сумасшедшим, если бы люди вымерли, потому что мы не могли попробовать».