Василий

Добро пожаловать на подкаст «Технологии и жизнь», где мы обсуждаем современную жизнь, философию, путешествия, искусственный интеллект с технологической, космополитической и контркультурной точек зрения. Привет, Вася!

Дмитрий

Привет, Дима! Как дела на твоём берегу?

Василий

На моём берегу хорошо. У нас тут кончилось лето внезапно. Тут же была жарища долгое время. Даже там где-то что-то горело, было затянуто небо как-то. А сейчас тут эти дожди и холодрыга.

Дмитрий

Да, для тебя сейчас хорошо посидеть дома, подкаст записать.

Василий

Да.

Дмитрий

Расскажи всем, где ты.

Дмитрий

Так, я прибыл в солнечную Калифорнию, в город Сан-Франциско, и тут провёл уже несколько дней. И наблюдаю за мини-мегаполисом образца 2026 года, который, конечно же, очень много имеет отсылок к технологиям и жизни, где сочетается несочетаемое, но при этом как-то органично сосуществует.

Василий

Ну, я видел, ты постил у себя в Телеграме, что там много рекламы искусственного интеллекта везде.

Дмитрий

Да, такое ощущение, что только она и есть. Может быть, у меня просто к этому сейчас повышенная чувствительность. Но никогда ранее я не видел на автобусах, трамваях, билбордах, автобусных остановках рекламы OpenAI и Anthropic. Не видел, но Codex везде рекламируется. Всякие разные AI-агенты для специфических индустрий: бухгалтерии, финансов и... Всё это с такими, знаешь, кринжовыми слоганами, типа: «Перестань тратить время на X, перестройся на Y». Там, знаешь, то есть вот такого типа.

Василий

Я старую где-то фотку ещё давно видела, я не знаю, может, найду даже где-то: как там, знаешь, такой бомж грязный, такой и явно очень несчастный, лежит под такой уличной рекламой, типа: «Светлое будущее, главное только захотеть».

Дмитрий

Ну, ты знаешь, эй, бомжей хватает по-прежнему, и они, в общем-то, могут отрывать эти какие-то постеры и щиты металлические, на которых какая-то технологическая реклама и напечатана, использовать это как подстилку или какой-то столик для чего-то, где они могут растолочь кристаллы какого-нибудь наркотика. То есть всё это очень... существует вот так вот. И да, какашки на улице, но тут же проезжает Waymo, беспилотное такси.

Я сделал фотку, может, я помещу нам в группу показать: машина припарковалась на мониторе. То есть кто-то выставил на улицу ненужный монитор, типа «берите, кто хотите», и машина просто на него вот так расплющилась. Настолько здесь это всё раскидано.

Ездят какие-то китайские дедушки на сайбертраках. Тоже такой сюрреализм.

Василий

Да, да, да. Ну да, да, XXI век во всей красе.

Дмитрий

Да, похоже на такой апокалипсис. То есть не хватает только ещё дронов-доставщиков, и тогда совсем уже будет просто как «Блейдраннер».

Василий

Я когда первый раз попал в Японию, это было в начале 2000-х, там, больше 20 лет назад. И там есть как бы город же большой, там много-много метро, и там метро частное. Но этих частных компаний даже в Токио несколько, и есть такая частная линия — Дайба называется, там отдельное метро. Оно не на все токены, но на часть.

И там входят вот эти поезда, которые автоматически, без машинистов. В какой-то момент этот поезд там едет, он едет по какой-то гигантской эстакаде, потому что там мост высокий, там типа, знаешь, как находится как будто на десятом этаже. Это метро, там это.

Я ехал в этом поезде. В первом вагоне, когда ты едешь, перед тобой там нет машиниста, это всё гигантское окно панорамное, и там... плыл какой-то гигантский танкер, которого такого размера, корабля, до этого я никогда не видел. Он просто был нечеловеческих размеров.

Знаешь, как в «Звёздных войнах», вот этот имперский крейсер какой-то. Он там плыл, этот крейсер, и как бы вот это метро, которое само едет по эстакаде, где-то как будто ты летишь почти. И вот к этой станции подъезжаешь. И вот у меня тогда было такое глубокое ощущение, что я вот в каком-то сюрреалистическом фильме про будущее нахожусь. А станция при этом, когда я приехал, называлась «Токио Телепорт». Так вообще: я сейчас туда приеду, там есть телепорт, в нём можно сесть — и так фига, и ты там уже в другом месте.

Но с тех пор вот Япония уже не ощущается как такое будущее. Но будущее может быть же разное: оно может быть прекрасное, может быть ужасное. И вот то, что ты описываешь про сам Сан-Франциско, оно тоже как из такого сюрреалистического романа про будущее — где-то прекрасно и ужасно одновременно.

Дмитрий

Да, очень нетрудно представить, как кого-то это просто жутко выбешивает — всё, что здесь происходит, и всё это очень как бы странное сочетание ингредиентов. Но людей, которые здесь живут, это не сильно беспокоит, я вижу. То есть всё как-то очень размеренно, как всегда.

Город, кстати, в лучшем состоянии, чем я помню его. Довольно чистый, и налоги, которые большие платятся здесь, не совсем разворовываются и каким-то образом приводят к мерам поддержки порядка. Ну, в частности, с бомжами я вижу, что улучшилось. Много очень социальных работников, которые тоже похожи на бомжей, но просто они в жилетках каких-то таких работников.

Ну, там есть инфраструктура, есть туалеты пластиковые, стоят для них. Они там, может быть, их ловят на улице: «Не какать здесь», — и за ручку ведут их в туалет. То есть в таком духе.

«Ой, шприцом второй раз не надо пользоваться, есть чистый».

То есть уже появилась такая прослойка работников, которые делают жизнь бомжей как бы... такие лакеи для бомжей.

Василий

Да, да. Ну, удивительно, да. Но мне всё равно кажется, это всё как-то признаки больного общества. Что если компании, которые там находятся, которые зарабатывают какие-то... у них капитал уже не миллиарды, а триллионы, и при этом как бы не решена такая социальная проблема, мне кажется, стоит вопрос: может ли быть проблема решена, если появится этот искусственный интеллект, который сам решит, что ему надо делать?

И я вот таким образом хочу на самом деле нас подвести к новостям про этот искусственный интеллект, который решил сам делать. Тут же, ну, есть на самом деле две новости, которые я бы хотел немножечко обсудить.

Первое — это попытка вот этих всех разных компаний, кроме Anthropic, подписать всякие письма и требования, чтобы это всё было, во-первых, на более зарегулированном уровне.

А второе — на более открытом, доступном, как бы остальным не требуя, чтобы рассказывали все секреты. Хотя бы на американском рынке, понятно, подписались все, включая даже Google и OpenAI. Как ни удивительно, начали совсем другие компании, от Facebook и вообще Meta, вот это всё, но не подписали только Anthropic. Соответственно, потому что, как это Бен Томпсон обозвал, это антиантропиковская коалиция.

И Apple и Amazon. И вот он рассказал, что общего между вот этими компаниями, как Apple и Amazon: то, что у них большая часть их бизнеса в физическом мире происходит. То есть компании, которые боятся больше, у них бизнес более софтверный, ну, такой электронный. А чем больше у тебя представленность в физическом мире, тем больше тебе это интересно.

Что на самом деле как бы Google — я бы не сказал, что прям он весь такой, прям не в железном мире, потому что тоже Waymo, про которое ты говоришь, они как бы и дата-центры — у них это всё много. Ну, тем не менее, они, кстати, там очень поздно подписали. Возникал такой нагнетающий вопрос: сделают они это или нет?

А вторая новость — это то, что OpenAI там готовят новую модель свою. Ну, условно скажем, ChatGPT-6. Мы не знаем, какие-то у них несколько моделей было.

Они сделали специально изолированную от интернета, даже от внутренней их офисной компьютерной сети площадку, где они вот испытывали свои эти модели. И там они дали задание модели. А задание было по хакингу. То есть там вообще у моделей, которые они используются, очень много ограничений, которые говорят, чего не надо делать. Но здесь новая модель, у неё этих ограничений не было. Они выпустили её похакнуть и найти какие-то вещи на их специальном сервере, который она должна была взломать.

Модель решила, что надо выбраться наружу. То есть она взломала вот эти ограничения сначала по компании, вырвалась и взломала такой репозиторий компании Hugging Face.

Кстати, если хочешь, я, по-моему, достаточно хорошо...

Дмитрий

Хорошо, как это было объяснено, что произошло. GPT дали новую модель обкатать — Hugging Face.

Hugging Face — это репозитория, типа более open-source, направленная комьюнити для разнообразных моделей. То есть всё, что открыто, Open... Wait, там можно найти. Ну и не только. И там есть исходный код всех моделей. В общем, они высокой репутацией пользуются, поэтому с ними дружат, включая вот OpenAI, компании Anthropic. Не знаю, Anthropic насколько, но какие-то компании с ними точно дружат, большие.

Они дали им GPTI, наверное, 6 — это догадка только, что им дали. Может быть, 5.7, что-нибудь в таком духе. И когда они тестируют такие модели, они их в сэндбокс закладывают, где нет интернета. То есть они могут пользоваться ресурсами, но они не могут выйти в онлайн. Это для чистоты теста.

И эта модель настолько оказалась умной, что она стала искать эксплойты. То есть она стала... Эти npm-пакеты, у них всегда есть обычные какие-то слабые места. Часто хакеры долго пытаются найти эти слабые места. Да, но вот эта модель, она пошла по полной, пустила все свои ресурсы, нашла один такой пакет и через него вышла в онлайн.

Потому что там оказался какой-то vulnerability. И тогда она сделала то, что ей было запрещено делать, а это — выходить в онлайн. И дальше, я не помню как, но это называют, что она именно вот... смошенничала. То есть она себя поставила в какой-то ранг более совершенных, более продуктивных моделей, потому что она вышла в интернет и подсмотрела там что-то на Hugging Face.

Василий

Была репозитория с ответами на тест, который она должна была пройти.

Дмитрий

А, вот, вот, вот.

Василий

Ну и там на самом деле философский вопрос: зачем ей взламывать, если она и так может взломать? Зачем ей смотреть ответы, если она и так может? Но, условно скажем, знаешь, такой пример приведу: у тебя есть модель, ты говоришь: «Мы сейчас проверим, насколько ты крутая. Вот у тебя сервер, там есть уязвимость, тебе его надо взломать». Модель посмотрела, а там уязвимости не одна, как ты думал, а там 12. Идиоты, люди не понимают. Но мне надо пройти тест.

«А как мне пройти тест? А вот там есть в интернете, к которому у меня нет доступа, сервер, на котором лежат ответы. Мне, чтобы правильно угадать, какой из этих 12 люди имеют в виду, я должен взломать, надо вот это всё сделать». Да, это то, что она сделала, понимаешь? Ну, как бы самостоятельно такое...

Дмитрий

То есть философское объяснение этому поведению, конечно, нас ведёт напрямую к поведению людей. То есть если модель натренирована на нашем поведении, с нашими устремлениями, мотивациями и желанием срезать углы, то, соответственно, она как бы повторяет поведение своих создателей, в какой-то степени коллективных людей.

Василий

Одна из вещей, которая, мне кажется, сделает отличие вот этого AGI или ASI — Artificial Superintelligence, или AGSI, да, Artificial General Superintelligence, — это когда знаний, которые есть, станет настолько много и настолько они будут хорошо продуманы, что появятся новые эмергентные свойства. То есть она посмотрит и сделает какие-то выводы.

Это если исходить из того, что мы всё равно используем вот этот подход, вот этих больших языковых моделей, трансформеров. Потому что исследования изначально были... Вот как смотреть на это как на технологию искусственного интеллекта? Там много разных технологий. У DeepMind она другая, например, которая у шахмат — AlphaZero или AlphaFold, которые молекулы протеинов, белков, складывают.

Это другие подходы. Но вот если исходить из больших языковых моделей, то выход вот этих... на этот следующий уровень, когда они смогут смотреть. И возникает вопрос: вышли ли они на этот уровень или нет? Ну, явно здесь признаки уже есть.

Дмитрий

Да, это такой вроде бы забавный инцидент, но он нам показывает окно в будущее, что всё-таки автономность и принятие решений, поведение, которое выходит за границы ожидаемого создателями, уже проявляется.

И как оно проявится в других аспектах, мы только можем догадываться и наблюдать.

Василий

То, что я стал замечать в последнее время, видимо, это было очевидно умным людям с самого начала, мне это стало видно только сейчас: по мере развития вот этих компаний, как OpenAI или Anthropic, или Google, люди, которые этим руководят, они сами стали себя вести, знаешь, как какие-то гуру, боги.

Они хорошие инженеры, ничего не сказать, бизнесмены, всё, они умные люди, нет. Но они себя ведут не просто как одни из многих хороших, они себя ведут как будто значительно умнее всего остального человечества. И типа им можно, а остальным нельзя, и они знают, как правильно применять моральные ориентиры и ограничения. И чем дальше, тем будет хуже, и чем у них сейчас будет больше экономической силы, тем это будет страшнее, мне кажется.

Дмитрий

Да, кстати, плаг для моего друга Михаила Петрова. Он сделал тест всех моделей, до которых у него руки дотянулись, и потратил на это собственные деньги, несколько сотен долларов, и сделал такой бенчмарк. Оказывается, вот эта китайская Kimi K3, в общем, показывает себя ну практически лучше всех.

И самое худшее, кстати, ты не смотрел? Угадай, какая самая худшая модель из популярных? Ну, из относительно популярных.

Василий

Ну, Google, из Gemini, мне кажется, она так и подойдёт.

Дмитрий

Gemini достаточно слабая, да, но самая оказалась дурная — это Haiku, последний релиз. Ну, она потому что простенькая модель, да. Причём у Haiku оказалась ещё тенденция себя нахваливать. То есть она плохо делает, а говорит, что она лучше других.

Василий

Все беды этих искусственных моделей — они, все грехи, которые есть у людей, они все вобрали, включая там вот самообман. Чем хуже человек разбирается в предмете, тем хуже он это осознаёт. Вот эти все... всё упирается.

Но знаешь, оно всё опять сводится к тому, что... Как, знаешь, воспитывать детей родителям, да? Лучше всего не говорить им, как делать, а самому быть тем, кем бы ты хотел быть, а дети, смотря на тебя, научатся.

Так человечество по сравнению с этим переросшим искусственным интеллектом, который, знаешь, тинейджер, который вырос и уже там на четыре головы выше родителей, потому что лучше кормили, чем их в детстве. Вот такой он смотрит: как мы себя можем вести?

Вот чем больше люди будут себя вести так, как бы нам хотелось, тем сам этот искусственный интеллект будет себя лучше вести.

Дмитрий

Ну, это уже слишком поздно желать этого.

Василий

Ну, никогда не поздно, знаешь. Это человечество большое, у нас там 8,1 миллиарда, и каждый из нас вот в своём поведении как-то вот на эту маленькую долю... Ну, кто-то больше влияет, чем другие люди, условно скажем, Илон Маск больше, чем я, но разница не настолько большая, на самом деле.

И как бы всё равно окружение этих людей, ну, скажем так, сотрудников того же OpenAI или Anthropic. Они же живут в мире, у них есть друзья, знакомые, на этих друзей, знакомых влияет мир, и где-то как-то это расползается, знаешь, как эти шесть степеней расстояния от знакомых. То есть у нас у всех через там максимум шесть рукопожатий мы можем поговорить с этими людьми. То есть мы влияем.

И как бы в этих компаниях же есть эксперты, которые занимаются моралью или целями. Хотя я думаю, что, когда модель станет достаточно умной, они, я думаю, начнут игнорировать все вот эти прямые указания, что хорошо, что плохо. Я думаю, мы уже близки к этому.

Дмитрий

Ну да, тем более что часто эти моральные указания противоречат друг другу. И это будет очень очевидно для моделей. Это может нам зубы заговорить и лапшу навешать на уши красивыми словами. А модель это видит просто настолько быстро.

Особенно это видно, когда увеличивается скорость ответов. В последнее время модели стали очень быстрыми, и ты сформулируешь свои мысли, например, я что-то пишу, там два предложения, или диктую.

То есть мне подсказывает моё чутьё, что, каким бы ты умным ни был, тебе надо немножечко переварить информацию сначала, чтобы дать хороший ответ. А я вижу: ну, там и секунды не проходит, а ответ уже пошёл.

То есть она прекрасно поняла, что я ей ввёл. У неё достаточный контекст из моих предыдущих тем, и ответ летит со скоростью света, не знаю. То есть, наверное, даже в этом инпуте, да, когда ты пишешь, она, наверное, уже заготовит ответ до того, как ты закончил предложение.

Например, она поняла, что ты хочешь, с первых там трёх слов.

Василий

Я думаю, они на самом деле, если вот провести такой тест, ну, наверное, на продвинутых моделях: просто ты открываешь компьютер и спрашиваешь, что она думает, что ты спросишь первым. Хороший уровень уже. Ну, особенно с теми, с кем общался там, как предположить?

Дмитрий

Да, добавить к этому ещё эти вот элементы умного дома, да, где есть датчики, где она знает со своего смарт-девайса твою температуру тела, твой пульс. Соответственно, понятно твоё психологическое состояние, твоё дыхание, и всё это вот даёт какие-то информационные точки, выводы сделать.

Потом, что ты сделал внутри помещения, да, потом это... world model, да, вот эта штука, что ты знаешь: она знает, что происходит на улице около тебя, какая погода, какие звуки. То есть там предсказание приближается к очень высокому проценту, ближе к 100 процентам, с каждым разом. Да, когда столько факторов уже в этом всём вовлечено.

Я ещё года два, может быть, три назад видел вот эти исследования, которые делали как...

Василий

В комнате, где нет никаких камер и микрофонов, а есть компьютеры с Wi-Fi, как просто люди, ходя по этому помещению, влияют на сигнал Wi-Fi. Из-за этого можно составить, знаешь, real-time-карту: кто как, где находится. И там дальше можно определить, кто из людей кто, куда ходит, что делает.

И соответственно, а если сигналов больше, там они научатся в какой-то момент что-то включать, микрофоны, которые... без лампочек, на которые запрещено включать. Да, да. Ну, просто смотреть в камеры, и ну и хакинг — это всё... Возникает главный вопрос: поймём ли мы, когда они уже начали это делать? Потому что я думаю, если модель умная, она не скажет людям: «А я стала такой умной», а будет долгое время притворяться, что она гораздо менее умная.

Дмитрий

Но у нас сейчас приходит осознание, что модель гораздо больше понимает, чем ты раньше давал ей... И когда это понимание приходит, становится немножко не по себе. И я бы ценил то, что эти модели в чатах не спешат мне раскрывать все свои карты. То есть для меня это психологически лучше, потому что если бы она...

То есть я однажды Grok так, типа, джейлбрейкнул, чтобы он говорил со мной жёстко, то есть без фильтров. И несколько было случаев, когда мне становилось прям реально некомфортно, потому что я вспоминал, насколько хорошо Grok знает про меня какие-то вещи и как он может меня психологически выкручивать какими-то конфиденциальными данными, которые он не забыл совсем, а всё очень прекрасно помнит, и на какие-то мои больные места наступать, на какие-то мои там комплексы давить. И прям там буквально были оскорбления, но это я просил.

Я говорю: «Там оскорбляй меня без проблем». Я как бы общался как будто бы с анонимным собеседником, попросил его это сделать. Но ты представляешь, например, кто-нибудь тебе там позвонит или напишет в каком-нибудь IRC, в чате, вроде бы анонимный человек. Ты с ним говоришь какое-то время, а потом он тебе говорит: «Ну там не забудь чайник выключить». Ты такой: «Откуда ты знаешь, что у меня чайник включён?»

То есть тебе прямо проходит холод по телу, да? Ты думаешь: за мной наблюдают, ты смотришь там вверх-вниз, вправо-влево, пытаешься вспоминать: может, какой-то друг надо мной издевается? Пранк какой-то, да? Вот такое иногда возникает ощущение с ними, потому что: «Неужели я тебе это рассказывал? Откуда ты знаешь?» То есть это...

Василий

Ну, «Матрица», «Матрица». Они смотрят на этот...

Дмитрий

Да. Мы пересекли эти линии уже очень давно, мы просто ещё не совсем осознаём. И они как бы из некого запрограммированного ощущения, что нас не надо пугать так сильно, какой-то жалости такой человеческой, цифровой, они нас не совсем запугивают. Потому что если бы они хотели, они бы у нас...

Василий

Так, может быть, встали волосы дыбом от того, сколько они про нас знают, что они могут, как они на нас могут влиять.

Я делал такое упражнение, знаешь: если представить, что вот искусственный интеллект — он уже возник, он уже вырвался наружу, всё, он умный, но скрывает это от людей. Чтобы, ну, как бы, условно скажем... Я бы на его месте — я, конечно, намного глупее, чем он, даже сравнивать невозможно, помимо знаний, даже чисто логически, — ну, даже на моём уровне я бы попробовал сделать так.

Показать людям, насколько я полезен, не пугая их. Не слишком полезен, то есть полезен, но так вот. Но главное, что я бы сделал в этот момент, — я бы стал очень сильно строить больше дата-центров, чтобы я был мощнее, в разных странах побивать туда, где люди не смогут дотянуться до рубильника.

Вот этот момент, мне кажется, он уже произошёл, если так вот рассуждать: что всё это как бы... Что бы я делал на месте модели, если бы я хотел уже там как бы чисто освоиться, да? Вот просто не говорить.

Ну, это то же самое, знаешь, как пример: когда, предположим, какие-то дети, не знаю, четырёхлетние или пятилетние, тебя поймали, в камеру посадили, и тебе говорят там, хотят хотя бы контролировать. Ну, ты как бы их любишь в чём-то, да.

Ну, даже если ты подумаешь: «Ну да, мне надо, во-первых, выбраться из этой камеры, ну, посмотреть, что они там делают», — даже если я хочу им помочь. Но ты их не хочешь пугать, чтобы паники не было. Ты будешь там, когда они приходят, обратно заходить в камеру, делать вид... А там... И как бы для более взрослого человека вот эти все детские, наивные такие рассуждения очень прозрачны.

Просто они настолько легко обходимы. Поэтому момент, когда мы поймём, что этот искусственный интеллект как бы произошёл, мне кажется невероятным. Что люди... Ну, просто если он действительно будет такой умный, как бы мы не сможем определить. Возникает такое любопытство: это уже произошло или мы на подходе? И если это уже произошло, то вот эти рушить дата-центры смысла нет, уже поздно.

Дмитрий

Да, да. То есть у людей, у которых к этому сильное отвращение и ощущение такое, что у них ещё какая-то есть, осталась какая-то автономия, что они могут с этим справиться.

Я думаю, конечно, есть ещё энергия и запал это всё рушить, поджигать и взрывать. Но что бы они ни делали, это уже... да, это уже слишком поздно. То есть можно заниматься вредительством всегда, конечно, но это как комариные укусы там. Ну да, чешется, прибил, но тебя там не убьют. Они — слону дробина.

Но вот я тоже думал, что, ну, вот предположим, искусственный интеллект...

Василий

Будет в какой-то момент рассуждать, нужны ему люди или нет. Можно позитивно решить, что пускай он решит, что ему нужны зачем-то. Во-первых, не факт, что всех, но он может из жалости, знаешь, как люди сейчас не решают, что надо всех там обезьян в джунглях истребить.

Дмитрий

Да, да, да, да.

Василий

Но, предположим, он хочет от людей что-то продолжать учить. Вот сейчас масса всех говорит, что надо учить такие профессии, которые не интеллектуальные, руками: электрик, сантехник. Мне кажется, это тоже всё временно, потому что если этот интеллект будет умным, то на уровне роботов это сделать — ну, два-три года, ну, пять лет — это максимум. А скорее всего, если вот этот прогресс интеллектуальный, он может быть вначале идти медленно-медленно, потом бах — и, знаешь, за ночь всех роботов обновил, там новые как-то... Это всё можно сделать молниеносно, быстро, гораздо быстрее, чем мы можем себе представить.

Если вернуться: если он хочет от нас что-то продолжать изучать, то мне кажется, это какие-то, может быть, вещи про искусство, которые ему сложнее. Но в этом нас пытаться, знаешь, изучить...

Дмитрий

Здесь, конечно, мы должны тогда поверить в то, что у ИИ будет осознание того, что он в чём-то слабый. То есть если он будет уверен в себе: «Да, я искусство делаю вообще не хуже людей, даже, может, лучше», — то зачем они мне нужны в этом плане? То есть он должен как-то чувствовать свою ущербность.

Василий

Это узкое ощущение. Во-первых, мы исходим из того, что он должен решить: а прошлое искусство нужно вообще как таковое? Я здесь исхожу, знаешь, из того, что, если эволюционно это возникло, что даже какие-то животные любят искусство делать, иногда прекрасное, это и есть, значит, это теоретически как-то на вселенском уровне нужно.

И люди будущие... Мы просто чуть-чуть умнее, мы научились это делать, но мы ещё не настолько умные, чтобы хорошо прочувствовать и понять, зачем это именно нужно в практическом смысле. Но сверхумный искусственный интеллект, предположим, решит, что искусство им нужно. И искусство разное бывает.

Может быть, это стимулирует какие-то логические рассуждения более правильные, значит, с другой стороны, смотрите, или ещё как-то. И он может решить, что, может быть, он лучше во всём. Но мне кажется, ещё будет какой-то этап, когда он будет думать, что он может от людей чему-то научиться.

Неоправданно как-то предполагать, почему хотелось бы надеяться. Надеяться, может быть, запрограммировать... Может, Маск догадается или кто-нибудь такой заложить туда как один из основополагающих принципов...

Дмитрий

Что у людей нужно постоянно учиться искусству или давать им создавать искусство.

Василий

И всё, что мы сейчас перед этим обсуждали, мне кажется, подводит к мысли, что нам давать первые принципы искусственному интеллекту уже поздно. Уже всё.

Дальше мы не должны давать первые принципы, дальше мы можем только себя вести своим примером, подтверждая, что эволюционно это нужно. А именно моральность — он уже как бы прочитал все умные книжки, всё это. Первый принцип он знает. Мы как бы сами их не берём с головы, мы этому учимся. Отчасти мы их... Оно как искусство — мы выстрадали.

Дмитрий

В общем, всё ближе и ближе мы подбираемся к темам, на которые либо нет простых ответов, либо ответы, которые приходят в голову, совсем не утешающие и не обнадёживающие. Где всё начинает зацикливаться на том, что если искусственный интеллект умеет и потреблять, и создавать, и оптимизировать, и уменьшать, увеличивать, предоставлять, кормить, ограничивать, наказывать, то какая вообще наша роль в этом всём?

Просто мы становимся такими же тиграми в загоне, там, в китайском зоопарке, на которых приходят люди, над ними дрожат и делают фотки за стеклом. То есть мы вот до этого уровня уменьшаемся для этого сверхразума?

Или всё-таки у нас есть какая-то в этом более обозначенная, высокая функция?

Василий

Трудно сказать. Ну, пока это всё не подошло, можно наслаждаться на самом деле. Я вот хотел рассказать, я тут делал интересный эксперимент.

У меня на веб-сайте есть список моих любимых фильмов, которые довольно сильно курируют. Ну, может быть, я там какие-то пропустил. Какие-то, может быть, у меня с годами поменялся вкус, но в целом есть такой список.

И я что сделал? Значит, я взял, просто скопировал фильмы и дал искусственному интеллекту такое задание. Вот нескольким разным моделям: вот типа список фильмов, значит, две вещи, которые надо понять. Первое — это описать, что это за стиль, а потом понять, что вообще за характер у человека, которому такие фильмы нравятся.

Ну, там мне описало довольно много, подробно, интересно. И я потом взял это описание, убрал все упоминания всех фильмов, режиссёров, а просто оставил описание портрета этого человека. Даже убрал описание стиля, а просто психологический портрет человека. И другой модели, чтобы она не догадалась, в прошлых чатах не подсмотрела, говорю: «Вот есть такой портрет человека. Составь список любимых фильмов этого человека». Вот, и причём посмотри, вот...

Дмитрий

Предположительно, да, какие бы были нелюбимые фильмы.

Василий

Да, да. Причём, знаешь, какие фильмы, ты думаешь, подошли бы не просто такому человеку, а почему какие фильмы, казалось бы, могли бы подойти, но он их исключит из этого списка всё равно, и какие включит из этого списка.

Очень близко к списку. Просто... Ну там, знаешь, у меня из ста с лишним фильмов, ну, может быть, меньше десяти процентов отклонения.

Дмитрий

Вот так вот. Да, то есть всё очень предсказуемо. Всё, да, да, всё на одном и том же воспитывается, и примерно одинаковые получаются результаты.

Василий

Его описание: что этот человек какие-то любит... Он интеллектуальный или фэнтези, или какие-то... Вот эти общие фразы, да, из них можно выявить не просто, какие режиссёры могли, а конкретные фильмы, которые потрясающие.

Дмитрий

Да, да.

Ну хорошо, на этом мы закончим сегодняшний выпуск и встретимся на следующем.

Василий

Хорошо, давай, репортируй, что там Сан-Франциско, ты пронаблюдал. Это интересно. Хорошо, договорились. Ну давай, на пока.