Адекватность постановки задачи максимизации целевой функции

Одним из очевидных вопросов, которые здесь возникают, является выбор интервала времени (вернее, его верхнего предела), по которому производить суммирование. Этот вопрос, обойденный при записи уравнений (2.1.1)–(2.1.3), не имеет очевидного ответа и требует анализа. Посмотрим на традиционный пример шахматной позиции.

formula_39

Идея здесь в том, что съедание белыми ладьи черных приведет к проигрышу. Ничья же достигается лишь в пределе. Никакая конечная глубина перебора не позволит переборному алгоритму «понять», что перманентный отказ от съедания ладьи эквивалентен ничьей. Это, правда, не помешает в данной ситуации агенту действовать адекватно: ведь при достаточной глубине перебора съедание будет за конечное число ходов приводить к проигрышу, поэтому оценка съедания ладьи будет ниже, чем любого другого (правда, агент не будет «понимать» эквивалентность сколь угодно долгое несъедание и ничьей). Кроме того, в практическом смысле агент не может существовать вечно, поэтому бесконечно длинная игра является не более чем абстракцией. Само время существования Вселенной является конечным, и сложно представить себе реалистичную ситуацию, когда у воплощенного агента глубина перебора должна быть неограниченной.

В то же время, с понятием бесконечности как элементом некоторого символьного представления такой агент тоже вполне сможет работать. А поскольку у человека символьные представления имеют семантическую основу в сенсорике и моторике, то есть просто являются какими-то комбинациями x и y, это должно быть в принципе доступно (хоть и не в явном виде) рассматриваемому агенту. Тем не менее, вполне возможно, что у понятия бесконечности какая-то выделенная семантическая основа, которая делает для человека рассуждения о бесконечных (в частности, циклических) процессах гораздо более естественными, чем для переборного алгоритма. Кроме того, безостановочные процессы имеют отношение к расширению классического понятия вычислимости (т.н. вычислимость в пределе), поэтому могут быть важным компонентом теории универсального интеллекта, что отмечается, например в [Schmidhuber, 2003]. Однако поскольку нас сейчас интересует, будет ли наш агент действовать адекватно, а примеров очевидно неадекватного выбора действий нет, мы эту проблему отложим до рассмотрения более содержательных моделей.

Возвращаясь к вопросу о диапазоне времени суммирования, стоит отметить, что само принятие возможности ограничения этого диапазона не дает ответа на вопрос, как именно его нужно ограничивать. В частности, ограничение этого диапазона предполагаемым временем жизни агента ведет к неадекватному (вернее, нежелательному для людей) поведению. К примеру, такой агент ценою своей жизни не будет кого-либо спасать и вообще будет неизбежно действовать по принципу «после нас хоть потоп». Естественно, при создании сильного ИИ нужно будет решить проблему выбора надлежащего диапазона суммирования или, говоря более широко, желательной целевой функции, которая будет оценивать не только личную выгоду агента. В противном случае, экстраполяция этой функции на моменты времени после смерти агента будет давать всегда минимальные значения. Но получается, что целевая функция должна продолжать «существовать» в отсутствие самого агента.

На примере минимального интеллектуального агента особенно хорошо видна трудность задания целевой функции. Сам такой агент руководствуется лишь «сырыми данными» и выбирает цепочки элементарных действий. Никаких понятий он при этом в явном виде не использует, что не мешает ему действовать адекватно за счет исчерпывающего перебора. Но нам необходимо задавать целевую функцию, которая, как раз, и не выражается в показаниях простых датчиков. Для вычисления такой функции потребуется отдельный интеллект, причем не универсальный, а специализированный. Действительно, в случае простых миров, таких как шахматы, задание истинной целевой функции, определяемой правилами игры, вполне возможно; но если представить себе реальный мир, пусть для которого у нас есть точная физическая модель, позволяющая определять состояние мира в любой момент в будущем, перевести информацию об этом состоянии в значения целевой функции, определяемой хотя бы просто выживанием самого агента, будет очень непросто.

Если же целевая функция ограничивается лишь показаниями простых датчиков, в частности, болью и удовольствием, то следует ожидать эгоистичного поведения. Можно, конечно, «воспитывать» данного агента путем подкрепления и наказания. До тех пор пока у агента не будет средств устранить наказание, задаваемое людьми или другими интеллектуальными агентами, он будет действовать желаемым образом. Однако как только такой агент сможет предсказать отсутствие отрицательных для себя последствий, он будет действовать неэтично. Идея «воспитания» ИИ в целом правильная, но чтобы она сработала, необходимо, чтобы это воспитание не просто надстраивалось над имеющейся личной «телесной» целевой функцией, но и меняло ее.

Даже если игнорировать проблему обеспечения «дружественности» ИИ, а ставить перед ним просто задачу собственного выживания, максимизация априорной «телесной» целевой функции этой задаче не вполне удовлетворяет. Действительно, боль и удовольствие являются лишь эвристическими аппроксимациями эволюционной функции приспособленности. Они сродни оценке качества шахматных позиции на основе силы фигур. При этом в жизни, в отличие от шахмат, истинная целевая функция выживания не дана – мы не можем априорно определить, в какой именно ситуации будем живы или мертвы. Если и в шахматах руководствоваться только лишь грубой «телесной» оценкой, то уровень игры будет весьма далеким от оптимального. Также и животные (как, впрочем, в определенной степени и люди) могут максимизировать «телесную» целевую функцию в ущерб выживанию. Наиболее хорошо это видно на опытах, в которых крысам вживляли электроды в центры удовольствия так, что животные могли их самостоятельно активировать. Поскольку целевая функция определяет лишь текущее качество состояния организма, ее экстраполяция не может в явном виде дать предсказание о смерти. Действие электрода увеличивает значение целевой функции нерелевантно истинному состоянию, в связи с чем поведение животного оказывается далеко неоптимальным. Таковым при определенных условиях может оказаться и поведение «универсального» искусственного интеллекта, перед которым поставлена задача максимизации врожденной целевой функции.

Существуют попытки предложить такие врожденные целевые функции, которые бы не приводили к вырожденному поведению [Ring and Orseau, 2011]. Можно рассмотреть гипотетические реакции агентов с разными целевыми функциями на разнообразные дилеммы. Скажем, согласится ли тот или иной агент на неограниченные по времени наслаждения в виртуальной реальности, из которой он не сможет выйти до конца своей жизни? Если же вспомнить неучтенную в простейшей постановке возможность модификации интеллекта самого агента, то перед ним можно поставить и еще более жесткую дилемму: неограниченное наслаждение ценой максимального упрощения интеллекта агента. Вполне очевидно, что интеллектуальный агент, максимизирующий сугубо «телесную» целевую функцию, сделает выбор, на который согласились бы далеко не все люди. В то же время, целевая функция может строиться и на основе работы самого интеллекта, например путем учета разнообразия получаемой информации. Существует мнение [Orseau and Ring, 2011], что агенты с подобной мотивацией не будут подвержены «неправильному» выбору в случае подобных дилемм при том, что к выживанию они будут стремиться как к необходимому условию осуществления познания. С традиционной эволюционной точки зрения, однако, скорее, наоборот, стремление к познанию является эвристикой в целевой функции выживания. Как видно, анализ данных проблем требует более детальных моделей универсального интеллекта.

Таким образом, модель максимизации заданной целевой функции не вполне универсальна; вернее, ее можно считать моделью универсального интеллекта, задача которого ограничивается лишь выполнением этой максимизации на фиксированном временном интервале. Но она не может считаться моделью интеллектуального агента в целом, частью которого является, в том числе, сама целевая функция, а задачей которого является, как минимум, выживание. В конечном итоге нас интересует, конечно, создание интеллектуального агента (причем занимающегося не только выживанием). Мы, однако, пока ограничимся рассмотрением моделей лишь чистого интеллекта.