«Непредвзятый» универсальный алгоритмический интеллект. Идеальный минимальный интеллект

Постановка задачи

Попробуем рассмотреть модель идеального минимального интеллекта (ИМИ) как рационального агента, пытающегося, действуя в некотором мире, максимизировать свою целевую функцию (функцию полезности). Вначале будем полностью пренебрегать требуемыми вычислительными ресурсами. Практически не умаляя общности можно считать, что агенту в дискретные моменты времени доступен конечный набор элементарных действий и показаний сенсоров. Набор сенсоров включает как внешние, так и внутренние, в том числе, и целевую функцию. Практически любую, как частную, так и общую задачу в области ИИ можно представить в таком виде, надлежащим образом выбрав «сенсоры», «эффекторы» и «целевую функцию» (хотя не всегда этот выбор очевиден и естественен).

Так, робот, решающий какую-то задачу на производстве, или программа, играющая в шахматы, вполне прозрачно представляются в такой форме. Относительно агентов, обладающих общим интеллектом (таких как человек), аналогичный вывод сделать сложнее. Тем не менее, и человек «всего лишь» получает сенсорную информацию и совершает какие-то действия. Ничего сверх этого ему действительно недоступно. Оптимизирует ли он при этом какую-то целевую функцию? С эволюционной точки зрения, можно сказать, что да: это функция приспособленности. Пусть человек это делает и не сознательно (да и сама функция не задана в явном виде), но те организмы, выбор действий которыми не согласован с этой функцией, просто не выживали или не оставляли потомства.

Конечно, можно также сказать, что повышать выживаемость можно многими разными способами, в том числе и не интеллектуальными, например, совершенствованием тела, его «физических» характеристик. Некоторые виды успешно выживают на протяжении многих миллионов лет без использования развитого интеллекта, то есть интеллект для вполне успешной оптимизации их функции приспособленности оказывается не очень нужным. Это относится не только к функции приспособленности, но и к любой другой целевой функции: так, при создании системы распознавания каких-то объектов можно использовать простые неспециализированные сенсоры и интеллектуальные алгоритмы обработки сенсорной информации, а можно использовать сложные специализированные сенсоры, позволяющие выполнять распознавание с помощью элементарных алгоритмов. Таким образом, интеллект, хоть и не противоречит такой постановке (оптимизации целевой функции), но не сводится к ней. Не углубляясь в спор, насколько такая точка зрения справедлива, отметим просто, что все же от интеллектуального агента требуется выбор действий, и под любой конкретный способ выбора можно подобрать некоторую целевую функцию. В этом смысле можно считать, что интеллект оптимизирует некоторую функцию, для которой приспособленность является одним из компонентов или частным случаем. Вопрос здесь не в том, насколько такое представление в принципе допустимо, а в том, насколько оно удобно (и этот вопрос в отношении универсального интеллекта вовсе не праздный).

Другое сомнение может заключаться в том, что задание ограниченного перечня сенсоров и эффекторов для универсального интеллекта выглядит как необоснованное ограничение. Даже у человека (интеллект которого является все же в достаточной мере специализированным, а не абсолютно универсальным) это ограничение не столь жесткое. Человек очень широко использует инструменты для расширения набора своих сенсоров и эффекторов, которые он отчасти интерпретирует в качестве продолжения своего тела. Более того, даже на уровне мозга возможна переориентация зон коры на обработку информации другой модальности. При этом, однако, число «входов» и «выходов» мозга вовсе не меняется. Все изменения обусловлены структурой или контекстом соответствующей информации или действий, что в постановке задачи для универсального ИИ никак не запрещается. Конечно, наделение ИИ способностью непосредственного подключения инструментов как сенсоров и эффекторов новых модальностей может быть полезным, но вряд ли является принципиальным, по крайней мере, для текущего этапа анализа.

Еще один момент заключается в том, что при рассмотрении полностью воплощенного ИИ взаимодействие с миром может не ограничиваться только «штатными интерфейсами» тела агента – сенсорами, целевой функцией и эффекторами. Извне может оказываться произвольное воздействие и на саму программу интеллектуального агента. Иногда это рассматривается как существенный момент [Ring and Orseau, 2011]. Однако для человека такая ситуация означает непосредственное вмешательство в мозг, которое обычно имеет не информационный, а физический (или химический) характер, и человеческих разум очень уязвим по отношению к таким вмешательствам. Конечно, можно поставить вопрос о создании универсального ИИ, который был бы более защищен от подобных воздействий, но в целом этот вопрос представляется не первоочередным.

Таким образом, одной из наиболее общих (хотя, возможно, не самой удачной) является следующая постановка задачи для универсального интеллекта. На вход агенту в каждый момент времени t по сенсорному входу подаются значения o_{t}, принадлежащие некоторому множеству O, которое может иметь определенную структуру; от среды через «тело» поступают скалярные значения подкрепления r_{t}, которые принадлежат заданному диапазону R=(r_{min}, r_{max}). Пару (o_{t}, r_{t}) будем обозначать для краткости x_{t}x_{t} ∈ X = O × R . Также агент совершает действия y_{t} (принадлежащие некоторому множеству Y) так, чтобы максимизировать суммарное значение целевой функции в будущем

formula_34

где k – текущий момент времени. Отметим, что здесь мы будем использовать обозначения, преимущественно заимствованные из [Hutter, 2005], поскольку представленная в данной работе модель универсального ИИ, является наиболее широко известной и может рассматриваться в качестве нулевого приближения к реальному сильному ИИ.

В данной формулировке (2.1.1) задача, очевидно, не является корректно поставленной: агенту необходимо максимизировать значения r_{t} при t >k, о которых в условии задачи ничего не сказано. Иными словами, необходимо вводить хоть какие-то предположения о мире, которые бы позволили установить связь между предшествующими значениями o_{t}, r_{t}, y_{t}  и их будущими значениями.