Теорема Байеса для выбора модели

Введем для начала некоторые определения, которые понадобятся нам для дальнейшего изложения. Через выражение Pr(S) обозначим вероятность наступления некоторого события S в результате проведения испытания. В качестве такого события может выступать, например, «выпадение «решки»», а в качестве испытания — подбрасывание монетки. Пусть задана случайная величина Х, которая может принимать значения из некоторого множества Х = { х1 , х2 , … , xn, […]

Бритва Оккама в научной эстетике и биологических системах

На удивление, два таких, казалось бы, разных вопроса, как «Что должно служить критерием истины?» и «Что такое красота?», оказываются тесно связанными через понятие простоты. Как уже отмечалось, простоту как критерий истинности связывают с принципом бритвы Оккама. Но и в эстетике (по крайней мере, научной, хотя есть основания думать, что не только в ней — см., например, работу [20] о применении понятия простоты […]

Бритва Оккама и принцип минимальной длины описания

Простота гипотезы — это один из наиболее часто применяемых критериев в индуктивном выводе (см., например [1, гл. 12]). Однако сама по себе простота гипотезы не может являться критерием при выборе модели, поскольку самая простая гипотеза — это просто отсутствие какой-либо регулярной модели, выявляющей внутренние закономерности в данных. Так, на любой наблюдаемый факт мы можем сказать: «Такова божья воля». Другими словами, простейшая гипотеза гласит, […]

Критерии сравнения гипотез

Сформулировав задачу индуктивного вывода как выбор из некоторого множества модели, наилучшим образом объясняющей исходные данные, приходим к первичной проблеме, заключающейся в установлении приемлемого критерия для выбора лучшей модели. Нахождение такого критерия — это центральный вопрос, общий для таких областей, как статистический анализ, машинное обучение и философия науки [2, с. 3]. Отметим, что здесь идет речь именно об универсальном критерии, который можно было бы использовать […]

Основные понятия индуктивного вывода

Рассмотрим некоторые важнейшие понятия индуктивного вывода, которые будут являться центральными для всего дальнейшего изложения. При этом будем учитывать, что для каждого из этих понятий существует набор эквивалентных терминов, свойственных различным областям знаний. Исходная информация, на основе которой осуществляется вывод, может обозначаться такими терминами, как «частные факты», «набор исходных данных» («данные наблюдений»), «выборка измеренных значений случайной величины», «реализация случайного процесса». Здесь будет использоваться в основном термин […]

Что такое индуктивный вывод? Неформальное рассмотрение

Все рациональные рассуждения традиционно делятся на дедуктивные и индуктивные [1, с. 141]. Принято считать, что индукция — это умозаключение от частных фактов к некоторому общему гипотетическому утверждению, в то время как дедукция — это способ рассуждения, при котором осуществляется переход от общего знания или фактов к частным следствиям. Однако индуктивному выводу придается и более широкий смысл, если рассмотрение не ограничивается формальной логикой. Наиболее […]

Универсальность и однозначность ИМИ

Действительно ли модели ИМИ (модели типа AIξ) описывают универсальный интеллект? Мы уже видели, что постановка задачи для ИИ как максимизации целевой функции является неполной: сама проблема задания целевой функции оказывается весьма непростой (сюда можно включить и более частную проблему задания диапазона предсказания). Но является ли ИМИ универсальным хотя бы в плане решения этой задачи? Здесь […]

Модель AIξ

Модель AIξ [Hutter, 2005] получается из (2.1.4) и (2.1.5) путем подстановки ξ(q) вместо μ(q). где  определяется так же, как и . Эту модель можно записать в разных формах. Можно не только заменить перебор программ агента p на перебор действий, но и ввести перебор по цепочкам ответов среды , хотя в такой форме все равно придется […]

Проблема универсального предсказания

Как строить модель универсального интеллектуального агента, если не дано μ(q)? Нужно вспомнить, что под μ(q) подразумевается не истинное, а некое лучшее (с учетом имеющейся априорной информации) распределение. Но в реальности это распределение построить крайне проблематично. Какое распределение стоит принять при минимуме априорной информации? Пусть это распределение ξ. Для соблюдения универсальности необходимо, чтобы для любой программы q […]

Неопределенная среда

Случай известной детерминированной среды с заданной целевой функцией банален. По сути, вся область ИИ началась с рассмотрения этого случая, когда была высказана лабиринтная гипотеза мышления. И, естественно, исследователи очень быстро с общей постановки задачи перешли к вопросу о том, как ее решать на практике в условиях ограниченных вычислительных ресурсов. Вместе с тем заданность среды означает […]