Принятие решений и предсказание на основе правила Байеса

Мы уже упоминали о возможных различиях между индуктивным выводом и такими проблемами, как предсказание и принятие решений. Здесь мы коснемся этого вопроса чуть подробнее применительно к правилу Байеса. В распознавании образов выбор класса, к которому с наибольшей вероятностью принадлежит данный объект, часто рассматривается в качестве конечной цели. Однако такой подход в ряде случаев может приводить к неожиданным (на первый взгляд) результатам. Типичным […]

Теорема Байеса для выбора модели

Введем для начала некоторые определения, которые понадобятся нам для дальнейшего изложения. Через выражение Pr(S) обозначим вероятность наступления некоторого события S в результате проведения испытания. В качестве такого события может выступать, например, «выпадение «решки»», а в качестве испытания — подбрасывание монетки. Пусть задана случайная величина Х, которая может принимать значения из некоторого множества Х = { х1 , х2 , … , xn, […]

Бритва Оккама в научной эстетике и биологических системах

На удивление, два таких, казалось бы, разных вопроса, как «Что должно служить критерием истины?» и «Что такое красота?», оказываются тесно связанными через понятие простоты. Как уже отмечалось, простоту как критерий истинности связывают с принципом бритвы Оккама. Но и в эстетике (по крайней мере, научной, хотя есть основания думать, что не только в ней — см., например, работу [20] о применении понятия простоты […]

Бритва Оккама и принцип минимальной длины описания

Простота гипотезы — это один из наиболее часто применяемых критериев в индуктивном выводе (см., например [1, гл. 12]). Однако сама по себе простота гипотезы не может являться критерием при выборе модели, поскольку самая простая гипотеза — это просто отсутствие какой-либо регулярной модели, выявляющей внутренние закономерности в данных. Так, на любой наблюдаемый факт мы можем сказать: «Такова божья воля». Другими словами, простейшая гипотеза гласит, […]

Критерии сравнения гипотез

Сформулировав задачу индуктивного вывода как выбор из некоторого множества модели, наилучшим образом объясняющей исходные данные, приходим к первичной проблеме, заключающейся в установлении приемлемого критерия для выбора лучшей модели. Нахождение такого критерия — это центральный вопрос, общий для таких областей, как статистический анализ, машинное обучение и философия науки [2, с. 3]. Отметим, что здесь идет речь именно об универсальном критерии, который можно было бы использовать […]

Основные понятия индуктивного вывода

Рассмотрим некоторые важнейшие понятия индуктивного вывода, которые будут являться центральными для всего дальнейшего изложения. При этом будем учитывать, что для каждого из этих понятий существует набор эквивалентных терминов, свойственных различным областям знаний. Исходная информация, на основе которой осуществляется вывод, может обозначаться такими терминами, как «частные факты», «набор исходных данных» («данные наблюдений»), «выборка измеренных значений случайной величины», «реализация случайного процесса». Здесь будет использоваться в основном термин […]

Что такое индуктивный вывод? Неформальное рассмотрение

Все рациональные рассуждения традиционно делятся на дедуктивные и индуктивные [1, с. 141]. Принято считать, что индукция — это умозаключение от частных фактов к некоторому общему гипотетическому утверждению, в то время как дедукция — это способ рассуждения, при котором осуществляется переход от общего знания или фактов к частным следствиям. Однако индуктивному выводу придается и более широкий смысл, если рассмотрение не ограничивается формальной логикой. Наиболее […]