СООТВЕТСТВИЕ АДАПТИВНОГО БАЙЕСОВА ПРАВИЛА РЕШЕНИЯ ПРИНЦИПАМ ОПТИМАЛЬНОСТИ В УСЛОВИЯХ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ

Рассмотрим теперь, каким из описанных в § 4.3 принципам пред­почтения и в какой мере удовлетворяет адаптивное байесово правило решения. Это позволит нам установить, является ли правило решения (6.2.18) оптимальным и если да, то каков именно смысл его оптималь­ности.

Принцип предпочтения, связанный с равномерно наилучшим правилом решения

Адаптивное байесово правило (6.2.18) удовлетворяет этому принци­пу в том смысле, что если равномерно наилучшее правило решения существует, то правило решения (6.2.18) обязательно будет таким пра­вилом. Это следует из того, что правило решения (6.2.18) имеет струк­туру оптимального байесова правила, которое в случае существования равномерно наилучшего решения просто не зависит от g.

Более того, адаптивное байесово правило в соответствии с опреде­лениями § 6.2 (в силу выполнения требования (6.2.12)) является рав­номерно наилучшим приближением к оптимальному байесову правилу решения с известным значением g и обладает тем свойством, что наи­большее (по всему множеству значений g) уклонение среднего риска для этого правила от минимально возможного при данном g среднего риска меньше, чем для любого другого правила решения. Таким обра­зом, адаптивное байесово правило решения является самым хорошим из всех приближенно равномерно наилучших правил решения.

Принцип асимптотической оптимальности

Адаптивное байесово правило решения, очевидно, удовлетворяет этому принципу. Это следует из того, что, во-первых, оно имеет ту же структуру, что и оптимальное байесово правило решения с заменой не­известного значения g на оценку максимального правдоподобия g*, а во-вторых, из сходимости оценки максимального правдоподобия к истинному значению g. Тем самым асимптотически адаптивное байе­сово правило решения совпадает с обычным байесовым правилом и дает ту же величину среднего риска.

Минимаксиминный принцип

Адаптивное байесово правило решения (при всех g) лучше (не ху­же) минимаксиминного правила решения. Это следует из того, что принцип выбора обоих видов правил одинаков - берется байесово правило решения, определенное с точностью до параметра g, подбирается наилучшее из наихудших значений g и подставляется в байесово пра­вило решения - за исключением одной весьма существенной детали: в минимаксиминном правиле решения наилучшее значение выбирается из заданного числового множества его значений и не зависит от данных наблюдения х; в адаптивном правиле это значение выбирается из зна­чительно более обширного множества значений всех g(х), в результате чего наилучшее значение подбирается для каждого х. Поскольку мно­жество всех функций g(x) отображающих х в g, содержит в качестве подмножества и функции вида g(x) = g = const при всех x используемые при выборе минимаксиминного правила решения, то ясно, что послед­нее не может быть лучше адаптивного правила ни при каких истинных значениях g.

Принцип минимакса

В общем случае адаптивное байесово и минимаксное решающие правила находятся в обычном соотношении, обсуждавшемся в гл. 4. Максимальное (по g) значение среднего риска для адаптивного байесова правила не меньше, чем величина минимаксного риска, однако при других значениях g средний риск адаптивного байесова правила может быть меньше и даже существенно меньше минимаксного риска. В этой связи особый интерес представляет выявление случаев, когда макси­мальный средний риск адаптивного байесова правила решения не пре­вышает величины минимаксного риска. В таких случаях адаптивное правило равномерно (то есть при всех значениях g) не хуже минимакс­ного правила, а при некоторых (или даже почти всех) значениях g мо­жет оказаться лучше минимаксного.

Один из подобных примеров уже был рассмотрен в § 5.6, где мы нашли совокупность решающих правил (5.6.11); максимальная вели­чина риска достигается при единственном значении неизвестного пара­метра функции правдоподобия  и точно равна минимаксному зна­чению, а при всех  риск меньше минимаксного. Покажем, что пра­вило решения (5.6.11) является адаптивным байесовым правилом и может быть найдено с помощью адаптивного байесова подхода. Дей­ствительно, в общем случае байесово правило решения для двухальтернативной задачи имеет вид

где для случая § 5.6 отношение правдоподобия

z = z(x) - достаточная статистика, линейно зависящая от х и опреде­ляемая выражением (5.6.7). Это отношение правдоподобия зависит от неизвестного параметра , который при адаптивном байесовом подходе следует заменить оценкой максимального правдоподобия * = *(х).

Последняя согласно (6.2.15) определяется из уравнения правдоподо­бия , решение которого с учетом выражений имеет вид * = z.

После подстановки этой оценки в отношение правдоподобия мы. приходим к правилу принятия решения

или эквивалентному ему правилу решения (5.6.11).

Можно привести и другие примеры, когда максимальный средний риск адаптивного байесова правила решения не превышает минимакс­ного риска. Это имеет место, в частности, для всего класса задач, в ко­торых средний риск оптимального байесова правила решения при из­вестном значении g не зависит от этого значения g, хотя само оптимальное правило явно зависит от g и равномерно наилучшего пра­вила решения не существует. Примеры таких задач довольно много­численны. Доказательство высказанного утверждения заключается в следующем. Адаптивное правило решения при выборе оценки (х) в соответствии с требованием (6.2.12) удовлетворяет принципу минимакса для отклонения  среднего риска от среднего риска опти­мального байесова правила решения. Поскольку последний не зависит от g, то адаптивное байесово правило решения одновременно удовле­творяет принципу минимакса и для самой величины среднего риска , то есть для этого правила  не превосходит величины минимаксного риска. Так же как утверждение п. 6.4.4, это утверждение, строго говоря, справедливо при подстановке в правило решения (6.2.6) оценки (x), удовлетворяющей требованию (6.2.12), и может оказаться неточным при использовании оценки максимального правдоподобия g*(x), если последняя заметно отличается от  (x).

Интересно было бы найти достаточно общие условия, при которых максимум риска адаптивного байесова правила решения не больше минимаксного риска. Однако, по-видимому, такая задача не проще, а может быть и сложнее, чем задача отыскания минимаксных правил решения в общем случае, и еще ждет своего решения.