Параметрические и непараметрические методы оценивания

реферат

Параметрические методы оценки

Процедура Роббинса-Монро

Пусть f(x) - некоторая неизвестная функция, значения которой могут быть измерены в любой точке x E1. Функция f(x) - монотонная, непрерывная и имеет единственный корень f(x)=0 в точке x0. Задача состоит в том, чтобы выработать такой план эксперимента, чтобы xsx0 при s. Наблюдения ys=f(xs) статически независимы. Тогда имеем

ys+1(xs,)=f(xs)+g(s+1,xs,(s+1,)),

где (s,) - последовательность независимых случайных величин, определенным на некотором вероятностном пространстве (,U,P) - элементарные случайные события, причем M{g(s,x,)}=0 при любых xE1. Для решения этой задачи Роббинса-Монро предложена следующая процедура

xs+1=xs+sfs+1(xs,),

где x0 - произвольное число. Последовательность положительных чисел s удовлетворяет условиям Роббинса-Монро

Первое из этих условий необходимо для сходимости xs к x0 при s даже при отсутствии случайных ошибок. Иными словами, необходимо, чтобы s были не слишком малыми. с другой стороны s должны быть не слишком большими, в противном случае случайные ошибки нарушают эту сходимость, поэтому необходимо выполнение второго условия (1.4.5).

Теорема 1.1. Пусть выполнены неравенства:

1) sup f(x)(x-x0)<0 >0,

<x-x0<-1,

2) f2(x)+M{g2(s,x,)}<b(1-x2), b>0 - постоянная.

Тогда при выполнении условий Роббинса-Монро для любого xЕ1, процесс xs, определяемый (1.4.4), сходится с вероятностью 1 при s к корню уравнения f(x)=0, т.е. к x0 и

P{lim xs=x0}=1.

Можно также показать, что xs сходится к x0 в среднеквадратическом.

Алгоритм Литвакова

Алгоритм Литвакова позволяет отыскать близкое к оптимальному значение вектора параметров с помощью следующей процедуры

при не оптимальном .

Сущность его состоит в следующем.

Пусть дана обучающая выборка объема . Положив и , где а - некоторая постоянная, осуществляется итеративный процесс вычислений по формуле на п-ом шаге находится , которое принимается в качестве нового начального условия и процесс вычислений продолжается по той же самой выборке .

В результате получаем оценку . Продолжая этот процесс к-раз, найдем оценку . Результат Литвакова и состоит в том, что оценка для достаточно больших к (точнее ) приближается к . Во многих практических задачах к не превышает 5.

Алгоритм Кестена

Известно, что скорость сходимости рекуррентных вероятностных алгоритмов типа при определяется степенным знаком - это следствие влияние помех. Если бы помехи отсутствовали, то следовало бы и скорость сходимости при этом возрастает и определяется показательным законом.

Сущность алгоритма Кестена состоит в том, что вдали от роль помех при измерениях мала и разность будет иметь постоянный знак, а вблизи знак уже существенно зависит от помех и будет меняться. Поэтому в алгоритме Кестена не меняется, когда разность уже не меняет своего знака, и меняется, если знак изменяется.

Чтобы определить разность необходимо по крайней мере два наблюдения. Поэтому и выбираются произвольно (обычно равными единице). Дальнейшее определение подчинено правилу

где целочисленная функция, определяемая выражением

где z - произвольный аргумент.

Делись добром ;)