Параметрические и непараметрические методы оценивания
Параметрические методы оценки
Процедура Роббинса-Монро
Пусть f(x) - некоторая неизвестная функция, значения которой могут быть измерены в любой точке x E1. Функция f(x) - монотонная, непрерывная и имеет единственный корень f(x)=0 в точке x0. Задача состоит в том, чтобы выработать такой план эксперимента, чтобы xsx0 при s. Наблюдения ys=f(xs) статически независимы. Тогда имеем
ys+1(xs,)=f(xs)+g(s+1,xs,(s+1,)),
где (s,) - последовательность независимых случайных величин, определенным на некотором вероятностном пространстве (,U,P) - элементарные случайные события, причем M{g(s,x,)}=0 при любых xE1. Для решения этой задачи Роббинса-Монро предложена следующая процедура
xs+1=xs+sfs+1(xs,),
где x0 - произвольное число. Последовательность положительных чисел s удовлетворяет условиям Роббинса-Монро
Первое из этих условий необходимо для сходимости xs к x0 при s даже при отсутствии случайных ошибок. Иными словами, необходимо, чтобы s были не слишком малыми. с другой стороны s должны быть не слишком большими, в противном случае случайные ошибки нарушают эту сходимость, поэтому необходимо выполнение второго условия (1.4.5).
Теорема 1.1. Пусть выполнены неравенства:
1) sup f(x)(x-x0)<0 >0,
<x-x0<-1,
2) f2(x)+M{g2(s,x,)}<b(1-x2), b>0 - постоянная.
Тогда при выполнении условий Роббинса-Монро для любого xЕ1, процесс xs, определяемый (1.4.4), сходится с вероятностью 1 при s к корню уравнения f(x)=0, т.е. к x0 и
P{lim xs=x0}=1.
Можно также показать, что xs сходится к x0 в среднеквадратическом.
Алгоритм Литвакова
Алгоритм Литвакова позволяет отыскать близкое к оптимальному значение вектора параметров с помощью следующей процедуры
при не оптимальном .
Сущность его состоит в следующем.
Пусть дана обучающая выборка объема . Положив и , где а - некоторая постоянная, осуществляется итеративный процесс вычислений по формуле на п-ом шаге находится , которое принимается в качестве нового начального условия и процесс вычислений продолжается по той же самой выборке .
В результате получаем оценку . Продолжая этот процесс к-раз, найдем оценку . Результат Литвакова и состоит в том, что оценка для достаточно больших к (точнее ) приближается к . Во многих практических задачах к не превышает 5.
Алгоритм Кестена
Известно, что скорость сходимости рекуррентных вероятностных алгоритмов типа при определяется степенным знаком - это следствие влияние помех. Если бы помехи отсутствовали, то следовало бы и скорость сходимости при этом возрастает и определяется показательным законом.
Сущность алгоритма Кестена состоит в том, что вдали от роль помех при измерениях мала и разность будет иметь постоянный знак, а вблизи знак уже существенно зависит от помех и будет меняться. Поэтому в алгоритме Кестена не меняется, когда разность уже не меняет своего знака, и меняется, если знак изменяется.
Чтобы определить разность необходимо по крайней мере два наблюдения. Поэтому и выбираются произвольно (обычно равными единице). Дальнейшее определение подчинено правилу
где целочисленная функция, определяемая выражением
где z - произвольный аргумент.