Принципы оценки адекватности и точности моделей

Какой бы сложной и полной не была модель, она тем не менее является приближенным отображение реального объекта и отражает его при определенных принятых допущениях. Однако до тех пор пока не доказана адекватность модели реальной обстановке, нельзя с уверенностью утверждать, что с ее помощью получается те результаты, которые действительно характеризуют функционирование исследуемого объекта. Оценка адекватности и точности математической модели любого типа, в том числе и имитационной, является важнейшей задачей моделирования, так как любые исследования на неадекватной модели теряют смысл.

С ростом адекватности и точности модели возрастают как ее стоимость, так и ценность для исследования, в связи с чем приходится решать вопрос о компромиссе между стоимостью модели и последствиями ошибочных решений из-за ее неадекватности исследуемому процессу. Поэтому на практике построение модели представляет собой итеративный процесс усовершенствования системы моделей, а следовательно, и исследования объекта до тех пор, пока это считается разумным. Поэтому и оценка адекватности и точности модели представляет собой непрерывный процесс, начинающийся с началом исследования. Правильность построения модели может быть проверена только на практике за счет повторения цикла «построение модели – проверка модели».

Следует отметить, что понятие адекватности модели не имеет качественного измерения: модель либо адекватна явлении., либо не адекватна (естественно, сточки зрения выносящего суждение – заказчика). Говорить о количественной оценке точности перехода от концептуальной модели к математической. Правомерно говорить лишь о количественной оценке точности реализации на ЭВМ заданной и адекватной объекту математической модели. При этом, естественно, предполагается, что программа, реализующая вычисления по математической модели, не содержит ошибок, исходные данные введены в машине правильно, а ЭВМ в процессе счета не имела сбоев в работе. Модель является достоверной, если ее концептуальная модель адекватна исследуемому процессу, математическая модель адекватна концептуальной, а точность реализации математической модели на ЭВМ соответствует заданной, т.е. погрешности расчета не превышают допустимых

Основные ошибки при формировании концептуальной модели следующие:

• неправильный выбор критериев или ограничений;

• введение в концептуальную модель несущественных факторов или отсутствие в ней ряда существенных факторов;

• неучет ряда условий функционирования объекта;

• неправильный выбор гипотез, положенных в основу структуры модели (например, по составу элементов объекта, связей между ними в процессе функционирования и т.п.).

Проверка адекватности концептуальной модели является достаточно сложной задачей, так как оценка принципов, положенных в основу модели, является субъективной. Лучшим методом проверки адекватности концептуальной модели является рассмотрение модели специалистами, не участвовавшими в ее разработке (экспертиза модели), так как они могут более объективно рассмотреть задачу и заметить слабые стороны модели, не замеченные авторами. Окончательное решение об адекватности концептуальной модели принимается только заказчиком, который при одобрении концепции одобряет тем самым все положенные в основу модели допущения.

Основные принципиальные ошибки при переходе от концептуальной модели к математической следующие:

структура математической модели не соответствует структуре концептуальной модели;

модель включает неверные математические соотношения.

По окончании разработки математической модели до начала программирования необходимая проверка адекватности должна дать ответ на вопрос, насколько используемые уравнения или моделирующий алгоритм отражает концептуальную модель. Если уравнения получены теоретическим путем, могут быть проведены вычисления в нескольких точках с целью определения приемлемости результатов. Дополнительная проверка уравнений состоит в анализе размерностей. Необходимо убедиться, что все единицы измерения применены в соответствии с физическим смыслом, масштабирование и согласование размерностей в уравнениях проведено правильно. Кроме того, обязательными являются проверка результатов в условиях, когда факторы модели принимают предельные значения.

При переходе от концептуальной модели к математической для формализации описания явлений используются линеаризация, аппроксимация, интерполяция, причем каждый метод вносит определенные погрешности. Если уравнения выведены на основании анализа эмпирических данных, необходимо провести выборочную проверку согласия с опытными данными. При этом могут быть использованы статистические выборки для оценки средних значений и дисперсий, дисперсионный, регрессионный, факторный и спектральный анализ, автокорреляция, метод проверки с помощью критерия «-квадрат» и непараметрические проверки. Так как каждый из этих статистических методов основан на некоторых допущениях, то при их использовании возникают вопросы, связанные с оценкой их адекватности.

Решение об адекватности математической модели по отношению к концептуальной также принимается только заказчиком, который тем самым разрешает исследователю перейти к этапу реализации математической модели на ЭВМ.

Оценка точности математической модели представляет одну из наименее исследованных методологических проблем в теории моделирования. Рассмотрим, например, измерение погрешности при изготовлении детали. Если x_и– размер детали на чертеже (идеальный размер), а х_Ф– фактический размер изготовленной детали, то абсолютная погрешность изготовления рассчитывается по формуле

. (4.7)

Заметим, что определить погрешность можно после изготовления детали.

Заказчика интересует, насколько результаты моделирования могут отличаться от того, что он получает на практике, реализуя полученные на модели рекомендации. При этом погрешность модели для него характеризуется выражением, аналогичным (4.7):

, (4.8)

где x_Ф– фактический результат, полученный в производстве после внедрения рекомендаций модели;x_М– «теоретический» результат, т.е. полученный при расчетах по математической модели.

Однако оценка (4.8) может быть получена заказчиком только послетого, как рекомендации модели внедрены. А если модель неправильна или велика ошибка? Естественно, что заказчик хотел быдовнедрения рекомендаций, полученных на модели, убедиться в том, что им можно доверять, что они характеризуются приемлемой для него погрешностью, т.е. определить величинудореализации результатов моделирования.

Но тогда , гдеx_И– результат. Полученный на «идеальной» математической модели, т.е. модели, не имеющей погрешности. В качестве «идеальной» математической модели может быть принята адекватная концептуальной и утвержденная заказчиком математическая модель исследуемого процесса до ее реализации на ЭВМ.

Обычно точность реализации математической модели на ЭВМ рассматривают через совокупность различного рода погрешностей.

Если классифицировать погрешности реализации «идеальной» модели на ЭВМ с точки зрения причин их возникновения ( в качестве наиболее общего случая рассмотрим имитационное статистическое моделирование), можно выделить четыре их вида:

1. погрешности моделирования, являющиеся результатом незнания или неточного задания исходных даны;

2. погрешности моделирования, возникающие при упрощении исходной математической модели;

3. погрешности расчета выходных характеристик из-за дискретной реализации математической модели на используемой цифровой вычислительной машине, в том числе ошибки округления;

4. погрешности моделирования, обусловленные ограниченностью статистики при выборочной обработке статистической информации или ограниченным числом случайных испытаний модели на ЭВМ (имитации).

Как правило, погрешности моделирования представляют собой сумму систематических (неслучайных) и случайных ошибок. Рассмотрим отдельные группы погрешностей.

Погрешности моделирования, возникающие из-за неточного

задания исходных данных

Как указывалось ранее, входные факторы математической модели по своей природе можно разделить на управляемые переменные (выбираются исследователем), детерминированные, случайные и неопределенные факторы. Учет в модели даже очень большого числа детерминированных факторов не приводит к существенным вычислительным трудностям. Включение в модель случайных факторов на два-три порядка увеличивает объем вычислений. Увеличение числа переменных и неопределенных факторов с оптимизационных моделях также существенно увеличивает объемы вычислений по нахождению оптимальных решений. В ряде случаев их большая размерность не позволяет отыскать оптимальное решение в отведенное время.

Стремление уменьшить объем вычислений заставляет исследователя рассматривать менее существенные факторы этих групп как детерминированные, внося тем самым ошибки в результаты моделирования. Кроме того, неточность априорных сведений зачастую приводит к тому, что исходные данные в виде констант модели будут определены с ошибками. Поэтому помимо приближенного числового значения входного детерминированного (или рассматриваемого как детерминированный) фактора необходимо указывать также его предельную абсолютную погрешность (или доверительный интервал), определенную эвристически или с помощью известных методов математической статистики.

Для изучения влияния величины этих погрешностей на точность расчета характеристик функционирования объекта обычно применяют методы теории чувствительности, основанные на линеаризации исследуемой функции. Вычисляемые коэффициенты чувствительности функции по отношению к изменению соответствующего фактора характеризуют степень, с которой выходная характеристика подвержена изменениям при изменении интересующих исследователя входных факторов. Однако непосредственное получение уравнений чувствительности может натолкнуться на серьезные трудности, обусловленные большой размерностью вектора входных факторов. Поэтому на практике уравнения чувствительности составляют для небольшого числа факторов модели, наиболее значимо влияющих на точность определения выходных характеристик системы. Выбор значимых факторов проводится экспертными методами.

Погрешности упрощения исходной математической модели

При реализации математической модели на ЭВМ приходится решать задачи, связанные с упрощением исходной математической модели. Чаще всего исходную математическую модель упрощают в целях получения пусть приближенного, но аналитического решения, позволяющего быстро определить как область нахождения экстремума, так и влияния на нее расположение тех или иных факторов модели. Для решения подобных задач, как правило. Используют методы аппроксимации исходных элементов математической модели более простыми математическими зависимостями, например заменой нелинейных зависимостей линейными, полиномов высоких степеней полиномами низких степеней, негладких функций гладкими и т.д. Величина ошибки определяется степенью аппроксимации и в ряде случаев сравнительно легко может быть рассчитана.

Погрешность расчета выходных характеристик из-за дискретной

реализации математической модели на ЭВМ

Одним из видов ошибок дискретной реализации является погрешность округления за счет конечного числа разрядов ЭВМ. Погрешность округления возникает при делении, умножении, возведении в степень, в случае выполнения трансцендентных операций ( таких, как логарифмирование), тогда неизбежно приходится ограничивать количество значащих цифр, т.е. производить округление промежуточных результатов.

Применяемые при решении моделей численные методы вносят погрешность, связанную с заменой бесконечного вычислительного процесса конечным и называемую погрешностью данного метода или методической ошибкой. Например, производная заменяется конечной разностью, интеграл – суммой и т.п. Эти погрешности обусловлены ошибками численного интегрирования дифференциальных уравнений, итерационных процедур поиска экстремума, решения системы алгебраических уравнений и многими другими ошибками, которые сопровождают процессы реализации математических моделей на ЭВМ. Погрешности этого вида изучаются в численных методах математического анализа и математического программирования, где выводятся их оценки, например остаточный член формулы квадратур, остаточный член интерполяционной формулы.

Замена непрерывных величин дискретными при численном исследовании процессов на ЭВМ также приводит к погрешностям, величина которых зависит от шага дискретизации. Количественную оценку составляющих этих погрешностей удается провести на уровне относительно автономных частей математической модели – модулей, реализующих данный численный метод. При разработке модулей стремятся выбрать такие методы дискретной реализации, которые на основании имеющихся сведений позволяют утверждать, что погрешности моделирования не будут превышать заданных величин. В процессе испытания модели справедливость этих априорных утверждений в ряде случаев можно проверить с использованием результатов проведенных экспериментов.

Погрешности, обусловленные ограниченностью объема

статистических данных

Этот тип погрешностей характерен для моделей, включающих в состав входов случайные факторы. В связи с тем, что на практике исследователь всегда имеет дело только с ограниченной статистической выборкой, форма и характеристики построенных на ее основе экспериментальных законов распределения будут отличаться от формы и характеристик законов распределения, соответствующих генеральной совокупности статистических данных. Величина ошибок этого рода будет в первую очередь зависеть от объема статистической выборки и в меньшей степени от выбранного метода сбора и обработки статистических данных.

Для имитационной статистической модели результирующая погрешность этого рода будет определяться как погрешностью определения законов распределения входных случайных факторов (зависит от объема экспериментальных данных о значениях случайных величин), так и погрешностью реализации этих законов распределения на ЭВМ (зависит от числа реализаций – прогонов модели на ЭВМ для различных значений случайных величин). Мерой их количественного выражения является величина доверительного интервала тех или иных характеристик экспериментального (для входных факторов) или полученного при моделировании на ЭВМ (для выходных факторов) закона распределения (средняя, эмпирический стандарт и т.д.). при использовании в математической модели регрессионных зависимостей погрешность моделирования будет определяться также доверительными интервалами для коэффициентов в уравнении регрессии (они также зависят от объема статистики).

Ошибки, обусловленные ограниченностью объема статистических данных являются контролируемыми в том смысле, что при необходимости они могут быть уменьшены за счет увеличения их объема. Безусловно, это приводит к увеличению затрат (либо на сбор информации, либо затрат машинного времени при реализации модели на ЭВМ), но в разумных пределах этим фактором можно пользоваться для уменьшения суммарной погрешности моделирования.

Расчет суммарной погрешности модели

Чтобы правильно просуммировать систематические и случайные ошибки, необходимо сначала их разделить. Затем систематические ошибки алгебраически суммируются для получения результирующей систематической ошибки для всех рассматриваемых компонентов. Так,

Случайные ошибки суммируются в обычном среднеквадратичном смысле:

Если при построении модели пренебрегают случайными факторами, учесть которые можно, но которые в целях упрощения включаются в модель детерминированными средними значениями, то соответствующая составляющая методической ошибки может быть вычислена по формуле

,

где – среднеквадратичное отклонение неучитываемых входных факторов от средних значений;- число неучитываемых случайных факторов;– коэффициент чувствительности целевой функции (или некоторой выходной характеристики) к изменению фактора.

Часто используемая аппроксимация результирующей ошибки, вызванной одновременным присутствием систематической и случайной ошибок, получается вычислением корня квадратного из суммы квадратов систематической и случайной компонент:

Необходимо имеет в виду, что изменение величин составляющих суммарной ошибки в тех случаях, когда они заметно меньше остальных, не приводит к существенному изменению суммарной ошибки. Поэтому, если модель является грубой, или часть информации, вводимой в модель, определена с большими ошибками, неизвестная информация также может быть установлена весьма приближенно. При построении модели следует стремиться к тому, чтобы все составляющие суммарной ошибки были примерно одного порядка.

Поиск компромиссного соотношения между случайными и систематическими ошибками практически всегда связан с анализом допустимых упрощений как исходных алгоритмов отдельных модулей, так и алгоритма их взаимодействия. При создании математической модели способы анализа возможных упрощений бывают различными, но главное – обеспечить расчеты в отведенное время и достичь при этом заданной точности расчета. Таким образом можно найти рациональную сложность модели, обеспечивающую минимальную величину суммарной погрешности при заданном машинном времени. Во всех случаях построения моделей следует выбирать оптимальное сочетание сложности модели (определяющей методическую ошибку) и метода расчета (определяющего ошибку расчета) с точностью входной информации.

Анализ результатов моделирования и оценка адекватности построенной модели позволяет сделать вывод о необходимости корректировки имеющейся модели и ее направлениях (учет новых факторов, переход от линейных зависимостей к более гибким нелинейным, замена статических моделей динамическими, учет стохастичности и т.д.).

Распределение допусков на управляемые переменные объекта

Как правило, время, стоимость и возможности построения объекта не позволяют требовать точного соответствия всех его управляемых переменных расчетным оптимальным значениям без каких-либо допусков. В реальных условиях вариации параметров объекта оказываются неизбежными из-за воздействия различных внешних условий, неучтенных моделью, постепенным их изменением на протяжении срока функционирования объекта. По этой причине «наилучшие» значения переменных должны выбираться с учетом влияния вариаций и допусков, а не для некоторых кратковременных «оптимальных» условий, которые могут быстро исчезнуть или практически ен существовать. Термин «допуск» употребляется для обозначения установленного допущения ошибки в параметре или каком-либо другом требовании и отражает максимально допустимую ошибку в противоположность действительной ошибке в каждом конкретном случае. Когда связь между изменение выходных характеристик и изменением переменных известна и известны допуски на характеристики, можно определить величины допуска на значения параметров:

,

где D_E–допуск на выходную характеристику модели (например, критерий оптимальностиE); устанавливается заказчиком в техническом задании на разработку математической модели– суммарная погрешность модели при расчете выходной характеристикиE;– суммарный допуск по выходной характеристикеEна значение управляемых переменных .

Естественно, что проблема установления допусков возникает только в том случае, когда суммарная погрешность модели меньше величины допуска, т.е. .

При распределении суммарного допуска по управляемым переменнымнеобходимо ответить на два основных вопроса: как изменяется выходная характеристика при изменении каждой переменной, т.е. каков вид зависимостей? Какова связь между допусками на отдельные переменный? Например, может ли изменение характеристики, вызванные одновременным переменных быть аппроксимировано суммой изменений, вызванных изменением каждой переменной с отдельности, т.е.?

Обычно любым из пригодных методов (аналитическим, теории планирования экспериментов и т.п.) строят уравнения чувствительности относительно переменных моделей x_iдля интересующего исследователя диапазона их изменения:

. (4.9)

Зная коэффициенты чувствительности по переменным , определяют допуски по переменным, для которых бы выполнялось равенство

. (4.10)

Выражение (4.10) не дает однозначного решения при определении величины допусков для отдельных переменных, а являются необходимым условием. Окончательно величины допусков выбираются исследователем эвристически, в том числе путем привлечения неформализуемой информации.

При разработке имитационных моделей в целях сокращения времени важно организовать работу так, чтобы программирование модулей в моделирующих алгоритмах велось параллельно и была уверенность в том, что точность описания процессов в модулях обеспечит требуемую точность расчета выходных характеристик всего объекта. При известных требованиях к точности значительно упрощается выбор метода моделирования и способов реализации операторов, описывающих процессы в отдельных модулях.

Для начальных этапов разработки модели в условиях неполной информации в литературе предлагается на основании оценки экспертов получить совокупность весовых коэффициентов , определяющих распределение допуска выходной характеристики системыD_Eпо каждомуr-му модулю:

.

Коэффициенты могут рассчитываться как суммы относительных ошибок оценки параметровx_irкаждогоr-го модуля:

,

где n_r– число параметров, описывающихr-й модуль.

В качестве факторов, входящих в формулу (4.10), могут быть использованы не только переменные, но и другие изменяющиеся или неточно определенные факторы, Далее по изложенной выше методике определяются погрешности по каждому модулю , строятся уравнения чувствительности (4.9) и проводится распределение допусков на переменных по выражениям вида (4.10).

1. Дайте определение имитационной системы и имитационной модели как подкласса математических моделей. Приведите классификацию имитационных моделей и представьте их особенности.

2. Опишите основные этапы имитационного моделирования. В чем основная суть и содержание этапов имитационного моделирования: экспериментирование, интерпретация, трансляция модели, оценка адекватности

3. Дайте основные понятия моделирующего алгоритма и формализованной схемы процесса. Приведите и поясните структуру моделирующего алгоритма для оптимизационной модели со случайными факторами

4. В чем основная суть и содержание процедуры разработки формализованной схемы процесса

5. Приведите основные принципы и способы построения моделирующих алгоритмов

6. В чем суть и содержание метода имитации с использованием модели случайных входов?

7. В чем основная суть и содержание метода преобразования равномерно распределенных случайных чисел, базирующихся на центральной предельной теореме теории вероятности?

8. В чем суть и содержание метода имитации с использованием модели выхода – обработки реализации случайных величин?

9. Опишите основные положения теории оптимального эксперимента. В чем суть планирования экспериментов? Как осуществляется описание результирующих характеристик по результатам реализации планированного эксперимента?

10. Что такое полный факторный эксперимент? Приведите план и графическую интерпретацию эксперимента 2ⁿ. Когда применяется план дробного факторного эксперимента?

11. Что Вы знаете о языках имитационного моделирования? Перечислите некоторые из известных языков.

12. Что такое адекватность и точность математической модели? Какие методы их оценки Вы знаете?

13. Из чего складывается погрешность моделирования? Перечислите основные погрешности моделирования и источники их возникновения.

14. Что Вы знаете о погрешностях моделирования, возникающих из-за неточности задания исходных данных?

15. Как возникают погрешности моделирования за счет упрощения исходной математической модели?

16. Опишите основные погрешности расчета выходных характеристик из-за дискретной реализации математической модели на ЭВМ

17. В чем суть погрешностей, обусловленных ограниченностью объемов исходных статистических данных?

18. Как осуществляется расчет суммарной погрешности математической модели?