Кластерный анализ
Кластерный анализ является одним из базовых методов распознавания образов без обучения. Методами кластерного анализа решается задача разбиения (классификации, кластеризации) множества объектов таким образом, чтобы все объекты, принадлежащие одному кластеру (классу, группе) были более похожи друг на друга, чем на объекты других кластеров. В отечественной литературе синонимом термина "кластерный анализ" является термин "таксономия". В иностранной литературе под таксономией традиционно понимается классификация видов животных и растений.
Все рассмотренные далее методы могут быть использованы как для классификации объектов, так и для классификации признаков
Виды используемых в кластерном анализе мер сходства и различия перекликаются с философской дилеммой: "ищите сходство" или "ищите различие". Меры сходства для кластерного анализа могут бы" следующих видов:
Мера сходства типа расстояния (функции расстояния), называемая также мерой различия. В этом случае объекты считаются тем более похожими, чем меньше расстояние между ними, поэтому некоторые авторы называют меры сходства типа расстояния мерами различия.
Мера сходства типа корреляции, называемая связью, является мерой, определяющей похожесть объектов. В этом случае объекты считаются тем более похожими, чем больше связь между ними. Меры могут быть легко приведены к предыдущему типу, как показано ниже.
Фактически, кластерный анализ является не столько обычным статистическим методом, сколько "набором" различных алгоритмов "распределения объектов по кластерам". Следует понимать, что кластерный анализ определяет "наиболее возможно значимое решение". Поэтому проверка статистической значимости в действительности здесь неприменима, даже в случаях, когда известны p-уровни (как, например, в методе K средних).
- Введение
- Раздел I. Введение в теорию вероятностей
- Понятие о случайном событии
- Классическое определение вероятности
- Относительная частота. Статистическое определение вероятности.
- Геометрическая вероятность
- Свойства вероятностей Сложение вероятностей несовместимых событий
- Умножение вероятностей
- Сложение вероятностей совместимых событий
- Формула полной вероятности
- Основные формулы комбинаторики
- Дискретные и непрерывные случайные величины. Понятие «случайные величины»
- Закон распределения случайной величины
- Теоретические распределения вероятностей
- Биномиальное распределение
- Распределение Пуассона
- Числовые характеристики дискретных случайных величин
- Нормальное распределение
- Вопросы для самопроверки:
- Раздел II. Основные понятия и термины биологической статистики Генеральная совокупность и выборка
- Непреднамеренный отбор. Метод последовательных номеров. Случайный и механический методы отбора
- Признаки и показатели
- Правила ранжирования
- Способы группировки первичных данных.
- Схемы (модели) научного исследования
- Однофакторная и многофакторная модель Контрольные и экспериментальные группы
- Метод автоконтроля
- Метод дублирования
- Метод последовательного пополнения групп
- Численность контрольных и экспериментальных групп
- Научные гипотезы
- Направленные гипотезы
- Статистические критерии
- Параметрические критерии
- Непараметрические критерии
- Уровни статистической значимости
- 1 Рода.
- Вопросы для самопроверки
- Раздел III. Статистические методы обработки экспериментальных данных
- Проверка гипотезы о законе распределения
- Χ2 Пирсона
- Описательные статистики Концепция сжатия экспериментальных данных
- Показатели центральной тенденции. Средние.
- Медиана
- Персентили
- Показатели изменчивости
- Стандартизованные данные
- Показатели асимметрии и эксцесса
- Эксцесс
- Работа с качественными переменными Количественная оценка результатов эксперимента.
- Вопросы для самопроверки:
- Сравнение двух независимых групп т критерий Стьюдента
- Критерии согласия для дисперсий
- U критерий Маана-Уитни
- Сравнение качественных признаков Критерий χ2
- Сравнение долей
- Точный тест Фишера
- Сравнение более двух независимых групп Однофакторный дисперсионный анализ Фишера
- Критерий Краскела-Уоллиса
- Сравнение двух зависимых групп Парный т критерий Стьюдента
- Парный критерий т – Вилкоксона
- Критерий x2r Фридмана
- Тест Мак-Немара
- Корреляционный анализ
- Вычисление и интерпретация параметров парной линейной корреляции
- Условия применения и ограничения корреляционно анализа
- Вычисление и интерпретация параметров парной линейной корреляции
- Измерение связи количественных признаков
- Измерение связи порядковых признаков
- Измерение связи номинальных признаков
- Относительный риск. Отношение шансов
- Статистическая оценка надежности параметров парной корреляции
- Частная корреляция
- Факторный анализ
- Вопросы для самопроверки:
- Регрессионный анализ
- Метод наименьших квадратов
- Выбор формы функциональной зависимости
- Применение парного линейного уравнения регрессии
- Корреляционно-регрессионные модели (крм) и их применение в анализе и прогнозе.
- Логистическая регрессия
- Анализ динамических изменений Применение метода наименьших квадратов при исследовании тенденции развития
- Анализ циклических изменений
- Метод обычных средних
- Метод корригирования средних
- Метод отношения фактических данных
- Ошибки, допускаемые при количественной характеристике сезонных колебаний
- Кластерный анализ
- Иерархическое дерево
- Меры расстояния
- Правила объединения или связи
- Метод k средних
- Выбор между параметрическими и непараметрическими тестами: легкая ситуация.
- Выбор между параметрическими и непараметрическими тестами: сложные случаи.
- Выбор между параметрическим и непараметрическим тестом: насколько это на самом деле влияет на результат?
- Одно или двухсторонняя p-оценка?
- Парный или непарный тест?
- Тест Фишера или хи-квадрат?
- Регрессия или корреляция?
- Вопросы для самопроверки:
- Раздел IV. Работа с программой easystatistics Общие сведения о программе EasyStatistics
- Создание новой базы данных
- Работа с файлами
- Копирование и вставка данных
- Работа с фильтрами
- Работа с переменными и строками
- Статистические методы Описательные статистики
- Частотный анализ
- Сравнение независимых выборок
- Сравнение связанных выборок
- Дисперсионный анализ
- Корреляционный анализ
- Множественная регрессия
- Проверка типа распределения эмпирических данных
- Вероятностный калькулятор
- Задания для самостоятельной работы с программой
- Список рекомендуемой литературы
- Граничные (критические) значения 2-критерия, соответствующие разным вероятностям допустимой ошибки и разным степеням свободы
- Критические значения коэффициентов корреляции для различных степеней свободы (n - 2) и разных вероятностей допустимых ошибок