Вращение факторов. Выделение и интерпретация факторов

Факторный анализ

 Факторный анализ (factor analysis) – многомерный статистический метод, применяемый для изучения взаимосвязей между значениями количественных переменных. Основная идея факторного анализа заключается в том, что имеющиеся зависимости между большим числом исходных наблюдаемых переменных определяются существованием гораздо меньшего числа скрытых или латентных переменных, называемых факторами.

Поэтому факторный анализ используется или как метод сокращения данных или как метод классификации. Факторный анализ позволяет исследователю описать объект измерения с одной стороны всесторонне, учитывая множество исходных тесно взаимосвязанных между собой переменных, а с другой стороны компактно с помощью небольшого числа переменных.

Главными целями факторного анализа являются:

(1)сокращение числа переменных (редукция данных);

(2) определение структуры взаимосвязей между переменными, т.е. классификация переменных.

Факторный анализ позволяет исследователю описать объект измерения с одной стороны всесторонне, учитывая множество исходных тесно взаимосвязанных между собой переменных, а с другой стороны компактно с помощью небольшого числа переменных.

Математическая модель

    Имеется  исходных переменных  имеющих совместное нормальное распределение с вектором средних  и ковариационной матрицей .

    Факторная модель представляется в виде

где постоянные,  Переменные  называются общими или латентными факторами, поскольку они используются для представления всех исходных переменных. Предполагается, что общие факторы не коррелированны и имеют единичные дисперсии. Переменные  называются специфическими факторами, поскольку для каждой исходной переменной определяется своя переменная

    Предполагается, что общие  факторы не коррелированны и что

где - так называемая специфическая дисперсия, или специфичность -ой исходной переменной. Переменные  и  предполагается некоррелированными,  Постоянные  называются факторными нагрузками.

    Таким образом,  компонент модели можно рассматривать как общих факторов, описывающих структуру зависимости исходных переменных, в то время как   общих факторов факторной модели описывают основную часть структуры зависимости, а специфические факторы -- оставшуюся часть.

Основными задачами факторного анализа являются

· Выбор метода факторного анализа

· Оценивание общих факторов

· Определение числа факторов

· Вращение факторов 

· Интерпретация факторов

Оценивание общих факторов

    Техника факторного анализа направлена на оценку факторных нагрузок  и специфических дисперсий , а также на определение для каждого объекта значений общих факторов.  

При анализе в один фактор объединяются сильно коррелирующие между собой переменные, как следствие происходит перераспределение дисперсии между компонентами и получается максимально простая и наглядная структура факторов. После объединения коррелированность компонент внутри каждого фактора между собой будет выше, чем их коррелированность с компонентами из других факторов. Эта процедура также позволяет выделить латентные переменные, что бывает особенно важно при анализе социальных представлений и ценностей. Например, анализируя оценки, полученные по нескольким шкалам, исследователь замечает, что они сходны между собой и имеют высокий коэффициент корреляции, он может предположить, что существует некоторая латентная переменная, с помощью которой можно объяснить наблюдаемое сходство полученных оценок. Такую латентную переменную называют фактором. Данный фактор влияет на многочисленные показатели других переменных, что приводит нас к возможности и необходимости выделить его как наиболее общий, более высокого порядка. Для выявления наиболее значимых факторов и, как следствие, факторной структуры, наиболее оправданно применять метод главных компонент (МГК).

Суть метода состоит в том, что ищутся такие линейные комбинации исходных переменных

что

,

.

    Идея МГК состоит в замене коррелированных компонентов некоррелированными факторами. Другой важной характеристикой метода является возможность ограничиться наиболее информативными главными компонентами и исключить остальные из анализа, что упрощает интерпретацию результатов. Достоинство МГК также в том, что он — единственный математически обоснованный метод факторного анализа. По утверждению ряда исследователей МГК не является методом факторного анализа, поскольку не расщепляет дисперсию индикаторов на общую и уникальную. Основной смысл факторного анализа заключается в выделении из всей совокупности переменных только небольшого числа латентных независимых друг от друга группировок, внутри которых переменные связаны сильнее, чем переменные, относящиеся к разным группировкам.

Кроме метода главных компонент для оценки факторов применяются

· Центроидный метод

· Метод главных факторов

· Обобщенный метод наименьших квадратов.

· Метод максимального правдоподобия.

Определение числа факторов

    Не существует однозначного критерия выделения факторов, и потому здесь неизбежен субъективизм интерпретаций результатов. Существует несколько часто употребляемых критериев определения числа факторов. Некоторые из них являются альтернативными по отношению к другим, а часть этих критериев можно использовать вместе, чтобы один дополнял другой:

Критерий Кайзера или критерий собственных чисел. Этот критерий предложен Кайзером, и является, вероятно, наиболее широко используемым. Отбираются только факторы с собственными значениями ковариационной матрицы равными или большими 1. Это означает, что если фактор не выделяет дисперсию, эквивалентную, по крайней мере, дисперсии одной переменной, то он опускается.

Критерий каменистой осыпи.Критерий каменистой осыпи является графическим методом, впервые предложенным Кэттелем (Cattell, 1966). Можно изобразить собственные значения, представленные в таблице ранее, в виде простого графика.

    Кэттель предложил найти такое место на графике, где убывание собственных значений слева направо максимально замедляется. Предполагается, что справа от этой точки находится только "факториальная осыпь" - "осыпь" является геологическим термином, обозначающим обломки горных пород, скапливающиеся в нижней части скалистого склона. В соответствии с этим критерием можно оставить в этом примере 2 или 3 фактора. Однако этот критерий отличается высокой субъективностью и, в отличие от предыдущего критерия, статистически необоснован. Недостатки обоих критериев заключаются в том, что первый иногда сохраняет слишком много факторов, в то время как второй, напротив, может сохранить слишком мало факторов; однако оба критерия вполне хороши при нормальных условиях, когда имеется относительно небольшое число факторов и много переменных. На практике возникает важный вопрос: когда полученное решение может быть содержательно интерпретировано. В этой связи предлагается использовать следующий критерий.

Критерий доли воспроизводимой дисперсии. Факторы ранжируются по доле детерминируемой дисперсии, когда процент дисперсии оказывается несущественным, выделение следует остановить Желательно, чтобы выделенные факторы объясняли более 80 % разброса.

Вращение факторов. Выделение и интерпретация факторов

Следующим шагом после определения факторных нагрузок является интерпретация каждого фактора. Для этого нужно воспользоваться неоднозначностью определения факторов. Полученные факторы  можно заменить их линейными комбинациями , которые взаимно некоррелированны и имеют единичные дисперсии. Таким образом,  имеется бесконечное множество наборов факторов, удовлетворяющих данной модели. Процедура получения нового набора факторов называется ортогональным вращением факторов. После вращения модель может быть записана в виде:

где равны нагрузкам новых (вторичных) факторов.

    Цель ортогональных вращений — определение простой структуры факторных нагрузок, целью большинства косоугольных вращений является определение простой структуры вторичных факторов, то есть косоугольное вращение следует использовать в частных случаях. Поэтому ортогональное вращение предпочтительнее.

    Простая структура соответствует требованиям:

в каждой строке матрицы вторичной структуры V должен быть хотя бы один нулевой элемент;

· Для каждого столбца k матрицы вторичной структуры V должно существовать подмножество из r линейно-независимых наблюдаемых переменных, корреляции которых с k-м вторичным фактором — нулевые. Данный критерий сводится к тому, что каждый столбец матрицы должен содержать не менее r нулей.

• У одного из столбцов каждой пары столбцов матрицы V должно быть несколько нулевых коэффициентов (нагрузок) в тех позициях, где для другого столбца они ненулевые. Это предположение гарантирует различимость вторичных осей и соответствующих им подпространств размерности r—1 в пространстве общих факторов.
• При числе общих факторов больше четырёх в каждой паре столбцов должно быть некоторое количество нулевых нагрузок в одних и тех же строках. Данное предположение дает возможность разделить наблюдаемые переменные на отдельные скопления.

· Для каждой пары столбцов матрицы V должно быть как можно меньше значительных по величине нагрузок, соответствующих одним и тем же строкам. Это требование обеспечивает минимизацию сложности переменных.

    Здесь через r обозначено число общих факторов, а V— матрица вторичной структуры, образованная координатами (нагрузками) вторичных факторов, получаемых в результате вращения.).

Вращение факторов бывает:

· ортогональным

· косоугольным.

    При первом виде вращения каждый последующий фактор определяется так, чтобы максимизировать изменчивость, оставшуюся от предыдущих, поэтому факторы оказываются независимыми, некоррелированными друг от друга (к этому типу относится МГК). Второй вид — это преобразование, при котором факторы коррелируют друг с другом. Преимущество косоугольного вращения состоит в следующем: когда в результате его выполнения получаются ортогональные факторы, можно быть уверенным, что эта ортогональность действительно им свойственна, а не привнесена искусственно.

    Косоугольные факторы предназначена , для того чтобы достичь более простой интерпретации решений. В частности, были развиты вычислительные стратегии, как для вращения факторов, так и для лучшего представления "кластеров" переменных без отказа от ортогональности (т.е. независимости) факторов. Однако косоугольные факторы, получаемые с помощью этих процедур, трудно интерпретировать.

    Существует около 13 методов вращения факторов обоих видов. Типичными методами вращения являются стратегии варимакс, квартимакс, и эквимакс. Наиболее употребителен ортогональный метод «варимакс». Метод «варимакс» максимизирует разброс квадратов нагрузок для каждого фактора, что приводит к увеличению больших и уменьшению малых значений факторных нагрузок. В результате простая структура получается для каждого фактора в отдельности.

    Если вращение не произвело существенных изменений в структуре факторного пространства, это свидетельствует о его устойчивости и стабильности данных. Возможны ещё два варианта: 1) сильное перераспределение дисперсии — результат выявления латентного фактора;

2) очень незначительное изменение (десятые, сотые или тысячные доли нагрузки) или его отсутствие вообще, при этом сильные корреляции может иметь только один фактор, — однофакторное распределение. Последнее возможно, например, когда на предмет наличия определённого свойства проверяются несколько социальных групп, однако искомое свойство есть только у одной из них.

Факторы имеют две характеристики: объём объясняемой дисперсии и нагрузки. Если рассматривать их с точки зрения геометрической аналогии, то касательно первой отметим, что фактор, лежащий вдоль оси ОХ, может максимально объяснять 70 % дисперсии (первый главный фактор), фактор, лежащий вдоль оси ОУ, способен детерминировать не более 30 % (второй главный фактор). То есть в идеальной ситуации вся дисперсия может быть объяснена двумя главными факторами с указанными долями. В обычной ситуации может наблюдаться два или более главных факторов, а также остаётся часть неинтерпретируемой дисперсии (геометрические искажения), исключаемая из анализа по причине незначимости. Нагрузки, опять же с точки зрения геометрии, есть проекции от точек на оси ОХ и ОУ (при трёх- и более факторной структуре также на ось ОZ). Проекции — это коэффициенты корреляции, точки — наблюдения, таким образом, факторные нагрузки являются мерами связи. Так как сильной считается корреляция с коэффициентом Пирсона R ≥ 0,7, то в нагрузках нужно уделять внимание только сильным связям. Факторные нагрузки могут обладать свойством биполярности — наличием положительных и отрицательных показателей в одном факторе. Если биполярность присутствует, то показатели, входящие в состав фактора, дихотомичны и находятся в противоположных координатах.

Факторный анализ может быть:

· разведочным — он осуществляется при исследовании скрытой факторной структуры без предположения о числе факторов и их нагрузках;