Оценка размера эффекта при статистической обработке данных в спорте

Целью исследования являлся обзор научных статей, в которых рассчитывался размер эффекта, а также анализ достоинств и недостатков данного статистического показателя. В статье рассматривается способ и пример расчета ES при проверке статистической гипотезы с использованием t-критерия Стьюдента для связанных выборок (сравниваются результаты до и после проведения эксперимента).

УДК 51-7:796/799

Оценка размера эффекта при статистической обработке данных в спорте

Кандидат педагогических наук, доцент И.Э. Барникова

Доктор педагогических наук, профессор А.В. Самсонова

Кандидат педагогических наук, профессор Л.Л. Ципин

Национальный государственный университет физической культуры, спорта и здоровья имени П.Ф. Лесгафта, Санкт-Петербург

Информация для связи с автором barnikova@mail.ru

Аннотация

В настоящее время в зарубежной научной литературе одним из требований к публикациям является указание значения размера эффекта (ES), который служит подтверждением практической значимости исследования. В отечественных научных публикациях в области физической культуры и спорта значение размера эффекта приводится крайне редко.

Целью исследования являлся обзор научных статей, в которых рассчитывался размер эффекта, а также анализ достоинств и недостатков данного статистического показателя. В статье рассматривается способ и пример расчета ES при проверке статистической гипотезы с использованием t-критерия Стьюдента для связанных выборок (сравниваются результаты до и после проведения эксперимента).

Полученные данные свидетельствуют о том, что расчет значений ES расширяет оценку практической значимости исследования. В то же время в области физической культуры и спорта необходима разработка шкалы оценок ES, так как имеющиеся шкалы обладают рядом существенных недостатков.

Ключевые слова:

размер эффекта, статистическая обработка данных в спорте, оценка размера эффекта для связанных выборок, t-критерий Стьюдента

Annotation

Presently one of the key requirements for the international research publications is the effect size (ES) calculation, with the ES considered one of the key verifications of the practical benefits of the study findings. International research journals and publishers including those specialized in the physical education and sport matters tend to increasingly reject the study data verified by the p-values only. It is a fairly standard requirement nowadays that a study report shall specify the ES to confirm the practical benefits of the findings, confidence intervals and effective ranges of the applied criteria. It should be mentioned that the national research publications on the physical education and sport matters seldom if ever give the ES ratings.

Objective of the study was to give examples of the study reports substantiated by the ES calculations to analyze the pros and cons of this statistical index. The study further analyzes the ES calculation method for the statistical hypotheses verification purposes with application of the Student t-criterion to the pre- versus post-experimental data arrays. The proposed ES calculation procedure for related samples with application of the popular Student t-criterion for the statistical hypotheses verification is rather simple and practical for the data processing purposes.

The study data and analysis demonstrate benefits of the ES calculation formula for substantiation of the study data and findings. It should be emphasized, however, that the physical education and sport research community needs a sector-specific dependable ES rating scale since every of the existing scales is still imperfect in fact.

Keywords:

effect size, statistical sport data processing, effect sizing for related samples, Student t-criterion.

Введение

В настоящее время в большинстве зарубежных научных публикаций представление полученных результатов после их статистического анализа содержит помимо используемого критерия значимости и уровня значимости (p—value) также размер эффекта (effect size – ES). Иностранные научные журналы и издательства, в том числе и в области физической культуры и спорта, зачастую не принимают к публикации статьи, в которых приводятся только значения p—value. При этом стандартным требованием является указание значений размера эффекта в качестве оценки практической значимости результатов, доверительных интервалов или мощности применяемого критерия [7, 11]. О необходимости указания значения ES в публикациях отмечается также в спортивной литературе [9, 14].

В то же время в большинстве отечественных научных публикаций в области физической культуры и спорта оценка практической значимости результатов производится преимущественно на основе значений критериев значимости или расчета значений p—value. Однако существует мнение [5, 12, 10], что не всегда статистическая достоверность различий результатов является эквивалентом практической значимости.

Целью настоящего исследования являлся обзор научных публикаций, в которых рассчитывался размер эффекта и проводилась его оценка для случая парных данных (связанных выборок), а также анализ достоинств и недостатков данного статистического показателя.

Результаты и их обсуждение

Посредством размера эффекта оценивается величина или степень проявления изменения в изучаемом явлении, при этом аббревиатурой ES (effect size) обозначается размер эффекта, присвоенный целому семейству индексов [1].

Существуют разные способы расчета ES: в зависимости от типа исследуемых данных, гипотезы исследования, модели эксперимента и критерия значимости [12, 13]. В настоящей статье рассматривается способ расчета ES при проверке статистической гипотезы с использованием t-критерия Стьюдента для парных данных или связанных выборок (сравниваются результаты до и после проведения эксперимента).

Анализ литературных источников показал, что наиболее часто в публикациях в качестве размеров эффекта приводятся значения d_z-Коэна (Cohen’s d), рассчитанные для случая проверки статистических гипотез с использованием t-критерия Стьюдента для независимых выборок (независимыми выборками могут быть, например, контрольная и экспериментальная группы) [7, 8, 14]. Размер эффекта (ES), рассчитываемый для связанных выборок, имеет обозначение  ( [4, 13].

Для расчета размера эффекта для связанных выборок используется формула (1):

Cohen’s d_z = M_d /S_d

где: d_z– размер эффекта при использовании t-критерия Стьюдента для связанных выборок;  – M_d среднее арифметическое разности между парами результатов выборки (например, результаты, показанные участниками до и после проведения эксперимента); S_d – стандартное отклонение разности между парами результатов. Или формула (2), если известно значение t-критерия Стьюдента:

Cohen’s d_z = t /sqrt(n),

где: t – значение t-критерия Стьюдента; n – объем исследуемой выборки. В качестве примера рассмотрим таблицу 1.

Таблица 1. Вес девушек 18-20 лет до и после проведения педагогического эксперимента, кг (n=10)

Среднее арифметическое результатов, представленных в строке d (данные характеризуют разность веса девушек до и после эксперимента),  стандартное отклонение  значение t-критерия Стьюдента t=2,369. Различия в результатах веса участниц эксперимента достоверны (p<0,05). Это можно проверить, используя любой статистический пакет.

Рассчитаем значение размера эффекта ( по формуле (1):

Cohen’s d_z = M_{d /}S_d=2,43/3,24=0,75.

Расчет по формуле 2 приводит к аналогичному результату:

Cohen’s d_z = t _/sqrt(n)=2,369/sqrt(10)=0,75.

Теперь проведем оценку размера эффекта. Дж. Коэном [4] были предложены ориентировочные границы для оценки ES при сравнении средних значений: малый эффект – = 0,2, средний –  = 0,5 и большой –  0,8. В рассмотренном нами примере, на основе предложенной шкалы, размер эффекта можно считать средним.

К сожалению, Дж. Коэн [4] не привел интервалов для оценки размера эффекта и разрабатывал оценки ES только для результатов психологических и социальных тестов. Расчет ES для данных, опубликованных ранее [2], показывает, что его значения могут быть больше единицы (  = 1,57). Исследования зарубежных авторов также подтверждают, что в области спорта шкала оценки размеров эффекта может отличаться от предложенной Дж. Коэном [9, 3].

Заключение

1. Расчет размера эффекта при использовании t-критерия Стьюдента (связанные выборки) при проверке статистических гипотез достаточно прост и не составит сложности при обработке данных.
2. Публикация значений размера эффекта (ES) совместно со значением p—value расширяет понимание полученных исследователем результатов.
3. В настоящее время в области физической культуры и спорта до конца не разработаны обоснованные оценки размера эффекта, поэтому необходимы исследования в этом направлении.

Литература

1. Барникова, И.Э. Использование информационных технологий для оценки размера эффекта в биомеханических исследованиях // Труды кафедры биомеханики университета им. П.Ф. Лесгафта. – СПб. – 2017. – Вып. 11. – С. 6-11.
2. Самсонова, А.В. Изменение механических свойств скелетных мышц под влиянием физической нагрузки / А.В. Самсонова, М.А. Борисевич, И.Э. Барникова // Ученые записки университета имени П.Ф. Лесгафта. – 2017. – № 2 (144). – С. 221-224.
3. Bernards, J. R. Current Research and Statistical Practices in Sport Science and a Need for Change / J. R. Bernards, K. Sato, G. G. Haff, C. D. Bazyler // –2017. – Vol. 5(4) – P. 87.
4. Cohen, J. Statistical Power Analysis for the Behavioral Sciences. – New York: Lawrence Erlbaum Associates, 1988 – pp.568.
5. Cohen, J. The Earth Is Round (p < .05) // American Psychologist. – 1994. – Vol. 49(12) – P. 997-1003.
6. Ferguson, C. J. An Effect Size Primer: A Guide for Clinicians and Researchers.// Professional Psychology: Research & Practice. – 2009. – No.40. – P.532-538.
7. Fritz, C.O. Effect Size Estimates: Current Use, Calculations, and Interpretation / C. O. Fritz, P. E. Morris, J. J. Richler // Journal of Experimental Psychology: General. – 2012. – Vol. 141(1). – P. 2-18.
8. Fröhlich, M. Outcome effects and effects sizes in sport sciences /M. Fröhlich, E. Emrich, A. Pieter, R. Stark // International Journal of Sports Science and Engineering. – 2009. – Vol. 3(3). – P. 175-179.
9. Goodman, S.N. Aligning statistical and scientific reasoning. / S. N. Goodman // Science. – 2016. – Vol. 352(6290). – P.1180-1181.
10. Kelley, K. On effect size / K. Kelley, K. J. Preacher // Psychological Methods. – 2012. – Vol.17. – P. 137-152.
11. Kline, R. B. Beyond significance testing: Reforming data analysis methods in behavioral research. Washington, DC: American Psychological Association, – pp.325.
12. Lakens, D. Calculating and reporting effect sizes to facilitate cumulative science: a practical primer for t-tests and ANOVAs // Frontiers in Psychology. – 2013. – No. 4. – P. 863.
13. Tomczak, M. The need to report effect size estimates revisited. An overview of some recommended measures of effect size / M. Tomczak, E. Tomczak // Trends in Sport Sciences. – 2014. –Vol. 1. – P. 19-25.