The influence of the method and instrument of measuring intelligence on the assessment of the dynamics of cognitive functions of employees
- Authors: Noss I.N.1
- Affiliations:
- Russian State University for the Humanities
- Issue: Vol 1, No 1 (2024)
- Pages: 5-14
- Section: Interdisciplinary Researches
- URL: https://editorial.mgppu.ru/epps/article/view/4178
- DOI: https://doi.org/10.17759/epps.2024010101
- Cite item
Abstract
The article provides empirical material confirming the hypothesis that the so-called age-related decline in intelligence is not observed in all people and not always. As a result of the ascertaining experiment, it was revealed that this negative effect depends on the type of experimental design and on the method of psychological measurement of variables. It is determined that longitudinal and cross-sectional plans provide different contradictory information. It was revealed that respondents with an initially high intellectual level engaged in activities related to scientific and creative research show high results throughout their lives. However, certain cognitive mental processes that require high speed of realization become more difficult for a person with age. Memory capabilities are decreasing. There is also a decline in the field of visual perception. But the intellectual actions that are used in solving everyday or professional tasks continue to be productive. Our research was conducted with the aim of experimentally verifying the theoretical position about the falling ratio of age and indicators of tests for assessing the cognitive abilities of personnel. In a mixed sample of 1,721 respondents, the results of intellectual ability testing were compared using SOT tests, SPM, Analogies, Dictionary and TOZ, distributed into three evaluative target groups: the sphere of logical and figurative theoretical thinking, functions of combinatorics and mental construction, verbal and semantic functions of thinking.
Введение
В исследовании Ф. Шмидта (F.Schmidt) путем метаанализа показано, что «тесты интеллекта как всегда на пьедестале», «укрепили свои позиции», и «множество инструментов не дают какого-либо прироста валидности после использования тестов интеллекта» [25]. Эти выводы действительно ставят в центр исследования интеллекта диагностические инструменты, по крайней мере, в рамках разработки профотборных, мониторинговых и аттестационных тестовых батарей. Поэтому когнитивным пробам в психологии отводят довольно важное место.Популярный ныне взгляд на то, что с возрастом идет снижение интеллектуальных способностей, находит обширный отклик в публикациях и рассуждениях психологов. Действительно, возрастные физиологические изменения, безусловно, накладывают отпечаток на мышление и его эффективность. Однако оно наблюдается не у всех людей и не всегда. Снижение когнитивных функций зависит не только от свойств исследуемых когорт, но и, во-первых, от технологии и, во-вторых, от инструментов психодиагностики.
В психологии развития применяются три основных экспериментальных дизайна, которые влияют в целом на диагностическую картину оценки интеллекта. Наиболее простой и очень популярный – это «срезовый» (когортный) план, предполагающий сопоставление тестовых показателей людей-представителей различных групп (когорт), объединенных по параметру возраста. Описание метода «поперечных срезов» приводится в литературе [3; 6]. Существует много критики этого способа, так как, «люди разных возрастов исследуются в одно и то же время, показывают кажущееся возрастное снижение, поскольку изменения в культурном уровне смешиваются с эффектами старения» [3, с. 361-368].
Согласно этому дизайну, наблюдается довольно резкое снижение уровня когнитивных способностей с увеличением возраста [3, с. 362].
Следует уточнить, что пик интеллектуальных достижений людей у разных авторов трактуется по-разному. По шкале Стэнфорд—Бине интеллектуальный возраст среднего взрослого соответствовал 15 годам. При использовании Векслеровской шкалы пик результатов получен в двадцать с лишним лет [28], что подтверждено рядом публикаций [2; 21]. В целом можно констатировать, что пик мыслительной активности людей приходится на период 15-30 лет, после чего наступает ее снижение. Однако некоторые авторы утверждают, что эта активность может наблюдаться на протяжении всей жизни [21; 2; 24].
Лонгитюдный (последовательный) план представляет иную картину. Исследования, касающиеся возрастных изменений в течение периода взрослости, показывают, что вместо снижения результатов у людей с начально-высоким интеллектом демонстрируется существенный рост показателей [24; 21; 23; 27]. Как отмечает Д. Кэмпбелл, «в лонгитюдинальных исследованиях эффект естественного развития смешивается с эффектами тестирования и фоновых воздействий. Само по себе лонгитюдинальное исследование, вероятно, не лучше поэтапных срезов, хотя большие затраты придают ему больший престиж. Идеальным представляется сочетание того и другого с использованием повторных поперечных срезов, выполненных в разное время» [7, с.159].
Поэтому для снятия методической неопределенности в психологии развития применяется когортно-последовательный план (cross-sequential design) исследования [23].
Схемы лонгитюдного и смешенного экспериментов посредством своей особой организации приводят к сущностным изменениям измерения и выявляют механизмы функционирования мышления, основанные на включении второго слоя – кристаллизованного интеллекта. Поэтому функции логики, практических навыков, смыслового контекста, опыта и памяти – становятся актуальными и заполняют пространство когнитивных операций, вытесняя операционные, скоростные, рискованно-креативные аспекты мышления [6, с.772].
За счет активности этих содержательно-смысловых позиций [32] интеллекта и интеграции мыслительных функций [29] с возрастом сохраняется, в целом, эффективность мыслительной деятельности при решении реальных задач [1].
При исследовании когнитивных функций и в целом интеллекта людей зрелого возраста необходимо также учитывать строение самого диагностического инструмента и его направленности. Часто у этой возрастной когорты изучаются мыслительные функции не сопоставимые с представлением умственных признаков (параметров) присущих молодежи.
Исторически исследование интеллекта имеет познавательно-технологический акцент. В оценку включаются мыслительные функции, реализующиеся в измерении степени ориентированности, восприятия и понимания информационного пространства, способов анализа цифровой среды, скорости и точности мыслительных операций и пр. Поэтому в большинстве исследований интеллекта зрелых людей наблюдается статистически значимое возрастное снижение результатов в субтестах на арифметические действия и на «беглость речи» [23]. В информационных тестах, тестах на понимание и в арифметических тестах также выявлен заметный спад значений [2].
Тесты на конструирование и неязыковые тесты (например, SPM [10]) выявили снижение значений показателей у более старших по возрасту испытуемых, чем вербальные тесты [2; 23; 12]. Вербальное же рассуждение, словарный запас, понимание социальных требований повышается в течение всей жизни [20]. Результаты словарного теста практически не изменяются до 70-летнего возраста [23; 30].
Отдельные познавательные психические процессы естественно замедляются. Навыки, требующие скорости, с возрастом даются человеку все труднее, поскольку начинают замедляться многие психомоторные процессы [22; 6]. Что же касается памяти, то с возрастом ее возможности снижаются, хотя и это зависит от специфики решаемых задач [19]. В области зрительного восприятия тоже наблюдается возрастной спад [14].
Исследуя проявления креативности, Х. Лехман (Lehman H.C.) утверждает, что пик творческой продуктивности чаще всего приходится на период с 30 до 40 лет, а далее наступает уверенное снижение [18].
Оценки по тестам пространственных отношений, индуктивного и абстрактного рассуждения ниже у возрастных, чем у более молодых испытуемых [16; 17; 23]. Однако уровень мыслительных функций с возрастом повышается в области вербального понимания и включенных в реальную практику испытуемых арифметических действий [23]. В целом же интеллектуальные действия, которые используют респонденты при решении повседневных или профессиональных задач, продолжают оставаться продуктивными [31]. Однако когда новая информация противоречит информации, известной прежде, она ставит людей старшего возраста в затруднительное положение [2], объективно снижая их тестовую результативность. Именно поэтому у возрастных людей следует измерять именно для них характерные способы познания [26].
То есть, как отмечает A. Анастази, функционально-содержательный анализ поведения в разнообразных сферах жизни возрастных людей, должен привести к усовершенствованию конструкции диагностических инструментов, экспериментального дизайна и к прояснению смысла тестовых показателей [2].
Организация исследования
Цель исследования
Наши исследования проводились с целью подтверждения теоретического положения о ниспадающем соотношении возраста и показателей тестов оценки когнитивных способностей персонала.
Методы исследования
Краткой отборочный тест Вандерлика (КОТ) [5],
Стандартные прогрессивные матрицы Равена (SPM) [10],
Субтест «Аналогии» Теста умственных способностей Амтхауэра [9],
Субтест «Словарь» Теста оценки общих способностей Фланагана [11],
Тест общих знаний Линна (ТОЗ) [4].
Статистические методы
Осуществлен дисперсионный анализ с использованием t-критерия Стьюдента.
Испытуемые
1554 человека – смешанная выборка испытуемых (госслужащих) по полу, возрасту, образованию, профессии и региональной принадлежности.
Дизайн исследования
Было проведено сопоставление результатов тестирования интеллектуальных способностей сотрудников по возрастным диапазонам с использованием t-критерия Стьюдента. В первом исследовании осуществлено 3 замера показателей (тест КОТ): в 2011 г. (65 чел.), в 2013 г. (694 чел.), в 2020 г. (219 чел.) для оценки влияния эффекта повторного тестирования. Во втором исследовании в 2014 г. при помощи (ТОЗ) на выборке 576 чел. изучался уровень усвоенных знаний респондентов. В третьем исследовании в 2020 г. на выборке 219 чел. выявлено соотношение показателей трех типов оценочно-целевых групп когнитивного исследования: группа (А) – сфера логического и образно-теоретического мышления (КОТ, Аналогии); группа (Б) – функции комбинаторики и умственного конструирования (SPM); группа (В) – словесно-смысловые функции мышления (Словарь).
Результаты
Методики, примененные в нашем исследовании, были стандартизированы и их результаты представлены в стэнах. Экспериментальная выборка представлена в виде возрастных когорт с 5-летним диапазоном значений (Таблица1).
Таблица 1
Соотношение показателей интеллектуальных тестов по возрастным диапазонам (в стэнах)
Возрастной диапазон | Обобщенные данные |
18-20лет | 5,71 |
21- 25 лет | 6,18 |
26-30 лет | 6,12 |
31-35 лет | 6,04 |
36-40 лет | 5,97 |
41-45 лет | 5,98 |
46-50 лет | 5,76 |
51-55 лет | 5,53 |
Старше 55 лет | 5,28 |
Анализ показал, что у сотрудников в возрасте старше 21-25 лет наблюдается резкое снижение тестовых значений, что подтверждает общепринятую картину, получаемую другими исследователями при применении «срезового» экспериментального дизайна.
Однако применение тестов оценки кристаллизованного интеллекта, зависящего от объема усвоенных знаний и опыта жизнедеятельности при изучении возрастных коллизий, отражает иную картину. Результаты нашей оценки уровня осведомленности при помощи ТОЗ на смешанной выборке по полу, возрасту, образованию, профессии объемом 576 человек показаны на Рисунке 1.
Рис.1. Соотношение показателей ТОЗ («сырые» баллы, среднее количество правильных ответов в возрастной когорте)
Выявлено, что опыт жизни людей поддерживает уровень интеллекта. Кристаллизованные способности, которые определяются объемом усвоенных знаний, умений, навыков, с возрастом перекрывают флюидные способности. Поэтому люди старше 60-ти показывают результаты, сопоставимые с 20-30 летними. То есть, применение в исследованиях тестов – «на оценку знаний» изменяют динамику когнитивных функций и общую картину их оценки.
Как отмечалось выше, у возрастных сотрудников интеллектуальные способности изменяются как по форме, так и по содержанию. Поэтому измерение их должно быть особым образом трансформировано [2].
Изучение самого инструмента измерения когнитивных функций заставляет обратить особое внимание, с одной стороны, на развитие испытуемых, и, с другой стороны, на их включенность в процесс тестирования, а также на степень их осведомленности о применяющихся психодиагностических методиках.
Сравнение популярных тестов по периодам исследования за последние десятилетие показывает прогрессирующее их изменение, связанное с тем, что респонденты в процессе профессиональной жизни часто сталкиваются с профориентационной, профессиональной и мониторинговой диагностикой, в рамках которых эти тесты используются довольно часто, и привыкают к ним. Это приводит к росту средних результатов по всем тестовым параметрам. В Таблице 2 приведен пример использования популярного в России теста КОТ за 10 лет.
Таблица 2
Соотношение показателей КОТ по годам (стэны)
Периоды тестирования (выборка)
Показатели КОТ | 2011 г. | 2013 г. | 2020 г. |
Продуктивность | 4,89 | 7,00 | 7,15 |
Скорость | 5,74 | 6,69 | 6,82 |
Точность | 4,93 | 6,75 | 6,53 |
Дисперсионный анализ, проведенный с использованием t-критерия Стьюдента, показал, что данные 2011-го года статистически значимо различались с показателями КОТ, полученными в 2013-м и 2020-м годах. При том, что значения тестов 2013-го и 2020-го годов были однородны (Таблица 3).
Таблица 3
Соотношение средних значений показателей КОТ по t-критерию Стьюдента (уровень статистической значимости различий)
2013 г. | 2020 г. | |
0,01 | 0,01 | 2011 г. |
0,93 | 2013 г. |
Это различие объясняется тем, что выборка 2011-го года состояла из руководителей, а выборки 2013-го и 2020-го годов из рядовых сотрудников. С одной стороны, эти данные подтверждают гипотезу о преемственности, надежности [8] и валидности [15; 13] данных интеллектуальных тестов, полученных в разное время на однородных выборках. С другой стороны, мы наблюдаем неуклонный общий рост показателей ввиду проявления эффекта тестирования [7, с.46].
В ходе измерения когнитивных способностей сотрудников госслужбы весь инструментарий по предназначенности (предмету исследования) был распределен по трем оценочно-целевым группам: группа (А) – сфера логического и образно-теоретического мышления (КОТ, Аналогии); группа (Б) – функции комбинаторики и умственного конструирования (SPM Равена); группа (В) – словесно-смысловые функции мышления (Словарь). Средние значения показателей тестов показаны на Рисунке 2.
В рамках проводимого исследования на первый взгляд наблюдается несоответствие одних и тех же параметров разноплановых тестов. Однако дисперсионный анализ показал, что значения тестов однородны (статистически значимо не различаются на уровне р<0,05) (Таблица 4), что подтверждает надежность диагностики.
Таблица 4
Соотношение средних значений показателей психодиагностических методик по t-критерию Стьюдента (уровень статистической значимости различий)
Группа (Б) – функции комбинаторики и умственного конструирования (SPM) | Группа (В) – словесно-смысловые функции мышления (Словарь) |
|
0,26 | 0,17 | Группа (А) – сфера логического и образно-теоретического мышления (КОТ, Аналогии) |
| 0,88 | Группа (Б) – функции комбинаторики и умственного конструирования (SPM) |
Заключение и выводы
Физиологические изменения людей, безусловно, накладывают отпечаток на их мышление и его эффективность. В целом с возрастом идет снижение интеллектуальных способностей. Однако снижение когнитивных функций зависит не только от возрастных особенностей исследуемых когорт, но и от технологии и инструментов психологического измерения.
Критичное применение экспериментальных технологий: когортного, лонгитюдного и комбинированного дизайнов – показало, что сами их формы влияют на результаты и интерпретационные выводы о степени и темпах возрастных когнитивных изменений.
Выявлена относительно устойчивая возрастная динамика интеллектуальных переменных. С возрастом функции логики, практических навыков, смыслового контекста, опыта и памяти становятся актуальными и заполняют пространство когнитивных операций, вытесняя операционные, скоростные, рискованно-креативные аспекты мышления. При этом сохраняется эффективность мыслительной деятельности при решении реальных задач.
Применяемые тесты на конструирование и неязыковые тесты действительно выявили снижение значений у более старших по возрасту испытуемых, чем вербальные тесты. Однако вербальное рассуждение, словарный запас, понимание социальных требований – повышается. С возрастом отдельные познавательные психические процессы, требующие скорости, даются человеку все труднее, возможности памяти снижаются, в области зрительного восприятия тоже наблюдается спад. Но интеллектуальные действия, которые используются при решении повседневных или профессиональных задач, продолжают оставаться продуктивными.
Функционально-содержательный анализ поведения и мышления людей в разнообразных сферах жизни приводит к настоятельной мысли об усовершенствовании конструкции тестов и к прояснению смысла тестовых показателей для тестирования возрастных людей.
Igor Nikholaevich Noss
Russian State University for the Humanities
Author for correspondence.
Email: innoss2007@yandex.ru
ORCID iD: 0000-0003-4474-7053
SPIN-code: 9722-0168
Russian Federation, 6 Miusskaya Square, Moscow, 125993 Doctor of Psychological Sciences, Professor, Professor of the Department of General Psychology of the Russian State University for the Humanities
- Ananyev B.G. Chelovek kak predmet poznaniya. Sankt-Peterburg: Piter, 2001. 288 p.
- Anastazi A. Differentsialnaya psikhologiya. Individualnie I gruppovie razlichiya v povedenii / Per. s angl. Moskwa: Aprel-Press, Eksmo-Press, 2001.752 p.
- Anastazi A., Urbina S. Psikhologicheskoe testirovanie. Sankt-Peterburg: Piter, 2001. 688 p.
- Grigorev A.A., Zhuravlev I.V., Zhuravleva Yu.V., Lapteva E.M., Noss I.N. Aprobatsiya testa obschey osvedomlennosty v Rossii. Psikhologiya. Zhurnal Vischey shkoli ekonomiki. 2016. T.13. N 4. pp. 636-646. doi: 10.17323/1813-8918-2016-4-636-646
- Istratova O.N., Exakusto T.V. Psikhodiagnostika. Kollektsiya luchshikh testov. Izd. 8-e. Rostov-na-Donu: Fenix, 2011. 375 p.
- Krayg G. Psikhologiya razvitiya. Sankt-Peterburg: Piter, 2002. 992 p.
- Kempbell D. Modeli experimrntov v sotsialno-psikhologicheskih I prikladnih issledovaniyah. Sankt-Peterburg: Sotsialno-psikhologicheskiy tsentr, 2006. 390 p.
- Linn R. Rassovie razlichiya v intellekte. Evolutsionniy analiz. Per. s angl. Rumyantsev D.O. Moskwa: Profit Stail, 2010. 304 p.
- Mironova E.E. Sbornik psikhologicheskih testov. Chast II. Mivsk: Zhenskiy institut ENVILA, 2006. 146 p.
- Raven Dzh., Raven Dzh.K., Kort Dzh.Kh. Rukovodstvo k Progressivnim Matritsam Ravena i Slovarnim Shkalam. Razdel 3. Standartnie Progressivnie Matritsi. Moskwa: Kogito-Tsentr, 2012. 144 p.
- Chiker V.A. Psikhologicheskaya diagnostika organizatsii i personala. Sankt-Peterburg: Rech, 2004. 176 p.
- Ackerman PL. Intelligence Process vs. Content and Academic Performance: A Trip through a House of Mirrors. J Intell. 2022. Vol.10(4): 128. doi: 10.3390/jintelligence10040128
- Brown R.T., Reynolds C.R., Whitaker J.S. Bias in mental testing since Bias in Mental Testing. School Psychology Quarterly. 1999. Vol.14. Р. 208-238. doi: 10.1037/H0089007
14.Cavanaugh J.C., Blanchard-Fields F. Adult development and aging. Australia; Belmont, CA: Wadsworth/Thomson Learning. 2006. 616 р.
15.Dyck M.J. Cognitive assessment in a multicultural society: comment on Davidson. Australian Psychologist. 1996. Vol. 31. Р. 66-69. doi: 10.1080/00050069608260180
16.Horn J.L., Donaldson G. Cognitive development in adulthood // J. Kagan & O.G. Brim, Jr. (Eds.), Constancy and change in development. Cambridge, MA: Harvard University Press, 1980. Р. 81-84.
17.Labouvie-Vief G. Intelligence and cognition // J. Birren & K. W. Schaie (Eds.), Handbook of the psychology of aging (2nd ed.). New York: Van Nostrand Reinhold, 1985. Р. 500-530.
18.Lehman H.C. Age and achievement. Princeton. N. J.: Princeton University Press, 2017. 372 р.
19.Mack M., et al. Cognitive-motor multitasking in older adults: a randomized controlled study on the effects of individual differences on training success. BMC Geriatr 2022. Vol.22. 581 p. doi: 10.1186/s12877-022-03201-5
20.Neugarten B.L. The psychology of aging: An overview. Washington, DC: American Psychological Association, 1976.
21.Oden M.H. The fulfillment of promise: 40-year follow-up of the Terman gifted group. Genetic psychology monographs. 1968.
22.Salthouse T. Cognitive competence and expertise in aging. J. Birren & K.W. Schaie (Eds.), Handbook of the psychology of aging (3rd ed.). San Diego: Academic Press, 1990. Р. 347-357. doi: 10.1016/B978-0-12-101280-9.50024-3
23.Schaie K.W. & Willis Sh. L. The Seattle Longitudinal Study of Adult Cognitive Development// University of Washington Seattle. 2010. Vol.57(1). Р.24-29.
24.Schalke D., Brunner M., Geiser C., Preckel F., Keller U., Spengler M., Martin R. Stability and change in intelligence from age 12 to age 52: results from the Luxembourg MAGRIP study. Dev Psychol. 2013 Aug; 49(8):1529-43. doi: 10.1037/a0030623
25.Schmidt F.L., Oh I-S & Shaffer J. The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 95 Years of Research Findings. Presentation at the PTC/MW seminar on November 6, 2012. doi: 10.1037/0033-2909.124.2.262
26.Sean A.P. (et. al.) Education and Cognitive Decline: An Integrative Analysis of Global Longitudinal Studies of Cognitive Aging. The Journals of Gerontology: Series B. Vol. 75, Issue 7. 2020. P.151–160. doi: 10.1093/geronb/gbz053
27.Singer, J.D. Applied longitudinal data analysis: modeling change and event occurrence. New York: Oxford University Press. 2002. 644 p. doi: 10.1093/acprof:oso/9780195152968.001.0001
28.Sweet J.I. Wechsler adult intelligence scale-revised and insufficient effort. Clinical Neuropsychologist. 1999. Vol.13(2): 233-233.
29.Werner H. Developmental processes. N.Y.: Intern. Univ. Press. 1978. Vol. 1. 562 р.
30.White M.L. Mental age norms for vocabulary scores in the 1937 Stanford-Binet. Psychol Rec. 2017. Vol. 5. 159–169. doi: 10.1007/BF03393257
31.Willis S. Towards an educational psychology of the older adult learner: Intellectual and cognitive bases. J. Birren & W. Schaie (Eds.). Handbook of the psychology of aging. 2nd. ed. – New York: Van Nostrand Rienhold, 1985.
32.Zahodne, L.B., Stern, Y., & Manly, J.J. (2015). Differing effects of education on cognitive decline in diverse elders with low versus high educational attainment. Neuropsychology. Vol. 29. 649. doi: 10.1037/neu0000141
Supplementary files
There are no supplementary files to display.
Views
Abstract - 0
PDF (Russian) - 0
Refbacks
- There are currently no refbacks.
