Имя:
Пароль:

Рейтинг
На печать

Комментарий
Просмотров: 31974

Рейтинг текстов российских социогуманитарных мыслителей. Год 2004/2005.

Комментарий

Проект Группы ИНТЕЛРОС «Рейтинг текстов российских социогуманитарных мыслителей. Год 2004/2005. Выпуск 2» продолжался полгода (с мая по ноябрь с.г.), а с учетом подготовительного периода (март-апрель) – девять месяцев. Во многом это было связано со специфическим характером рейтинга и необходимостью расширить спектр применяемых социологических процедур. Но не только.

Акция явилась очередным, третьим этапом отлаживания технологии оперативной оценки состояния интеллектуальной среды России в сфере социогуманитарной мысли. Ключевой метод оценки – экспертиза значимых текстов людьми, профессионально знакомыми со большим числом работ в этой области (руководители профильных журналов, других профессиональных изданий, сайтов, издательств). Нами, как и планировалось, был существенно расширен состав членов Экспертного совета данного тура: на этот раз в него вошли 45 человек. Совет включал высококвалифицированных экспертов (придерживающихся различных политических позиций) из Москвы, Санкт-Петербурга, Новосибирска, Барнаула, Хабаровска, Петрозаводска, Воронежа, Ростова-на-Дону, Челябинска, Саранска, Ставрополя.

В отличие от предыдущего тура (в его основной и бета-версии), экспертной оценке на этот раз подвергались не столько персоналии , сколько тексты , созданные за определенный временной период. Подобная форма экспертизы позволила реализовать, хотя еще и не в полной мере, стратегическую цель экспертизы: оценивать работу социогуманитарных мыслителей России за конкретный , обозначенный в регламенте период времени – в данном случае с начала 2004 до приблизительно середины (мая) 2005 г. В идеале же мы стремимся приблизиться к полугодовому периоду, чтобы результаты экспертизы были актуальным инструментом определения состояния отечественного интеллектуального ландшафта (в избранной для экспертизы сфере). В таком случае экспертиза получает шанс стать практически синхронным мониторингом динамики социокультурной мысли России.

Но именно поэтому в результатах нынешнего рейтинга может озадачить отсутствие ряда известных имен, не исключая и лидеров предыдущего тура. Все дело в том, что отсутствие в итоговом списке некоторых победителей прежних туров или специалистов, идентифицируемых общественным мнением как талантливых мыслителей, объясняется тем, что в рассматриваемый период они не опубликовали новые, значительные с точки зрения Экспертного совета работы.

К примеру, такие заметные в движении общественной мысли России тексты, как, скажем, интервью Александра Солженицына телеканалу «Россия» или статья Михаила Ходорковского «Левый поворот», книга Глеба Павловского «Власть и оппозиция» или предисловие Михаила Касьянова к докладу «План действий для России», а также ряд других не были предметом настоящей экспертизы именно из-за того, что хронологически они появились уже после начала процедуры рейтингования (май 2005).

Еще одной особенностью настоящего рейтинга был способ формирования списка номинантов: в своей значительной части он определялся самими экспертами. К сожалению, данное обстоятельство также повлияло на сроки проведения экспертизы. Социологическая обработка полученных результатов экспертизы проводилась Исследовательской группой ЦИРКОН с использованием имеющихся на сегодняшний день инструментов социологической обработки результатов экспертного опроса – рейтингования, рэнкинга, кластерного анализа и т. п. Именно из-за комплексного характера обработки результатов экспертизы она продолжалась с августа по декабрь 2005 г.

Некоторые технические подробности обработки результатов экспертизы:

Для оценки итогов рейтинга применялась не единственная, как прежде, а многоуровневая процедура обработки данных, включавшая в себя несколько альтернативных методик. Технология (алгоритм) анализа данных была, прежде всего, ориентирована на решение главной задачи проекта – рейтингования (ранжировки) авторов по степени «качества их социогуманитарного творчества».

Первоначально все первичные файлы-анкеты были перенесены в общий файл данных (в двух форматах – Microsoft Excel и SPSS), в котором каждому эксперту соответствовали 3 переменные (оценки по трем параметрам).

Далее исходный массив анализировался (рейтинг творчества рассчитывался) по двум различным версиям:

  • по версии обработки данных, согласно «Анкете эксперта» (март-апрель 2005 г.), в которой используется подход и методологические принципы, заложенные на первоначальной стадии реализации проекта;
  • по уточненной версии обработки данных ЦИРКОН (август-сентябрь 2005 г.), предусматривающей, ввиду особенностей полученного массива данных:

а) его предварительную «фильтрацию»;
б) использование различных методик расчета финального рейтинга.

Первый шаг. Предварительная фильтрация данных («чистка массива»).

Все первичные файлы-анкеты перенесены в общий SPSS-файл, в котором каждому эксперту соответствуют 3 переменных (оценки по трем параметрам).

Проводится чистка нелегальных (недопустимых) значений (ошибки ввода данных). При этом из двух оценок, данных каждому объекту, выбиралась нетривиальная (не «пустая» и не «3»). По каждому эксперту рассчитывается число объектов, по которым данный эксперт дал хотя бы одну «непустую» оценку (уровень заполнения опросного листа — уровень «экспертности» эксперта). Проводится предварительная интегральная ранжировка всех объектов оценивания. В ходе такой интегральной ранжировки (рэнкинга) пропуски значений заменяются на среднюю оценку конкретного параметра для данного эксперта.

Проводится ранжировка объектов (замена балльных оценок рангами). Ранги, полученные ранее замененными «пустыми» значениями, вновь заменяются на пропуски. Далее эти пропуски заменяются на средние ранги по всем экспертам. По каждому объекту оценивания (автору) рассчитываются средневзвешенные ранги, данные каждым экспертом (уникальная ранжировка объектов), а затем средний ранг (интегральная ранжировка).

Второй шаг. Расчет рейтинга 1.

Рейтинг 1 — это значение определенной «интегральной» оценки творчества каждого отдельного автора (объекта оценивания), рассчитанное по определенной формуле на исходных данных (без замен пропусков — «пустых» значений и модификаций индивидуальных шкал оценивания). По каждому объекту (автору) рассчитываются средневзвешенные оценки каждого n-того эксперта, а затем средняя («интегральная») оценка по всем экспертам.

Третий шаг. Расчет рейтинга 2.

Рейтинг 2 — это значение определенной «интегральной» оценки творчества каждого отдельного автора (объекта оценивания), рассчитанное по определенной формуле на модифицированных данных (с заменами пропусков – «пустых» значений — и модификацией индивидуальных шкал оценивания). Шкала оценок каждого эксперта «растягивается» до шкалы 1–10. Пропуски заменяются на среднюю оценку данного параметра по всем экспертам. Затем по каждому объекту (автору) рассчитываются средневзвешенные оценки каждого n-того эксперта и средняя («интегральная») оценка по всем экспертам (как и для рейтинга 1).

Четвертый шаг. В качестве дополнительных (вспомогательных) процедур проведены:

Расчет показателей «спорности» (неоднозначности оценивания) каждого объекта. В качестве таких показателей приняты стандартные отклонения средних оценок и рангов, данных каждым экспертом (как для рейтингов, так и для рэнкинга).

Проведена кластеризация объектов оценивания на основании близости значений рейтинга 2, приписанным объекту каждым субъектом (объект как точка с вектором рейтинговых оценок, данных ему каждым субъектом).

В результате проведения соответствующих социологических процедур были получены три рейтинга, несколько отличные друг от друга по применяемой процедуре, рэнкинг номинантов, а также результаты кластерного анализа всего информационного массива. Эти результаты готовятся нами к публикации.