Другие журналы на сайте ИНТЕЛРОС

Журнальный клуб Интелрос » Credo New » №1, 2014

Лариса Фалюшина
О качестве государственного мониторинга

Фалюшина Лариса Игоревна
Орловский государственный университет
доктор педагогических наук,
профессор кафедры технологий психолого-педагогического и
специального образования

Falyushina Larisa I.
Orel State University Doctor of Education,
Professor of Technology psychological,
pedagogical and special Education
E-Mail: falaris53@ya.ru

 

В статье представлен качественный анализ применяемой в настоящее время государственной системы мониторинга государственной автоматизированной системы  «Управление». Выявляются причины низкой эффективности этой системы, сформулированы требования к качественному мониторингу, описана методология организации эффективного государственного мониторинга, способного адекватно выявлять дисфункции управляемых объектов и оперативно устранять их, не допуская нарастания кризисных явлений

The qualitative analysis of the state system of monitoring of the state automated Management system applied now is presented in article. The reasons of low efficiency of this system are established, requirements to high-quality monitoring are formulated, the methodology of the organization of the effective state monitoring capable adequately to reveal dysfunctions of operated objects is described and quickly to eliminate them, without allowing increase of the crisis phenomena

Совершенствование качества государственного управления невозможно без эффективного мониторинга всех процессов, происходящих в России. Важно научиться отслеживать все дисфункции  ещё на стадии их зарождения, оперативно ликвидировать их, не дожидаясь их накопления до кризисного состояния.

Учитывая то положение, что управление, это деятельность, направленная на повышение функциональности систем,  эффективный мониторинг процессов, происходящих в системе  должен отвечать, на наш взгляд, следующим требованиям:

  1. Должен быть целостным, то есть, обеспечить возможности управления ВСЕЙ   управляемой системой, начиная с её микро уровня  (в нашем случае, деятельность КАЖДОГО ДОУ страны) и до её макро уровня (масштаба  министерства). Причём, важно понимать, что, качество деятельности управленца ЛЮБОГО уровня определяется, в конечном счёте, качеством функционирования каждого «изначального»  элемента, так как именно  этим  уровнем   и только на этом уровне, обеспечивается общее предназначение системы   (то, для чего она создаётся: детский сад, чтобы воспитывать детей, поликлиника – чтобы их лечить и так далее).
  2. Быть оперативным, то есть мог отслеживать дисфункции по мере их возникновения, на любом уровне системы, тем самым обеспечивал возможность оперативной коррекции деятельности муниципальных органов управления
  3. Должен обеспечивать «чистоту» информации, то есть, важно минимизировать возможности её искажения, а тем более, не допускать  возможности  манипуляции  ею.
  4. Должен предоставлять возможности эффективной работы с этой  информацией, получать возможности оперативно делать «срезы»:

- о деятельности любого уровня системы, вплоть до одного конкретного ДОУ до деятельности министерства образования.

- о любом, произвольно выбранном направлении деятельности системы, процессе, происходящем в ней  (например, об организации питания в ДОУ или,  о состоянии заболеваемости или,  о динамике затрат…)

  1.   Должен быть достаточно экономным, не затрачивать много сил и времени на его обслуживание, так как сам мониторинг, в принципе, не обеспечивает, напрямую функциональных предназначений системы, а является ВСПОМОГАТЕЛЬНЫМ фактором (по сути, инструментом, управления), отвлекающим  людей от основных функций системы.

В последнее время,  осуществлён ряд значительных мер в этом направлении.  Президент ориентирует Правительство  Р.Ф. на создание систем мониторинга и электронного документооборота, как условие динамичности и прозрачности деятельности управляемых систем.  Однако ожидаемого эффекта эти меры пока не принесли. Попробуем разобраться в причинах этого явления. В частности, посмотрим, насколько эффективен тот мониторинг, который сейчас осуществляется Правительством Р.Ф. Разобраться, почему, при наличии столь эффективного инструмента становятся возможны факты многомиллионных хищений, почему существующий мониторинг не смог своевременно отразить процессы, протекающие в «Русгидро» или в Министерстве обороны. По сути, мониторинг и нужен для этого, это инструмент для выявления таких ситуаций. Факт наличия таких явлений, свидетельствует о неэффективном мониторинге. Рассмотрим, насколько современный уровень организации государственного мониторинга отвечает выше представленным требованиям. Проанализируем для этого, некоторые документы.

В частности, проанализируем систему ГАС «Управление» ( можно найти в интернет:gas-u.ru›docs/doc/show/2.35.htm).

 ГАС «Управление» обеспечивает выполнение следующих функций:

 1. Сбор данных, предназначенных для принятия управленческих решений в сфере государственного управления от ведомственных и региональных информационных систем и иных информационных систем, необходимость интеграции которых в ГАС «Управление» определяется функциональными требованиями к ней.

 2. Систематизация и анализ:

 - информации об уровне социально-экономического развития Российской Федерации и ее субъектов, в том числе в сопоставлении с мировой статистикой;

 - информации об эффективности деятельности федеральных органов государственной власти и органов государственной власти субъектов Российской Федерации;

 - информации о ходе реализации программ, проектов, комплексов мероприятий, реализуемых за счет средств федерального бюджета;

 - информации о бюджетных проектировках и об исполнении федерального бюджета, включая информацию о кассовом исполнении федерального бюджета и бюджетную отчетность главных распорядителей средств федерального бюджета;

 - государственной официальной статистической информации, собираемой в соответствии с федеральным планом статистических работ;

 - картографической информации и связанных с ней данных об объектах и ресурсах на территории Российской Федерации;

 - нормативно-справочной информации, содержащейся в ведомственных информационных системах;

 - иной информации, требующейся пользователям ГАС «Управление».

ГАС «Управление» – это комплекс информационных систем и информационных ресурсов в виде трехуровневой структуры:

 - первый уровень (центральная информационная система) – комплекс информационных систем, производящих сбор, обработку, хранение и распространение информации, поступающей со второго и третьего уровней ГАС «Управление»;

 - второй уровень (ведомственный) – входящие в ГАС «Управление» информационные системы федеральных органов исполнительной власти, информационные ресурсы которых предназначены для принятия управленческих решений в сфере государственного управления, и информационные ресурсы иных информационных систем, необходимость интеграции которых в ГАС «Управление» определяется функциональными требованиями к ней;

 - третий уровень (региональный) – информационные ресурсы информационных систем органов государственной власти субъектов Российской Федерации, необходимость интеграции которых в ГАС «Управление» определяется функциональными требованиями к ней.

            Обращаем внимание на то, что данный мониторинг охватывает три уровня. Совершенно очевидно, что из него выпадает самый важный, фундаментальный уровень, уровень конкретного предприятия, фирмы, организации. Полное отсутствие этого уровня в анализируемой нами системе вполне логично в рамках используемой авторами методологии организации  мониторинга. Организаторы мониторинга исходят из следующей логики: существует реальное распределение полномочий. Поэтому и в самом мониторинге есть соответственные уровни, которые обеспечивает информацией соответствующее ведомство, а государственная система должна только «собрать» эти данные воедино. Управление же самыми «низшими» ячейками вообще не имеет отношения  к глобальному мониторингу, так как для этого есть мониторинг микросистем…

Мы же  изначально, исходим из того, что мониторинг: «Должен быть целостным, то есть, обеспечить возможности управления ВСЕЙ   управляемой системой, начиная с её микро уровня  (в нашем случае, деятельность КАЖДОГО ДОУ страны) и до её макро уровня (масштаба  министерства). Причём, важно понимать, что, качество деятельности управленца ЛЮБОГО уровня определяется, в конечном счёте, качеством функционирования каждого «изначального»  элемента, так как именно  этим  уровнем   и только на этом уровне, обеспечивается общее предназначение системы   (то, для чего она создаётся: детский сад, чтобы воспитывать детей, поликлиника – чтобы их лечить и так далее)».

Изначально неверный посыл усиливается тем, что на «местах» во первых, не умеют эффективно собирать и обрабатывать исходную информацию так, чтобы дисфункция каждого ДОУ была очевидна, во вторых, часто просто не хотят качественно это делать, например в случаях, когда надо получить возможности «свободного» манипулирования этими средствами.

            В результате такой «логики», логики искусственного разделения целостной системы, мы получаем уже вполне искажённую картину, имеющую мало общего с реальностью.

Эффективный  государственный мониторинг, кроме того, как мы отмечали выше,  должен быть «Быть оперативным, то есть мог отслеживать дисфункции по мере их возникновения, на любом уровне системы, тем самым обеспечивал возможность оперативной коррекции деятельности муниципальных органов управления». А это значит, что дисфункции первого уровня (уровня, например ДОУ), крайне важно определить в их зародыше. Примечательно, что качество управления второго уровня определяется тем, насколько эффективно и оперативно эти дисфункции устраняются в подведомственном им ДОУ.

                 В свою очередь, уровень, например, городского управления будет определяться, насколько эффективно выполняет свои функции в подведомственном ему уровне и так далее… Только в этом случае система мониторинга заработает эффективно, а значит правильно выполнит своё предназначение…Если же такой последовательной деятельности нет, или она «прерывается» на каком-нибудь уровне, то сам мониторинг ПОЛНОСТЬЮ теряет свой смысл, становится формальностью, заключающейся в обязательном сборе определённой информации (может быть даже никому не нужной) Так как из внимания выпадает  деятельность непосредственного объекта управления.

Все выше сказанное, определяет несостоятельность в анализируемом варианте, и третьего предъявляемого нами   требования к качеству   проводимого мониторинга , который сформулирован нами так «…должен обеспечивать «чистоту» информации, то есть, важно минимизировать возможности её искажения, а тем более манипуляции этой информации». В связи с оторванностью информации от конкретного ДОУ, за который несёт ответственность каждый уровень, без исключения, а так же в связи, отмеченным  нами неумением и нежеланием  получать эффективную информацию, «подаваемая» наверх информация изначально не отражает действительности.  Но она подвергается, по этим же причинам, дальнейшему искажению на каждом последующем уровне. В результате информация становится непригодной для принятия обоснованных управленческих решений.

                   Рассмотрим эффективность анализируемой нами системы государственного мониторинга с позиции  следующего нашего  требования  к проведению качественного мониторинга, которое мы сформулировали так: « …должен предоставлять возможности эффективной работы с этой  информацией, получать возможности оперативно делать «срезы» о:

- о деятельности любого уровня системы, вплоть до одного конкретного ДОУ до деятельности министерства образования.

- о любом, произвольно выбранном направлении деятельности, процессе, происходящем в системе  (например, об организации питания в ДОУ или,  о состоянии заболеваемости или,  о динамике затрат…)

            Итак, рассмотрим, какие сведения мы можем получить по средствам мониторинга о деятельности детских садов в России. К сожалению, информация, которой обеспечивает нас система крайне ограничена и не отражает наших потребностей. В частности, представляем ту информацию, которую нам удалось получить из системы.

«Какие ВИС ГАС «Управление» работают сегодня?

 На сегодняшний день созданы и функционируют 14 ведомственных информационных систем, разработанные для пяти ведомств. Познакомиться с ними можно здесь…

Удельный вес численности детей, поступавших в первый класс, осваивавших программы дошкольного образования, отвечающие современным требованиям (1) , в общей численности детей, поступавших в текущем году в первый класс, Проценты

2008    2009    2010    2011    2012

68,00   70,00   72,00   74,00   75,00

Удельный вес численности детей в возрасте до 5 лет, получающих услуги дошкольного образования в организациях всех форм собственности и уровней образования, от общей численности детей данного возраста, нуждающихся в таких услугах, Проценты

2008    2009    2010    2011    2012

80,00   81,00   83,00   84,00   85,00…»

Никакой другой информации о деятельности ДОУ страны мы не получили, что, впрочем совершенно логично, исходя из общей методологии организации мониторинга.

К;ак мы уже отмечали, для эффективного управления всей системой, нам нужна оперативная информаци о динамике процессов, происходящих в системе, естественно, выше представленная информация не обеспечивает её.

             Не отражает эта система и наше пятое требование относительно качества мониторинга: « …должен быть достаточно экономным, не затрачивать много сил и времени на его обслуживание, так как сам мониторинг, в принципе, не обеспечивает, напрямую функциональных предназначений системы, а является ВСПОМОГАТЕЛЬНЫМ фактором (по сути, инструментом, управления), отвлекающим  людей от основных функций системы».

            Совершенно очевидно, что реализация такой системы требует огромных трудозатрат.     Мы предлагаем, свою свой «способ» нейтрализации этой проблемы. Для того, чтобы исключить необходимость дополнительного сбора ниформации «на местах», необходимо  полностью   заменить информацию собираемую сейчас для государственного мониторинга информацией, которую мы получаем в результате электронного документооборота.   Сейчас, эти два информационных потока могут осуществляться вполне самостоятельно. Надо, чтобы эти два потока стали единым целым, а именно, чтобы основой для мониторинга стал именно электронный документооборот. Важно так обеспечить взаимосвязь этих двух систем, чтобы информация, получаемая виде электронного документооборота в каждом ДОУ страны была прямо «адаптирована к системе государственного мониторинга». А далее, на основе нашей универсальной технологии эта информация будет обработана автоматически, станет доступной для работы любому эксперту (управленцу любого уровня, журналисту, родителю…)

Представим нашу технологию ниже.

Уверенность в успешности её применения  в наше время, придал нам и тот факт, что современные компьютерные технологии предоставляют нам такие возможности по средствам оперативной и адекватной организации государственного мониторинга. Однако сам компьютер не может работать, для этого нужно создать компьютерные программы. В связи с этим, нами была разработана универсальная технология государственного мониторинга социальными объектами, которая была представлена и одобрена международной конференцией в Венгрии («Methodology of organization of government monitoring of activity of the large social systems» from the “International Scientific Conference: Challenges for Analysis of the Economy, the Businesses, and Social Progress”)

.Наша методология состоит из универсальной технологии организации мониторинга и универсального инструментария углублённого сравнительного анализа. Остановимся на их описании.

 

 

Универсальная технология организации государственного мониторинга

         
 

1 Выработка основных критериев мониторинга

 
   
 
   
 
 

5. Выявление  недостатков деятельности, повлекших дисфункции

 

4.Выявление фактов успешной деятельности

 
 

6. Выработка средств коррекции на основе выявленных дисфункций

   

11.Выявление причин успешности.

 
 

7. Разработка типовая программа преодоления каждой типовой выявленной дисфункции (модули)

 

 
 
   

12. внедрение методики успешной деятельности в практику других ДОУ

 

8. Моделирование индивидуальных программ из типовых модулей

 
 

9. Проведение индивидуального курса его дистанционного обучения

 

 
 
 

10. Определяется степень их эффективности управленческих воздействия на новом витке мониторинга.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1. В процессе разработки стратегии развития образования, вырабатываются основныекритерии качества функционирования системы, которые в процессе мониторинга системы, принимают  вид основных его параметров.

2.  В процессе проведения  мониторинга качества  функционирования управляемой системы на основе этих параметров (с помощью сравнительного анализа и сопоставления данных о разных    результатах  деятельности одинаковых структурных её подразделений, с примерно одинаковыми внешними условиями), выявляются факты  существенных различий достигнутых  результатов

3.  В результате выявления фактов достижения значительно низких результатов, по сравнению с результатами деятельности  других, примерно одинаковых структурных подразделений,  с примерно одинаковыми   внешними условиями  выявляются основныедисфункции системы, их причины, особенности  их проявления в разных подразделениях системы,

4.   В результате установления фактов  и причин их успешной деятельности, мы получаем информацию о наличия до селе скрытых дополнительных резервах развития системы (так как в этих же условиях они по этим параметрам получили более высокие результаты).

5. В случаях выявления дисфункций, на основе «выстраивания идеальной модели» руководителя, выявляются недостатки деятельности (несоответствия «идеальной модели»), которые спровоцировали проявление выявленных  дисфункций

6.Вырабатываются средства коррекции управленческой деятельности каждого конкретного руководителя ДОУ, на основе выявленных дисфункций (доведения до соответствия «идеальной модели»),

7.  для этого вырабатывается типовая программа преодоления каждой типовойвыявленной дисфункции

 8. Совокупность этих типовых программ, разработанных в соответствии со всеми  выявленными в процессе мониторинга индивидуальными дисфункциями) и составитиндивидуальную программу дистанционного обучения каждого руководителя в деятельности которого выявлены дисфункции.

9. Автоматически, на основе компьютерной программы,  предлагается индивидуальный курс его дистанционного обучения каждому руководителю ДОУ страны

10.  Определяется степень их эффективности управленческих воздействия на новом витке мониторинга.

         Однако, разработанной нами технологии оказалось недостаточной для практического её применения. В связи с этим, мы дополнительно разработали инструментарий её применения. Представим  его в таблице № 2.

 

Универсальный инструментарий проведения углубленного сравнительного анализа в процессе государственного мониторинга.

 

Учитывая то, что существуют определённые сложности в установлении причин вариативности достигнутых результатов, возникают и сложности их трактовки, мы разработали также и методику проведения такого анализа.

     Методика эта может быть единой, несмотря на то, что его объектом могут быть совершенно разные аспекты деятельности системы, методика эта имеет следующие этапы:

Этап 1.

-определяются основные параметры анализа. Все параметры, изучаемые в процессе мониторинга,  условно  разделены нами на две группы: ресурсные и результатные параметры. к ресурсным параметрам относятся все параметры, связанные с определением уровня экономичности  использования различных ресурсов ДОУ. Это могут быть следующие параметры: уровень месячных расходов в расчете на одного ребенка, уровень расхода учебного времени ребенка или рабочего времени сотрудников и так далее. Однако сами по себе ресурсные параметры ничего не значат, например, мы установили, что в определенной группе ДОУ затраты на питание детей значительно превышают затраты других садов, но мы не знаем, как оценить этот факт пока не поймем, а как выполнялись санитарные нормы питания в ДОУ с высокими и низкими затратами. Именно поэтому мы выделили вторую группу параметров, названную нами группойрезультатных параметров.  К этой группе  мы можем отнести такие  как, как уровень комфортности ДОУ, диапазон оказываемых услуг,  уровень заболеваемости детей и так далее.

Этап 2. Разработка эталонных показателей.

Учитывая то, что каждое исследование достаточно локально,  для анализа нам не нужны единые эталонные показатели. Их, мы должны, в каждом конкретном случае, выработать сами. Методика  определения эталонных показателей, следующая: вычисляется среднеарифметическое число затрат, от него рассчитывается уровень «среднего» показателя ( условное обозначение Ср.), например, 15% в сторону увеличения и 15% в строну уменьшения, затем, отсчитывается еще 10% для расчета показателя «Ниже среднего» ( условное обозначение – Н/Ср ) И 10% для показателя вышесреднего (условное обозначение В/Ср). Оставшиеся 10% определяем как высокий показатель (условное обозначение  В), 10%, соответственно, определяем, как  низкий показатель (Н).

Этап 3.      Этап экстраполирования показателей. По каждой такой паре параметров (ресурсный и результатный) проводиться сравнительный анализ внутри  исследуемой группы. В ней выделяются объекты с высокими и низкими  показателями.

Этап 4.

После того, как проведен анализ по всем группам параметров с выделением уровня эффективности по каждому изучаемому объекту и параметру, каждому объекту по каждому параметру присвоен  свой уровень, проводим сравнительный анализ, условно названный нами анализ  соотношений. На этом этапе, сравниваются между собой, как правило, показатели из группы ресурсных показателей и группы результативных параметров.

Этап 5

  • Далее углубленно изучаются объекты, где существует большой разрыв между  ресурсными и результативными показателями.
  • Именно такие объекты дают нам информацию:
  • - о наличии дисфункций системы;
  • -о наличии успешно работающих структурах, в примерно одинаковых исходных условиях
  • Эта информация определяет содержание дальнейшей управленческой деятельности

На основе этой технологии разработана компьютерная программа мониторинга деятельности системы дошкольного образования, которая в режиме онлайн способна выявлять каждую значимую дисфункция каждого образовательного учреждения. Мы абсолютно уверены, что наша технология позволит выявлять дисфункции и в любых других социальных системах.

Обращаем внимание, что при поверхностном ознакомлении с нашей технологией, может показаться, что она предназначена исключительно для управления микросистемами и непригодна для глобального мониторинга, однако это не так. С повышением уровня управления, изменяются только критерии. Если на основном начальном уровне эти критерии качаются непосредственной деятельности ДОУ (посещаемость, заболеваемость, обеспечение норм продуктов и так далее) то на уровне города это будут качественно новые критерии, например, количество выявленных и устранённых дисфункций в  каждом ДОУ. Но в основе анализа может быть  по-прежнему положена выше представленная методика, на основе поляризации данных о функционирования, на основе прямого сопоставления данных ресурсных и результатных параметров. В результате такой электронной обработки данных мы можем получить полную, неискажённую информацию о функционировании системы в целом, о каждом уровне управления.

В конце хочу ещё раз обратить внимание читателя на существенные различия  предлагаемой  мной технологии государственного мониторинга и мониторинга, осуществляемого сейчас.

№ п/п

Осуществляемый сейчас мониторинг

Предлагаемый мой мониторинг

1. В основе мониторинга лежит информация, полученная от ведомств областного масштаба, а это значит, что она не может считаться «достоверной» так как:

 

-  у  самих этих чиновников областного уровня нет эффективной технологии сбора и обработки информации такого рода;
- они часто не заинтересованы в предоставлении такой информации, так как качественный мониторинг исключает коррупционные возможности (возможности «ловить рыбку в мутной воде…»), не дают возможности «приукрашивания результатов…»

В основе «моего» мониторинга лежит прямая информация от ПЕРВОИСТОЧНИКА. В моём случае от каждого конкретного детского сада страны, минуя все многочисленные  бюрократические инстанции, каждая из которой «внесёт» свой вклад» в  её искажение.

 

В нашем случае, информация поступает «рафинированная», чистая из специально организованного универсального документооборота (заведующая ДОУ в электронном виде, а режиме онлайн оформляет меню, табеля посещаемости, учёта рабочего времени сотрудников и так далее, вся документация…). Именно эта чистая, неискажённая информация поступает в оперативную обработку компьютером.

 

2. Требует огромного дополнительного рабочего времени для сбора и обработки информации, чтобы «подать» её «наверх» для организации «Вашего» мониторинга. «Наш» мониторинг вообще лишён этих затрат времени, вся обработка информации производиться автоматически, с помощью компьютерных программ, обоснованных моей универсальной технологией на основе информации, получаемой в результате единого электронного документооборота в каждом ДОУ (см. материалы конференции в Венгрии…)
3. Кроме того, информация,   теряет рафинированность, чистоту, так как  «обрабатывается  вручную» большим количеством чиновников. Чистота информации обеспечивается обработкой её беспристрастным компьютером.
4 Мониторинг напрочь лишён оперативности, так как, пока соберут информацию, переработают её на всех уровнях, пройдёт много времени, мы теряем возможности оперативной коррекции процессов, происходящих в управляемой системе «Наш» мониторинг имеет возможности работать оперативно, так как информация находиться в постоянной оперативной переработке (благодаря заложенной в ней программе). Благодаря чему, проблема не накапливается до «взрывного» состояния, а ликвидируется сразу. К примеру, «ваш» мониторинг, несмотря на то, что он есть, всё же позволяет получать эффект «РусГидро»,  когда уворовывают уже миллиарды. Наш мониторинг, позволяет отслеживать малейшие «всплески» затрат  (украли 100 рублей, объясните, где деньги, «положите их на место»…
5 Во время обработки больших «пластов» информации при существующих на сегодня технологиях. используются методы статистической обработки информации, как правило, на основе статистической выборки, а это неизменно ведёт к допустимым «погрешностям», что не улучшает, принятых управленческих решений, основанной такой информацией. При нашей технологии, не используются никакие выборки (а значит, нет допускаемых неточностей). Анализируются автоматически реальные данные каждого ДОУ. «Сужение» же  информации до уровня «возможной их обработки» происходит не за счёт случайной выборки, а за счёт фиксации «отклонения» от «нормы», как положительное – мы изучаем скрытые резервы развития системы, так и отрицательное, мы изучаем дисфункции, «болезни» системы

 

Для того, чтобы осуществлять эффективное государственное регулирование, не ущемляющее права регионов в деле управления большими социальными системами (сейчас эти направления делегированы органам местного самоуправления), но вместе с тем, реально управлять общегосударственными процессами, необходимо совершенствовать саму технологию государственного управления. Мы не пытаемся создавать общегосударственных планов, где каждый шаг регламентирован…, но глубоко анализируем результативность исполнения делегированных на места полномочий, отслеживать будем строго, в режиме онлайн. И в случае, выявления дисфункций оперативно и адекватно отреагируем, откорректируем деятельность муниципалитетов (так как их дисфункция влечёт за собой значительные последствия виде «всплесков» социальной активности).



Другие статьи автора: Фалюшина Лариса

Архив журнала
№4, 2020№1, 2021кр№2, 2021№3, 2020№2, 2020№1, 2020№4, 2019№3, 2019№2, 2019№1. 2019№4, 2018№3, 2018№2, 2018№1, 2018№4, 2017№2, 2017№3, 2017№1, 2017№4, 2016№3, 2016№2, 2016№1, 2016№4, 2015№2, 2015№3, 2015№4, 2014№1, 2015№2, 2014№3, 2014№1, 2014№4, 2013№3, 2013№2, 2013№1, 2013№4, 2012№3, 2012№2, 2012№1, 2012№4, 2011№3, 2011№2, 2011№1, 2011№4, 2010№3, 2010№2, 2010№1, 2010№4, 2009№3, 2009№2, 2009№1, 2009№4, 2008№3, 2008№2, 2008№1, 2008№4, 2007№3, 2007№2, 2007№1, 2007
Поддержите нас
Журналы клуба