Оценка эффективности программ профилактики потребления
психоактивных веществ
Корчагина Г.А., Фадеева Е.В. (Москва, Российская Федерация)
English version
|
Корчагина Галина Александровна
– доктор медицинских наук, профессор, заместитель
директора; «Научно-исследовательский институт наркологии»,
филиал ФГБУ «Федеральный медицинский исследовательский центр
психиатрии и наркологии им. В.П. Сербского» Минздрава
России, Малый Могильцевский пер., 3, Москва, 119002, Российская
Федерация. Тел.: 8-499-241-06-03.
E-mail: nrcakorch@mail.ru
|
|
Фадеева Евгения Владимировна
– кандидат психологических наук, заведующая
отделением профилактики употребления ПАВ среди лиц молодого
возраста, «Научно-исследовательский институт наркологии»,
филиал ФГБУ «Федеральный медицинский исследовательский центр
психиатрии и наркологии им. В.П. Сербского» Минздрава
России, Малый Могильцевский пер., 3, Москва, 119002, Российская
Федерация. Тел.: 8-499-241-06-03.
E-mail: nscnfadeeva@mail.ru
|
Аннотация
Необходимым составным компонентом эффективной национальной системы
профилактики потребления психоактивных веществ (ПАВ), реализуемой
в учреждениях здравоохранения, образования и прочих организациях,
включая религиозные и неправительственные, является система оценки
превентивных вмешательств. Необходимо тщательно оценивать полезность
и, по мере возможности, экономическую эффективность реализуемых
профилактических программ. Поскольку достаточно сложно оценить
эффективность профилактических программ, реализуемых с различными
возрастными категориями, учесть взаимодействие всех факторов,
обуславливающих уязвимость соответствующих возрастных категорий
к злоупотреблению психоактивными веществами (ПАВ), а также степень
охвата возможных индивидуальных рисков, необходимы стандартные
методологические подходы и четкие критерии оценки. Общие
методологические принципы и подходы, опирающиеся на анализ
научной и правовой информации, создаются на основе
приоритетности социальных эффектов, комплексного подхода,
сопоставимости результатов и обязательного учета и анализа
затрат на проведение и реализацию программ профилактики
потребления ПАВ. Зачастую соблюдение методологических
принципов может быть затруднено из-за отсутствия достаточного
количества финансовых и человеческих ресурсов, однако для
повышения эффективности реализации и внедрения программ
профилактики необходимо стремиться к соблюдению стандартных,
единообразных и научно обоснованных критериев к оценке. В итоге
результаты оценки позволят разработчикам программ понять, к каким
последствиям приводят предлагаемые ими методы и подходы к профилактике
потребления ПАВ среди различных групп населения и расширять базу
знаний о профилактических вмешательствах.
В данной статье рассматриваются вопросы внедрения системных и
научно-обоснованных методов оценки эффективности профилактических
мероприятий, направленных на снижение потребления психоактивных
веществ (ПАВ). Вопросы внедрения и реализации системы оценки имеют
немалое значение в связи с большим научным и практическим опытом,
накопленным как в России, так и в зарубежных странах. В статье
делается акцент на общих методологических принципах и подходах,
видах и этапах оценки эффективности профилактических мероприятий.
Ключевые слова:
программы профилактики употребления ПАВ; оценка эффективности программ
профилактики потребления ПАВ; виды оценки.
|
Поступила в редакцию:
|
Прошла рецензирование:
|
Опубликована:
|
|
06.04.2015
|
24.04.2015
|
30.04.2015
|
Ссылка для цитирования размещена в конце публикации.
Для успешной реализации программ профилактики употребления
психоактивных веществ (ПАВ) необходимо внедрить систему углубленной
и независимой оценки. Реальность объективной оценки профилактических
вмешательств в изначальном виде предстает как набор разнородных фактов,
отражающих различные события и явления, в которых трудно увидеть
какие-либо закономерности. Достаточно сложно проанализировать их во
всем многообразии и внутреннем единстве, выбрать в них существенное и
выявить прогностические тенденции. В обзорах по исследованию первичной
профилактики отмечается, что большая часть такой деятельности формально
не оценивается, поскольку практически невозможно сделать заключение об
ее эффективности. Отсутствие единых методологических принципов и
подходов к оценке эффективности не позволяет сравнивать различные
программы и полноценно использовать ресурсы их распространения.
Международные стандарты профилактики действуют и регулярно
обновляются в Европе, в Канаде и других странах [15; 16; 29].
Международные стандарты профилактики потребления наркотиков [9; 21],
принятые в Управлении Организации Объединенных Наций по наркотикам и
преступности (УНП ООН) в 2013 году, дают методологическое обоснование
по вопросам сохранения здоровья и формирования здорового образа жизни
детей, подростков и взрослого населения, содержат информацию о
профилактике здорового и безопасного развития детей, возможностях
предотвращения наркомании и токсикомании, эффективных профилактических
программах для различных категорий населения (детей, подростков,
взрослого населения, беременных женщин). Международные стандарты
профилактики содержат структурированную информацию по созданию
национальной системы профилактики потребления табака, алкоголя и
наркотиков, базирующуюся на принципах доказательной медицины, в основе
которой лежит проверка эффективности и безопасности методик
диагностики, профилактики и лечения в клинических исследованиях. Одним
из основополагающих критериев внедрения и реализации стандартов
системной профилактики потребления ПАВ является оценка и качественный
анализ эффективности проводимых мероприятий [1; 9; 11; 21].
Профилактические программы, успешно реализуемые в западных странах, в
подавляющем большинстве случаев их использования в российских условиях
оказываются совершенно неэффективными [22; 24; 26]. В связи с этим
теоретические модели западных профилактических программ должны быть
дополнены данными отечественных эмпирических исследований [5; 12; 13;
20; 27].
Ключевыми аспектами формирования эффективных основ первичной
профилактики потребления ПАВ являются:
– единая нормативно-правовая база, определяющая
законодательные нормы проведения данных программ;
– единая концепция превентивных программ,
опирающаяся на отечественные и зарубежные научно-обоснованные методы
профилактической помощи;
– успешно действующие программы мониторинга,
позволяющие обозначить реальные масштабы ситуации с употреблением
ПАВ среди различных категорий населения;
– единая система оценки действующих
профилактических программ, позволяющая оценить эффективность их
функционирования в различные промежутки времени.
В 2010 году в Европейском мониторинговом центре по наркотикам и
наркомании (European Monitoring Centre for Drugs and Drug Addiction
— EMCDDA) были опубликованы «Руководящие принципы оценки
эффективности профилактических программ», содержащие современное
обобщение практического опыта и дополнительные теоретические наработки.
По определению, принятому в EMCDDA, оценка профилактических программ
— это систематический и научный сбор данных, связанных с
внедрением программы (проекта), их обработка и анализ с целью определить
эффективность и действенность программы [16].
Для того чтобы провести оценку эффективности программ профилактики,
необходимо выбрать общие методологические принципы и подходы,
базирующиеся на анализе научной и правовой информации и учитывающие
следующие факторы:
– понимание риска в двояком смысле, который
включает в себя как элемент вероятности то, что некоторые события
(потребление определенного вида ПАВ) могут произойти, и степень
серьезности такого вреда (как правило, определяемого как
«опасность»);
– распространенность использования ПАВ среди
дифференцированных групп населения (группы-мишени), включая оценку
риска распространенности новых ПАВ;
– методологическое обоснование полученных и
имеющихся данных. С методологической точки зрения, доказательства
эффективности реализации профилактических программ получают после
соблюдения более или менее строгих научных процедур;
– источники имеющихся данных. Процедура оценки
эффективности профилактических программ должна включать в себя стратегию
использования данных из источников различного качества (от рецензируемых
публикаций в крупных научных журналах, официальных докладов в
международных организациях и государственных учреждений до данных,
собранных волонтерами молодежных движений) [2; 7; 10; 17].
Оценка эффективности вызывает определенные трудности, поскольку
изменения динамических характеристик употребления ПАВ, происходящие
на протяжении многих лет, не позволяют сделать это однозначно.
Методология, необходимая для анализа этих сложных вопросов, часто
бывает недоступна из-за отсутствия достаточного количества финансовых и
человеческих ресурсов. Оценка должна также включать анализ потребностей
в том или ином виде вмешательства, результативность самого проекта и
планируемых действий, кроме того, анализ качества реализации проекта.
При проведении оценки эффективности могут применяться методы как
количественного, так и качественного анализа, оценка экономической
эффективности программ, изучаться возникающие трудности и проблемы
[19; 23].
Выделяют следующие виды оценок: оценка планирования программы,
оценка реализации проекта, оценка результатов. Эффективность
любого мероприятия, проекта, программы определяется тем, насколько
правильно все было спланировано, были ли учтены все обстоятельства
и факторы, которые могут повлиять на результат. Отсюда вытекает
необходимость оценки планирования программы на стадии ее
разработки, когда определены цели и задачи, целевые группы, выбраны
методы реализации намеченных задач. Оценка планирования программы
отражает процесс определения проблемы, необходимые вмешательства,
целевые группы населения и цели программы, помимо этого оценка
планирования программы включает оценку ресурсов. Оценка планирования
программы может проводиться как специалистом извне, так и человеком,
участвующим в проекте. Источниками получения информации могут быть
литературные данные, данные специальных научных исследований, данные,
полученные через интервьюирование сотрудников, письменные отчеты о
проведенной на данном этапе работе. Оценка этапа планирования
профилактической программы позволит определить, какова ситуация с
распространением потребления ПАВ, в чем заключаются основные проблемы,
почему, для чего и что в связи с этим планируется предпринять,
правильно ли определены цели и целевые группы, как будет
реализовываться проект, каких ресурсов потребует. Этап оценки на
стадии реализации проекта представляется наиболее трудоемким и
сложным, исключение его или некачественное проведение не позволит в
достаточно полной мере оценить эффективность той или иной
профилактической программы, ее влияние на различных участников. Этот
этап включает в себя исследование аудитории и предварительную
экспертизу программы, оценку потребностей и социальный маркетинг для
характеристики участников программы, какими методами будет проводиться
оценка (качественными или количественными), какие инструменты и
документы будут использоваться (интервью, опросники и т.д.), где, когда
и как часто будет собираться информация по реализации проекта, кто
будет обеспечивать сбор необходимой информации для оценки эффективности
реализации проекта, как эти данные будут анализироваться. По завершении
этого этапа должно быть ясно, как будет измерен процесс реализации
проекта, что произошло в процессе реализации, как много людей вовлечено
в программу, как много целевых групп и насколько хорошо прошла эта
программа. Важным моментом в оценке является сопоставление планируемых
мероприятий с тем, что получилось в реальной жизни. Последним,
завершающим этапом в оценке эффективности профилактических программ
является этап оценки результатов реализации программы. Суммарная или
итоговая оценка эффективности профилактической программ необходима для
того, чтобы определить, достигнуты ли конечные цели, а также затраты на
их достижение и эффективность примененных методов.
Оценка результатов адресуется общей задаче программы,
изменениям в познаниях, отношении и поведении, а также поддержанию
изменений. Всесторонняя итоговая оценка может быть направлена как
на немедленные, так и на отдаленные по времени эффекты, и может
анализировать как предусмотренные, так и непредусмотренные эффекты,
а также отсутствие эффектов [6; 7; 10; 19].
Для объективной оценки следует определить, что может быть результатом
профилактической программы. Необходимо иметь ввиду, что программы
профилактики создают эффекты первого, второго и третьего порядка,
каждый из которых может рассматриваться как результат [3; 4; 30]. При
оценке программ внимание чаще всего обращается на эффекты первого
порядка (частично потому, что их легче документировать). К ним относят
оценку мероприятий, выполняемых непосредственно исполнителями программы.
Например, эффектом первого порядка профилактической программы может
быть рост количества ее участников, что предполагает позитивное
восприятие данной программы или повышение степени включенности
участников в проводимые мероприятия. Оценка эффектов второго порядка
рассматривает влияние, оказанное программой, т.е. изменилось ли
что-нибудь в знаниях, отношении, поведении тех, кто участвовал в
программе. К эффектам третьего порядка относят: изменение подходов
к решению проблемы в сообществе, продвижение к решению проблемы и
т.д. [8].
В заключение можно сказать, что оценка является
научно-исследовательским методом, который определяет уровень
эффективности стратегии вмешательства, учитывает влияние факторов
риска, ограничивающих проведение профилактических программ, а также
экономические затраты на достижение применяемых методов. Использование
единых общих положений, видов оценки эффективности профилактических
программ, позволит объединить имеющийся российский опыт в данной
отрасли и достичь наилучших результатов, отобрав наиболее эффективные
программы и обосновав закрытие программ, не дающих эффекта.
Литература
1. Автономов А.С., Хананашвили Н.Л. Оценка в
социальном проектировании. Методическое пособие / под общ. ред.
А.С. Автономова. – М.: Национальная Ассоциация
благотворительных организаций, 2010. – 150 с.
2. Бейквел О. Совершенствуя процесс развития.
Практическое пособие по мониторингу и оценке // INTRAC, 2004.
3. Беркалиев Т.Н. Сущность проблемы мониторинга
при распространении результатов проектов в образовании // Обоснование
принципов распространения опыта реализации итогов проектов в
образовательных системах разного уровня с учетом социогеографических
особенностей региона: депониров. отчет о научно-исследовательской
работе за 2002 per. номер 07 003 2684 СПБГУ. Итоговый отчет по
государственному контракту № 439 от 18.06. – М., 2002.
4. Беркалиев Т.Н. Профилактика наркомании
в территориальной системе общего образования: дис. … канд.
пед. наук. – СПб., 2003. – 232 c.
5. Валюшицкая И.В. Путеводитель по оценке
программ. – Красноярск: Красноярская региональная молодежная
общественная организация Центр «Сотрудничество на местном
уровне», 2005 [Электронный ресурс]. – URL:
http://www.kccp.ru/lib/putevoditel_po_otsenke.zip
6. Власов В.В., Реброва О.Ю. Доказательная
медицина: формулировка актуального клинического вопроса, иерархия
доказательств, источники информации // Заместитель главного врача:
лечебная работа и медицинская экспертиза. – 2010. –
№ 1.
7. Гусева Е.Г. Мониторинг и оценка проектов /
автор. коллектив серии: Е.Г. Гусева, Ю.С. Крылова,
А.Ю. Москвина [и др.]. – СПб.: ЦРНО, 2014.
8. Дышычев Р.Д. Педагогические условия
профилактики употребления психоактивных веществ младшими
школьниками: дис. … канд. пед. наук. – Майкоп,
2004. – 201 с.
9. Международные стандарты по профилактике
употребления наркотиков. – УПН ООН, 2013 [Электронный ресурс].
– URL: http://www.unodc.org/unodc/en/ prevention/additional-resources/prevention-standards-ru.html
10. Оценка проектов и программ: методология и
практика / под ред. А.И. Кузьмина, Р. О’Салливан,
Н.А. Кошелевой. – М.: Изд-во «Престо-РК»,
2009. – 396 с.
11. Оценка эффективности деятельности учреждений
социальной поддержки населения / под ред. П.В. Романова,
Е.Р. Ярской-Смирновой. Серия «Научные доклады: независимый
экономический анализ». – М.: Московский общественный
научный фонд; Центр социальной политики и гендерных исследований,
2007. – 234 с.
12. Руководство по планированию, мониторингу и
оценке результатов развития // Программа развития Организации
Объединенных Наций [Электронный ресурс]. – URL:
http://web.undp.org/evaluation/handbook/Russian/pme-handbook-Russian.pdf
13. Социальные детерминанты здоровья и благополучия
подростков. Исследование «Поведение детей школьного возраста в
отношении здоровья» (HBSC): международный отчет по результатам
исследования 2009/2010 гг. / под ред. C. Currie и др. –
Копенгаген: Европейское региональное бюро ВОЗ, 2012. – 31 c.
[Электронный ресурс]. – URL:
http://www.euro.who.int/_data/assets/pdf_file/0010/181972/E96444-Rus-full.pdf.
14. Технологии разработки и совершенствования
молодежных социальных проектов и программ по формированию здорового
образа жизни в студенческой среде: учебно-методическое пособие /
Л.А. Цветкова, И.Н. Гурвич, М.М. Русакова [и др.] /
под ред. И.Н. Гурвича. – СПб.: Изд-во С.-Петерб. ун-та,
2004. – 148 с.
15. Building on Our Strengths: Canadian Standards
for School-based Youth Substance Abuse Prevention, Version 2.0.
– Canadian Centre for Substance Abuse, 2010. – 137 p.
[Electronic resource]. – URL:
http://www.ccsa.ca/2010%20CCSA%20Documents/ ccsa-011815-2010.pdf
16. European drug prevention quality standards.
A manual for prevention professionals. – European Monitoring
Centre for Drugs and Drug Addiction (EMCDDA), 2011. – 292 p.
[Electronic resource]. – URL:
http://www.emcdda.europa.eu/ attachements.cfm/att_145539_EN_TD3111250ENC.pdf
17. Farrington D.P. Methodological quality
standards on evaluation research // The Annals of the American
Academy of Political and Social Science, 2003. –
Р. 49–68.
18. Health Behaviour in School-aged Children:
Trends Report 1990–2010. – HBSC, 2014. – 116 р.
[Electronic resource]. – URL:
http://www.phac-aspc.gc.ca/hp-ps/dca-dea/prog-ini/school-scolaire/behaviour-comportements/assets/pdf/trends-tendances-eng.pdf
19. Higgins J.P.T., Green S. Cochrane Handbook
for Systematic Reviews of Interventions Version 5.1.0 [updated March
2011]. – The Cochrane Collaboration, 2011. [Electronic
resource]. – URL: http://www.cochrane-handbook.org
20. Hummelbrunner R. Learning, Systems Concepts
and Values in Evaluation: Proposal for an Exploratory Framework to
Improve Coherence // IDS Bulletin. – 2015. – Vol. 46.
– Issue 1. – P. 17–29.
21. International Standards on Drug Use
Prevention. – UNODC, 2013. – 49 p. [Electronic
resource]. – URL:
http://www.unodc.org/documents/prevention/prevention_ standards.pdf
22. Patton M.Q. Utilization-Focused Evaluation,
4th edition. – Thousand Oaks, Ca: Sage Publications, 2008.
– 688 p.
23. Rating quality of evidence and strength of
recommendations. GRADE: an emerging consensus on rating quality of
evidence and strength of recommendations / G.H. Guyatt,
A.D. Oxman, G.E. Vist [et al.] // BMJ, 2008. –
Р. 924–926.
24. Replication in prevention science /
J.C. Valentine, A. Biglan, R.F. Boruch [et al.]
// Prevention Science. – 2011. – Vol. 12.
– Р. 103–117.
25. Risk assessment of new psychoactive substances.
Operating guidelines. European Monitoring Centre for Drugs and Drug
Addiction, 2009. – 92 p. [Electronic resource]. –
URL: http://www.emcdda.europa.eu/attachements.cfm/att_100979_EN_ RiskGuidelines2010.pdf
26. Segone M., Ocampo A. Creating and
Developing Evaluation Organizations: Lessons learned from Africa,
Americas, Asia, Australasia and Europe. DESCO and UNICEF: Lima, Peru.
– 2006 [Electronic resource]. – URL: http://ioce.net/download/case_studies/
IOCE_EvalOrgPack_Jan2007.pdf
27. Social determinants of health and will-being
amond young people: Healf Behavior in School-aged Children (HBSC)
study: international report from the 2009/2010 survey / edited by
C. Currie [et al.]. – Copenhagen, WHO Regional Office for
Europe, 2012 [Electronic resource]. – URL:
http://www.euro.who.int/__data/assets/pdf_file/0003/ 163857/Social-determinants-of-health-and-well-being-among-young-people.pdf
28. Standards of evidence: criteria for efficacy,
effectiveness and dissemination / B.R. Flay, A. Biglan,
R.F. Boruch [et al.] // Prevention Science.
– 2005. – Vol. 6(3). – Р. 151–175.
29. Stronger Together: Canadian Standards for
Community-based Youth Substance Abuse Prevention. – Canadian
Centre for Substance Abuse, 2010. – 160 p. [Electronic
resource]. – URL: http://www.ccsa.ca/2010%20CCSA%20Documents/2010_CCSA_
Community-based_Standards_en.pdf
30. The Combination of Psychedelic and Aversive
Approaches in Alcoholism Treatment: The Affective Contra-Attribution
Method / E.M. Krupitsky, A.Ya. Grinenko, T.N. Berkaliev
[et al.] // Alcoholism Treatment Quarterly.
– 1992. – Vol. 9, № 1.
– P. 99–105.
Ссылка для цитирования
УДК 616.89-008.441.13-084
Корчагина Г.А., Фадеева Е.В. Оценка эффективности программ профилактики
потребления психоактивных веществ // Медицинская психология в России:
электрон. науч. журн. – 2015. – N 2(31). –
C. 6 [Электронный ресурс]. – URL: http://mprj.ru
(дата обращения: чч.мм.гггг).
Все элементы описания необходимы и соответствуют ГОСТ Р 7.0.5-2008
"Библиографическая ссылка" (введен в действие 01.01.2009). Дата обращения [в формате
число-месяц-год = чч.мм.гггг] – дата, когда вы обращались к документу и он был доступен.
The evaluation of the effectiveness of psychoactive substance abuse
prevention programmes
Korchagina G.A., Fadeeva E.V. (Moscow, Russian Federation)
|
Korchagina Galina Aleksandrovna
– doctor of Medicine, professor, deputy director;
"National Research Centre on Addictions", branch of Federal State
Budgetary Institution "V. Serbsky Federal Medical Research
Centre for Psychiatry and Narcology" of the Ministry of Health of
the Russian Federation, Malyi Mogiltsevskiy lane, 3, Moscow, 119002,
Russian Federation. Phone: 8-499-241-06-03.
E-mail: nrcakorch@mail.ru
|
|
Fadeeva Evgeniya Vladimirovna
– candidate of psychological science, head of the unit
of psychoactive substance use prevention among young people; "National
Research Centre on Addictions", branch of Federal State Budgetary
Institution "V. Serbsky Federal Medical Research Centre for
Psychiatry and Narcology" of the Ministry of Health of the Russian
Federation, Malyi Mogiltsevskiy lane, 3, Moscow, 119002, Russian
Federation. Phone: 8-499-241-06-03.
E-mail: nscnfadeeva@mail.ru
|
Abstract
The integral component of effective national drug abuse prevention
system implemented in health establishments, education establishments,
and other organizations, including religious and non-governmental
organizations, is the preventive interventions assessment system.
It is necessary to evaluate carefully the usefulness and as far as
possible, the economic efficiency of implemented prevention programmes.
As it is difficult to evaluate the effectiveness of prevention
programmes implemented for different age groups, to consider the
interaction of all the factors that lead to the vulnerability to
psychoactive substance abuse of the relevant age groups, and the
coverage of potential individual risks standard, methodological
approaches and clear evaluation criteria are needed. General
methodological principles and approaches, based on the analysis
of scientific and legal information are created on the basis of
the priority of social effects, of an integrated approach,
comparability of the results and obligatory recording and analysis
of the costs for implementation of drug abuse prevention programmes.
Often it is difficult to observe the methodological principles
because of lack of sufficient financial and human resources,
however, it is necessary to strive for observe the standard,
uniform and scientifical criteria for evaluation to increase
prevention programme implementation efficiency. As a result,
the evaluation results will allow programme developers to
understand what the consequences of proposed methods and
approaches to prevention of psychoactive substances use among
different population groups are, and to expand the knowledge base
of preventive interventions.
This article deals with implementation of systematic and
scientific-based methods of evaluating the efficiency of preventive
activities aimed at reducing psychoactive substance abuse. Issues
of implementation and assessment system are very important because
of great scientific and practical experience gained in Russia and
other countries. The article places the emphasis on general
methodological principles and approaches, types and stages of
evaluating the efficiency of preventive activities.
Key words: psychoactive substances abuse prevention programmes;
evaluation of the effectiveness of psychoactive substances abuse
prevention programmes; types of evaluation.
|
Received: April 6, 2015
|
Accepted: April 24, 2015
|
Publisher: April 30, 2015
|
Bibliographic reference
It is necessary to implement a system of deep and independent
evaluation for successful realization of psychoactive substance use
prevention programmes. The reality of an objective evaluation of
preventive interventions originally is presented as a set of various
facts that reflect different events and phenomena in which it is
difficult to see any regularity. It is difficult enough to analyze them
in all its diversity and intrinsic unity, to choose the essential parts
and to identify the forecasting trends. The reviews on the study of
primary prevention note that most of these activities are not formally
evaluated because it is practically impossible to make a conclusion
about its effectiveness. The lack of uniform methodological principles
and approaches for assessing the effectiveness don't allow to compare
different programmes and to fully use the resources of their
distribution.
The international prevention standards function and are updated
regularly in Europe, Canada and other countries [15; 16; 29].
International standards for drug abuse prevention [9; 21], adopted by
United Nations Office on Drugs and Crime (UNODC) in 2013, give a
methodological study on protection of health and development of healthy
lifestyles among children, teenagers and adults, contain information
about prevention, healthy and safe development of children,
opportunities to prevent drug and toxic substance abuse, effective
prevention programmes for different categories of the population
(children, teenagers, adults, pregnant women). International prevention
standards include structured information about creating a national
system for the prevention of tobacco, alcohol and drug use, building on
the principles of evidence-based medicine, which is based on
verification of the effectiveness and safety of diagnostics methods,
prevention and treatment in the clinical studies. The fundamental
criteria for the introduction and implementation of standards for
systematic psychoactive substance abuse prevention are the evaluation
and qualitative analysis of the effectiveness of interventions [1; 9;
11; 21]. The prevention programmes implemented successfully in Western
countries, in most cases, are totally ineffective in Russian conditions
[22; 24; 26].
In this regard the theoretical models of Western prevention programs
should be complemented by domestic empirical studies [5; 12; 13; 20; 27].
The key aspects of development of effective primary psychoactive
substances abuse prevention bases are:
– |
unified legal framework that defines the legislative rules of these
programmes;
|
– |
unified prevention programmes concept, based on domestic and foreign
evidence based methods of preventive care;
|
– |
the successful monitoring programmes, that allow to identify the real
scale of psychoactive substance use among different categories of the
population;
|
– |
of existing prevention programmes to evaluate the effectiveness of
their functioning at different times.
|
In 2010, the European Monitoring Centre for Drugs and Drug Addiction
(EMCDDA) published "The guidelines for the evaluation of prevention
programmes effectiveness", containing the modern consolidation of
practical experience and supplemental theoretical developments.
According to the definition adopted by the EMCDDA, evaluation of
prevention programmes effectiveness is systematic and scientific
collection of data related to the introduction of the programme
(project), data processing and analysis to determine the efficiency
and effectiveness of the program [16].
It is necessary to select general methodological principles and
approaches, based on the analysis of scientific and legal information
and take into account the following factors:
– |
understanding of the risk in dual sense, which includes both an element
of probability that some event (use of a certain type of psychoactive
substance) could occur, and the degree of gravity of that harm (usually
defined as "danger");
|
– |
the prevalence of psychoactive substances abuse among differentiated
groups of the population (target groups), including the evaluation of
the risk of abundance of new psychoactive substances;
|
– |
methodological substantiation of received and available data.
Methodologically the proof of the effectiveness of implementation of
prevention programmes is obtained after following more or less strict
scientific procedures;
|
– |
the available data sources to assess the effectiveness of prevention
programs. The procedure for evaluating of the effectiveness of
prevention programs should include the strategy for using of data
from sources of variable quality (from peer-reviewed articles in
major scientific journals, official reports of international
organizations and state institutions to data collected by volunteers
of youth movements) [2; 7; 10; 17].
|
Evaluating the effectiveness causes some difficulties, because
the changes of dynamic characteristics of psychoactive substance use
taking place for many years, don't allow to do it unequivocally. The
methodology needed to analyze these difficult issues; it is not
available often because of the lack of sufficient financial and human
resources. The assessment should also include the analysis of needs for
some form of intervention, the effectiveness of the project and the
planned activities also the analysis of the quality of the project
implementation.
The methods both quantitative and qualitative analysis, assessment
of economic efficiency of programs can be used, the difficulties and
problems can be studied in assessing the effectiveness [19; 23].
There are following types of evaluation: evaluation of programme
planning, evaluation the project implementation, evaluation of the
results. The effectiveness of any activity, project, programme is
determined by how well everything was planned, all the circumstances
and factors that could affect the outcome were taken into account.
Hence it is necessary to assess the planning of the programme
at the design stage when goals and objectives, target groups are indified,
methods of realization of the planned tasks are chosen. The evaluation
of programme planning reflects the process of defining the problem, the
necessary interventions, target groups and the aims of the program,
also the evaluation of planning includes the evaluating of resources.
The evaluation of programme planning can be conducted as by an expert
from outside, and by the person participating in the project.
Information sources can be the literary data, the special scientific
research data obtained through interviewing of employees, the written
reports on the work carried out in this phase. The evaluation of
preventive programme planning phase allows to determine the situation
with spread of psychoactive substance abuse, the main problems, why,
for what and what in this connection it is planned to undertake,
whether goals and target groups were defined, how the project will be
implemented, what resources it would require. The evaluation phase
at the implementation stage of the project is the most laborious and
difficult; the exception of it or low quality carrying out will not
allow to assess fully the effectiveness of one or another prevention
program, its effect on different participants. This phase includes the
audience research and preliminary examination of the programme, needs
assessment and social marketing for the characteristics of the
participants of the program, what methods would be used for evaluation
(qualitative or quantitative), what tools and documents would be used
(interviews, questionnaires, etc.) where, when and how often the
information on the project would be collected, who would collect the
necessary information to assess the effectiveness of project
implementation, how the data would be analyzed. At the end of his stage
it should be clear how the process would be measured, what happened
during the implementation of the project, how many people are involved
in the programme, how many target groups there are, and how well this
programme was held. The important point of the assessment is the
comparison of planned activities with the fact that happened in real
life. The final evaluation stage of the effectiveness of prevention
programmes is the evaluation stage of implementation of the programme.
The total or final evaluation of the effectiveness of prevention
programmes is needed in order to determine whether the final goals were
achieved and the cost of achieving them, and the effectiveness of the
techniques employed.
The evaluation of the results is addressed to the general
objectives of the programme, changes of knowledge and behaviors, and
maintenance of the changes. The comprehensive final assessment can be
aimed at both immediate and at long-term effects, and can be analyzed
as envisaged and unforeseen effects, and the lack of effects [6; 7;
10; 19].
It should be determined, what could be the result of a prevention
program for an objective assessment. It should be kept in mind that
the prevention programmes create the effect of the first, second
and third order each can be seen as the result [3; 4; 30].
When evaluating programmes the notice is mostly taken of the effects
of the first order (in part because they are easier to be documented).
They include the assessment of the activities carried out directly by
programme implementers. For example, the first order effect of
preventive programme can be the growth in the number of participants,
which suggests a positive outlook of this programme and increase the
degree of involvement participants of the interventions. The evaluation
of second-order effects considers the influence exerted by the
programme that is whether anything changed in the knowledge, attitudes,
behavior of the participants. The third-order effects include: changes
in approaches to solving the problem in society progress towards
solving the problem, etc. [8].
In conclusion we can say that the assessment is a scientific method
that determines the effectiveness of intervention strategies takes into
account the impact of risk factors that limit implementation of
prevention programmes and the economic costs for achieving the methods
used. The use of common general provisions forms of evaluation of the
effectiveness of prevention programmes will allow to integrate the
existing Russian experience in this area and to achieve the best
results by selecting the most effective programmes and substantiating
the closure of programmes without effect.
References
1. Avtonomov A.S., Khananashvili N.L. Otsenka v
sotsial'nom proektirovanii. Metodicheskoe posobie [The assessment of
social design]. Moscow, Natsional'naya Assotsiatsiya blagotvoritel'nykh
organizatsii Publ., 2010. 150 p.
2. Beikvel O. Sovershenstvuya protsess razvitiya.
Prakticheskoe posobie po monitoringu i otsenke [Improving the
development process. A Practical Guide for Monitoring and Evaluation].
INTRAC, 2004.
3. Berkaliev T.N. Sushchnost' problemy monitoringa
pri rasprostranenii rezul'tatov proektov v obrazovanii [The essence of
the problem of monitoring the propagation of the project results in
education]. In: Obosnovanie printsipov rasprostraneniya opyta
realizatsii itogov proektov v obrazovatel'nykh sistemakh raznogo
urovnya s uchetom sotsiogeograficheskikh osobennostei regiona:
deponirov. otchet o nauchno-issledovatel'skoi rabote za 2002 per. nomer
07 003 2684 SPBGU. Itogovyi otchet po gosudarstvennomu kontraktu № 439
ot 18.06 [Final Report on the state contract № 439 18.06].
Moscow, 2002.
4. Berkaliev T.N. Profilaktika narkomanii v
territorial'noi sisteme obshchego obrazovaniya. Dis. kand. ped. nauk
[Prevention of drug addiction in the territorial system of general
education. Cand. pedagogical sci. diss.]. St. Petersburg, 2003.
232 c.
5. Valyushitskaya I.V. Putevoditel' po otsenke
program [The guide of program evaluation]. Krasnoyarsk: Krasnoyarskaya
regional'naya molodezhnaya obshchestvennaya organizatsiya Tsentr
«Sotrudnichestvo na mestnom urovne», 2005. Available at:
http://www.kccp.ru/lib/putevoditel_po_otsenke.zip
6. Vlasov V.V., Rebrova O.Yu. Dokazatel'naya
meditsina: formulirovka aktual'nogo klinicheskogo voprosa, ierarkhiya
dokazatel'stv, istochniki informatsii [Evidence-based medicine:
formulation of actual clinical question, the hierarchy of evidence, the
sources of information]. Zamestitel' glavnogo vracha: lechebnaya rabota
i meditsinskaya ekspertiza, 2010, no. 1.
7. Guseva E.G. Monitoring i otsenka proektov
[Project monitoring and assessment]. St. Petersburg, TsRNO Publ.,
2014.
8. Dyshychev R.D. Pedagogicheskie usloviya
profilaktiki upotrebleniya psikhoaktivnykh veshchestv mladshimi
shkol'nikami. Dis. kand. ped. nauk [Pedagogical conditions of the
prevention of drug use by junior schoolchildren. Cand. pedagogical sci.
diss.]. Maikop, 2004. 201 p.
9. Mezhdunarodnye standarty po profilaktike
upotrebleniya narkotikov [The international standards on the drug
use prevention]. UPN OON, 2013. Available at:
http://www.unodc.org/unodc/en/prevention/additional-resources/prevention-standards-ru.html
10. Kuz'min A.I., O’Sallivan R., Kosheleva N.A.,
eds. Otsenka proektov i programm: metodologiya i praktika
[The evaluation of projects and programs: methodology and practice].
Moscow, Izd-vo "Presto-RK" Publ., 2009. 396 p.
11. Romanov P.V., Yarskaya-Smirnova E.R., eds.
Otsenka effektivnosti deyatel'nosti uchrezhdenii sotsial'noi
podderzhki naseleniya [The assessment of the effectiveness of
the institutions of social support]. Moscow, Moskovskii obshchestvennyi
nauchnyi fond Publ.; Tsentr sotsial'noi politiki i gendernykh
issledovanii Publ., 2007. 234 p.
12. Rukovodstvo po planirovaniyu, monitoringu i
otsenke rezul'tatov razvitiya [The effectiveness of the activities
of the establishments social support of population assessment].
Programma razvitiya Organizatsii Ob"edinennykh Natsii
[Development Programme of the United Nations organization]. Available at:
http://web.undp.org/evaluation/handbook/Russian/pme-handbook-Russian.pdf
13. Currie C. et al., eds. Sotsial'nye
determinanty zdorov'ya i blagopoluchiya podrostkov. Issledovanie
"Povedenie detei shkol'nogo vozrasta v otnoshenii zdorov'ya" (HBSC):
mezhdunarodnyi otchet po rezul'tatam issledovaniya 2009/2010
gg. [Social determinants of health and well-being of teenagers.
The study "The behavior of school-age children for health" (HBSC)].
Kopengagen: Evropeiskoe regional'noe byuro VOZ Publ., 2012. 31 p.
Available at: http://www.euro.who.int/_data/assets/pdf_file/0010/ 181972/E96444-Rus-full.pdf
14. Tsvetkova L.A., Gurvich I.N., Rusakova M.M.
et al. Tekhnologii razrabotki i sovershenstvovaniya molodezhnykh
sotsial'nykh proektov i programm po formirovaniyu zdorovogo obraza
zhizni v studencheskoi srede [The technologies of development and
improvement of youth social projects and programs to promote healthy
lifestyle among students]. St. Petersburg, Izd-vo S.-Peterb. un-ta
Publ., 2004. 148 p.
15. Building on Our Strengths: Canadian Standards
for School-based Youth Substance Abuse Prevention, Version 2.0.
Canadian Centre for Substance Abuse, 2010. 137 p. Available at:
http://www.ccsa.ca/2010%20CCSA%20Documents/ccsa-011815-2010.pdf
16. European drug prevention quality standards.
A manual for prevention professionals. European Monitoring Centre
for Drugs and Drug Addiction (EMCDDA), 2011. 292 p. Available at:
http://www.emcdda.europa.eu/attachements.cfm/att_145539_EN_ TD3111250ENC.pdf
17. Farrington D.P. Methodological quality standards
on evaluation research. The Annals of the American Academy of
Political and Social Science, 2003, pp. 49–68.
18. Health Behaviour in School-aged Children:
Trends Report 1990–2010. HBSC, 2014. 116 р. Available at:
http://www.phac-aspc.gc.ca/hp-ps/dca-dea/prog-ini/school-scolaire/behaviour-comportements/assets/pdf/trends-tendances-eng.pdf
19. Higgins J.P.T., Green S. Cochrane Handbook
for Systematic Reviews of Interventions Version 5.1.0 [updated
March 2011]. The Cochrane Collaboration, 2011. Available at:
http://www.cochrane-handbook.org
20. Hummelbrunner R. Learning, Systems Concepts and
Values in Evaluation: Proposal for an Exploratory Framework to Improve
Coherence. IDS Bulletin, 2015, vol. 46, issue 1,
pp. 17–29.
21. International Standards on Drug Use
Prevention. UNODC, 2013. 49 p. Available at:
http://www.unodc.org/documents/prevention/prevention_standards.pdf
22. Patton M.Q. Utilization-Focused Evaluation.
4th edition. Thousand Oaks, Ca: Sage Publications, 2008. 688 p.
23. Guyatt G.H., Oxman A.D., Vist G.E.,
Kunz R., Falck-Ytter Y., Alonso-Coello P., Schünemann H.J.
Rating quality of evidence and strength of recommendations. GRADE:
an emerging consensus on rating quality of evidence and strength
of recommendations. BMJ, 2008, pp. 924–926.
24. Valentine J.C., Biglan A., Boruch R.F.,
Castro F.G., Collins L.M., Flay R., Kellam S., Moscicki E.K.,
Schinke S.P. Replication in prevention science. Prevention Science,
2011, vol. 12, pp. 103–117.
25. Risk assessment of new psychoactive substances.
Operating guidelines. European Monitoring Centre for Drugs and Drug
Addiction, 2009. 92 p. Available at:
http://www.emcdda.europa.eu/attachements.cfm/att_100979_EN_RiskGuidelines2010.pdf
26. Segone M., Ocampo A. Creating and Developing
Evaluation Organizations: Lessons learned from Africa, Americas, Asia,
Australasia and Europe. DESCO and UNICEF: Lima, Peru. 2006.
Available at:
http://ioce.net/download/case_studies/IOCE_EvalOrgPack_ Jan2007.pdf
27. Currie C. et al., eds. Social determinants of
health and will-being amond young people: Healf Behavior in School-aged
Children (HBSC) study: international report from the 2009/2010 survey.
Copenhagen, WHO Regional Office for Europe, 2012. Available at:
http://www.euro.who.int/__data/assets/pdf_file/0003/163857/Social-determinants-of-health-and-well-being-among-young-people.pdf
28. Flay B.R., Biglan A., Boruch R.F., Castro F.G.,
Gottfredson D., Kellam S., Moscicki E.K., Schinke S., Valentine J.C.,
Ji P. Standards of evidence: criteria for efficacy, effectiveness and
dissemination. Prevention Science, 2005, vol. 6(3),
pp. 151–175.
29. Stronger Together: Canadian Standards for
Community-based Youth Substance Abuse Prevention. Canadian Centre
for Substance Abuse, 2010. 160 p. Available at:
http://www.ccsa.ca/2010%20CCSA%20Documents/2010_CCSA_Community-ased_ Standards_en.pdf
30. Krupitsky E.M., Grinenko A.Ya., Berkaliev T.N.,
Paley A.I., Petrov V.N., Moshkov K.A., Borodkin Yu.S. The Combination
of Psychedelic and Aversive Approaches in Alcoholism Treatment:
The Affective Contra-Attribution Method. Alcoholism Treatment
Quarterly, 1992, vol. 9, no. 1, pp. 99–105.
Bibliographic reference
Korchagina G.A., Fadeeva E.V. The evaluation of the effectiveness
of psychoactive substance abuse prevention programmes. Med. psihol.
Ross., 2015, no. 2(31), p. 6 [in Russian, in English]. Available
at: http://mprj.ru
↑
|