Игорь Вячеславович Лях, врач-психотерапевт, психоаналитик, зав. психотерапевтическим отделением Клиники "Инсайт", интервизор Профессиональной Психотерапевтической Лиги, преподаватель и супервизор Института Консультирования.

С момента появления нового информационного пространства и инструментария интерактивного взаимодействия с потребителем прошло не так уж много времени. Стремительный прогресс и развитие новых средств массовой информации привели к  реализации старых как мир идей быстрого сообщения о качестве услуги или продукта и обмена мнениями об их использовании непосредственно между потребителями.
 Сам факт интерактивного взаимодействия между потребителем услуги и её производителем или ресурсом, занимающимся её продвижением, ставит задачу адекватной и своевременной оценки обратной связи и верной интерпретации  специфических черт этого  взаимодействия.

Интернет рейтинги способны достаточно качественно отражать общественное мнение о товарах, услугах, даже политических решениях, но существуют определённые области, где по объективным причинам сделать это достаточно сложно.
Одной из таких областей является психология в целом. Индивидуальное психологическое консультирование. Качество психологических тренингов, личность и популярность тренеров, несомненно могут быть оценены с помощью интернет рейтингов, но для получения достаточно достоверных оценок необходимо преодолеть ряд существенных проблем. 

Проблема 1. Невозможно собрать валидную выборку оценивающих.
 
В интернет рейтингах принимает участие узкая часть клиентов, обладающих значимыми признаками:

1. Имеющие доступ к сайтам и интернет ресурсам.
2. Имеющие свободное время для пользования этими ресурсами.
3. Мотивированные к участию в оценках эффективности психолога, тренинга.
4. Лица, получившие качественную помощь, как правило, перестают пользоваться услугами психологов и тренеров и теряют интерес к соответствующим интернет ресурсам и участию в рейтингах. Этот факт устраняет  их влияние на результат оценки

Проблема 2. Отсутствуют общепринятые качественные и измеримые критерии оценки эффективности консультации/тренинга.

В массовом сознании услуги психолога или тренера до сих пор имеют черты инновации. Обращение за этими услугами зачастую носит случайный или вынужденный характер. Общество, в большинстве своём, ещё не готово адекватно оценивать цели и качество получаемых услуг. В профессиональном сообществе до сих идёт дискуссия о необходимых и достоверных критериях качества работы.

1. Сам метод, методология формирования рейтингов, предполагают субъективный подход к оценке эффективности оказанной услуги.
2. В интернет рейтингах обязательно будут участвовать клиенты, не владеющие представлением о качестве, эффективности работы психолога и/или консультанта/тренера.
3. Высока вероятность смешивания в субъективном восприятии самого тренинга/консультации и сопутствующих организационных моментов (качество помещения, личность других участников, работа организаторов и т.п.).
4. Даже в ситуации, когда критерии оценки эффективности метода разработаны и известны, их использование будет сложным. Профессиональные консультанты, владеющие этими знаниями, немногочисленны, и даже в случае их участия в рейтингах их влияние на статистику будет минимальным.

Проблема 3. Отсутствует единое мировоззренческое и этическое пространство в профессиональном консультировании и формировании тренингов.
 
Под маркой психологического консультирования и тренингов проводятся совершенно разные, порой противоположные по смыслу и цели процедуры и обряды.

1. Возможны подмены и генерализация оценок со смещением от недовольства специалистом к недовольству методом.
2. Возможно несоответствие мировоззрения клиента и консультанта, выраженное в стойком протестном мотиве клиента и тяге влиять как на специалиста, так и на социум.
3. Разница в этических ограничениях методов может провоцировать на стойкие негативные эффекты, как в оценках, так и в желании влиять на профессионала.
4. Клиент, с успехом участвовавший в одних процедурах, может не принимать методологическое, этическое  или мировоззренческое отличие других и расценивать его как очевидный признак отсутствия качества.

Проблема 4. Отсутствует возможность достоверно контролировать свободу и непредвзятость оценивающего.
 
Оценивающий (клиент) находится в сложных отношениях с объектом оценки и может быть подвержен его влиянию.

1. Клиент не знаком с методом (особенно в случае единичной консультации) и не владеет информацией о возможных эффектах его использования (в том числе и неприятных).
2. В случае этических нарушений клиент может быть особенно мотивирован на оценивание деятельности специалиста.
3. Возможны эффекты групповых индукций,  как осознанные, так и бессознательные, к оценкам определённого рода, выражающиеся как в желании прославлять метод/специалиста/тренинг, так и в желании преследовать и опорочить его.

Проблема 5. Возможное использование интернет рейтинга в целях недобросовестной конкуренции.
 
Сложно предотвратить попытки использования рейтингов как для дискредитации, так и для недобросовестной рекламы в связи со сложностью контроля добросовестности оценщика и возможностью интернет клонирования мнения одного лица или группы лиц, как прямой, так и косвенной.

1. В последнее время имеет место всё больше случаев использования термина «тренинг» для обозначения услуг, отличных о целей и задач собственно тренинговой (формирующей полезный навык) работы. Например, «тренинги» зачастую проводятся с целями развлечения группы лиц или отбора в определённые целевые программы, продвижения услуг, идей, организаций. Мнение участников таких процессов не будет отражать реальное качество тренинговой работы тренера. Мотив на оценивание может быть очень высоким.
2. Существует возможности хакерского, спамерского и иного воздействия как на любой интернет ресурс, так и непосредственно на его пользователя.

Проблема 6. Манипулирование.

Факт интерактивности и публичности результатов  рейтингов неизбежно демонстрирует возможность влияния, как на результаты, так и на специалиста.

1. Общим фактором для участников опроса может служить желание влиять на профессионала/консультанта/тренера и формировать представление о нём в социуме.
2. Этот мотив парадоксальным образом отражает недостаточно качественную работу в случае длительного консультирования или тренингового цикла.

Проблема 7. Рейтинг провоцирует желание оценивать.

Рейтинг как форма оценки предоставляет возможность влияния даже в ситуациях отсутствия прямых связей с услугой или профессиональной деятельностью специалиста.

1. Сам факт публикации рейтинга становится провокацией для части пользователей интернет-услуг, вызывая у них желание повлиять на кого-то или что-то. Троллинг, личные отношения или простое хулиганство могут в значительной степени искажать оценки.
2. Разнообразные слухи и мнения знакомых могут вызывать желание участвовать в рейтинге тех, кто не ходил на консультацию и лично не знаком ни с методом, ни со специалистом.
3. Личные отношения автоматически переносятся на отношение к профессиональной деятельности.

Проблема 8. Факт обращения и информация о его итогах являются личной тайной клиента и профессиональной тайной специалиста.

Специалист действует в поле профессиональных и этический ограничений, которые зачастую отсутствуют или даже активно опротестовываются клиентом.

1. Клиент может более открыто разглашать информацию о своей консультации и даже искажать её, будучи уверенным, что специалист не будет опровергать детали и вступать в публичные переговоры.
2. Протест против этического ограничения у клиента может быть сильным мотивом негативной оценки деятельности специалиста.

Проблема 9. Владелец интернет ресурса имеет неограниченную власть над размещаемой информацией.

Владельцами интернет ресурсов являются лица и организации, имеющие свои цели и интересы в интернет пространстве.

1. Очевидные и скрытые интересы владельцев могут приводить как к прямому и осознанному влиянию на результаты рейтингов, так и к бессознательному формированию предпочтений и влиянию на посетителей ресурсов.
2. Условия формирования опросников, способы их размещения, оценки результатов, математический аппарат, система анализа и учёта данных скрыты от пользователя и находятся под контролем владельца и его сотрудников.

Предложения по решению этих проблем:

1. Тестирование вменяемости/аффективной заряженности оценщика в анкете участника рейтинга.
2. Разработка формы детального опросника/анкеты подразумевающего учёт множества параметров. Среди них: оценка качества работы, тестирование валидности даваемой оценки, наличие контрольных пунктов, обеспечивающих необходимость индивидуального заполнения этих форм (выбор шкалы и критериев оценки оценщиком), и т.д.
3. Увеличение количества обязательных к заполнению полей в опроснике.
4. Ограничение по частотности оценок (например, не более одного консультанта/тренинга в месяц) с одного адреса.
5. Проверка подлинности/добросовестности оценщика в анкете путём скрытого или открытого тестирования.
6. Приём в рейтинг оценок только из определённого региона. Проверка местонахождения оценщика на момент заполнения опросника. Мониторинг IP.
7. Отказ от анонимного участия в опросе.
8. Введение множественных рейтингов (для клиентов, для профессионалов, рейтинг известности, антирейтинг, и т.д.).
9. Совершенствование математического аппарата статистического анализа с учётом добавочных критериев валидности оценки. Игнорирование групп явных крайних значений. Оценка оценщиков. Градация рейтинга на несколько подрейтингов, с отдельным учётом различных оценок, особенно противоположных по значению.
10. Учёт валидности оценки по времени, прошедшему с момента получения услуги. (например, не учитывать оценки, данные ранее 24 часов после получения услуги).
11. Введение детализации рейтинга с учётом специализации психолога (по модальности, основным технологиям консультирования), что упрощает унификацию критериев оценки в подгруппе.
12. Придание рейтингу более серьёзного и ответственного статуса.
13. Введение сложных критериев в опросник (к примеру, соотношение цена/качество услуги) с целью отсечения аффективных оценок.
14. Прояснение мотива оценщика в опроснике.
15. Придание оценщику специфического статуса с отражением его мнения в соответствии с этим статусом. Выбор этого статуса оценщиком в опроснике. Например, «рейтинг среди возмущённых клиентов».
16. Получение согласия профессионала, по каким критериям будет оцениваться его работа. Информирование специалистов с целью получения от них разрешения на участие в рейтинге и коррекции личных данных в опроснике для профессиональных рейтингов.
17. Создание опросников для клиентов и профессионалов с самостоятельным выделением ими значимых критериев оценки эффективности тренинга/консультации.
18. Учёт добавочных критериев, полученных иными путями (вне опросника) Например учёт в рейтинге количества интернет публикаций, числа упоминаний в СМИ и т.п..
19. Наиболее ценными становятся сложные вторичные эффекты консультирования/тренинга, такие как желание обратиться повторно или рекомендации этого специалиста своим близким. Но, к сожалению, именно этот параметр будет задействован в случае недобросовестной конкуренции.
20. Необходимо задействовать модераторов и авторитетных пользователей сайта в привлечении добросовестных оценщиков к формированию рейтинга.
21. Тест на прояснение психического статуса оценщика до получения анкеты оценки.
22. Ведение символической оплаты с незарегистрированных пользователей за участие в рейтинге.
23. Стимулирование символической оплатой пользователей с качественной  репутацией.
24. Открытость и ясность способов формирования рейтингов для пользователей и специалистов.
25. Договорные формы взаимодействия с общественными организациями и другими интернет ресурсами при формировании и развитии рейтингового поля.

Психологическая основа для оценки качества работы специалиста (мотив оценки) представляется весьма сложной и индивидуальной. Следовательно, существует возможность формирования парадоксальных рейтингов, отталкивающихся от стоимости приёма и загруженности специалиста и учитывающих отказ или отсутствие активности клиентов по участию в оценке качества его работы. Кроме того, сам мотив оценить качество работы специалиста может быть учтён в качестве коэффициента при обработке данных.
 
В случае единичных и краткосрочных форм работы участие в рейтингах оценки качества работы вполне вероятно и для клиентов, получивших эффект. Их мнение может быть учтено в специальном рейтинге одноразовых консультаций, тоже для тренингов выходного дня и разовых тренингов. Завершённость/незавершённость работы с психологом/тренером может быть учтена отдельно.
 
 Особенность учёта эффективности тренинга сталкивается со сложностью групповых психологических эффектов. Так, фасилитация способна создавать краткосрочные, но достаточные для участия в оценке позитивные мнения об эффекте тренинга, оборачивающиеся жестоким разочарованием в долгосрочной перспективе. И, напротив, тренинг, изначально воспринимавшийся как недостаточно эффективный из-за разницы уровня предварительной подготовки участников, может иметь важные, стойкие и полезные эффекты в ходе дальнейшей жизни участника. Фрустрация в ходе работы может создавать краткосрочный негативизм, но стойкий и качественный положительный эффект в долгосрочной перспективе.

Пути решения. Стратегия и тактика.

Можно выделить основные направления в достижении цели повышения качества и информативной ценности рейтинга.
Создание рейтингов по специальности. Выделение профессиональных критериев в рамках этой специальности. Детализация оценки по разным критериям. Закрытость психоаналитика и открытость гештальт-терапевта их профессиональные инструменты. Детализация позволит учитывать их как позитивные, с учётом специализации.
 
Дифференциальная оценка ценности мнения оценивающего с предварительным тестированием. Допуск к формированию рейтинга только после процедуры тестирования.
 
Множественные рейтинги с выборочным и добровольным участием в них оценщиков. «Рейтинг популярности» «Антирейтинг» «Нравится не нравится» «Слышал / знаю» и т.п. Суммарный рейтинг как производная данных этих рейтингов.
 
Привлечение профессионалов для формирования рейтингов и участие в них как оценщиков. Полный отказ от анонимности в формировании рейтинга.
 
Создание вариативного интерактивного опросника, включающего в себя разные критерии оценки качества и ценности мнения оценивающего и объекта оценки.
 
Создание опросника с целью учёта непрямых оценок качества работы специалиста и выделением прямых оценок в отдельный блок.

Открытость и ясность критериев оценки для пользователей всех уровней повышает доверие к самой оценке и интернет ресурсу.

Вывод.

Для разработки качественного и близкого к достоверности рейтинга профессионалов в таких областях, как психологическое консультирование и тренинговые услуги, необходимо сотрудничество специалистов.
 
Рейтинг может отражать реальность только в ситуации чёткого формулирования его цели и подбора соответствующей методики обработки данных.

Заинтересованность владельцев интернет ресурсов в объективности и непредвзятости оценки качества работы специалистов повышает суммарный рейтинг популярности самого интернет ресурса.
 
На существующем этапе развития средств интерактивной коммуникации возможно создание рейтинга с учётом целей его публикации и качеств оценщиков. Качественный подбор критериев оценки, методов оценивания, проверки валидности и внерейтинговая верификация данных позволяют создать действительно ценный и общественно-полезный информационный продукт.