17 июля состоялась презентация Индекса качества городской среды, разработанного КБ «Стрелка» в рамках программы «Формирование комфортной городской среды» совместно с Агентством по ипотечному жилищному кредитованию по заказу Министерства строительства и жилищно-коммунального хозяйства РФ.
В целом, конечно, хочется похлопать ребят по плечу и сказать "молодцы, что придумали такую интересную штуку (120 показателей и проч., приятный интерфейс), сойдет за неплохой стартап (если кто-то захочет за него заплатить)". Но, учитывая, что на это уже были выделены немалые средства из госбюджета, и это не студенческий стартап, и даже не магистерская дипломная работа, неизбежно возникает множество серьезных и сложных вопросов к разработчикам.
1. Поддерживаю тезис к.т.н А.В.Чернова о необходимости открытости методики (системы расчета) и источниках данных (!). Это первое и важное требование. Уже существует гак с копейкой подобных индексов-рейтингов с открытым механизмом оценивания, которые по полноте и функциональности ничем не уступают разработанному молодыми сотрудниками Стрелки. Например, «Рейтинг качества жилой среды» института дизайна и урбанистики университета ИТМО и Института территориального планирования «Урбаника», или методика оценки жилой среды Рубена Аракеляна. Зачем потребовалось тратить деньги на создание нового инструмента, чем он лучше старых, уже апробированных методик оценки среды?
2. Так вот, в отличие от вышеуказанных методик, закрытость индекса КБ "Стрелка" не дает возможности оценить ее измеряющую способность. Например, для качественных психометрических тестов (MMPI, тест Кеттелла, тесты на интеллект и проч.) есть требования валидности, надежности и достоверности. Эти общие требования применимы для оценки любой диагностической методики (а КБ "Стрелка" именно так свой Индекс и характеризуют).
Если сравнить Индекс от КБ с психометрическим тестом, получится следующее: «Вы – дурак, мы сделали такой вывод, оценив выражение вашего лица по фотографиям из социальных сетей».
1) Какова надежность Индекса, которая зависит, в том числе, и от надежности источников данных? Первый же индикатор "Доля аварийного жилого фонда (%)" - уже вызывает множество вопросов. Достаточно сказать, что комплексное обследование многих домов на территории РФ проводилось (если вообще проводилось) лет 10-20 назад (это зависит от того, как ответственно выполняют свою работу администрация, УК и ФКР на территории), поэтому имеющиеся у официальных источников данные об аварийности [недостоверны] как минимум не полны. То же касается и данных о проценте изношенности жилого фонда.
Очень «хороший» показатель, отнесенный к шкале "Комфорт": "Доля дворов, обустроенных детской, спортивной или иной площадкой (%)." А если во дворе вот такая «комфортная» «спортивная» площадка:
2) Какова валидность Индекса и его индикаторов, т.е. насколько предложенные методы измерения индикаторов действительно способны их измерить?
Взять хотя бы методику, которой очень гордится КБ "Стрелка": насколько по фотографиям в социальных сетях действительно можно судить о качестве городской среды (доступности, активности и развитости культурной жизни)? Для того, чтобы ответить на этот вопрос, нужно как минимум понимать, по какому принципу люди вообще выбирают место для селфи. Ссылок на подобные фундаментальные работы КБ "Стрелка" не дает, а значит, вся измерительная способность данной методики основана не более чем на домыслах "стрелочников". Без сомнения, анализ фотографий из социальных сетей - это хороший инструмент оценки чего-то (популярности мест ли, или социальных практик?), но чего именно, науке пока не известно.
3) Какова погрешность измерения индикаторов индекса? Грубо говоря, если Индекс дает Самаре 62% по оценке качества жилья и прилегающего пространства, сколько из них уходит на погрешность измерения?
3. Теперь немного о технологии создания Индекса. На сайте Индекса написано «В зависимости от доступности данных и появления новых способов анализа городских территорий каждый год выбирается набор из 30 показателей».
«В зависимости от доступности данных» - это значит, что индикаторы выбирались не из критериев валидности и надежности, а из критерия доступности. То есть действительно важные индикаторы, данные по которым собирать сложно, дорого и [западло] долго (например, проводить опрос), были исключены из Индекса, а показатели со слабой надежностью / валидностью (такие как анализ селфи из социальных сетей), но находящиеся в свободном доступе – наоборот, включены.
«…каждый год выбирается набор из 30 показателей». То есть в 2017 году города оценивались по одному ряду индикаторов, а в 2018 году будут оцениваться по другому?
Если сотрудники КБ всерьез предлагают менять измерительный инструмент каждый год, тогда как оценить динамику изменения среды конкретного города в течение 5-10 лет, например? Не лучше ли в таком случае (если появились новые способы анализа территорий) создать другой индекс, или усовершенствовать старый, дополнив его новыми индикаторами / шкалами?
К слову сказать, в психологии такая практика не исключена. Например, для оценки психологического благополучия не желательно, но теоретически возможно использовать разные шкалы, но при этом они должны иметь высокую конвергентную конструктную валидность (корреляцию результатов). Как будет решать этот вопрос КБ?
4. Ну и напоследок по поводу основного заявления об Индексе качества городской среды от КБ «Стрелка»: «Оценивает, насколько город готов к современным вызовам и отвечает потребностям горожанина». Каким образом предложенный Индекс оценивает то, насколько город [городская среда] отвечает потребностям горожанина? Возможно, для сотрудников КБ «Стрелка» выражение «потребности человека» является пустым звуком, но для людей, которые знают о потребностях несколько больше пирамиды А. Маслоу, пустым звуком [явно с целью ввести в заблуждение] является вышеупомянутое заявление сотрудников КБ. Индекс не включает ни списка потребностей, ни методов оценки их удовлетворенности.
Создание универсального механизма оценки качества среды, приспосабливаемого под региональные нормы и стандарты, но при этом "ранжирующего" города – чрезвычайно сложная задача. Это задача не одного дня, и даже не одного года. Это задача не для [междисциплинарной] команды, а для сообщества специалистов-теоретиков и практиков, фундаменталистов и прикладников. Пока же опубликованная на сайте http://индекс-городов.рф/ "методика" не позволяет относиться к ней серьезно.
В целом, конечно, хочется похлопать ребят по плечу и сказать "молодцы, что придумали такую интересную штуку (120 показателей и проч., приятный интерфейс), сойдет за неплохой стартап (если кто-то захочет за него заплатить)". Но, учитывая, что на это уже были выделены немалые средства из госбюджета, и это не студенческий стартап, и даже не магистерская дипломная работа, неизбежно возникает множество серьезных и сложных вопросов к разработчикам.
1. Поддерживаю тезис к.т.н А.В.Чернова о необходимости открытости методики (системы расчета) и источниках данных (!). Это первое и важное требование. Уже существует гак с копейкой подобных индексов-рейтингов с открытым механизмом оценивания, которые по полноте и функциональности ничем не уступают разработанному молодыми сотрудниками Стрелки. Например, «Рейтинг качества жилой среды» института дизайна и урбанистики университета ИТМО и Института территориального планирования «Урбаника», или методика оценки жилой среды Рубена Аракеляна. Зачем потребовалось тратить деньги на создание нового инструмента, чем он лучше старых, уже апробированных методик оценки среды?
2. Так вот, в отличие от вышеуказанных методик, закрытость индекса КБ "Стрелка" не дает возможности оценить ее измеряющую способность. Например, для качественных психометрических тестов (MMPI, тест Кеттелла, тесты на интеллект и проч.) есть требования валидности, надежности и достоверности. Эти общие требования применимы для оценки любой диагностической методики (а КБ "Стрелка" именно так свой Индекс и характеризуют).
Если сравнить Индекс от КБ с психометрическим тестом, получится следующее: «Вы – дурак, мы сделали такой вывод, оценив выражение вашего лица по фотографиям из социальных сетей».
1) Какова надежность Индекса, которая зависит, в том числе, и от надежности источников данных? Первый же индикатор "Доля аварийного жилого фонда (%)" - уже вызывает множество вопросов. Достаточно сказать, что комплексное обследование многих домов на территории РФ проводилось (если вообще проводилось) лет 10-20 назад (это зависит от того, как ответственно выполняют свою работу администрация, УК и ФКР на территории), поэтому имеющиеся у официальных источников данные об аварийности [недостоверны] как минимум не полны. То же касается и данных о проценте изношенности жилого фонда.
Очень «хороший» показатель, отнесенный к шкале "Комфорт": "Доля дворов, обустроенных детской, спортивной или иной площадкой (%)." А если во дворе вот такая «комфортная» «спортивная» площадка:
2) Какова валидность Индекса и его индикаторов, т.е. насколько предложенные методы измерения индикаторов действительно способны их измерить?
Взять хотя бы методику, которой очень гордится КБ "Стрелка": насколько по фотографиям в социальных сетях действительно можно судить о качестве городской среды (доступности, активности и развитости культурной жизни)? Для того, чтобы ответить на этот вопрос, нужно как минимум понимать, по какому принципу люди вообще выбирают место для селфи. Ссылок на подобные фундаментальные работы КБ "Стрелка" не дает, а значит, вся измерительная способность данной методики основана не более чем на домыслах "стрелочников". Без сомнения, анализ фотографий из социальных сетей - это хороший инструмент оценки чего-то (популярности мест ли, или социальных практик?), но чего именно, науке пока не известно.
3) Какова погрешность измерения индикаторов индекса? Грубо говоря, если Индекс дает Самаре 62% по оценке качества жилья и прилегающего пространства, сколько из них уходит на погрешность измерения?
3. Теперь немного о технологии создания Индекса. На сайте Индекса написано «В зависимости от доступности данных и появления новых способов анализа городских территорий каждый год выбирается набор из 30 показателей».
«В зависимости от доступности данных» - это значит, что индикаторы выбирались не из критериев валидности и надежности, а из критерия доступности. То есть действительно важные индикаторы, данные по которым собирать сложно, дорого и [западло] долго (например, проводить опрос), были исключены из Индекса, а показатели со слабой надежностью / валидностью (такие как анализ селфи из социальных сетей), но находящиеся в свободном доступе – наоборот, включены.
«…каждый год выбирается набор из 30 показателей». То есть в 2017 году города оценивались по одному ряду индикаторов, а в 2018 году будут оцениваться по другому?
Если сотрудники КБ всерьез предлагают менять измерительный инструмент каждый год, тогда как оценить динамику изменения среды конкретного города в течение 5-10 лет, например? Не лучше ли в таком случае (если появились новые способы анализа территорий) создать другой индекс, или усовершенствовать старый, дополнив его новыми индикаторами / шкалами?
К слову сказать, в психологии такая практика не исключена. Например, для оценки психологического благополучия не желательно, но теоретически возможно использовать разные шкалы, но при этом они должны иметь высокую конвергентную конструктную валидность (корреляцию результатов). Как будет решать этот вопрос КБ?
4. Ну и напоследок по поводу основного заявления об Индексе качества городской среды от КБ «Стрелка»: «Оценивает, насколько город готов к современным вызовам и отвечает потребностям горожанина». Каким образом предложенный Индекс оценивает то, насколько город [городская среда] отвечает потребностям горожанина? Возможно, для сотрудников КБ «Стрелка» выражение «потребности человека» является пустым звуком, но для людей, которые знают о потребностях несколько больше пирамиды А. Маслоу, пустым звуком [явно с целью ввести в заблуждение] является вышеупомянутое заявление сотрудников КБ. Индекс не включает ни списка потребностей, ни методов оценки их удовлетворенности.
Создание универсального механизма оценки качества среды, приспосабливаемого под региональные нормы и стандарты, но при этом "ранжирующего" города – чрезвычайно сложная задача. Это задача не одного дня, и даже не одного года. Это задача не для [междисциплинарной] команды, а для сообщества специалистов-теоретиков и практиков, фундаменталистов и прикладников. Пока же опубликованная на сайте http://индекс-городов.рф/ "методика" не позволяет относиться к ней серьезно.
Комментариев нет:
Отправить комментарий