Показатели, везде показатели: Как нам измерить воздействие журналистики?

Нам нужно выйти за рамки подсчета просмотров страниц и просмотров рекламы и придумать лучшие способы оценки того, как наша работа меняет мир вокруг нас.

Если демократия была бы беднее без журналистики, то журналистика должна иметь определенное воздействие. Можем ли мы каким-то способом измерить эти воздействия? Хотя большинство новостных организаций уже отслеживает цифры, которые переводятся в деньги (такие как размер аудитории и количество просмотров страниц), отрасль только начинает рассматривать измеряемые показатели реальной ценности ее работы.

Именно поэтому недавнее объявление о стипендии Knight-Mozilla в New York Times на “поиск правильного показателя для оценки новостей” – это волнующий момент. Крупный отдел новостей открыто спрашивает: Как нам измерить воздействие нашей работы? Не экономическое значение, а демократическую ценность. Арон Пилхофер из Times пишет:

Показатели, традиционно использовавшиеся отделами новостей, обычно были довольно неточными: Закон изменили? Плохой парень попал в тюрьму? Опасности были выявлены? Жизни были спасены? Или наименее существенный вопрос из всех, «получил ли он награду»?

Но при переходе в цифровую среду математика меняется. Мы завалены показателями, и у нас есть возможность заниматься читателями в таком масштабе и такими способами, которые были бы невозможны в принципе (или невозможно дороги) в аналоговом мире.

Теперь проблема заключается в выяснении того, на какие данные обращать внимание, а какие игнорировать.

Оценка воздействия журналистики – это безумно трудная задача. Для начала, потому, что нет единого определения того, что такое журналистика. Также очень трудно отследить, что происходит со статьей, когда ее выпускают в дикую природу, и еще тяжелее наверняка узнать, было ли какое-нибудь конкретное изменение действительно вызвано этой статьей. Может быть даже невозможно найти нечто количественно измеримое, что можно посчитать, потому что каждая статья может представлять собой свой собственный особый случай. Но почти наверняка возможно сделать что-нибудь, что лучше, чем ничего.

Идея отслеживания воздействия журналистики стара – она возникла в дискуссиях недавно ставшей профессиональной прессы в начале 20-го века и расцвела в исследованиях по "определению повестки дня" 1970-х годов. Что появилось нового, так это возможность анализа - дешевого, широко распространенного, управляемого данными - вниз до уровня индивидуального пользователя и статьи, и идея использовать эти данные для управления отделом новостей. Вызов, как хорошо выразился Пилхофер, заключается в выяснении того, что это за данные и как отдел новостей мог бы целенаправленно их использовать.

Что мы пытаемся измерить и зачем?

Показатели – сильные инструменты для понимания сути и принятия решений. Но они не являются конечной целью сами по себе, потому что никогда не будут точно представлять то, что важно. Именно поэтому первый шаг при выборе показателей – четко сформулировать то, что вы хотите измерить, независимо от того, есть ли легкий способ измерить это, или нет. Неудачный выбор показателей или непонимание их ограничений может ухудшить дело. Показатели – это просто посредники для достижения наших реальных целей — иногда весьма слабые посредники.

Аналитический продукт, такой как Chartbeat, выдает множество данных: количество просмотров страниц, уникальных пользователей и т.д. Новостные организации, зависящие от рекламы или пользовательских подписок, должны обращать внимание на эти цифры, потому что они привязаны к доходу — но менее понятно, как они могут быть значимы в редакционном плане.

Рассмотрите количество просмотров страниц. Эта отдельная цифра – сочетание многих причин и следствий: рекламный успех, привлекательность заголовка, вирусное распространение, потребность аудитории в информации и, наконец, количество людей, которые могут быть немного лучше информированы после просмотра материала. Каждый из этих компонентов мог бы использоваться, чтобы повысить качество решений, постоянно принимаемых редакциями — такие как усиление продвижения важного материала, выбор темы для следующего материала или оценка того, действительно ли материал что-нибудь изменил. Но вычленение этих факторов может быть очень нелегкой задачей. Ведь количество просмотров материала – это сложный, смешанный сигнал.

Также можно попытаться достичь воздействия посредством показателей "вовлеченности", возможно, полученных из данных социальных медиа, таких как количество обменов материалами. У Джоша Стернса есть хорошая сводканедавних отчетов об измерении вовлеченности. Но хотя они несомненно связаны, вовлеченность - не одно и то же, что воздействие. Снова вопрос сводится к следующему: Почему мы хотели бы видеть, что этот показатель увеличивается? Что бы это сказало о максимальном воздействии вашей журналистики на мир?

Как профессиональная деятельность, журналистика редко рассматривает свое воздействие прямо. Есть хорошее недавнее исключение: серия “конференций по воздействию” общественных СМИ, проведенных в 2010 году, которые определили пять основных потребностей для измерения журналистского воздействия. Последняя из них включает тщательное исследование проблемы почти всеми существующими аналитическими инструментами:

Хотя многие участники конференций используют коммерческие инструменты и услуги для отслеживания охвата, вовлеченности и значимости, применимость этих инструментов в данной сфере ограничивается их концентрацией на привлечении аудитории для рекламодателей. Издатели общественных СМИ хотят знать, как пользователи применяют новости и информацию в своей личной и гражданской жизни, а не только, покупают ли они что-нибудь в результате демонстрации продукта.

Или как выразился Итан Цукерман в своей умной заметке о показателях и гражданском воздействии: “измерение количества людей, прочитавших материал, – это то, что должен уметь делать любой веб-администратор. Аудитория не обязательно равна воздействию”. И не только это, но еще и не всегда может быть верно, что чем больше аудитория, тем лучше. Для некоторых материалов их попадание к нужным людям в нужное время может быть важнее.

Измерение осведомленности аудитории

До появления Интернета обычно нельзя было узнать, что случилось с материалом после его публикации, и кажется, что этот вопрос очень долго в основном игнорировался. Вопрос о воздействии приводит нас к мысли, что журналистская задача может быть незавершенной, пока материал не изменит что-нибудь в мыслях или действиях пользователя.

Если считается, что журналистика информирует, тогда один из простых показателей воздействия должен позволять выяснить: Знает ли аудитория факты, изложенные в материале? Это вопрос, на который можно ответить. Опрос во время промежуточных выборов в США в 2010 году показал, что большая часть избирателей была неправильно информирована о важных вопросах - таких как согласованное мнение экспертов по вопросу изменения климата или прогнозируемые расходы по недавно принятому законопроекту о здравоохранении. Однако освещение результатов исследования оказалось сконцентрированным не на этом – прозвучало, что зрители Fox News показали худшие результаты, чем другие. Таким образом, было упущено главное: Ни один источник новостей не показал особо хороших результатов.

Следовательно, можно сделать заключение, что в 2010 году американская журналистика потерпела неудачу в информировании избирателей об основных вопросах выборов – в одном из наиболее ограниченных, узких значений того, что якобы должна делать журналистика в принципе. Или, может быть, она на самом деле сработала лучше, чем в 2008 году? Без сопоставимых показателей мы никогда этого не узнаем.

Хотя отделы новостей, как правило, видят свое предназначение в создании материалов, организация, приверженная принципам информирования, а не только издательского дела, должна бы работать несколько иначе. Наличие аудитории означает наличие возможности обращать внимание, и редактор может принять решение о том, что необходимо продолжать обращать внимание на что-то важное, даже если это “старая новость”; если кто-то ее не знает, для него это все же новая новость. Журналисты также должны будут понять, как и когда люди меняют свои убеждения, потому что информация не обязательно меняет умы.

Я не утверждаю, что каждая новостная организация должна начать заниматься мониторингом состояния общественной осведомленности. Это только один из многих возможных способов определения воздействия, и это могло бы иметь смысл только для определенных материалов. Но чтобы заниматься этим регулярно, нам понадобятся хорошие и дешевые заменители больших опросов общественного мнения. Я считаю полезным прорабатывать то, что потом пригодится. Смысл в том, чтобы определять журналистский успех на основании того, что делает пользователь, а не издатель.

В других областях тоже есть показатели воздействия

Измерять воздействие трудно. Окончательное воздействие на убеждение и действие в основном будет невидимо для отдела новостей и настолько запутано в сетях общества, что невозможно будет сказать наверняка, что именно журналистика послужила причиной какого-либо конкретного следствия. Но ситуация и не безнадежна, потому что мы действительно можем кое-что узнавать из цифр, которые можем получить. Некоторые другие области уже довольно долго борются со сложными проблемами разного, непрямого, не обязательно количественно измеримого воздействия.

Академики хотят знать результат своих публикаций так же, как журналисты, и в академической издательской отрасли уже давно есть показатели, такие как подсчет цитирований и фактор воздействия публикаций в журналах. Но Интернет перевернул традиционное устройство вещей, приведя к попыткам сформулировать более широкую классификацию, сетевые методы измерения воздействия, такие как Altmetrics или показатели уровня статейПубличной научной библиотеки. Оба метода комбинируют множество данных, включая социальные медиа.

Исследователи-социологи интересуются не только академическим влиянием своей работы, но и ее воздействием на политику и практику. Они сталкиваются со многими такими же трудностями, что и журналисты, при оценке своей работы: не поддающееся наблюдению воздействие, длительные временные рамки, сложная причинно-следственная связь. Чтобы помочь найти решение, много умных людей работало над проблемой понимания того, когда социологическое исследование меняет социальную реальность. Недавняя работа включает структуру окупаемости, которая рассматривает выгоды от каждой стадии жизненного цикла исследования, от нематериальных, таких как увеличение человеческого запаса знаний, до конкретных изменений в том, что делают пользователи после того, как их информировали.

Неправительственные и благотворительные организации всех видов также используют показатели эффективности - от работы благотворительных столовых до результативности международной помощи. Научно-исследовательский проект в Стэнфордском университете изучает использование и разнообразие показателей в этом секторе. Мы также видим новые виды предприятий, предназначенных как для осуществления изменений в обществе, так и для получения финансового дохода, таких как облигации социального воздействия. Выплата по облигации социального воздействия на договорной основе привязана к показателю воздействия, который иногда измеряется как “социальная рентабельность инвестиций”.

Данные за пределами цифр

Подсчет исчислимого, потому что исчислимое можно легко подсчитать, делает воздействие неправомерным.

- Джон Бруэр, “Воздействие воздействия”

Цифры полезны, потому что они делают возможными стандартные сравнения и сравнительные эксперименты. (Написание того объяснения повысило спрос на материалы с места событий? Расследование того, как вопрос зонирования связан с прибылями застройщиков, вызвало обсуждение в социальных медиа?) Цифры также можно сравнивать в разное время, что дает нам возможность сказать, действуем ли мы лучше или хуже, чем раньше, и насколько. Разделение воздействия на затраты дает измерение эффективности, что может привести к лучшему использованию журналистских ресурсов.

Но не все можно подсчитать. Некоторые события просто слишком редки, чтобы предусмотреть достоверные сравнения — сколько раз в прошлом месяце ваш отдел новостей добивался увольнения коррумпированного чиновника? Некоторые следствия безумно трудно точно определить, такие как “возросшая осведомленность” или “политическое давление”. И очень часто установление причины невозможно. Компания переменила тон из-за того, что общественность была хорошо информирована и это было сделано громкой? Внутренний отчет повлиял на логику основных лиц, принимающих решения?

К счастью, не все данные – цифры. Вы думаете, что материал поспособствовал принятию лучшего законодательства? Напишите примечание, объясняющее почему это произошло! Вы получили множество положительных комментариев к определенной статье? Сохраните их! Не каждое воздействие нужно выражать цифрами, и множество областей приходит к выводу, что повествовательные описания в равной степени ценны. Это все равно данные, но они качественные (материалы), а не количественные (цифры). Это включает комментарии, реакции, последствия, последующие развертывания материала, уникальные события, связанные интервью и много других вещей, которые потенциально важны, но которые нелегко классифицировать. Важно собирать эту информацию достоверно и систематически, иначе вы не сможете проводить сравнения в будущем. (Мои коллеги могут заинтересоваться различными аспектами анализа качественных данных).

Качественные данные особенно важны, когда вы не вполне знаете, что именно следует искать. С правильным подходом вы можете начать искать примеры, которые могут подсказать вам, что вам следует считать.

Показатели для лучшей журналистики

Может ли использование показателей сделать журналистику лучше? Если мы сможем найти показатели, которые покажут нам, когда происходит "лучшее", тогда да, почти по определению. Но, по правде говоря, мы почти ничего не знаем о том, как это сделать.

Первой проблемой может быть изменение мышления, поскольку измерение воздействия журналистики – радикальная идея. Преобладающий профессиональный идеал часто испытывал неудобства от мысли о каком-либо воздействии вообще, боясь обвинений в "пропаганде" или "активистской деятельности". Хотя иногда существенно спрашивать о политических предпочтениях в журналистской деятельности, идея полного нейтралитета – это вопиющее противоречие, если журналистика важна для демократии. Есть еще предположение, которое долго было незаметным, что работа новостных организаций заканчивается, когда материал опубликован. Это совершенно неправильно в отношении пользователя, и путает продукцию с воздействием.

Практические проблемы в равной степени пугающие. Некоторые данные, типа веб-аналитики, легко собирать, но они не обязательно совпадают с тем, что в конечном счете оценивает новостная организация. И некоторые вещи на самом деле невозможно подсчитать. Но их все равно можно учитывать. В идеале, в отделе новостей должна быть интегрированная база данных, связывающая каждый материал и с количественными, и с качественными показателями воздействия: примечания о том, что случилось после публикации материала, плюс автоматически собираемая аналитика, комментарии, внешние ссылки, обсуждения в социальных медиа и другие реакции. С таким обширным набором данных мы имеем шанс понять не только то, что сделала журналистика, но и как лучше всего оценить это в будущем. Но для начала не нужно ничего настолько тщательно разработанного. У каждого отдела новостей есть своего рода аналитика материалов, и качественные воздействия можно отслеживать всего лишь с помощью примечаний в электронной таблице.

Самое важное это то, что нам нужно постоянно спрашивать: Почему мы делаем это? Иногда, когда я прохожу мимо людей на улице, я спрашиваю себя, будет ли работа, которую я делаю, когда-нибудь оказывать воздействие на их жизнь — и если да, то какое? Невозможно оценить воздействие, если вы не знаете, чего вы хотите достичь.

Оригинал публикации

Редакторский портал