Previous Entry Поделиться Next Entry
О революционном подходе Калева Литару: культуромика
Для Вас
alexandr_palkin
Оригинал взят у imhotype в Дестрометр Калева Литару

Сначала о революционном подходе Калева Литару написали ведущие зарубежные средства массовой информации, включая New York Times, Financial Times, журнал компьютерных наук МТИ, Всемирный вестник информационных технологий…

В появившихся публикациях по-русски этот метод называется либо культурономика, либо культуромика. На самом деле, на мой взгляд, неправильно ни то, ни другое. Сам автор характеризовал свой метод, как прогнозирование и классификация человеческого поведения, используя глобальные новостные медиа, распределенные во времени и пространстве при помощи сложных алгоритмов. По сути, речь идет о скрещивании прогнозирования, культуры и математики. Поэтому, если уж переводить, то на русский более точно было бы перевести культуроматика 2.0 …

Культуроматика 2.0 стремится спрогнозировать культурные и другие тенденции через компьютерный анализ огромных архивов. Традиционная культуроматика имела дело с использованием оцифрованных книг. Иными словами, она занималась исследованием того, что уже было или попросту историей…
В своем исследовании я задался вопросом, позволяют ли архивы СМИ, включая оцифрованные архивы бумажных СМИ и новых интернет СМИ прогнозировать тенденции и события. В качестве событий я интересовался местонахождением террористов, а в качестве тенденций я прогнозировал политические события в разных странах и взаимоотношения между ними. Для этого я использовал архив новостей из СМИ всех видов и политических оттенков, практически из всех стран мира за последние 30 лет.
Традиционная культуроматика рассматривает каждое слово или фразу в качестве обособленного объекта, вне связи с другими, и анализирует только изменение частоты их использования в течение долгого времени. Мой подход существенно меняет эту модель. Он использует совершенно другие алгоритмы, которые, во-первых, позволяют устанавливать неявные связи между фразами и словами, характеризующими события, объекты и субъекты, делает акцент на географическое расположение источника новостей, а также на тон или оценочные суждения об этом событии. (Фактически Литару использует сложные математические алгоритмы в комбинации с элементами семантического веба. Есть только один прецедент движения в том же направлении, отличающийся по алгоритмической базе и привлекаемым источникам, – это Recorded Future).

В своем исследовании нам удалось также обеспечить визуализацию результатов. В итоге получен подход, который позволяет осуществлять раннее распознавание конфликтов различного рода и их взаимное влияние. Конфликты могут относиться к глобальному уровню, уровню отдельной страны, региона, к различным предметным областям – культуре, политике, экономике. Принципиально новый подход позволяет делать высокоточные краткосрочные прогнозы и, как я надеюсь, достаточно достоверные среднесрочные прогнозы.
В качестве подтверждения надежности алгоритма можно отметить, что он позволил предсказать революции в Египте, Тунисе и Ливии, а также конфликт в населенной сербами части Косово. Алгоритм также позволил обнаружить местонахождение Бен Ладана с точностью до 200 км… ©

…Государственная разведка, начиная со Второй мировой войны, прежде всего, в США и Великобритании, осознала эти недостатки. Были созданы соответственно FBIS – Центр открытых источников и SVB – мониторинг глобальных новостей. В этих службах аккумулировались и продолжают аккумулироваться не только крупнейшие, но и региональные, и даже местные издания. Потом к ним добавились радио и телестанции, затем интернет. Т.е. фактически, они собирают весь контент по более чем 130 странам мира. Согласно источникам, эти службы обеспечили 80% всей информации разведсообщества о Советском Союзе во времена «холодной войны». В этой связи в 2001 году «Вашингтон Пост» отметила: «многое из того, что ЦРУ узнало, оно получило из газетных и журнальных вырезок, поэтому директор Агентства может быть назван генералом-библиотекарем».

Надо отметить, что FBIS и SVB работают не только по горячим точкам, а ведут сплошной мониторинг всех новостных источников по всем видам контента по подавляющему числу стран мира. При этом обеспечивается он-лайн перевод всех языков на английский.
Сегодня оба источника доступны и для широкой публики. При этом архивы FBIS оцифрованы начиная с 1993 года, в том время, как SVB оцифровало архивы, начиная с 1979 года. Они-то в основном и используются в моем исследовании. В настоящее время SVB содержит 3,9 млн. источников. Архивы и текущую информацию от FBIS я использовал для Соединенных Шатов. Это происходило потому, что SVB из-за юридических ограничений по деятельности ЦРУ не имеет право проводить мониторинг американской прессы.

Приведенный ниже рисунок показывает, что за последние 15 лет интернет-новости стремительно теснят печатные и электронные СМИ и уже в 2010 году в мире брали на себя 46% всего содержания мониторинговых источников. Соответственно, и разведка по открытым источникам все более перестраивается от мониторинга печатных и вещательных СМИ на сканирование интернета в реальном времени с обеспечением он-лайн перевода источников, их классификации и агрегации…

Особо хотел бы остановиться на новых социальных медиа. Египет предоставил просто идеальные возможности тестирования, чтобы изучить содержание новостей Facebook и Twitter для стран, где уровень охвата интернетом стремительно растет. Хорошо известно, что за несколько недель до начала уличных акций протеста социальные медиа сыграли важную организующую роль в мобилизации протестующих…
©

Пять лет назад А.Вайно, А.Кобяков и А.Сараев опубликовали книгу «Образ победы»… Примерно в те же годы, когда разрабатывалась концепция нооскопа, в одной из цитаделей американского военного мышления и конфликтного прогнозирования – Джорджтауне, районе Вашингтона – Калев Литару стал разрабатывать социономику для всех и вычислительную политическую социологию для американского военно-разведывательного сообщества. …

Примерно в те же годы при поддержке DARPA и Джорджтаунского университета начал разрабатываться проект GDELT. Проект был нацелен на глобальную оцифровку мировой истории, начиная с XX века. Организующей единичной ячейкой базы проекта стало событие. На событие завязывались все другие характеристики и ячейки базы данных. Первоначально каждое событие описывалось примерно 15 характеристиками. В настоящее время это число значительно возросло. События, их участники, локации и т.п. теперь содержатся в хранилище и базе не только в виде текстовых, но и фото и даже видеофайлов.

В последние несколько лет проект GDELT стал напоминать айсберг. Как у всякого айсберга у него есть открытая, и гораздо более массивная по размерам, закрытая часть.

Открытая часть – так называемая «социокультурономика» – представляет собой глобальную базу о событиях, пополняемую в режиме онлайн. Она имеет API для сторонних разработчиков. О закрытой части проекта известно мало, а в индексируемом, видимом интернете – практически ничего. Поскольку по закрытой части не проводится пресс-конференций, не выпускается пресс-релизов, общедоступные медиа не сообщают широкой общественности о новостях проекта, касательно закрытых разработок. Подчеркну, закрытая – не означает во всех случаях секретная. В США многие разработки, так или иначе, описываются в научных статьях, в докладах на конференциях, и при этом излагают те или иные компоненты закрытых проектов. Подавляющая часть подобных материалов находится в так называемом «невидимом» интернете. Они не индексируется Google, а соответственно и не существует для подавляющего большинства пользователей.

Сегодня невидимый интернет включает не только текстовые и табличные сведения, но и фото и даже видеоконтент. Если внимательно следить за определенными секторами невидимого интернета, то там можно обнаружить массу интересной информации. В том числе той, которая размещается на незначительное время и защищена от копирования и тем более скачивания.

В мае 2017 г. в Университете штата Аризона прошла конференция. На ней обсуждалась новая разработка Калева Литару и проекта GDELT – Дестрометр. Дестрометр – это фрагмент большой закрытый темы, осуществляемой в рамках проекта GDELT. Разработка финансируется научно-исследовательским агентством американского разведывательного сообщества – IARPA, и фабрикой мысли Google. Дестрометр – это своеобразный термометр социально-политической напряженности в стране, регионе или конкретной местности. Название происходит от английского – destroy…

Также в докладах было рассказано об опыте использования дестрометра для анализа и прогнозирования конфликтов в мире. Можно понять, что индикаторы, используемые для построения дестрометра для развитых стран, в основном G20, заметно различаются от индикаторов, входящих в состав дестрометра для периферийных стран. Если глубоко не углубляться в тему, выяснилось примерно следующее.

За последние 50 лет подавляющая часть внутренних конфликтов, смут и революций произошла в периферийных странах, когда друг на друга накладывались три процесса. Во-первых, нарастала доля молодежи, особенно в возрасте 15-25 лет, в общей численности населения. Во-вторых, имело место, в силу самых различных причин, ухудшение материального положения населения в целом. При этом применительно к молодежи заметно снижалась социальная мобильность общества, а значительная часть бедно живущего населения в результате ухудшения материального положения скатывалась в нищету в буквальном смысле этого слова, и более того, голод и полную незащищенность от агрессии. Наконец, в-третьих, в странах либо усиливалась внутренняя борьба между различными группировками в правящем слое, либо эти страны оказывались территорией геополитических или конфессиональных конфликтов, выходящих далеко за рамки этих стран.

В рамках проекта удалось формализовать все эти тенденции и перевести их динамику на язык количественного изменения показателей индикаторов и взаимосвязей между ними. Вчерне эта работа была завершена еще в 2013 г. На конференции один из докладчиков упоминал, что дестрометр для периферийных стран, использовался для прогнозирования гражданских ненасильственных и вооруженных конфликтов, революций и мятежей в период 2014-2016 гг. Он показал 85%-ую прогностическую эффективность. Т.е. более чем для четырех из пяти действительно состоявшихся гражданских вооруженных и ненасильственных, но острых, конфликтов, революций, мятежей и переворотов в этот период для стран, не входящих в G20, дестрометр дал верные прогнозы. На конференции был сделан вывод: пока радоваться рано. Необходимо еще два-три года прогностической проверки, чтобы вынести окончательный вердикт об эффективности дестрометра для периферийных государств.

Проект заставил всерьез задуматься, что для прогнозирования социально-политической динамики, разделение общества на богатых, средний класс и бедных, малополезно. На основе алгоритмической обработки данных о гражданских конфликтах в развитых странах в последние 50 лет, удалось установить следующее. С социально-политической точки зрения общество делится на три кардинально неравных части:

- первая – это малочисленная элита, которая в подавляющем большинстве развитых стран не превышает 1-3% населения. При этом, стабильность данного показатели практически не зависит от уровня неравенства по доходам или имуществу. Грубо говоря, 1-3% – это всегда 1-3% и для США, России и Китая с очень высоким уровнем дифференциации по доходам, и особенно по активам, и для Германии, Японии или Канады – с на порядок меньшим уровнем дифференциации;

- вторая – это 75-85% социально-политически пассивного населения. Подавляющая часть населения, вне зависимости от уровня неравенства и даже тенденций в изменении доходов (в определенных пределах), ведет себя в развитых странах конформно, пассивно, следует сложившимся поведенческим стереотипам и политическим привычкам. Практически в любой ситуации эта часть является ведомой. Переход основной массы населения из политически пассивного в активное состояние происходит только при экстраординарных событиях. Удельный вес доли характерен практически для всех развитых государств, вне зависимости от уровня и распределения доходов в той или иной стране.

- третья – составляет от 10 до 20% населения в зависимости от конкретной страны. Это – социально-политически активная часть. Именно она является главным актором фазового перехода от стабильности к социально-политической турбулентности, включая гражданские волнения, мятежи, революционные события, и даже гражданские войны.

Принадлежность к этой – активной – группе лишь частично зависит от уровня доходов, демографических показателей и т.п. Гораздо более важную роль играет, как это называет Калев Литару, «ориентация человека или групп на способности или потребности». Если описывать грубо, ориентация на потребности выражается в конформном поведении, стремлении приспособиться к существующей социально-политической ситуации, и использовать ее в личных интересах. Конформное поведение отнюдь не всегда предполагает неприятие перемен. В случае, если социальные лифты в стране отключены, конформисты быстро превращаются в нонконформистов, поскольку не могут реализовать в данной системе свои потребности и интересы.

Что же касается людей и групп, ориентированных на способности, то для них решающими являются возможность самореализации, уровень свободы и, наконец, отсутствие препятствий для формирования внутри социально-политической ситуации различного рода групп, объединений, сообществ, т.е. разнообразие жизни...
. ©

?

Log in

No account? Create an account