alexandr_palkin (alexandr_palkin) wrote,
alexandr_palkin
alexandr_palkin

Categories:

О революционном подходе Калева Литару: культуромика

Оригинал взят у imhotype в Дестрометр Калева Литару

Сначала о революционном подходе Калева Литару написали ведущие зарубежные средства массовой информации, включая New York Times, Financial Times, журнал компьютерных наук МТИ, Всемирный вестник информационных технологий…

В появившихся публикациях по-русски этот метод называется либо культурономика, либо культуромика. На самом деле, на мой взгляд, неправильно ни то, ни другое. Сам автор характеризовал свой метод, как прогнозирование и классификация человеческого поведения, используя глобальные новостные медиа, распределенные во времени и пространстве при помощи сложных алгоритмов. По сути, речь идет о скрещивании прогнозирования, культуры и математики. Поэтому, если уж переводить, то на русский более точно было бы перевести культуроматика 2.0 …

Культуроматика 2.0 стремится спрогнозировать культурные и другие тенденции через компьютерный анализ огромных архивов. Традиционная культуроматика имела дело с использованием оцифрованных книг. Иными словами, она занималась исследованием того, что уже было или попросту историей…
В своем исследовании я задался вопросом, позволяют ли архивы СМИ, включая оцифрованные архивы бумажных СМИ и новых интернет СМИ прогнозировать тенденции и события. В качестве событий я интересовался местонахождением террористов, а в качестве тенденций я прогнозировал политические события в разных странах и взаимоотношения между ними. Для этого я использовал архив новостей из СМИ всех видов и политических оттенков, практически из всех стран мира за последние 30 лет.
Традиционная культуроматика рассматривает каждое слово или фразу в качестве обособленного объекта, вне связи с другими, и анализирует только изменение частоты их использования в течение долгого времени. Мой подход существенно меняет эту модель. Он использует совершенно другие алгоритмы, которые, во-первых, позволяют устанавливать неявные связи между фразами и словами, характеризующими события, объекты и субъекты, делает акцент на географическое расположение источника новостей, а также на тон или оценочные суждения об этом событии. (Фактически Литару использует сложные математические алгоритмы в комбинации с элементами семантического веба. Есть только один прецедент движения в том же направлении, отличающийся по алгоритмической базе и привлекаемым источникам, – это Recorded Future).

В своем исследовании нам удалось также обеспечить визуализацию результатов. В итоге получен подход, который позволяет осуществлять раннее распознавание конфликтов различного рода и их взаимное влияние. Конфликты могут относиться к глобальному уровню, уровню отдельной страны, региона, к различным предметным областям – культуре, политике, экономике. Принципиально новый подход позволяет делать высокоточные краткосрочные прогнозы и, как я надеюсь, достаточно достоверные среднесрочные прогнозы.
В качестве подтверждения надежности алгоритма можно отметить, что он позволил предсказать революции в Египте, Тунисе и Ливии, а также конфликт в населенной сербами части Косово. Алгоритм также позволил обнаружить местонахождение Бен Ладана с точностью до 200 км… ©

…Государственная разведка, начиная со Второй мировой войны, прежде всего, в США и Великобритании, осознала эти недостатки. Были созданы соответственно FBIS – Центр открытых источников и SVB – мониторинг глобальных новостей. В этих службах аккумулировались и продолжают аккумулироваться не только крупнейшие, но и региональные, и даже местные издания. Потом к ним добавились радио и телестанции, затем интернет. Т.е. фактически, они собирают весь контент по более чем 130 странам мира. Согласно источникам, эти службы обеспечили 80% всей информации разведсообщества о Советском Союзе во времена «холодной войны». В этой связи в 2001 году «Вашингтон Пост» отметила: «многое из того, что ЦРУ узнало, оно получило из газетных и журнальных вырезок, поэтому директор Агентства может быть назван генералом-библиотекарем».

Надо отметить, что FBIS и SVB работают не только по горячим точкам, а ведут сплошной мониторинг всех новостных источников по всем видам контента по подавляющему числу стран мира. При этом обеспечивается он-лайн перевод всех языков на английский.
Сегодня оба источника доступны и для широкой публики. При этом архивы FBIS оцифрованы начиная с 1993 года, в том время, как SVB оцифровало архивы, начиная с 1979 года. Они-то в основном и используются в моем исследовании. В настоящее время SVB содержит 3,9 млн. источников. Архивы и текущую информацию от FBIS я использовал для Соединенных Шатов. Это происходило потому, что SVB из-за юридических ограничений по деятельности ЦРУ не имеет право проводить мониторинг американской прессы.

Приведенный ниже рисунок показывает, что за последние 15 лет интернет-новости стремительно теснят печатные и электронные СМИ и уже в 2010 году в мире брали на себя 46% всего содержания мониторинговых источников. Соответственно, и разведка по открытым источникам все более перестраивается от мониторинга печатных и вещательных СМИ на сканирование интернета в реальном времени с обеспечением он-лайн перевода источников, их классификации и агрегации…

Особо хотел бы остановиться на новых социальных медиа. Египет предоставил просто идеальные возможности тестирования, чтобы изучить содержание новостей Facebook и Twitter для стран, где уровень охвата интернетом стремительно растет. Хорошо известно, что за несколько недель до начала уличных акций протеста социальные медиа сыграли важную организующую роль в мобилизации протестующих…
©

Пять лет назад А.Вайно, А.Кобяков и А.Сараев опубликовали книгу «Образ победы»… Примерно в те же годы, когда разрабатывалась концепция нооскопа, в одной из цитаделей американского военного мышления и конфликтного прогнозирования – Джорджтауне, районе Вашингтона – Калев Литару стал разрабатывать социономику для всех и вычислительную политическую социологию для американского военно-разведывательного сообщества. …

Примерно в те же годы при поддержке DARPA и Джорджтаунского университета начал разрабатываться проект GDELT. Проект был нацелен на глобальную оцифровку мировой истории, начиная с XX века. Организующей единичной ячейкой базы проекта стало событие. На событие завязывались все другие характеристики и ячейки базы данных. Первоначально каждое событие описывалось примерно 15 характеристиками. В настоящее время это число значительно возросло. События, их участники, локации и т.п. теперь содержатся в хранилище и базе не только в виде текстовых, но и фото и даже видеофайлов.

В последние несколько лет проект GDELT стал напоминать айсберг. Как у всякого айсберга у него есть открытая, и гораздо более массивная по размерам, закрытая часть.

Открытая часть – так называемая «социокультурономика» – представляет собой глобальную базу о событиях, пополняемую в режиме онлайн. Она имеет API для сторонних разработчиков. О закрытой части проекта известно мало, а в индексируемом, видимом интернете – практически ничего. Поскольку по закрытой части не проводится пресс-конференций, не выпускается пресс-релизов, общедоступные медиа не сообщают широкой общественности о новостях проекта, касательно закрытых разработок. Подчеркну, закрытая – не означает во всех случаях секретная. В США многие разработки, так или иначе, описываются в научных статьях, в докладах на конференциях, и при этом излагают те или иные компоненты закрытых проектов. Подавляющая часть подобных материалов находится в так называемом «невидимом» интернете. Они не индексируется Google, а соответственно и не существует для подавляющего большинства пользователей.

Сегодня невидимый интернет включает не только текстовые и табличные сведения, но и фото и даже видеоконтент. Если внимательно следить за определенными секторами невидимого интернета, то там можно обнаружить массу интересной информации. В том числе той, которая размещается на незначительное время и защищена от копирования и тем более скачивания.

В мае 2017 г. в Университете штата Аризона прошла конференция. На ней обсуждалась новая разработка Калева Литару и проекта GDELT – Дестрометр. Дестрометр – это фрагмент большой закрытый темы, осуществляемой в рамках проекта GDELT. Разработка финансируется научно-исследовательским агентством американского разведывательного сообщества – IARPA, и фабрикой мысли Google. Дестрометр – это своеобразный термометр социально-политической напряженности в стране, регионе или конкретной местности. Название происходит от английского – destroy…

Также в докладах было рассказано об опыте использования дестрометра для анализа и прогнозирования конфликтов в мире. Можно понять, что индикаторы, используемые для построения дестрометра для развитых стран, в основном G20, заметно различаются от индикаторов, входящих в состав дестрометра для периферийных стран. Если глубоко не углубляться в тему, выяснилось примерно следующее.

За последние 50 лет подавляющая часть внутренних конфликтов, смут и революций произошла в периферийных странах, когда друг на друга накладывались три процесса. Во-первых, нарастала доля молодежи, особенно в возрасте 15-25 лет, в общей численности населения. Во-вторых, имело место, в силу самых различных причин, ухудшение материального положения населения в целом. При этом применительно к молодежи заметно снижалась социальная мобильность общества, а значительная часть бедно живущего населения в результате ухудшения материального положения скатывалась в нищету в буквальном смысле этого слова, и более того, голод и полную незащищенность от агрессии. Наконец, в-третьих, в странах либо усиливалась внутренняя борьба между различными группировками в правящем слое, либо эти страны оказывались территорией геополитических или конфессиональных конфликтов, выходящих далеко за рамки этих стран.

В рамках проекта удалось формализовать все эти тенденции и перевести их динамику на язык количественного изменения показателей индикаторов и взаимосвязей между ними. Вчерне эта работа была завершена еще в 2013 г. На конференции один из докладчиков упоминал, что дестрометр для периферийных стран, использовался для прогнозирования гражданских ненасильственных и вооруженных конфликтов, революций и мятежей в период 2014-2016 гг. Он показал 85%-ую прогностическую эффективность. Т.е. более чем для четырех из пяти действительно состоявшихся гражданских вооруженных и ненасильственных, но острых, конфликтов, революций, мятежей и переворотов в этот период для стран, не входящих в G20, дестрометр дал верные прогнозы. На конференции был сделан вывод: пока радоваться рано. Необходимо еще два-три года прогностической проверки, чтобы вынести окончательный вердикт об эффективности дестрометра для периферийных государств.

Проект заставил всерьез задуматься, что для прогнозирования социально-политической динамики, разделение общества на богатых, средний класс и бедных, малополезно. На основе алгоритмической обработки данных о гражданских конфликтах в развитых странах в последние 50 лет, удалось установить следующее. С социально-политической точки зрения общество делится на три кардинально неравных части:

- первая – это малочисленная элита, которая в подавляющем большинстве развитых стран не превышает 1-3% населения. При этом, стабильность данного показатели практически не зависит от уровня неравенства по доходам или имуществу. Грубо говоря, 1-3% – это всегда 1-3% и для США, России и Китая с очень высоким уровнем дифференциации по доходам, и особенно по активам, и для Германии, Японии или Канады – с на порядок меньшим уровнем дифференциации;

- вторая – это 75-85% социально-политически пассивного населения. Подавляющая часть населения, вне зависимости от уровня неравенства и даже тенденций в изменении доходов (в определенных пределах), ведет себя в развитых странах конформно, пассивно, следует сложившимся поведенческим стереотипам и политическим привычкам. Практически в любой ситуации эта часть является ведомой. Переход основной массы населения из политически пассивного в активное состояние происходит только при экстраординарных событиях. Удельный вес доли характерен практически для всех развитых государств, вне зависимости от уровня и распределения доходов в той или иной стране.

- третья – составляет от 10 до 20% населения в зависимости от конкретной страны. Это – социально-политически активная часть. Именно она является главным актором фазового перехода от стабильности к социально-политической турбулентности, включая гражданские волнения, мятежи, революционные события, и даже гражданские войны.

Принадлежность к этой – активной – группе лишь частично зависит от уровня доходов, демографических показателей и т.п. Гораздо более важную роль играет, как это называет Калев Литару, «ориентация человека или групп на способности или потребности». Если описывать грубо, ориентация на потребности выражается в конформном поведении, стремлении приспособиться к существующей социально-политической ситуации, и использовать ее в личных интересах. Конформное поведение отнюдь не всегда предполагает неприятие перемен. В случае, если социальные лифты в стране отключены, конформисты быстро превращаются в нонконформистов, поскольку не могут реализовать в данной системе свои потребности и интересы.

Что же касается людей и групп, ориентированных на способности, то для них решающими являются возможность самореализации, уровень свободы и, наконец, отсутствие препятствий для формирования внутри социально-политической ситуации различного рода групп, объединений, сообществ, т.е. разнообразие жизни...
. ©
Tags: Информационная безопасность, Информационная война, Новое в науке и технике, США
Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments