- Русский
- English
Ссылка для цитирования: Нефедов С.И., Вартанов С.А, Рожин А.К. Инженерная реализация математической модели репрезентации социального конфликта // Медиаскоп. 2024 Вып. 3 Режим доступа: http://www.mediascope.ru/2869
© Нефедов Сергей Игоревич
доктор технических наук, заместитель директора Московского института электроники и математики им. А.Н. Тихонова НИУ ВШЭ, директор научно-технического центра прикладной электроники Московского института электроники и математики им. А.Н. Тихонова, профессор НИУ ВШЭ (г. Москва, Россия), snefedov@hse.ru
© Вартанов Сергей Александрович
доктор социологических наук, кандидат физико-математических наук, профессор НИУ ВШЭ (г. Москва, Россия), svartanov@hse.ru
© Рожин Андрей Константинович
студент НИУ ВШЭ, стажер-исследователь научно-технического центра прикладной электроники Московского института электроники и математики им. Н.А. Тихонова НИУ ВШЭ (г. Москва, Россия), akrozhin@edu.hse.ru
Аннотация
В статье обосновывается целесообразность применения технических методов обработки языковой информации при проведении исследований репрезентации социального конфликта. В контексте развития направления цифровых медиа и медиакоммуникаций, показано появление самостоятельного направления медиаинженери и сформулированы характеризующие его, по мнению авторов, отличительные особенности. Обосновано, что одной из современных технологий, которая будет активно применяться в медиаинженерии является технология искусственного интеллекта и нейронных сетей. В статье приводится обзор современного уровня развития технологий искусственного интеллекта и обосновывается применение в качестве основы для модели репрезентации социального конфликта больших языковых моделей. Делаются выводы о возможных направлениях развития разработанной модели репрезентации социального конфликта.
Ключевые слова: социальный конфликт, медиакоммуникации, медиаинженерия, искусственный интеллект, нейронные сети, большая языковая модель
На рубеже ХХ и ХХI вв. социально-экономические процессы, связанные с таким важным социальным явлением, как медиа, начали приобретать особую динамику. По мнению ряда исследователей, это было вызвано взрывным развитием в сфере информационно-коммуникационных технологий, компьютеризацией, повсеместным проникновением телекоммуникационных сетей, прежде всего Интернета, в политику, бизнес, повседневную жизнь людей (Masuda, 1981; Мелюхин, 1999; Кастельс, 2000, 2016). Формирующаяся в результате цифровой трансформации общества и конвергенции масс-медиа в классическом понимании и телекоммуникаций индустрия, представляет собой качественно новое социально–экономическое явление. Будем называть сформированное в процессе данной конвергенции гуманитарно-технологическое пространство медиакоммом (Вартанова, 2023, 2024).
Будем считать, что технологическая компонента медиакомма является как интегрированным и объединенным с медиа, в философском смысле, началом (Вартанова, 2024a, 2024b), так и самостоятельным комплексом технологических инструментов, позволяющим существенно упростить работу людей решающих исследовательские и прикладные задачи в сфере развития медиасреды. К задачам такого типа относятся исследования в области изучения конфликта (Вартанова, 2023; Nefedova, Vartanova, 2023), его распространения в условиях современных коммуникационных инструментов, а также влияния на современное общество, потребляющее и реагирующее на информацию далеко за гранью физиологических возможностей человека, заложенных природой.
Развитие современных цифровых методов обработки и агрегирования информации, в сочетании с достигнутым технологическим уровнем по производительности вычислительной техники, позволили перейти к внедрению инструментов, решающих такие задачи как интеллектуальная обработка текстов, прогнозирование поведения людей на основе внесения в эти тексты тех или иных изменений, а также выполнять репрезентацию конфликта в целом. Одной из технологий, решающих эту задачу, является искусственный интеллект и нейросетевые языковые модели, являющиеся неотьемлемой частью этой технологии в контексте медиакома.
В предлагаемой статье дается обзор исследовательских работ в сфере медиакома, определяется роль и место инженерных технологий в этой отрасли цифровых медиа, делается обзор технологий искусственного интеллекта в контексте их возможного применения для приложений медиакома, а также рассматривается пример применения создания языковой модели для применения в задачах репрезентации конфликта.
Медиаком, как отрасль знаний в сфере цифровых медиа, опирается в своем функционировании на структуру существующих сегментов массовых коммуникаций, а также на ранее выделявшиеся в отдельные отрасли, но все же связанные с производством и распространением информационного контента и смыслов (книгоиздание, кино) и узкоспециализированные и в определенном смысле инструментальные отрасли, затрагивающие удовлетворение общественно необходимых потребностей информационно-коммуникационного характера, таких как связи с общественностью, реклама, корпоративные медиа.
Развиваясь в соответствии со своими внутренними законами, под преобразующими воздействиями цифровых компьютерных и телекоммуникационных технологий и во взаимодействии с обеспечивающими эти технологии субъектами и отраслями, перечисленные элементы отрасли медиа эволюционировали в направлении формирования конвергентных, объединенных структур (Вартанова 2024a, 2024b). Современная система медиа и телекоммуникаций, имея единую внутреннюю сущность и социально-экономический функционал, представляет собой совокупность разнородных, но технологически неразрывно связанных и взаимозависимых субъектов. Осознание внутреннего единства порожденной ими во всем многообразии взаимодействий, взаимосвязей и взаимозависимостей системы потребовало представления этой системы в виде нового социально-экономического субъекта – медиакоммуникационной индустрии. Существующие исследования динамики развития медиакомммуникационной индустрии выделяют основные ее тенденции, включающие в себя: индустриальную конвергенцию медиа-, рекламной, телекоммуникационной и ИТ-индустрий, технологическую конвергенцию внутри медиаиндустрии, возвышение цифровых платформ как нового типа предприятий медиакоммуникационной индустрии, рост значения больших данных в процессе функционирования медиакоммуникационных предприятий, усиление интерактивности социальных и межличностных коммуникаций, опосредованной медиа, изменение спроса аудитории на продукты и услуги цифровых медиакоммуникаций.
Формирование медиакоммуникационной индустрии стало прежде всего результатом исторического прогресса коммуникационных технологий, являющихся ключевой детерминантой развития медиа. Однако без развития общественных институтов и процессов технологический прогресс медиатехнологий был бы невозможен, поскольку он всегда отвечал на информационные запросы общества, на потребность в инновационных идеях, на повышение качества жизни социальных коммуникаций – на все то, что призваны обеспечить научные исследования и технологический прогресс. Так, Р. Уильямс связывал развитие и внедрение информационно-коммуникационных технологий с появлением социального запроса на них, что является отражением уровня развития общества и готовности последнего воспринять ту или иную технологию. Эту связь технологического и экономического аспектов можно проследить на протяжении всей истории развития медиа как индустрии, обеспечивающей массовое производство содержания, лежащее в основе информирования общества, его информационной интеграции, сохранения его норм и ценностей, передачи смыслов.
В первые десятилетия XXI в. как результат взрывного развития информационно-коммуникационных технологий начался процесс цифровизации – внедрения цифровых технологий в деятельность предприятий и функционирование общественных институтов, структур, в повседневную жизнь людей. С началом цифровой трансформации общества совпадает, на наш взгляд, начало третьего этапа в индустриальном развитии медиа, когда медиаиндустрия расширяется за счет конвергенции с прежде несвязанными с ней напрямую отраслями – телекоммуникационной и информационных технологий. Исследователи подчеркивают, что в ходе конвергенции границы медиаиндустрии существенно расширяются и возникает экосистема «ИТ – телекоммуникации – медиа». Многие авторы считают, что это не столько экосистема, сколько новая отрасль, представляющая собой новую совокупность предприятий всех трех отраслей, причем часть этих предприятий – цифровые платформы – являются по сути не только новым типом организационной и технологической структуры, но и новой бизнес-моделью.
Сегменты формирующейся медиакоммуникационной индустрии прошли период цифровой трансформации и, как следствие, сформировались и действуют на единой цифровой технико-технологической базе. Технологическая и техническая основа отрасли – телекоммуникационные сети, компьютерные системы, средства хранения и передачи данных, средства визуализации и презентации видео- и аудиоматериалов, единые технологии обработки и представления информации, реализованные в виде программных комплексов и приложений, сшивают воедино отрасль наиболее передовыми на данный момент времени технологиями и решениями по сквозным технологиям цифровой экономики, таким как сенсорика, большие данные, беспроводная связь, искусственный интеллект, робототехника, виртуальная и дополненная реальность.
В условиях растущей миграции аудитории в онлайн – в первую очередь, социальные сети, цифровые платформы и мессенджеры – огромное значение для индустрии начинают приобретать вопросы изучения онлайн-аудитории, выбора ею контента, ее поведения. В этой сфере медиаизмерений пока еще трудно выделить общие глобальные тенденции. По мнению некоторых исследователей, при описании текущего состояния дел в этой сфере следует отталкиваться не от общих моделей работы с данными, но от конкретных кейсов, реализуемых крупными игроками онлайн-медиа и цифровыми платформами (Шилина, 2013; Шилина, Левченко, 2014).
Для компаний и организаций различного профиля, располагающих массивом достоверных данных, которые аккумулирует медиакоммуникационная индустрия, открываются широкие перспективы в таких видах деятельности, как:
Прежде всего анализ собранных данных используется для оптимизации управления контентом и рекламными возможностями, включая такие показатели, как количество посещений, вовлеченность, индикаторы пользовательской активности. Многие сайты изучают продолжительность времени пребывания пользователя на странице, глубину просмотра сайта, переходы (Вырковский, Грабарник, 2014). В практику внедряются специализированные программно-аппаратные комплексы, обеспечивающие менеджмент онлайн-изданий в реальном времени информацией об основных активностях пользователей, включая статистическую информацию о посещениях и манипуляциях, а также специальным образом подготовленный анализ пользовательских комментариев.
Крайне важной с практической точки зрения функционирования интернет-продуктов индустрии является персонализированная, точечная доставка контента. Инструментальные средства этой категории определяют маршруты доставки контента в конкретное время на конкретное устройство, что в конечном счете приводит к кратному возрастанию трафика на те ресурсы, которые интересуют целевую аудиторию. Из «подмножества» этой линейки инструментальных средств выросли системы анализа пользовательских комментариев в различных онлайн-продуктах медиакоммуникационной индустрии, также опирающиеся на методы, характерные для обработки больших данных (Maymann, 2014). Целевой задачей таких систем, математическим ядром которых можно считать статистические методы и методы машинного обучения (от элементарных регрессионных до сложных нейросетевых моделей, строящихся на основе принципов глубокого обучения), является повышение адекватности пользовательских комментариев, обеспечивающее таким способом качественное улучшение восприятия интернет-контента его потребителями, соответствие их нормам законодательства и требованиям информационной безопасности общества, что приобретает особую значимость в условиях современных конфликтных противостояний (Вартанова, 2023; Nefedova, Vartanova, 2023).
Во всех перечисленных выше направлениях медиакоммуникационной индустрии целесообразно применять инженерные методы и средства, в том числе основанные на технологиях искусственного интеллекта.
В 1940 годах зародилось научное направление – кибернетика, пытавшееся научить «думать» электронные вычислительные машины (Rosenblatt, 1957). В 1980 гг. это направление стало называться коннекционизмом или нейросетевыми технологиями, а в современной нотации, под нынешним названием оно появилось в 2000 гг. – глубокое (машинное) обучение или искусственный интеллект.
Временная диаграмма, показывающая изменение исследовательского и популяризаторского интереса к понятиям кибернетика и искусственный интеллект показана на рисунке 1.
Рисунок 1. Развитие кибернетики и технологий искусственного интеллекта
В самой ранней стадии развития кибернетики, ученые активно пытались воссоздать биологическое обучение на ЭВМ, то есть смоделировать процессы, которые могли бы протекать в мозге человека (Hinton, Shallice, 1991). Из этого факта вытекает одно из прежних, и до сих пор использующихся названий машинного обучения – искусственные нейронные сети (ИНС). Так, например, описанная математическая модель Маккалока-Питтса (McCulloch, Pitts, 1943) или работа Буша-Мостеллера предлагают исторически раннюю модель функционирования мозга. Предложенная модель могла идентифицировать две категории выходов, используя формулу: . Для того, чтобы корректно идентифицировать категорию на основе входных данных X, необходимо было правильно подобрать веса W – этот процесс называется обучением. (Widrow, Hoff, 1960) разработали модели адаптивного линейного элемента (ADALINE), являющийся частным случаем стохастического градиентного спуска, модификации которого до сих пор служат основными алгоритмами обучения моделей искусственного интеллекта. Входные данные X – это вектор числовых значений, описывающий какой-либо объект, или систему, другое название подобного вектора – эмбеддинг. Получившаяся модель называется линейной. Они до сих пор крайне сильно распространена в простых задачах, требующих легкой и понятной интерпретации.
В 1980 годах машинное обучение получило следующий скачок в развитии, за счет интереса научного сообщества к коннекционизму. Одним из существенных достижений стала парадигма распределенного представления, суть которого в том, что каждый признак, обрабатываемый внутри нейросети должен содержать в себе информацию и о других признаках. Так появились полносвязные нейронные сети, активно применяемые и на сегодняшний день. Самым существенным достижением стала разработка и успешная апробация алгоритма обратного распространения (Rumelhart et al., 1986; LeCun, Bottou, Orr, Müller, 1987). С учетом выполненных доработок алгоритма, на текущий момент это единственно применяемый алгоритм для обучения современных нейросетей.
Рисунок 2. Структура нейросети типа LSTM
Современное понятие машинного обучения выходит за попытки моделирования нейробиологических процессов, и рассматривается как инженерная система, не обязательно устроенная по принципу работу нейрона (Virginia H. Goodwin, Rajmonda S. Caceres, 2022). В 1990–2000 годах наработки в нейронных сетях были использованы для создания реккурентных long short-term memory – LSTM нейросетей (Hochreiter, Schmidhuber, 1997) и ее модификаций (Pascanu, Gulcehre, Cho, Bengio, 2014) для обработки последовательности естественных языков. Структура нейросети типа LSTM показана на рисунке 2.
Структура LSTM имела ряд ограничений, связанных, в первую очередь с объемом контекста, который она может обрабатывать одновременно (Pascanu, Mikolov, Bengio, 2012). Также, существовали ограничения при обучении подобной архитектуры нейросетей, связанные с проблемой затухающих градиентов при использовании алгоритма обратного распространения (Zhang, 2019).
Постепенное развитие нейросетей привело сообщество к пониманию, что размер нейросетей будет удваиваться каждое новое поколение (цикл 2–3 года). Появление современных нейросетей для обработки текстовых последовательностей создало новый термин – большие языковые модели, объем параметров которых больше 10 миллионов числовых значений (Minaev, Mikolov, Nikzad, Chenaghlu, 2024). Эволюционным развитием реккурентных нейросетей стало появление в 2010 годах архитектуры трансформер, которая представляет собой двунаправленную структуру, позволяющую обрабатывать контекст, поступающего на вход эмбеддинга не только слева направо, как это делают традиционные модели, но и одновременно в обе стороны. Концептуально это позволяет обрабатывать более глубокие и сложные лингвистические зависимости в тексте. Эта особенность сетей трансформеров крайне важна с точки зрения применения в задачах медиакоммуникаций.
Рассмотренные выше технологии искусственного интеллекта, включая глубокое машинное обучение, могут активно применяться во всех перечисленных выше задачах медиакомма, как отрасли знаний.
Так современная таргетированная реклама, заявленная как основной элемент медиокомма, невозможна без применения скоростного инференса нейросетей для целей сбора данных о пользователях в крупных поисковых и социальных сетях. Применяемые сейчас технологии не позволяют в полной мере реализовать все возможности этой технологии, а внедрение нейросетевых инструментов в течение следующих 5…10 лет приведет к существенному перераспределению и видоизменению мирового рекламного рынка. На сегодня, по проведенным авторами статьи, оценкам один поисковый запрос крупных поисковых сетей, выполненный по стандартной технологии более чем в два раза дешевле аналогичного запроса, выполненного с применением нейросетевых технологий. Однако, появление таргетированной рекламы, позволит повысить эффективность запроса минимум в пять раз, что делает уже сейчас нейросетевые решения привлекательными на перспективу ближайших 10…20 лет. Аналогичные методы и модели искусственного интеллекта будут, по мнению авторов, применяться и в задачах связанных с изучением электоральных предпочтений и запросов в обществе.
На сегодня, несмотря на популярность в околонаучной среде, внедрение методов искусственного интеллекта и нейросетевых технологий сдерживается двумя основными барьерами, а именно:
Психологический барьер доверия будет снять естественным образом через поколение при условии массового внедрения в систему образования прикладных аспектов применения нейросетевых технологий.
Энергетический барьер намного серьезней. Он связан с переходом на новый уровень компьютерных технологий. В перспективе это, так называемые нейроморфные процессоры. Однако уже в настоящее время разрабатывается, в том числе и авторами данной статьи (Рожин, Бабинцев, Нефедов и др. 2024, Бабинцев, Ильянова., Нефедов и др. 2024) интересные технологические решения на основе распределенных вычислительных сетей, способные решить задачу удешевлению расчетов на основе нейросетевых технологий и по снятию барьеров для массового пользователя.
В условиях внедрения дешевых технологий искусственного интеллект в массовые коммуникационные сети облик современного медиакомма также будет претерпевать изменения.
В рассматриваемой работе решалась задача создания нейросетевой модели, способной выявить тексты которые содержат конфликтный контент.
В качестве основы для решения этой задачи использовалась предобученная большая языковая модель архитектуры BERT, декодер классификации которого был дообучена авторами статьи на выборке комментариев Израиле-Палестинского конфликта.
Обучение базовой модели было выполнено командой SberDevice BERT – Bidirectional Encoder Representations from Transformers. Как следует из названия, данная архитектура представляет собой классическую сеть-трансформер.
BERT основывается на энкодерах архитектуры трансформера, которые также известны как трансформерные блоки. Эти блоки представляют собой важнейшие структурные компоненты модели, обеспечивающие ее высокую производительность и высокое качество в downstream tasks. Верхнеуровневая схема архитектуры трансформерных блоков показана на рисунке 3.
Рисунок 3. Архитектура энкодера
В трансформерах центральное место занимает механизм внимания (Attention), который представляет собой последовательность математических операций, позволяющих каждому токену в последовательности взаимодействовать с остальными токенами. Этот механизм обеспечивает гибкость и адаптивность модели при обработке информации. Внимание позволяет модели «замечать» важные связи и зависимости между различными элементами текста, даже если они находятся на значительном расстоянии друг от друга в последовательности, что делает трансформер универсальным инструментом для работы с последовательностями.
В целом, трансформерный блок состоит из нескольких ключевых компонентов:
Рассмотрим каждый блок в отдельности.
Многоголовое внимание (Multi-Head Attention). Механизм многоголового внимания позволяет каждой из голов «фокусироваться» на нескольких, отдельных аспектах входной последовательности одновременно. В BERT каждая позиция в предложении (токен) может взаимодействовать с другими позициями через механизм Self-Attention (внимание к самому себе), который при масштабировании образует Multi-Head Attention.
Формальная математическая запись механизма Self-Attention:
где:
Для механизма многоголового внимания матрицы – уникальны для каждой из голов , и внимание рассчитывается независимо (параллельно) для каждой из них. Формальная математическая запись механизма Multi-Head Attention:
где
Многоуровневая полносвязная сеть (Feed-Forward Network, FFN). Полносвязная сеть применяется после механизма внимания и нормализации для выполнения линейного преобразования выходных эмбеддингов. Как правило, она включает два линейных преобразования с функцией активации ReLU между ними.
Формальная математическая запись FFN:
где
Нормализация слоя (Layer Normalization – Add & Norm). Основная задача этого оператора – стабилизация процесса обучения и ускорение сходимости градиента при обучении, за счет устранения проблем, связанных с изменением распределений входных данных на каждом слое, так называемом «внутреннем ковариационном сдвиге». В отличие от других методов нормализации, таких как Batch Normalization, которая вычисляет математические статистики сразу по «пакету» данных (выборке), Layer Normalization выполняет нормализацию для каждого токена внутри последовательности отдельно.
Формальная математическая запись Layer Normalization:
где
Важным фактором в Layer Normalization является получение нормализованных входных данных. Формальный алгоритм в математическом виде:
где
Поскольку архитектура трансформера не содержит рекуррентных элементов, модель должна каким-то образом учитывать порядок слов в предложении. Для этого в BERT применяются позиционные кодировки (Positional Encodings), которые добавляются к эмбеддингам токенов. В классическом BERT используются синусоидальные кодировщики, которые применяют функцию синуса к эмбеддингу токена. Но у этого подхода есть ряд ограничений, особенно при работе с длинными последовательностями и генерацией текста, где более важно учитывать относительные позиции токенов, а не только абсолютные.
В применяемой математической модели используются RoPE – Rotatory Position Embedding. Они решают проблему определения абсолютной позиции токена, используя позиционную информацию через ротационные преобразования эмбеддингов. В отличие от синусоидальных кодировок, RoPE реализует ротации токенов в пространстве эмбеддингов, что позволяет нейросетевой модели учитывать относительное положение токенов без явного введения абсолютной позиции в последовательности.
Формальная математическая запись RoPE:
где
Разработанная модель использовалась при исследованиях репрезентации конфликта, изложенных в работе.
Проведенные испытания разработанной модели показали ее безусловную применимость как инструмент исследования текстов на конфликтогенность. Однако выявил ряд недостатков, которые могут быть устранены в дальнейшем с помощью более сложных технологий дообучения рассмотренной сети.
На основании изложенного в настоящей статье материала можно сделать следующие выводы:
Вартанова Е.Л. Теоретическая концепция медиасистемы как отражение конфликтного противостояния глобального и национального // Меди@льманах. 2023. № 4 (117). С. 8–18. DOI: 10.30547/mediaalmanah.4.2023.818.
Вартанова Е.Л. Три «перехода»: о воздействии технологических прорывов медиа на социальное развитие // Меди@льманах. 2024. № 1 (120). С. 8–16. DOI: 10.30547/mediaalmanah.1.2024.816 (2024а)
Вартанова Е.Л. Цифровой переход: от технологических к сущностным трансформациям медиа // Меди@льманах. 2024. № 2 (121). С. 8–15. DOI: 10.30547/mediaalmanah.2.2024.815 (2024б)
Вырковский А.В., Грабарник А.В. Мобильные сайты как новая составляющая бизнес-моделирования СМИ // Вестник Моск. ун-та. Серия 10. Журналистика. 2014. № 3. С. 15–25.
Деркач В.В., Батонова О.Ю., Рожин А.К. Обзор основанных на матричном умножении алгоритмов свертки на аппаратном уровне // Межвузовская научно-техническая конференция студентов, аспирантов и молодых специалистов им. Е. В. Арменского. 2024 – в печати
Ильянова Д.С., Минеев А.В., Рожин А.К. Аппаратная реализация систолического массива для расчета матричного умножения // Межвузовская научно-техническая конференция студентов, аспирантов и молодых специалистов им. Е.В. Арменского. 2024 – в печати
Кастельс М. Власть коммуникации / пер. с англ. Н М. Тылевич; науч. ред. А.И. Черных. М.: ИД ВШЭ, 2016.
Кастельс М. Информационная эпоха: экономика, общество и культура / пер. с англ.; под науч. ред. О.И. Шкаратана. М.: ИД ВШЭ, 2000.
Кателкин Н.И., Бабинцев Л.В., Ильянова Д.С., Нефедов С.И. и др. Гетерогенная вычислительная система для задач локального искусственного интеллекта // Микроэлектроника 2024. 2024 – в печати
Кателкин Н.И., Губазов Д.Д. Коммуникация процессоров в гетерогенной вычислительной системе // Межвузовская научно-техническая конференция студентов, аспирантов и молодых специалистов им. Е.В. Арменского. 2024. – в печати
Мелюхин И.С. Информационное общество: истоки, проблемы, тенденции развития. М.: Изд-во Моск. ун-та, 1999.
Нефедова Ю.С., Вартанова Е.Л. Аникина М.Е. Математическая модель репрезентации социального конфликта: создание и апробация на корпусе текстов // Медиаскоп. 2024 - в печати
Рожин А.К., Бабинцев Л.В., Нефедов С.И., Соловьев Д.В. Аппаратно-программный комплекс искусственного интеллекта на основе отечественных процессоров // Микроэлектроника 2024. 2024 – в печати
Цифровая экономика и сквозные технологии: теория и практика / под ред. А.В. Бабкина. СПб.: С.-Петерб. политех. ун-т Петра Великого, 2019.
Шилина М.Г. Data Journalism – дата-журналистика, журналистика метаданных как новый формат медиакоммуникации: к вопросу формирования исследовательских подходов // Медиаскоп. Вып. 1. 2013. Режим доступа: http://www.mediascope.ru/node/1263 (дата обращения: 26.10.2024)
Шилина М.Г., Левченко В.Ю. Big data, opendata, linkeddata, метаданные в PR: актуальные модели трансформации теории и практики // Медиаскоп. 2014. Вып. 1. Режим доступа: http://www.mediascope.ru/big-data-open-data-linked-data-метаданные-в-pr-актуальные-модели-трансформации-теории-и-практики (дата обращения: 26.10.2024).
De Prato G., Sanz E., Simon J. P. (eds.) (2004) Digital Media Worlds. The New Economy of Media. New York: Palgrave Macmillian.
Hinton G. E., Shallice T. (1991) Lesioning an attractor network: investigations of acquired dyslexia. Psychological review 98 (1): 74–95. DOI: https://doi.org/10.1037/0033-295X.98.1.74
Hochreiter S., Schmidhuber J. (1997) Long short-term memory. Neural Computation (8): 1735–1780. DOI: 10.1162/neco.1997.9.8.1735
LeCun Y., Bottou L., Orr G. B., Müller, K.-R. (1998) Efficient backprop. LNCS 1524: 9–48. DOI: 10.1007/978-3-642-35289-8_3
Masuda Y. (1981) The Information Society as Post-Industrial Society. Washington, D.C.: World Future Society
Maymann J. (2014) How HuffPost Leverages Big Data to Improve User Experience. Harnessing the Power of Big Data for Media. Conference 2014. Reuters Institute for the Study of Journalism, University of Oxford.
McCulloch W.S., Pitts W. (1943). A logical calculus of ideas immanent in nervous activity. Bulletin of Mathematical Biophysics 5: 115–133.
Minaev S., Mikolov T., Nikzad N., Chenaghlu M. et al. (2024) Large Language Models: A Survey. Available at: https://arxiv.org/abs/2402.06196. DOI: https://doi.org/10.48550/arXiv.2402.06196
Nefedova Yu., Vartanova E L. Using Mathematical Methods to Analyze Social Conflict in the Digital Media // Пятнадцатые международные научные чтения в Москве «СМИ и массовые коммуникации–2023» Эпоха неопределенности в современных сми и журналистике: вызовы больших данных и искусственного интеллекта. 2023. С. 72–73.
Pascanu R., Gulcehre C., Cho K., Bengio Yo. (2014) How to Construct Deep Recurrent Neural. Networks. ICLR. DOI: https://doi.org/10.48550/arXiv.1312.6026
Pascanu R., Mikolov T., Bengio Yo. (2012) On the difficulty of training Recurrent Neural Networks. Proceedings of the 30th International Conference on Machine Learning 28 (3): 1310–1318.
Rosenblatt F. (1958) The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review 65 (6): 386–408. DOI: 10.1037/H0042519
Rumelhart D.E., McClelland J. L.& the PDP Research Group (1986) Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Cambridge: MIT Press. DOI: https://doi.org/10.7551/mitpress/5237.001.0001
Virginia H. Goodwin, Rajmonda S. Caceres (2022) System Analysis for Responsible Design of Modern AI/ML Systems. ML Evaluation Standards Workshop at ICLR. DOI: https://doi.org/10.48550/arXiv.2204.08836
Widrow B., Hoff M.E. (1960) Adaptive switching circuits. IRE WESCON Convention Record. New York: IRE. Pp. 96–104.
Zhang S. (2019) Recurrent Neural Models and Related Problems in Natural Language Processing. Dissertation. Available at: https://papyrus.bib.umontreal.ca/xmlui/handle/1866/22663