Графовые нейронные сети на Python
Год издания: 2024
Автор: Лабонн М., Груздев А.
Переводчик: Груздев А. В.
Издательство: ДМК Пресс
ISBN: 978-5-93700-319-5
Язык: Русский
Формат: PDF
Качество: Издательский макет или текст (eBook)
Интерактивное оглавление: Да
Количество страниц: 344
Описание: Графовые нейронные сети стали одной из самых интересных архитектур в глубоком обучении. Технологические компании теперь пытаются применить их повсюду: в системах рекомендаций еды, видео и поиска романтических партнеров, для выявления фейковых новостей, проектирования микросхем и 3D-реконструкции.
Прочитав книгу, вы научитесь создавать собственные графовые наборы из табличных или исходных данных, преобразовывать узлы и ребра в высококачественные эмбеддинги, реализовывать графовые нейронные сети с использованием PyTorch Geometric, выполнять классификацию узлов, генерацию графов, предсказание связей, выбирать лучшую модель в зависимости от вашей задачи.
Издание предназначено специалистам по анализу и обработке данных, а также будет полезно разработчикам на Python и студентам вузов, желающих приобреcти знания по одной из самых популярных архитектур ИИ.
Примеры страниц (скриншоты)
Оглавление
От издательства.......................................................................................................10
Часть I. ВВЕДЕНИЕ В ОБУЧЕНИЕ НА ГРАФАХ...............................................11
Глава 1. Начало работы с обучением на графах..........................................12
Почему именно графы?..............................................................................................12
Зачем использовать обучение на графах?..............................................................14
Зачем использовать графовые нейронные сети?..................................................17
Выводы.........................................................................................................................20
Дополнительное чтение.............................................................................................20
Глава 2. Теория графов для графовых нейронных сетей.........................21
Технические требования............................................................................................22
Знакомство со свойствами графа.............................................................................22
Ориентированные графы (directed graphs).........................................................22
Взвешенные графы (weighted graphs)..................................................................24
Связные графы (connected graphs).......................................................................25
Типы графов............................................................................................................27
Знакомство с основными понятиями теории графов...........................................28
Фундаментальные объекты...................................................................................29
Меры центральности для графов.........................................................................30
Представление графа в виде матрицы смежности............................................32
Изучение графовых алгоритмов...............................................................................34
Поиск в ширину (breadth-first search)..................................................................35
Поиск в глубину (depth-first search).....................................................................37
Выводы.........................................................................................................................38
Часть II. ОСНОВЫ....................................................................................................40
Глава 3. Создание представлений узлов с помощью DeepWalk.............41
Технические требования............................................................................................42
Знакомство с Word2Vec..............................................................................................42
CBOW против skip-gram.........................................................................................43
Создание скип-грамм............................................................................................44
Модель skip-gram....................................................................................................46
DeepWalk и случайные блуждания...........................................................................50
Реализация DeepWalk.................................................................................................53
Выводы.........................................................................................................................58
Дополнительное чтение.............................................................................................58
Глава 4. Улучшение эмбеддингов с помощью смещенных
случайных блужданий в Node2Vec...................................................................59
Технические требования............................................................................................60
Знакомство с Node2Vec..............................................................................................60
Определение окрестности.....................................................................................60
Внесение смещений в случайные блуждания....................................................61
Реализация Node2Vec.................................................................................................66
Создание рекомендательной системы фильмов...................................................71
Выводы.........................................................................................................................76
Дополнительное чтение.............................................................................................77
Глава 5. Включение информации о характеристиках узлов
с помощью простых нейронных сетей............................................................78
Технические требования............................................................................................79
Знакомство с графовыми наборами данных..........................................................79
Набор данных Cora.................................................................................................79
Набор данных Facebook Page-Page.......................................................................82
Классификация узлов с помощью простых нейронных сетей.............................84
Классификация узлов с помощью простых графовых нейронных сетей...........89
Выводы.........................................................................................................................95
Дополнительное чтение.............................................................................................95
Глава 6. Знакомство с графовыми сверточными нейронными
сетями..........................................................................................................................96
Технические требования............................................................................................97
Создание сверточного слоя графа............................................................................97
Сравнение сверточных и линейных слоев графа.................................................101
Прогнозирование веб-трафика с помощью регрессии узлов............................107
Выводы.......................................................................................................................114
Дополнительное чтение...........................................................................................115
Глава 7. Графовые нейронные сети с механизмом внимания...............116
Технические требования..........................................................................................117
Знакомство со слоем внимания графа...................................................................117
Линейное преобразование..................................................................................118
Функция активации..............................................................................................118
Нормализация с помощью
softmax....................................................................119
Многоголовое внимание.....................................................................................119
Улучшенный слой внимания графа...................................................................120
Реализация слоя внимания графа в NumPy..........................................................121
Реализация GAT в PyTorch Geometric.....................................................................125
Выводы.......................................................................................................................132
Часть III. ПРОДВИНУТЫЕ МЕТОДЫ................................................................133
Глава 8. Масштабирование графовых нейронных сетей
с помощью GraphSAGE........................................................................................134
Технические требования..........................................................................................135
Знакомство с GraphSAGE..........................................................................................135
Семплирование соседей......................................................................................135
Агрегация...............................................................................................................138
Классификация узлов на примере набора данных PubMed...............................139
Индуктивное обучение на белок-белковых взаимодействиях..........................146
Выводы.......................................................................................................................153
Дополнительное чтение...........................................................................................153
Глава 9. Определение выразительности для классификации
графов.......................................................................................................................154
Технические требования..........................................................................................155
Определение выразительности..............................................................................155
Знакомство с графовой сетью изоморфизма.......................................................157
Классификация графов с помощью графовой сети изоморфизма...................159
Классификация графов........................................................................................159
Реализация графовой сети изоморфизма (GIN)..............................................160
Выводы.......................................................................................................................171
Дополнительное чтение...........................................................................................172
Глава 10. Прогнозирование связей с помощью графовых
нейронных сетей...................................................................................................173
Технические требования..........................................................................................174
Прогнозирование связей с помощью традиционных методов.........................174
Эвристические методы........................................................................................174
Матричная факторизация...................................................................................176
Прогнозирование связей с помощью эмбеддингов узлов.................................178
Знакомство с графовыми автоэнкодерами......................................................178
Знакомство с вариационными графовыми автоэнкодерами........................179
Реализация VGAE..................................................................................................180
Прогнозирование связей с помощью SEAL..........................................................184
Знакомство с фреймворком SEAL......................................................................184
Реализация фреймворка SEAL............................................................................186
Выводы.......................................................................................................................192
Дополнительное чтение...........................................................................................192
Глава 11. Генерация графов с помощью графовых нейронных
сетей...........................................................................................................................194
Технические требования..........................................................................................195
Генерация графов с помощью традиционных методов......................................195
Модель Эрдеша–Реньи.........................................................................................195
Модель «малого мира».........................................................................................198
Генерация графов с помощью графовых нейронных сейтей.............................199
Вариационные графовые автоэнкодеры...........................................................200
Авторегрессионные модели................................................................................202
Генеративные состязательные сети (GAN).......................................................203
Генерация молекул с помощью MolGAN...............................................................205
Выводы.......................................................................................................................210
Дополнительное чтение...........................................................................................210
Глава 12. Обучение на гетерогенных графах..............................................212
Технические требования..........................................................................................213
Нейронная сеть передачи сообщений...................................................................213
Знакомство с гетерогенными графами.................................................................215
Преобразование гомогенных GNN в гетерогенные GNN....................................219
Реализация иерархической нейронной сети с самовниманием.......................226
Выводы.......................................................................................................................229
Дополнительное чтение...........................................................................................230
Глава 13. Темпоральные графовые нейронные сети...............................231
Технические требования..........................................................................................232
Знакомство с динамическими графами................................................................232
Прогнозирование веб-трафика..............................................................................233
Знакомство с EvolveGCN......................................................................................233
Реализация EvolveGCN.........................................................................................236
Прогнозирование случаев COVID-19.....................................................................243
Знакомство с MPNN-LSTM..................................................................................244
Реализация MPNN-LSTM.....................................................................................245
Выводы.......................................................................................................................250
Дополнительное чтение...........................................................................................251
Глава 14. Интерпретация графовых нейронных сетей............................252
Технические требования..........................................................................................253
Знакомство с методами интерпретации...............................................................253
Интерпретация графовых нейронных сетей с помощью GNNExplainer..........254
Знакомство с GNNExplainer.................................................................................254
Реализация GNNExplainer....................................................................................256
Интерпретация графовых нейронных сетей с помощью Captum.....................261
Знакомство с Captum и методом интегрированных градиентов..................261
Реализация метода интегрированных градиентов.........................................262
Выводы.......................................................................................................................267
Дополнительное чтение...........................................................................................267
Часть IV. ЗАДАЧИ..................................................................................................269
Глава 15. Прогнозирование трафика с помощью A3T-GCN....................270
Технические требования..........................................................................................271
Исследование набора данных PeMS-M..................................................................271
Обработка набора данных.......................................................................................276
Реализация архитектуры A3T-GCN........................................................................281
Выводы.......................................................................................................................286
Дополнительное чтение...........................................................................................287
Глава 16. Построение рекомендательной системы
с помощью LightGCN............................................................................................288
Технические требования..........................................................................................289
Исследование набора данных Book-Crossing........................................................289
Предварительная обработка набора данных Book-Crossing..............................295
Реализация архитектуры LightGCN........................................................................299
Выводы.......................................................................................................................311
Дополнительное чтение...........................................................................................311
Глава 17. Обнаружение аномалий с помощью
гетерогенных
графовых нейронных сетей..............................................................................313
Технические требования..........................................................................................314
Исследование набора данных CIDDS-001..............................................................314
Предварительная обработка набора данных CIDDS-001....................................319
Реализация гетерогенной GNN...............................................................................327
Выводы.......................................................................................................................333
Дополнительное чтение...........................................................................................334
Глава 18. Раскрытие потенциала графовых нейронных сетей
в реальных задачах..............................................................................................335
Предметный указатель........................................................................................337
