Python Deep Learning: Understand how deep neural networks work and apply them to real-world tasks, 3rd Edition / Глубокое обучение на Python: Поймите, как работают глубокие нейронные сети, и применяйте их к реальным задачам
Год издания: 2023
Автор: Vasilev Ivan / Васильев Иван
Издательство: Packt Publishing
ISBN: 978-1-83763-850-5
Язык: Английский
Формат: PDF
Качество: Издательский макет или текст (eBook)
Интерактивное оглавление: Да
Количество страниц: 362
Описание: Master effective navigation of neural networks, including convolutions and transformers, to tackle computer vision and NLP tasks using Python
Key Features
Understand the theory, mathematical foundations and the structure of deep neural networks
Become familiar with transformers, large language models, and convolutional networks
Learn how to apply them on various computer vision and natural language processing problems
Book Description
The field of deep learning has developed rapidly in the past years and today covers broad range of applications. This makes it challenging to navigate and hard to understand without solid foundations. This book will guide you from the basics of neural networks to the state-of-the-art large language models in use today.
The first part of the book introduces the main machine learning concepts and paradigms. It covers the mathematical foundations, the structure, and the training algorithms of neural networks and dives into the essence of deep learning.
The second part of the book introduces convolutional networks for computer vision. We’ll learn how to solve image classification, object detection, instance segmentation, and image generation tasks.
The third part focuses on the attention mechanism and transformers – the core network architecture of large language models. We’ll discuss new types of advanced tasks, they can solve, such as chat bots and text-to-image generation.
By the end of this book, you’ll have a thorough understanding of the inner workings of deep neural networks. You’ll have the ability to develop new models or adapt existing ones to solve your tasks. You’ll also have sufficient understanding to continue your research and stay up to date with the latest advancements in the field.
What you will learn
Establish theoretical foundations of deep neural networks
Understand convolutional networks and apply them in computer vision applications
Become well versed with natural language processing and recurrent networks
Explore the attention mechanism and transformers
Apply transformers and large language models for natural language and computer vision
Implement coding examples with PyTorch, Keras, and Hugging Face Transformers
Use MLOps to develop and deploy neural network models
Who this book is for
This book is for software developers/engineers, students, data scientists, data analysts, machine learning engineers, statisticians, and anyone interested in deep learning. Prior experience with Python programming is a prerequisite.
Освоите эффективную навигацию по нейронным сетям, включая свертки и трансформеры, для решения задач компьютерного зрения и NLP с использованием Python
Ключевые функции
Понять теорию, математические основы и структуру глубоких нейронных сетей
Познакомиться с трансформерами, моделями больших языков и сверточными сетями
Узнайте, как применять их при решении различных задач компьютерного зрения и обработки естественного языка
Описание книги
Область глубокого обучения быстро развивалась в последние годы и сегодня охватывает широкий спектр применений. Это усложняет навигацию и затрудняет понимание без прочной основы. Эта книга проведет вас от основ нейронных сетей к современным моделям больших языков, используемым сегодня.
В первой части книги представлены основные концепции и парадигмы машинного обучения. Она охватывает математические основы, структуру и алгоритмы обучения нейронных сетей и погружает в суть глубокого обучения.
Вторая часть книги знакомит со сверточными сетями для компьютерного зрения. Мы узнаем, как решать задачи классификации изображений, обнаружения объектов, сегментации экземпляров и генерации изображений.
Третья часть посвящена механизму внимания и трансформерам – базовой сетевой архитектуре больших языковых моделей. Мы обсудим новые типы продвинутых задач, которые они могут решать, такие как чат-боты и преобразование текста в изображение.
К концу этой книги у вас будет полное представление о внутренней работе глубоких нейронных сетей. У вас будет возможность разрабатывать новые модели или адаптировать существующие для решения ваших задач. У вас также будет достаточно знаний, чтобы продолжать свои исследования и быть в курсе последних достижений в этой области.
Что вы узнаете
Создавать теоретические основы глубоких нейронных сетей
Понимать сверточные сети и применять их в приложениях компьютерного зрения
Хорошо разбирайться в обработке естественного языка и рекуррентных сетях
Исследовать механизм внимания и трансформеры
Применять трансформеры и большие языковые модели для естественного языка и компьютерного зрения
Реализовывать примеры кодирования с помощью PyTorch, Keras и Hugging Face Transformers
Использовать MLOps для разработки и развертывания моделей нейронных сетей
Для кого предназначена эта книга
Эта книга предназначена для разработчиков программного обеспечения /инженеров, студентов, специалистов по обработке данных, аналитиков данных, инженеров по машинному обучению, статистиков и всех, кто интересуется глубоким обучением. Предварительный опыт программирования на Python является обязательным условием.
Оглавление
Preface xi
Part 1: Introduction to Neural Networks
1
Machine Learning – an Introduction 3
Technical requirements 3
Introduction to ML 4
Different ML approaches 5
Supervised learning 5
Unsupervised learning 11
Reinforcement learning 15
Components of an ML solution 18
Neural networks 21
Introducing PyTorch 22
Summary 26
2
Neural Networks 27
Technical requirements 27
The need for NNs 28
The math of NNs 28
Linear algebra 29
An introduction to probability 33
Differential calculus 39
An introduction to NNs 41
Units – the smallest NN building block 42
Layers as operations 44
Multi-layer NNs 46
Activation functions 47
The universal approximation theorem 49
Training NNs 52
GD 52
Backpropagation 56
A code example of an NN for the
XOR function 58
Summary 64
3
Deep Learning Fundamentals 65
Technical requirements 65
Introduction to DL 66
Fundamental DL concepts 67
Feature learning 68
The reasons for DL’s popularity 69
Deep neural networks 70
Training deep neural networks 71
Improved activation functions 72
DNN regularization 76
Applications of DL 79
Introducing popular DL libraries 82
Classifying digits with Keras 82
Classifying digits with PyTorch 86
Summary 89
Part 2: Deep Neural Networks for Computer
Vision
4
Computer Vision with Convolutional Networks 93
Technical requirements 94
Intuition and justification for CNNs 94
Convolutional layers 95
A coding example of the convolution operation 98
Cross-channel and depthwise convolutions 100
Stride and padding in convolutional layers 103
Pooling layers 104
The structure of a convolutional
network 106
Classifying images with PyTorch
and Keras 107
Convolutional layers in deep learning libraries 107
Data augmentation 107
Classifying images with PyTorch 108
Classifying images with Keras 111
Advanced types of convolutions 113
1D, 2D, and 3D convolutions 113
1×1 convolutions 114
Depthwise separable convolutions 114
Dilated convolutions 115
Transposed convolutions 116
Advanced CNN models 119
Introducing residual networks 120
Inception networks 123
Introducing Xception 128
Squeeze-and-Excitation Networks 129
Introducing MobileNet 130
EfficientNet 132
Using pre-trained models with
PyTorch and Keras 133
Summary 134
5
Advanced Computer Vision Applications 135
Technical requirements 136
Transfer learning (TL) 136
Transfer learning with PyTorch 138
Transfer learning with Keras 141
Object detection 145
Approaches to object detection 146
Object detection with YOLO 148
Object detection with Faster R-CNN 153
Introducing image segmentation 159
Semantic segmentation with U-Net 160
Instance segmentation with Mask R-CNN 162
Image generation with diffusion
models 165
Introducing generative models 166
Denoising Diffusion Probabilistic Models 167
Summary 170
Part 3: Natural Language Processing and
Transformers
6
Natural Language Processing and Recurrent Neural Networks 173
Technical requirements 174
Natural language processing 174
Tokenization 175
Introducing word embeddings 180
Word2Vec 182
Visualizing embedding vectors 186
Language modeling 187
Introducing RNNs 189
RNN implementation and training 192
Backpropagation through time 194
Vanishing and exploding gradients 197
Long-short term memory 199
Gated recurrent units 203
Implementing text classification 204
Summary 209
7
The Attention Mechanism and Transformers 211
Technical requirements 211
Introducing seq2seq models 212
Understanding the attention
mechanism 214
Bahdanau attention 214
Luong attention 217
General attention 218
Transformer attention 220
Implementing TA 224
Building transformers with attention 227
Transformer encoder 228
Transformer decoder 231
Putting it all together 234
Decoder-only and encoder-only models 236
Bidirectional Encoder Representations from
Transformers 236
Generative Pre-trained Transformer 241
Summary 244
8
Exploring Large Language Models in Depth 245
Technical requirements 246
Introducing LLMs 246
LLM architecture 247
LLM attention variants 247
Prefix decoder 254
Transformer nuts and bolts 255
Models 258
Training LLMs 259
Training datasets 260
Pre-training properties 263
FT with RLHF 268
Emergent abilities of LLMs 270
Introducing Hugging Face
Transformers 272
Summary 276
9
Advanced Applications of Large Language Models 277
Technical requirements 277
Classifying images with Vision
Transformer 278
Using ViT with Hugging Face Transformers 280
Understanding the DEtection
TRansformer 282
Using DetR with Hugging Face Transformers 286
Generating images with stable
diffusion 288
Autoencoder 289
Conditioning transformer 290
Diffusion model 292
Using stable diffusion with Hugging Face
Transformers 293
Exploring fine-tuning transformers 296
Harnessing the power of LLMs with
LangChain 298
Using LangChain in practice 299
Summary 302
Part 4: Developing and Deploying Deep Neural
Networks
10
Machine Learning Operations (MLOps) 305
Technical requirements 306
Understanding model development 306
Choosing an NN framework 306
PyTorch versus TensorFlow versus JAX 306
Open Neural Network Exchange 307
Introducing TensorBoard 312
Developing NN models for edge devices
with TF Lite 316
Mixed-precision training with PyTorch 319
Exploring model deployment 320
Deploying NN models with Flask 320
Building ML web apps with Gradio 322
Summary 325
Index 327
Other Books You May Enjoy 342
