Generative AI Foundations in Python: Discover key techniques and navigate modern challenges in LLMs / Основы генеративного искусственного интеллекта на Python: Откройте для себя ключевые методы и ориентируйтесь в современных задачах в LLMs
Год издания: 2024
Автор: Rodriguez Carlos / Родригес Карлос
Издательство: Packt Publishing
ISBN: 978-1-83546-082-5
Язык: Английский
Формат: PDF/EPUB
Качество: Издательский макет или текст (eBook)
Интерактивное оглавление: Да
Количество страниц: 190
Описание: Begin your generative AI journey with Python as you explore large language models, understand responsible generative AI practices, and apply your knowledge to real-world applications through guided tutorials
Key Features
Gain expertise in prompt engineering, LLM fine-tuning, and domain adaptation
Use transformers-based LLMs and diffusion models to implement AI applications
Discover strategies to optimize model performance, address ethical considerations, and build trust in AI systems
Book Description
The intricacies and breadth of generative AI (GenAI) and large language models can sometimes eclipse their practical application. It is pivotal to understand the foundational concepts needed to implement generative AI. This guide explains the core concepts behind -of-the-art generative models by combining theory and hands-on application.
Generative AI Foundations in Python begins by laying a foundational understanding, presenting the fundamentals of generative LLMs and their historical evolution, while also setting the stage for deeper exploration. You’ll also understand how to apply generative LLMs in real-world applications. The book cuts through the complexity and offers actionable guidance on deploying and fine-tuning pre-trained language models with Python. Later, you’ll delve into topics such as task-specific fine-tuning, domain adaptation, prompt engineering, quantitative evaluation, and responsible AI, focusing on how to effectively and responsibly use generative LLMs.
By the end of this book, you’ll be well-versed in applying generative AI capabilities to real-world problems, confidently navigating its enormous potential ethically and responsibly.
What you will learn
Discover the fundamentals of GenAI and its foundations in NLP
Dissect foundational generative architectures including GANs, transformers, and diffusion models
Find out how to fine-tune LLMs for specific NLP tasks
Understand transfer learning and fine-tuning to facilitate domain adaptation, including fields such as finance
Explore prompt engineering, including in-context learning, templatization, and rationalization through chain-of-thought and RAG
Implement responsible practices with generative LLMs to minimize bias, toxicity, and other harmful outputs
Who this book is for
This book is for developers, data scientists, and machine learning engineers embarking on projects driven by generative AI. A general understanding of machine learning and deep learning, as well as some proficiency with Python, is expected.
Начните свой путь в области генеративного ИИ с Python, изучая большие языковые модели, разбираясь в ответственных практиках генеративного ИИ и применяя свои знания в реальных приложениях с помощью руководств
Kлючевые функции
Получите опыт в оперативном проектировании, тонкой настройке LLM и адаптации к предметной области
Используйте LLM на основе transformers и диффузионные модели для реализации приложений искусственного интеллекта
Узнайте о стратегиях оптимизации производительности моделей, учитывайте этические соображения и укрепляйте доверие к системам искусственного интеллекта
Описание книги
Сложность и широта применения генеративного ИИ (GenAI) и больших языковых моделей иногда могут затмевать их практическое применение. Крайне важно понимать основополагающие концепции, необходимые для реализации генеративного ИИ. Это руководство объясняет основные концепции, лежащие в основе современных генеративных моделей, сочетая теорию и практическое применение.
Основы генеративного ИИ в Python начинаются с того, что вы закладываете фундаментальное понимание, представляя основы генеративных LLM и их историческую эволюцию, а также подготавливая почву для более глубокого изучения. Вы также поймете, как применять генеративные LLM в реальных приложениях. Книга раскрывает всю сложность и предлагает практические рекомендации по развертыванию и тонкой настройке предварительно обученных языковых моделей с помощью Python. Позже вы углубитесь в такие темы, как тонкая настройка для конкретных задач, адаптация к предметной области, оперативное проектирование, количественная оценка и ответственный искусственный интеллект, уделяя особое внимание тому, как эффективно и ответственно использовать generative LLM.
К концу прочтения этой книги вы будете хорошо разбираться в применении возможностей генеративного ИИ к решению реальных задач, уверенно и ответственно применяя его огромный потенциал.
Что вы узнаете
Познакомьтесь с основами GenAI и основами НЛП
Исследуйте фундаментальные генеративные архитектуры, включая GAN, трансформаторы и диффузионные модели
Узнайте, как точно настроить LLM для решения конкретных задач NLP
Разберитесь с передачей знаний и тонкой настройкой для облегчения адаптации к предметной области, включая такие области, как финансы
Изучите оперативное проектирование, включая обучение в контексте, шаблонизацию и рационализацию с помощью цепочки размышлений и RAG
Внедряйте ответственные методы в компании generative LLM, чтобы свести к минимуму предвзятость, токсичность и другие вредные последствия
Для кого предназначена эта книга
Эта книга предназначена для разработчиков, специалистов по обработке данных и инженеров по машинному обучению, которые приступают к реализации проектов, основанных на генеративном ИИ. Ожидается, что они будут иметь общее представление о машинном обучении и глубинном обучении, а также некоторое владение Python.
Примеры страниц (скриншоты)
Оглавление
Preface xiii
Part 1: Foundations of Generative AI and the
Evolution of Large Language Models
1
Understanding Generative AI: An Introduction 3
Generative AI 4
Distinguishing generative AI from
other AI models 4
Briefly surveying generative approaches 5
Clarifying misconceptions between
discriminative and generative paradigms 6
Choosing the right paradigm 7
Looking back at the evolution of
generative AI 8
Overview of traditional methods in NLP 8
Arrival and evolution of
transformer-based models 9
Development and impact of GPT-4 10
Looking ahead at risks
and implications 11
Introducing use cases
of generative AI 12
The future of generative
AI applications 13
Summary 14
References 14
2
Surveying GenAI Types and Modes: An Overview of GANs,
Diffusers, and Transformers 17
Understanding General Artificial
Intelligence (GAI) Types –
distinguishing features of GANs,
diffusers, and transformers 18
Deconstructing GAI methods –
exploring GANs, diffusers,
and transformers 19
A closer look at GANs 19
A closer look at diffusion models 21
A closer look at generative transformers 24
Applying GAI models – image
generation using GANs, diffusers,
and transformers 29
Working with Jupyter Notebook and
Google Colab 30
Stable diffusion transformer 30
Scoring with the CLIP model 33
Summary 36
References 36
3
Tracing the Foundations of Natural Language Processing
and the Impact of the Transformer 39
Early approaches in NLP 40
Advent of neural language models 40
Distributed representations 40
Transfer Learning 42
Advent of NNs in NLP 43
The emergence of the Transformer
in advanced language models 45
Components of the transformer architecture 46
Sequence-to-sequence learning 51
Evolving language models – the AR
Transformer and its role in GenAI 57
Implementing the
original Transformer 59
Data loading and preparation 59
Tokenization 60
Data tensorization 60
Dataset creation 61
Embeddings layer 61
Positional encoding 62
Multi-head self-attention 62
FFN 63
Encoder layer 63
Encoder 63
Decoder layer 64
Decoder 65
Complete transformer 65
Training function 66
Translation function 66
Main execution 67
Summary 69
References 69
4
Applying Pretrained Generative Models: From
Prototype to Production 71
Prototyping environments 72
Transitioning to production 74
Mapping features to
production setup 75
Setting up a production-ready
environment 76
Local development setup 77
Visual Studio Code 77
Project initialization 77
Docker setup 78
Requirements file 79
Application code 79
Creating a code repository 80
CI/CD setup 81
Model selection – choosing the right
pretrained generative model 83
Meeting project objectives 83
Model size and computational complexity 85
Benchmarking 87
Updating the
prototyping environment 87
GPU configuration 88
Loading pretrained models with LangChain 89
Setting up testing data 90
Quantitative metrics evaluation 92
Alignment with CLIP 94
Interpreting outcomes 96
Responsible AI considerations 98
Addressing and mitigating biases 98
Transparency and explainability 99
Final deployment 99
Testing and monitoring 101
Maintenance and reliability 101
Summary 102
Part 2: Practical Applications of Generative AI
5
Fine-Tuning Generative Models for Specific Tasks 105
Foundation and relevance – an
introduction to fine-tuning 105
PEFT 106
LoRA 107
AdaLoRA 107
In-context learning 108
Fine-tuning versus
in-context learning 110
Practice project: Fine-tuning for
Q&A using PEFT 111
Background regarding question-answering
fine-tuning 112
Implementation in Python 113
Evaluation of results 117
Summary 119
References 119
6
Understanding Domain Adaptation for Large Language Models 121
Demystifying domain adaptation
– understanding its history and
importance 122
Practice project: Transfer learning
for the finance domain 123
Training methodologies for financial
domain adaptation 123
Evaluation and outcome analysis – the
ROUGE metric 127
Summary 129
References 130
7
Mastering the Fundamentals of Prompt Engineering 131
The shift to
prompt-based approaches 131
Basic prompting – guiding
principles, types, and structures 134
Guiding principles for model interaction 134
Prompt elements and structure 135
Elevating prompts – iteration and
influencing model behaviors 138
LLMs respond to emotional cues 138
Effect of personas 139
Situational prompting or role-play 139
Advanced prompting in action – fewshot
learning and prompt chaining 141
Practice project: Implementing RAG
with LlamaIndex using Python 143
Summary 147
References 147
8
Addressing Ethical Considerations and
Charting a Path Toward Trustworthy Generative AI 149
Ethical norms and values in the
context of generative AI 150
Investigating and minimizing bias
in generative LLMs and generative
image models 151
Constrained generation and
eliciting trustworthy outcomes 152
Constrained generation with fine-tuning 152
Constrained generation through
prompt engineering 152
Understanding jailbreaking and
harmful behaviors 153
Practice project: Minimizing
harmful behaviors with filtering 154
Summary 156
References 157
Index 159
Other Books You May Enjoy 168
