Capítulos - Deep Learning Book

Capítulo 100 – Machine Learning – Guia Definitivo – Parte 10

Chegamos ao final do Deep Learning Book. Este é o centésimo e último capítulo deste livro online, em português, gratuito e agora com 100 capítulos! Antes de mais nada nós da DSA gostaríamos de agradecer a você que acompanhou todo este trabalho realizado até aqui. O Deep Learning Book nasceu do nosso inconformismo em ver …

Capítulo 99 – Machine Learning – Guia Definitivo – Parte 9

Nos 10 capítulos finais (de 91 a 100) deste livro online vamos trazer um grande resumo sobre Machine Learning. O objetivo é fornecer uma visão clara do que é e como Machine Learning está sendo usado no dia a dia, um pouco de matemática, as principais regras e princípios. Queremos ainda que esses capítulos finais …

Capítulo 98 – Machine Learning – Guia Definitivo – Parte 8

Capítulo 97 – Machine Learning – Guia Definitivo – Parte 7

Nos 10 capítulos finais deste livro online vamos trazer um grande resumo sobre Machine Learning. O objetivo é fornecer uma visão clara do que é e como Machine Learning está sendo usado no dia a dia, um pouco de matemática, as principais regras e princípios. Queremos ainda que esses capítulos finais possam servir de material …

Capítulo 96 – Machine Learning – Guia Definitivo – Parte 6

Capítulo 95 – Machine Learning – Guia Definitivo – Parte 5

Capítulo 94 – Machine Learning – Guia Definitivo – Parte 4

Capítulo 93 – Machine Learning – Guia Definitivo – Parte 3

Capítulo 92 – Machine Learning – Guia Definitivo – Parte 2

Capítulo 91 – Machine Learning – Guia Definitivo – Parte 1

Capítulo 90 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 5

Vamos prosseguir estudando os transformadores. Este capítulo considera que você leu os capítulos anteriores. Vamos começar esta capítulo com um resumo do Transformer. Para processar uma frase, precisamos destes 3 passos: 1- Embeddings de palavras da sentença de entrada são computados simultaneamente. 2- Codificações posicionais são então aplicadas a cada Embeddings, resultando em vetores de palavras …

Capítulo 89 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 4

Vamos prosseguir estudando os transformadores. Este capítulo considera que você leu os capítulos anteriores. Conexões Residuais de Salto Curto Na linguagem, existe uma noção significativa de uma compreensão mais ampla do mundo e de nossa capacidade de combinar ideias. Os humanos utilizam amplamente essas influências de cima para baixo (nossas expectativas) para combinar palavras em …

Capítulo 88 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 3

Vamos seguir nossa discussão sobre os Transformadores com a parte mais importante, a Auto-Atenção. Este capítulo considera que você leu os capítulos anteriores. Auto-Atenção: O Encoder do Transformer O que é Auto-Atenção? “A Auto-Atenção, às vezes chamada de Intra-Atenção, é um mecanismo de atenção que relaciona diferentes posições de uma única sequência para computar uma …

Capítulo 87 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 2

Vamos seguir com a continuação do capítulo anterior. Este capítulo fornece algumas informações básicas necessárias para compreender o conceito por trás da autoatenção que veremos no capítulo seguinte. Atenção Baseada em Recursos: Chave, Valor e Consulta Os conceitos de consulta de chave-valor vêm de sistemas de recuperação de informações. É extremamente útil esclarecer esses conceitos …

Capítulo 86 – Como Funcionam os Transformadores em Processamento de Linguagem Natural – Parte 1

A partir de agora e nos próximos capítulos vamos compreender o funcionamento dos Transformadores, uma das técnicas mais avançadas da atualidade em Inteligência Artificial, especialmente no Processamento de Linguagem Natural. Os Transformadores não são tão difíceis de entender. É a combinação de todos os conceitos que pode tornar a compreensão complexa, incluindo a atenção. É …

Capítulo 85 – Transformadores – O Estado da Arte em Processamento de Linguagem Natural

Transformadores (Transformers) representam uma arquitetura de Deep Learning que visa resolver tarefas sequence-to-sequence enquanto lida com dependências de longo alcance com facilidade. Esse não é um conceito fácil de compreender, mas ajudaremos você! Vamos iniciar agora uma sequência de capítulos baseados no artigo: Attention is All You Need (Atenção é tudo que você precisa). E …

Capítulo 84 – CLIP (Contrastive Language Image Pre-training): Conectando Texto e Imagens

O ano de 2021 começou com um estrondo! A OpenAI lançou duas grandes inovações no campo da Visão Computacional: CLIP e DALL-E. A rede CLIP tem uma abordagem realmente interessante e possivelmente revolucionária para tarefas de classificação de imagens usando o pré-treinamento contrastante para realizar o aprendizado zero-shot semelhante ao do GPT-3, que abordamos em …

Capítulo 83 – Liquid Neural Network – Rede Neural Líquida

A partir deste capítulo vamos estudar algumas arquiteturas de Deep Learning bem modernas e recentes que começam a ganhar destaque à medida que a Inteligência Artificial evolui. Muitas dessas arquiteturas são variações das arquiteturas estudada ao longo deste livro. Vale ressaltar, que boa parte do que vimos neste livro surgiu ou evoluiu nos últimos 5 …

Capítulo 82 – GPT-3 – Características e Limitações

Em sua busca para construir modelos de linguagem muito fortes e poderosos que não precisariam de nenhum ajuste fino e apenas de algumas demonstrações para entender as tarefas e executá-las, a Open AI construiu o modelo GPT-3 com 175 bilhões de parâmetros. Este modelo tem 10 vezes mais parâmetros do que o poderoso modelo de …

Capítulo 81 – Modelos de Linguagem Como Tarefas Não Supervisionadas (GPT-2)

Vamos seguir estudando o modelo GPT, agora com a sua segunda versão. Estamos considerando que você leu o capítulo anterior. Os desenvolvimentos no modelo GPT-2 foram principalmente em termos de usar um conjunto de dados maior e adicionar mais parâmetros ao modelo para aprender um modelo de linguagem ainda mais forte. Vejamos os desenvolvimentos significativos …

Capítulo 80 – Melhorando a Compreensão da Linguagem Por Meio do Pré-treinamento Generativo (GPT-1)

Para compreender o GPT-3, seu estado atual e seu uso futuro, é importante dar alguns passos atrás e compreender os modelos predecessores, o GPT-1 e o GPT-2. Começamos pela versão 1. Aqui está o paper original do modelo GPT-1: Improving Language Understanding by Generative Pre-Training. Antes dos modelos GPT, a maioria dos modelos de Processamento …

Capítulo 79 – Conhecendo o Modelo GPT-3 (Generative Pre-trained Transformer)

Os modelos Generative Pre-Training Transformer (GPT) da OpenAI conquistaram a comunidade de Processamento de Linguagem Natural (PLN) com a introdução de modelos de linguagem muito poderosos. Esses modelos podem realizar várias tarefas de PLN, como responder a perguntas, vinculação textual, resumo de texto, etc., sem nenhum treinamento supervisionado. Esses modelos de linguagem precisam de muito …

Capítulo 78 – Modelo BERT – Previsão da Próxima Frase

Vamos complementar o capítulo anterior e compreender alguns detalhes do funcionamento do BERT para Processamento de Linguagem Natural. Antes de alimentar as sequências de palavras no BERT, 15% das palavras em cada sequência são substituídas por um token [MASK]. O modelo então tenta prever o valor original das palavras mascaradas, com base no contexto fornecido …

Capítulo 77 – Modelo BERT Para Processamento de Linguagem Natural

BERT (Bidirectional Encoder Representations from Transformers) é um modelo de Deep Learning criado por pesquisadores do Google AI Language. O BERT causou um rebuliço na comunidade de aprendizado de máquina ao apresentar resultados de última geração em uma ampla variedade de tarefas de PLN (Processamento de Linguagem Natural), incluindo respostas automáticas ao banco de dados …

Capítulo 76 – O Que é BERT (Bidirectional Encoder Representations from Transformers)?

BERT (Bidirectional Encoder Representations from Transformers) é o algoritmo de aprendizado profundo (Deep Learning) do Google para PLN (Processamento de Linguagem Natural). Ajuda computadores e máquinas a entender a linguagem como nós, humanos, fazemos. Simplificando, o BERT pode ajudar o Google a entender melhor o significado das palavras nas consultas no mecanismo de busca. Por …

Capítulo 75 – Inteligência Artificial Para Jogar Blackjack – Parte 5

Vamos trabalhar na Parte 5 do Projeto para treinar, avaliar e concluir nosso agente inteligente. Clique na imagem abaixo para acessar o Jupyter Notebook com o código completo. O Jupyter Notebook está em modo de somente leitura, pois está na conta da DSA. Para executar na sua conta, clique no menu File e salve uma …

Capítulo 74 – Inteligência Artificial Para Jogar Blackjack – Parte 4

Vamos trabalhar na Parte 4 do Projeto e implementar a lógica de treinamento do nosso agente inteligente. Clique na imagem abaixo para acessar o Jupyter Notebook com o código completo. O Jupyter Notebook está em modo de somente leitura, pois está na conta da DSA. Para executar na sua conta, clique no menu File e …

Capítulo 73 – Inteligência Artificial Para Jogar Blackjack – Parte 3

Vamos trabalhar na Parte 3 do Projeto e implementar a memória do nosso agente inteligente. Clique na imagem abaixo para acessar o Jupyter Notebook com o código completo. O Jupyter Notebook está em modo de somente leitura, pois está na conta da DSA. Para executar na sua conta, clique no menu File e salve uma …

Capítulo 72 – Inteligência Artificial Para Jogar Blackjack – Parte 2

Vamos trabalhar na Parte 2 do nosso Projeto e construir o modelo Modelo Deep Q Network. Mas não faremos “apenas” isso. Vamos criar um Plot para visualizar as jogadas do Agente Baseado em IA ao jogar Blackjack. Clique na imagem abaixo para acessar o Jupyter Notebook com o código completo. O Jupyter Notebook está em …

Capítulo 71 – Inteligência Artificial Para Jogar Blackjack – Parte 1

Aprender é um dos prazeres da vida. Aprender se divertindo é melhor ainda, não acha? A partir deste capítulo e durante os próximos vamos trabalhar em um projeto completo para estudar o Aprendizado Por Reforço na prática, especificamente a Deep Q-Network. Criaremos um Agente baseado em Inteligência Artificial para jogar Blackjack. Eu sei que é …