Capítulo 96 – Machine Learning – Guia Definitivo – Parte 6
Nos 10 capítulos finais deste livro online vamos trazer um grande resumo sobre Machine Learning. O objetivo é fornecer uma visão clara do que é e como Machine Learning está sendo usado no dia a dia, um pouco de matemática, as principais regras e princípios. Queremos ainda que esses capítulos finais possam servir de material de referência para os alunos que estão buscando as certificações oferecidas pela DSA no Bootcamp de Certificação.
Serão 10 partes no total com um guia completo sobre Machine Learning. Aproveite a leitura para compreender de forma definitiva o que é uma das tecnologias mais incríveis do nosso tempo.
E neste capítulo vamos seguir explicando para você dezenas de regras e princípios da aplicação de Machine Learning para resolver problemas de negócio!
Boa leitura!
Regras e Princípios
O terceiro grupo de regras e princípios é sobre definição de métricas e objetivos dos modelos de aprendizado de máquina. O segundo grupo foi descrito no capítulo anterior.
Regra 12: Métricas Técnicas x Métricas de Negócio
As métricas técnicas são aquelas triviais em Machine Learning: acurácia, precisão, recall para modelos de classificação e erro quadrático médio e coeficiente de determinação para podemos de regressão, por exemplo.
As métricas de negócio dizem respeito ao objetivo do modelo de Machine Learning. Se o modelo prevê a taxa e cliques em um anúncio de um portal, qual foi a taxa efetiva de cliques no anúncio? Ou ainda, se o modelo prevê a taxa de turnover de funcionários de uma empresa, qual foi a taxa efetiva de turnover?
Ajustar todas as essas métricas é bem complicado, mas no final das contas é esse nosso trabalho. Primeiro medimos as métricas técnicas usando os dados de teste antes do modelo seguir para produção e, então, medimos as métricas de negócio depois que o modelo está em produção, calculando as previsões do modelo e comparando com o resultado efetivo.
Uma boa acurácia nos dados de teste não significa necessariamente que o modelo terá uma boa performance mais tarde ao prever o clique em um anúncio, por exemplo. Por quê? Porque o padrão nos dados pode mudar. Usamos dados históricos para treinar a avaliar o modelo, logo, a acurácia é medida com dados históricos. Já a métrica de negócio será medida com novos dados e o padrão pode ter mudado por conta de um feriado, mudança na preferência do usuário ou velocidade do web site. Se a métrica de negócio estiver ruim, devemos voltar e re-treinar o modelo com novos dados históricos. De fato, muitas empresas re-treinam seus modelos todos os dias, o que normalmente é trabalho de um Engenheiro de Machine Learning.
Regra 13: Defina qual objetivo você deseja otimizar
Existem dúzias de métricas com as quais você se importa e você deve medir todas elas. No entanto, no início do processo de aprendizado de máquina, você notará que todas elas estão subindo, mesmo aquelas que você não otimiza diretamente. Por exemplo, suponha que você se preocupe com o número de cliques e o tempo gasto no web site. Se você otimizar seu modelo para prever com mais precisão o número de cliques, provavelmente verá melhoria na métrica que prevê o tempo gasto no web site. Isso é comum no começo do ciclo de vida de modelos de Machine Learning.
Portanto, mantenha as coisas simples e não pense muito em equilibrar métricas diferentes quando você ainda pode aumentar facilmente todas as métricas. No entanto, não leve essa regra longe demais: não confunda seu objetivo com a saúde final do sistema. Queremos um modelo equilibrado sendo executado em produção.
Regra 14: Escolha uma métrica simples, observável e atribuível para seu primeiro objetivo
Muitas vezes você não sabe qual é o verdadeiro objetivo. Você pensa que sabe, mas ao observar os dados e analisar os resultados do modelo de Machine Learning, percebe que deseja ajustar o objetivo.
Além disso, diferentes membros da equipe de Data Science muitas vezes não conseguem concordar com o verdadeiro objetivo. O objetivo de um modelo de Machine Learning deve ser algo que seja fácil de medir e seja um proxy para o objetivo “verdadeiro”. Portanto, treine o modelo com um objetivo simples e considere ter uma “camada de política” no topo que permita adicionar lógica complementar (esperamos uma lógica muito simples) para fazer a classificação final. Ou seja, sobre a previsão feita pelo modelo adicionamos uma lógica definida por seres humanos (ensinamos isso em diversos cursos na Data Science Academy). Lembre-se: Machine Learning é um meio e não um fim.
A coisa mais fácil de modelar é um comportamento do usuário que é observado diretamente e atribuível a uma ação do sistema:
- Este link classificado foi clicado?
- Este objeto foi classificado?
- Este objeto classificado foi baixado?
- Este objeto classificado foi encaminhado/respondido/enviado por e-mail?
- Este objeto mostrado foi marcado como spam/ofensivo?
Evite modelar efeitos indiretos no início:
- O usuário visitou o web site no dia seguinte?
- Quanto tempo o usuário visitou o site?
- Quais eram os usuários ativos diários?
Os efeitos indiretos são ótimas métricas e podem ser usados durante o Teste A/B e durante as decisões de lançamento. Os alunos estudam Testes A/B no curso de Business Analytics.
Por fim, não tente fazer o aprendizado de máquina descobrir:
- O usuário está satisfeito com o produto?
- O usuário está satisfeito com a experiência?
- O produto está melhorando o bem-estar geral do usuário?
- Como isso afetará a saúde geral da empresa?
Tudo isso é importante, mas também incrivelmente difícil de medir. Em vez disso, use proxies: se o usuário estiver satisfeito, ele permanecerá no site por mais tempo. Se o usuário estiver satisfeito, ele visitará novamente o web site amanhã. No que diz respeito ao bem-estar e à saúde da empresa, o julgamento humano é necessário para conectar qualquer objetivo de Machine Learning à natureza do produto que sua empresa está vendendo e ao plano de negócios.
Regra 15: Começar com um modelo interpretável facilita a depuração
Regressão linear e regressão logística são diretamente motivadas por um modelo probabilístico. Cada previsão é interpretável como uma probabilidade ou um valor esperado. Isso os torna mais fáceis de depurar do que modelos que usam objetivos que tentam otimizar diretamente a precisão da classificação ou o desempenho da classificação. Por exemplo, se as probabilidades no treinamento se desviarem das probabilidades previstas lado a lado ou pela inspeção do sistema de produção, esse desvio pode revelar um problema.
Com modelos simples, é mais fácil lidar com loops de feedback. Muitas vezes, usamos essas previsões probabilísticas para tomar uma decisão. Por exemplo, classificar as postagens em valor esperado decrescente (ou seja, probabilidade de clique/download/etc.). No entanto, lembre-se quando chegar a hora de escolher qual modelo usar, a decisão final importa mais do que a probabilidade dos dados fornecidos ao modelo.
Comece com modelos mais simples e interpretáveis para conquistar a confiança das áreas de negócio e gestores. Com o suporte deles será mais fácil avançar para o uso de modelos mais complexos.
Continuaremos no próximo capítulo.
Referências: