Aprendizado de máquina com Spark MLlib

Podemos amplamentecategorize machine learning into supervised and unsupervised categorias com base na abordagem. Existem outras categorias também, mas nos limitaremos a estas duas:

O aprendizado de máquina é realmente uma área interdisciplinar de estudo. Requer conhecimento do domínio comercial, estatística, probabilidade, álgebra linear e programação. Como isso pode ser claramente opressor,it’s best to approach this in an orderly fashion, o que normalmente chamamos de fluxo de trabalho de aprendizado de máquina:

Como podemos ver, todo projeto de aprendizado de máquina deve começar com uma declaração de problema claramente definida. Isso deve ser seguido por uma série de etapas relacionadas aos dados que podem potencialmente responder ao problema.

Em seguida, normalmente selecionamos um modelo que analisa a natureza do problema. Isso é seguido por uma série de treinamento e validação de modelo, conhecido como ajuste fino do modelo. Finalmente, testamos o modelo em dados não vistos anteriormente e o implantamos na produção, se satisfatório.

Primeiro, temos que definir o seguintedependency in Maven para extrair as bibliotecas relevantes:

E precisamos inicializar o SparkContext para trabalhar com as APIs do Spark:

Primeiramente, devemos fazer o download dos dados, que estão disponíveis como um arquivo de texto no formato CSV. Então temos que carregar esses dados no Spark:

O Spark MLlib oferece vários tipos de dados, locais e distribuídos, para representar os dados de entrada e os rótulos correspondentes. O mais simples dos tipos de dados éVector:

Observe que incluímos apenas os recursos de entrada aqui, principalmente para realizar análises estatísticas.

Um exemplo de treinamento normalmente consiste em vários recursos de entrada e um rótulo, representado pela classeLabeledPoint:

Nosso rótulo de saída no conjunto de dados é textual, significando as espécies de Iris. Para alimentar isso em um modelo de aprendizado de máquina, precisamos convertê-lo em valores numéricos.

A análise exploratória dos dados envolve a análise dos dados disponíveis. Agora,machine learning algorithms are sensitive towards data quality, portanto, dados de qualidade mais alta têm melhores perspectivas de entregar o resultado desejado.

Os objetivos típicos da análise incluem remover anomalias e detectar padrões. Isso alimenta as etapas críticas da engenharia de recursos para obter recursos úteis a partir dos dados disponíveis.

Nosso conjunto de dados, neste exemplo, é pequeno e bem formado. Portanto, não temos que nos entregar a muitas análises de dados. O Spark MLlib, no entanto, está equipado com APIs para oferecer um insight.

Vamos começar com algumas análises estatísticas simples:

Aqui, estamos observando a média e a variação dos recursos que temos. Isso é útil para determinar se precisamos executar a normalização de recursos. Éuseful to have all features on a similar scale. Também estamos anotando valores diferentes de zero, que podem afetar adversamente o desempenho do modelo.

Aqui está a saída para nossos dados de entrada:

Outra métrica importante a ser analisada é a correlação entre os recursos nos dados de entrada:

Ahigh correlation between any two features suggests they are not adding any incremental valuee um deles podem ser descartados. Aqui está como nossos recursos são correlacionados:

Se recordarmos nossa discussão sobre o fluxo de trabalho de aprendizado de máquina, isso envolve várias iterações de treinamento e validação de modelos, seguidas de testes finais.

Para que isso aconteça,we have to split our training data into training, validation, and test sets. Para manter as coisas simples, vamos pular a parte de validação. Então, vamos dividir nossos dados em conjuntos de treinamento e teste:

Então, chegamos a um estágio em que analisamos e preparamos nosso conjunto de dados. Tudo o que resta é alimentar isso em um modelo e começar a mágica! Bem, é mais fácil falar do que fazer. Precisamos escolher um algoritmo adequado para o nosso problema - lembre-se das diferentes categorias de aprendizado de máquina das quais falamos anteriormente.

Não é difícil entender queour problem fits into classification within the supervised category. Agora, existem alguns algoritmos disponíveis para uso nesta categoria.

O mais simples deles é regressão logística (não deixe a palavra regressão nos confundir; é, afinal, um algoritmo de classificação):

Aqui, estamos usando um classificador de três classes com memória limitada BFGS. Os detalhes deste algoritmo estão além do escopo deste tutorial, mas este é um dos mais usados.

Lembre-se de que o treinamento do modelo envolve várias iterações, mas para simplificar, usamos apenas uma única passagem aqui. Agora que treinamos nosso modelo, é hora de testar isso no conjunto de dados de teste:

Agora, como medimos a eficácia de um modelo? Existemseveral metrics that we can use, but one of the simplest is Accuracy. Simplificando, precisão é uma proporção entre o número correto de previsões e o número total de previsões. Aqui está o que podemos alcançar em uma única execução do nosso modelo:

Observe que isso varia um pouco de execução para execução devido à natureza estocástica do algoritmo.

No entanto, a precisão não é uma métrica muito eficaz em alguns domínios problemáticos. Outromore sophisticated metrics are Precision and Recall (F1 Score), ROC Curve, and Confusion Matrix.

Por fim, geralmente precisamos salvar o modelo treinado no sistema de arquivos e carregá-lo para previsão nos dados de produção. Isso é trivial no Spark:

Então, estamos salvando o modelo no sistema de arquivos e carregando-o de volta. Após o carregamento, o modelo pode ser usado imediatamente para prever a saída em novos dados. Aqui está uma amostra de previsão sobre novos dados aleatórios:

A seleção de modelos geralmente é uma das tarefas complexas e críticas. Treinar um modelo é um processo complicado e é muito melhor fazer em um modelo que estamos mais confiantes de que produzirá os resultados desejados.

Embora a natureza do problema possa nos ajudar a identificar a categoria de algoritmo de aprendizado de máquina a ser escolhido, não é um trabalho totalmente realizado. Dentro de uma categoria como a classificação, como vimos anteriormente,there are often many possible different algorithms and their variations to choose from.

Frequentementethe best course of action is quick prototyping on a much smaller set of data. Uma biblioteca como o Spark MLlib facilita muito o trabalho de prototipagem rápida.

Um modelo típico consiste em recursos, parâmetros e hiperparâmetros. Recursos são o que alimentamos no modelo como dados de entrada. Parâmetros do modelo são variáveis ​​aprendidas pelo modelo durante o processo de treinamento. Dependendo do modelo,there are certain additional parameters that we have to set based on experience and adjust iteratively. Estes são chamados de hiper-parâmetros do modelo.

Por exemplo, a taxa de aprendizado é um hiperparâmetro típico em algoritmos baseados em descida por gradiente. A taxa de aprendizado controla a rapidez com que os parâmetros são ajustados durante os ciclos de treinamento. Isso deve ser definido adequadamente para que o modelo aprenda efetivamente a um ritmo razoável.

Embora possamos começar com um valor inicial desses hiperparâmetros com base na experiência, precisamos executar a validação do modelo e ajustá-los manualmente iterativamente.

Um modelo estatístico, enquanto está sendo treinado, éprone to overfitting and underfitting, both causing poor model performance. A falta de ajuste refere-se ao caso em que o modelo não seleciona os detalhes gerais suficientemente dos dados. Por outro lado, o ajuste excessivo acontece quando o modelo também começa a captar ruído dos dados.

Existem vários métodos para evitar os problemas de ajuste insuficiente e excessivo, que geralmente são empregados em conjunto. Por exemplo,to counter overfitting, the most employed techniques include cross-validation and regularization. Da mesma forma, para melhorar a falta de ajuste, podemos aumentar a complexidade do modelo e aumentar o tempo de treinamento.

O Spark MLlib tem suporte fantástico para a maioria dessas técnicas, como regularização e validação cruzada. De fato, a maioria dos algoritmos tem suporte padrão para eles.

Tensorflow é umlibrary for dataflow and differentiable programming, widely employed for machine learning applications de código aberto. Junto com sua abstração de alto nível,Keras, é uma ferramenta de escolha para aprendizado de máquina. Eles são escritos principalmente em Python e C ++ e usados ​​principalmente em Python. Ao contrário do Spark MLlib, ele não possui presença poliglota.

Theano é outrolibrary for manipulating and evaluating mathematical expressions de código aberto baseado em Python - por exemplo, expressões baseadas em matriz, que são comumente usadas em algoritmos de aprendizado de máquina. Ao contrário do Spark MLlib, o Theano é novamente usado principalmente em Python. Keras, no entanto, pode ser usado junto com um back-end Theano.

Microsoft Cognitive Toolkit (CNTK) é uma * estrutura de aprendizagem profunda escrita em C que descreve as etapas computacionais por meio de um gráfico direcionado *. Ele pode ser usado em programas Python e C e é usado principalmente no desenvolvimento de redes neurais. Há um back-end Keras baseado em CNTK disponível para uso que fornece a abstração intuitiva familiar.