Ministrantes: Moacir Antonelli Ponti e Fernando Pereira dos Santos
Resumo: Métodos de aprendizado profundo (deep learning) representam o estado-da-arte em benchmarks de diversos problemas de aprendizado de máquina. No entanto, ainda há dependência de dados de treinamento anotados massivamente, o que pode adicionar aos modelos viés relacionado às bases utilizadas no treinamento original. Nesse curso, as arquiteturas que utilizam unidades densas, convolucionais e recorrentes são revisitadas, sendo discutidas estratégias de treinamento com foco em aprender representações capazes de generalizar para bases de dados menores. Para tal, estudaremos métodos para explorar representações aprendidas em bases de dados benchmark e como realizar transferência de aprendizado de maneira eficiente.
Conteúdo: Conceitos básicos de aprendizado profundo com redes neurais. Unidades de processamento básicas: Perceptron, convolucional, recorrente. Treinamento de redes neurais: aspectos de otimização, normalização, inicialização. Métodos para transferência de aprendizado: pesos pré-treinados e ajuste fino, alinhamento de espaços de características. Avaliação de espaços de características utilizando a separabilidade linear.
Referências:
PONTI, Moacir Antonelli et al. Everything you wanted to know about deep learning for computer vision but were afraid to ask. In: 2017 30th SIBGRAPI conference on graphics, patterns and images tutorials (SIBGRAPI-T). IEEE, 2017. p. 17-41.
MELLO, Rodrigo F.; PONTI, Moacir Antonelli. Machine Learning: A Practical Approach on the Statistical Learning Theory. Springer, 2018.
DOS SANTOS, Fernando Pereira; PONTI, Moacir Antonelli. Alignment of Local and Global Features from Multiple Layers of Convolutional Neural Network for Image Classification. In: 2019 32nd SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI). IEEE, 2019. p. 241-248.
DE NAZARE, Tiago S. et al. Color quantization in transfer learning and noisy scenarios: an empirical analysis using convolutional networks. In: 2018 31st SIBGRAPI Conference on Graphics, Patterns and Images (SIBGRAPI). IEEE, 2018. p. 377-383.
Mini CV:
Moacir Antonelli Ponti é professor associado no ICMC, Universidade de São Paulo (USP), São Carlos, com doutorado e mestrado pela Universidade Federal de São Carlos (UFSCar). Foi pesquisador visitante em estágio pós-doutoral na University of Surrey, Reino Unido (2016-2017) e recebeu um Google Latin America Research Award (2017-2018). É atualmente bolsista produtividade do CNPq nível 2 e atua nas áreas de Aprendizado de Representações para Imagens, Sinais e Vídeo, investigando teoria e prática. Co-autor do livro Machine Learning: a practical approach on the statistical learning theory (Springer, 2018) e de artigos científicos em conferências e revistas de impacto.
Fernando Pereira dos Santos é pesquisador em Aprendizado de Máquina na Birdie com doutorado na Universidade de São Paulo (USP) e mestrado pela Universidade Estadual Paulista (UNESP). Atua nas áreas de processamento de imagens e aprendizado profundo, com interesses em transferência de aprendizado. Autor de artigos científicos em conferências e revistas de impacto na área.