Ministrante: Rodrigo Frassetto Nogueira
Resumo: Modelos de aprendizado profundo são hoje o estado da arte em diversas tarefas de processamento de linguagem natural como tradução, sumarização, busca, e sistemas de perguntas e respostas. Este curso abordará os principais conceitos consolidados na área, como word embeddings, modelos seq2seq, modelos de atenção, transformers e BERT.
Conteúdo: Neste minicurso aprenderemos de onde esses modelos vieram, como funcionam e como adaptá-los para tarefas em Português. Ao final, demonstraremos como treinar um modelo de tradução Inglês-Português com desempenho comparável ao do Google Translate.
Referências:
Bengio, Yoshua, Réjean Ducharme, and Pascal Vincent. “A neural probabilistic language model.” Advances in Neural Information Processing Systems. 2001.
Mikolov, Tomas, et al. “Distributed representations of words and phrases and their compositionality.” Advances in neural information processing systems. 2013.
Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems. 2017.
Devlin, Jacob, et al. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” NAACL-HLT (1). 2019.
Raffel, Colin, et al. “Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer.” Journal of Machine Learning Research 21 (2020): 1-67.
Mini-CV:
Rodrigo Frassetto Nogueira possui doutorado pela Universidade de Nova York (NYU), onde trabalhou na interseção de Deep Learning, PLN e sistemas de busca. Possui graduação e mestrado pela UNICAMP. É co-autor do livro “Pretrained Transformers for Text Ranking: BERT and Beyond”. É atualmente professor adjunto na UNICAMP, pós-doutorando na Universidade de Waterloo e cientista chefe na NeuralMind.