LLM Course

0. Configuração

1. Modelos de Transformers

2. Usando 🤗 Transformers

Introdução Por dentro da função pipeline Modelos Tokenizers Tratando sequências múltiplas Colocando tudo junto Uso básico concluído!Questionário de fim de capítulo

3. Ajustando um modelo pré treinado

4. Compartilhamento de modelos e tokenizer

5. A biblioteca Datasets 🤗

6. A biblioteca Tokenizers 🤗

7. Principais tarefas NLP

8. Como pedir ajuda 🤗

Evento do curso

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Questionário de fim de capítulo

1. Qual é a ordem do pipeline para a modelagem de linguagem?

Primeiro, o modelo trata de textos e devolve previsões em bruto. O tokenizer, então, trás sentido a estas previsões e as converte de volta ao texto quando necessário. Primeiro, o tokenizer trata de textos e devolve as identificações (IDs). O modelo lida com estas identificações e produz uma predição, que pode ser algum texto. O tokenizer trata de textos e devolve os IDs. O modelo lida com estes IDs e produz uma predição. O tokenizer pode então ser usado mais uma vez para converter estas previsões de volta para algum texto.

2. Quantas dimensões tem o tensor do Transformer de base, e quais são elas?

2: O comprimento da sequência e o tamanho do batch (lote) 2: O comprimento da sequência e o tamanho das camadas ocultas 3: O comprimento da sequência, o tamanho do batch (lote) e o tamanho das camadas ocultas

3. Qual dos seguintes é um exemplo de Tokenização por sub-palavras?

WordPiece Character-based tokenization Divisão no espaço em branco e pontuação BPE Unigram Nenhuma das acimas

4. O que é uma model head ?

Um componente dos transformers de base que redireciona os tensores para suas camadas corretas Também conhecido como mecanismo de auto-atenção (*self-attention*), ele adapta a representação de um símbolo de acordo com os outros tokens da sequência Um componente adicional, geralmente composto de uma ou poucas camadas, para converter as previsões do Transformer em uma saída específica de tarefa

5. O que seria um AutoModel ?

Um modelo que treina automaticamente com seus dados Um objeto que devolve a arquitetura correta com base em um checkpoint Um modelo que detecta automaticamente a linguagem utilizada para suas entradas a fim de carregar os pesos corretos

6. Quais são as técnicas a serem observadas quando realizar batches com sequências de diferentes tamanhos?

Truncar Retornar tensores Padding Attention masking

7. Qual é o objetivo de aplicar uma função SoftMax à saída de logits para um modelo de classificação sequencial??

Suaviza os logits para que sejam mais confiáveis. Aplica um limite inferior e um limite superior para que eles sejam compreensíveis. A soma total da saída é 1, resultando em uma possível interpretação probabilística.

8. Qual é o método core da API tokenizer?

encode, pois pode codificar texto em IDs e IDs em predições Chamando diretamente o objeto de tokenização (tokenizer). padding tokenize

9. O que a variável result contém nesta pedaço de código?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

Uma lista de strings, sendo cada uma delas um token Uma lista de IDs Uma string contendo todos os tokens

10. Tem algo errado com o código abaixo?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)

Não, parece correto. O tokenizer e o modelo devem ser sempre a partir do mesmo checkpoint. É uma boa prática realizar o padding e truncar com o tokenizer, pois cada entrada é um batch.

Update on GitHub

←Uso básico concluído!

Next chapter

Questionário de fim de capítulo 1. Qual é a ordem do pipeline para a modelagem de linguagem?2. Quantas dimensões tem o tensor do Transformer de base, e quais são elas?3. Qual dos seguintes é um exemplo de Tokenização por sub-palavras?4. O que é uma model head ?5. O que seria um AutoModel ?5. O que seria um TFAutoModel ?6. Quais são as técnicas a serem observadas quando realizar batches com sequências de diferentes tamanhos?7. Qual é o objetivo de aplicar uma função SoftMax à saída de logits para um modelo de classificação sequencial??8. Qual é o método core da API tokenizer?9. O que a variável result contém nesta pedaço de código?10. Tem algo errado com o código abaixo?10. Tem algo errado com o código abaixo?