Pular para o conteúdo principal

🟢 O que há em um Prompt?

Nas páginas anteriores, passamos por algumas estratégias de prompt diferentes. Esta página oferecerá alguns conselhos gerais sobre o que é realmente importante em um prompt.

"A Verdade Fundamental Tem Pouca Importância"​

Surpreendentemente, ao fornecer exemplos em um prompt, as respostas reais (gold) nos exemplos não são importantes. Como mostrado na figura abaixo, fornecer rótulos aleatórios (random labels) nos exemplos praticamente não afeta o seu desempenho1. "Demo" é sinônimo de exemplar/exemplo na imagem abaixo.

O Espaço de Rótulos (ou Categorias) (labelspace) importam!​

Embora os rótulos ou respostas corretas nos exemplos não sejam importantes, o espaço de rótulos ou categorias é (labelspace). Mesmo quando você fornece rótulos aleatórios da categoria no seu exemplo, ainda assim isso ajuda o LLM a entender melhor as categorias e a melhorar os resultados. Além disso, é importante representar adequadamente a distribuição das categorias nos exemplos. A melhor prática nesse caso seria detalhar a amostra de acordo com a verdadeira distribuição dos rótulos.

O Formato Importa​

Talvez a parte mais importante dos exemplos seja a forma como são formatados. Essa formatação instrui o LLM sobre como formatar corretamente a resposta em relação a sua solicitação.

Considere os exemplos abaixo. Eles usam palavras em letras maiúsculas como respostas. Embora as respostas estejam completamente erradas (2 + 2 não é 50), o GPT-3 responde corretamente à última pergunta e segue o formato dos exemplos.

Quanto é 2+2?
CINQUENTA
Quanto is 20+5?
TRINTA E CINCO

Quanto is 12+9?

VINTE E TRÊS

Notas​

Entre 4 e 8 exemplares é um bom número para usar em prompts de few-shot1, mas muitas vezes pode ser útil colocar o maior número de exemplares possível.

  1. Min, S., Lyu, X., Holtzman, A., Artetxe, M., Lewis, M., Hajishirzi, H., & Zettlemoyer, L. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? ↩