Como comenta o diretor de tecnologia Jean Pierre Lessa e Santos Ferreira, quando uma nova tecnologia chega ao mercado com potencial transformador, existe um padrão previsível de adoção que se repete: primeiro a empolgação com as possibilidades, depois a busca por atalhos que prometem extrair o máximo valor com o mínimo de transformação real, e finalmente a decepção quando os resultados não correspondem às expectativas criadas sem fundamento adequado. 

Se você ou a sua empresa investiu em licenças de ferramentas de IA sem ver os resultados que esperava, ou se ainda está tentando encontrar o prompt que vai desbloquear a produtividade prometida nos materiais de marketing, este artigo oferece uma perspectiva diferente sobre onde o problema realmente está.

Por que a obsessão com prompt engineering distorce a conversa sobre uso eficaz de IA nas organizações?

A popularização do prompt engineering como disciplina criou uma narrativa de que o principal fator determinante da qualidade do output de um modelo de linguagem é a habilidade de quem escreve o prompt. Essa narrativa tem alguma base empírica em contextos específicos: prompts mais bem estruturados, que fornecem contexto adequado, especificam o formato desejado do output e estabelecem restrições claras, consistentemente produzem resultados melhores do que prompts vagos e mal construídos. O problema é a generalização excessiva dessa observação para a conclusão de que o prompt é o fator central do sucesso com IA, o que leva organizações a investir desproporcionalmente em treinamento de prompt engineering enquanto ignoram dimensões igualmente importantes da integração.

O contexto fornecido ao modelo é tão ou mais importante do que a estrutura do prompt, e o contexto é muito mais difícil de otimizar do que a formulação de uma instrução. Segundo Jean Pierre Lessa e Santos Ferreira, um prompt perfeitamente estruturado que pede ao modelo que analise a situação competitiva de uma empresa vai produzir um output genérico e de pouco valor se não houver mecanismo para fornecer ao modelo as informações específicas sobre aquela empresa, aquele mercado e aquele momento que tornariam a análise genuinamente útil. 

A avaliação sistemática da qualidade dos outputs é outro componente crítico que a conversa sobre prompt engineering frequentemente ignora. Saber se um prompt está funcionando bem requer ter critérios claros sobre o que constitui um bom output para aquela tarefa específica, mecanismos para avaliar outputs em escala e processos para iterar sobre as configurações do sistema com base nessas avaliações. Sem esse ciclo de avaliação, a otimização de prompts é um exercício de intuição sem feedback estruturado, o que produz progresso lento e inconsistente independentemente do nível de expertise da pessoa que está escrevendo os prompts.

Jean Pierre Lessa e Santos Ferreira

Quais são os elementos de uma estratégia de uso de IA que vão além da otimização de prompts individuais?

A escolha do modelo certo para cada tarefa é o primeiro elemento estratégico que a maioria das discussões sobre prompt engineering ignora. Modelos diferentes têm capacidades, limitações e custos operacionais significativamente distintos, e a decisão de qual modelo usar para qual classe de tarefa tem impacto tanto na qualidade do output quanto no custo operacional do sistema. Um modelo grande e caro pode ser justificável para tarefas de alta complexidade cognitiva e baixo volume, mas é um desperdício de recursos para tarefas repetitivas e de alta frequência em que um modelo menor e mais rápido produziria resultados equivalentes a uma fração do custo. Essa otimização de portfólio de modelos é uma decisão de arquitetura que precisa ser tomada com dados, não com base na popularidade de uma ferramenta específica.

O design de fluxos de trabalho que integram IA como componente, e não como substituto do processo existente, é o segundo elemento estratégico fundamental. De acordo com Jean Pierre Lessa e Santos Ferreira, as organizações que obtêm resultados mais consistentes com IA generativa geralmente não estão tentando usar o modelo para fazer em uma única chamada o que antes levava um profissional a trabalhar por horas. Estão redesenhando o fluxo de trabalho para que o modelo seja responsável pelas partes em que é mais confiável, um profissional humano seja responsável pelas partes que exigem julgamento contextual, e o sistema como um todo seja mais eficiente e de melhor qualidade do que qualquer uma das partes operando isoladamente. Esse redesenho exige compreensão tanto das capacidades do modelo quanto do fluxo de trabalho existente, e raramente é possível sem envolvimento dos profissionais que executam esse trabalho no dia a dia.

Como organizações que obtêm resultados reais com IA generativa estruturam sua abordagem diferentemente das que não obtêm?

Organizações com resultados consistentes de IA generativa invariavelmente começam com casos de uso específicos e bem definidos, e não com a pergunta genérica de como usar IA para ser mais produtivo. A especificidade do caso de uso permite definir critérios claros de sucesso, medir resultados de forma objetiva e tomar decisões informadas sobre se a tecnologia está ou não entregando valor naquele contexto específico. Essa abordagem contrasta com a de organizações que adotam ferramentas de IA como iniciativa de transformação digital sem clareza sobre quais problemas específicos estão sendo resolvidos, o que invariavelmente resulta em métricas de adoção sem métricas de impacto.

O investimento em capacitação técnica mínima de todos os usuários de IA, e não apenas dos especialistas em prompt engineering, é outro diferencial consistente. Usuários que entendem, em termos gerais, como os modelos de linguagem funcionam, quais são suas limitações fundamentais e como identificar quando um output não deve ser confiado sem verificação fazem uso significativamente mais eficaz e mais seguro das ferramentas do que os que as tratam como oráculo infalivelmente confiável. Conforme informa o diretor de tecnologia Jean Pierre Lessa e Santos Ferreira, essa capacitação não precisa ser técnica no sentido de programação ou matemática, mas precisa incluir compreensão suficiente sobre o funcionamento e as limitações dos modelos para que o julgamento humano seja exercido de forma adequada.

A interação baseada em dados sobre o que está e o que não está funcionando é o diferencial final. Organizações que medem sistematicamente a qualidade dos outputs, que coletam feedback dos profissionais que usam as ferramentas no dia a dia, que identificam os tipos de tarefa em que os resultados são consistentemente bons e os em que são consistentemente problemáticos, e que ajustam sua estratégia com base nesses dados constroem um processo de melhoria contínua que é completamente distinto da abordagem de tentar prompts diferentes até encontrar algo que pareça funcionar. 

Autor: Diego Rodríguez Velázquez