Como o chat usa contexto

O funcionamento do chat no evalmind é baseado no envio e processamento do histórico da conversa por meio da API. Após a criação de um chat, as interações subsequentes são realizadas pelo endpoint de completions, no qual é enviada uma lista de mensagens contendo, no mínimo, os campos role e content.

Esse histórico orienta a geração da próxima resposta. Em termos práticos, isso significa que a IA considera:

• a mensagem atual do usuário;
• mensagens anteriores já trocadas no chat;
• parâmetros configurados na criação da conversa;
• o assistente associado ao chat, quando houver;
• conteúdos recuperados por RAG, quando aplicável.

Alguns parâmetros existentes em chat_parameters, incluindo memory_size, que representa o tamanho da memória utilizada no chat, influenciam o quanto do histórico conversacional é preservado como base para respostas futuras. Por padrão, esse valor é 4, podendo impactar diretamente a continuidade do contexto em conversas mais longas.

Além disso, o contexto do chat pode ser influenciado por configurações como:

• temperature, que afeta o grau de criatividade ou variação das respostas;
• max_tokens, que limita o tamanho da resposta;
• presence_penalty e frequency_penalty, que podem alterar a repetição e diversidade do texto gerado;
• seed, quando aplicável, para maior previsibilidade de comportamento.

De forma geral, o chat utiliza o contexto para manter continuidade, interpretar referências anteriores e responder de maneira mais coerente com o histórico da interação. No entanto, quanto maior a conversa, maior a necessidade de estruturar bem as mensagens e monitorar o uso de memória e tokens.