A recente introdução do recurso de recuperação OpenAI Assistants gerou discussões significativas na comunidade de IA. Esse recurso integrado incorpora os recursos de geração aumentada de recuperação (RAG) para resposta a perguntas, permitindo que os modelos de linguagem GPT aproveitem conhecimento adicional para gerar respostas mais precisas e relevantes. Esta postagem do Zilliz explora as restrições da recuperação RAG integrada do OpenAI e discute situações em que a criação de uma solução de recuperação personalizada pode ser benéfica.
Vamos comparar o desempenho do RAG da OpenAI com um RAG personalizado construído em um banco de dados vetorial como o Milvus. Avaliaremos os pontos fortes, fracos e nuances de cada abordagem e responderemos à pergunta crucial: Qual é a melhor?
Antes de avaliarmos o RAG integrado do OpenAI versus os sistemas RAG personalizados, vamos começar entendendo o que é RAG.
RAG é uma estrutura de IA que recupera fatos de uma base de conhecimento externa para garantir que grandes modelos de linguagem (LLMs) sejam baseados em informações mais precisas e atualizadas. Um sistema RAG típico compreende um LLM, um banco de dados vetorial como Milvus e alguns prompts como código.
Avaliar o desempenho do RAG é complexo. Precisamos de uma ferramenta de avaliação RAG justa e objetiva para avaliar múltiplas métricas num conjunto de dados adequado, garantindo resultados reproduzíveis.
Ragas é uma estrutura de código aberto dedicada a avaliar o desempenho de sistemas RAG. Ele fornece uma série de métricas de pontuação que medem diferentes aspectos de um sistema RAG para oferecer uma avaliação abrangente e multiângulo da qualidade das aplicações RAG.
Usaremos fidelidade, relevância da resposta, precisão do contexto, similaridade e correção da resposta como métricas primárias para avaliar o OpenAI RAG e nossos sistemas RAG personalizados.
Revise a documentação do Ragas para obter informações mais detalhadas sobre Ragas e todas as métricas.
Selecionamos o conjunto de dados de Mineração de Opinião Financeira e Resposta a Perguntas (FiQA) para nossa avaliação. Este conjunto de dados possui diversas características que o tornam ideal para nossa avaliação, incluindo:
Agora, vamos construir os dois sistemas RAG para comparação: um RAG OpenAI e um RAG personalizado construído no banco de dados vetorial Milvus.
Construiremos um sistema RAG usando OpenAI Assistants seguindo a documentação oficial da OpenAI, incluindo a construção dos Assistants, upload do conhecimento externo, recuperação de informações contextuais e geração de respostas. Todas as outras configurações permanecerão no padrão.
Devemos configurar manualmente o sistema RAG customizado usando o banco de dados vetorial Milvus para armazenar o conhecimento externo. Nós usaremos BAAI/bge-base-en do HuggingFace como modelo de incorporação, com vários componentes LangChain para importação de documentos e construção de agentes.
Para obter informações detalhadas, consulte este guia passo a passo.
Resumimos os detalhes de configuração dos dois sistemas RAG na tabela abaixo. Para obter mais informações, consulte nosso código de implementação.
Comparação de configuração de OpenAI RAG e RAG personalizado
Conforme mostrado na tabela acima, ambos os sistemas RAG usam gpt-4-1106-preview como o modelo LLM. O RAG customizado usa Milvus como banco de dados vetorial. No entanto, o OpenAI RAG não divulga seu banco de dados vetorial integrado ou outros parâmetros de configuração.
Usando Ragas, pontuamos ambos os sistemas RAG em múltiplas métricas, incluindo precisão de contexto, fidelidade, relevância de resposta, similaridade e correção. O gráfico abaixo mostra as pontuações experimentais que obtivemos de Ragas.
OpenAI RAG vs. RAG personalizado em métricas Ragas
Embora o sistema OpenAI RAG tenha superado ligeiramente o sistema RAG personalizado baseado em Milvus em termos de similaridade de respostas, ele ficou para trás em outras métricas cruciais, incluindo precisão de contexto, fidelidade, relevância e correção de respostas.
Ragas também nos permite comparar dois sistemas RAG usando Ragas Scores, um valor médio gerado pelo cálculo da média harmônica de várias métricas. A média harmônica é usada para penalizar itens com pontuação baixa. Quanto mais altas forem as pontuações Ragas, melhor será o desempenho geral de um sistema RAG. O gráfico abaixo mostra as pontuações Ragas de dois sistemas RAG.
OpenAI RAG vs. RAG personalizado com tecnologia Milvus em Ragas Scores
Conforme mostrado no gráfico, o sistema RAG personalizado com tecnologia Milvus tem pontuações Ragas mais altas do que o sistema OpenAI RAG.
O sistema RAG personalizado com tecnologia Milvus superou o sistema OpenAI RAG em relação às pontuações Ragas e outras métricas cruciais, incluindo precisão de contexto, fidelidade, relevância de resposta e correção.
Depois de muitas comparações, descobrimos que o pipeline RAG personalizado baseado em um banco de dados vetorial tem desempenho melhor do que o sistema RAG baseado em OpenAI Assistants. Por que? Aqui estão algumas das razões mais importantes.
Devido à configuração interna do agente, os assistentes OpenAI dependem mais do pré-treinamento do que do conhecimento carregado. Por exemplo, quando questionado sobre aulas de finanças pessoais no ensino médio, o sistema OpenAI RAG forneceu uma resposta que se baseava em algo diferente da verdade básica.
Pergunta:
As aulas de finanças pessoais/gerenciamento de dinheiro são ministradas no ensino médio, em qualquer lugar?
Embora a resposta do sistema OpenAI RAG não esteja errada, falta-lhe especificidade, e o seu reconhecimento de não aceder aos estudos mais recentes sugere uma utilização incompleta do conhecimento do documento carregado. Em contraste, o sistema RAG personalizado fornece uma resposta mais precisa, integrando perfeitamente informações específicas da verdade básica. Esta comparação demonstra a capacidade superior do RAG personalizado de aproveitar efetivamente dados externos, distinguindo-o como uma solução mais confiável e eficiente.
A estratégia de segmentação e recuperação de conhecimento da OpenAI pode precisar de otimização. Às vezes, o snippet recuperado é inadequado, como fornecer apenas “Prós: CONTRAs” para uma pergunta sobre investimentos IRA. Por outro lado, o pipeline RAG personalizado se destaca na recuperação de trechos relevantes, oferecendo uma resposta mais abrangente.
Pergunta: Prós/contras de estar mais envolvido com investimentos IRA.
Os assistentes OpenAI recuperaram um trecho falso. Em contrapartida, o RAG customizado recuperou trechos mais relevantes, oferecendo uma resposta mais abrangente e alinhada às nuances da pergunta.
Nossa comparação e análise abrangentes usando a ferramenta de avaliação Ragas destacam os pontos fortes e fracos do OpenAI RAG e de um RAG personalizado baseado em um banco de dados vetorial como o Milvus. Embora o RAG da OpenAI tenha um bom desempenho na recuperação, o RAG personalizado se destaca na qualidade e relevância das respostas, desempenho de recuperação e muitos outros aspectos. Os desenvolvedores que buscam aplicações RAG poderosas e eficazes acharão preferível a flexibilidade e os recursos de uma solução RAG baseada em banco de dados vetorial para obter melhores resultados.
YOUTUBE.COM/THENEWSTACK
A tecnologia avança rápido, não perca um episódio. Inscreva-se em nosso canal no YouTube para transmitir todos os nossos podcasts, entrevistas, demonstrações e muito mais.
SE INSCREVER
