Decodificar o sentimento do mercado para 100 milhões de utilizadores: como construímos um motor de IA multi-modelo com resposta em 1 segundo

No mundo das criptomoedas, uma notícia mal interpretada pode levar a julgamentos errados de milhões de dólares. O nosso sistema de análise de sentimento existente — uma arquitetura que combina modelos de código aberto com LLMs auto-hospedados — já não consegue lidar com o fluxo de notícias em tempo real em 25 línguas diferentes. Um cenário típico de falha é: quando eventos como a “migração do Ethereum” geram interpretações completamente opostas em diferentes comunidades linguísticas, o nosso sistema acaba por sofrer atrasos ou por fornecer etiquetas de sentimento contraditórias. Isso levou-nos a repensar a questão central: como fornecer aos utilizadores globais insights de mercado rápidos e precisos? A resposta final aponta para uma arquitetura de “consenso multi-modelo” cuidadosamente desenhada.

Fonte: InterSystems

Evolução da arquitetura: de um modelo único a um comité de especialistas

Inicialmente, caímos na armadilha de procurar um “modelo universal”. A prática mostrou que nenhum LLM único consegue atender simultaneamente aos requisitos de velocidade de processamento, precisão multilíngue e conhecimento no domínio das criptomoedas. Claude 3 Haiku responde rapidamente, mas tem compreensão limitada de gírias em chinês; o nosso modelo Mistral ajustado finamente é excelente na análise de whitepapers, mas apresenta gargalos na eficiência de processamento de textos longos. Ainda mais difícil, a gestão de infraestrutura para auto-hospedagem desses modelos — competição por recursos GPU em picos de tráfego e a complexidade contínua de manutenção — deixou a equipa exausta. São esses pontos problemáticos que nos impulsionaram a adotar a ideia central de um sistema federado de modelos: fazer com que modelos especializados desempenhem funções específicas, coordenados por um mecanismo inteligente de arbitragem que agregue a inteligência coletiva.

Design de pipeline assíncrono de duas vias

O núcleo do novo sistema é um pipeline assíncrono de duas vias, operando na AWS, cuja filosofia de design é manter redundância enquanto controla rigorosamente a latência P99 para segundos.

O texto de notícias entra paralelamente em duas rotas de processamento. A primeira é uma via de alta velocidade, que chama diretamente o Claude 3 Haiku na Amazon Bedrock para realizar uma avaliação preliminar de sentimento e extração de entidades-chave, geralmente em menos de 300 milissegundos. A segunda é uma via de análise aprofundada, enviando o texto ao modelo Mistral 7B ajustado na Amazon SageMaker para contextualização do domínio, por exemplo, distinguir se o aumento das taxas de gás se deve a congestionamentos na rede ou à cunhagem de NFTs populares, processo que leva cerca de 600 milissegundos.

A verdadeira inovação reside na camada de arbitragem leve. Essa camada compara em tempo real os resultados das duas rotas. Quando os resultados estão altamente alinhados, prioriza-se o resultado da via rápida para garantir uma resposta ágil; quando há divergências, uma decisão é tomada em 20 milissegundos com base em regras de domínio predefinidas e na confiança atribuída. Esse mecanismo garante que a maioria das solicitações receba insights confiáveis, rápidos e profundos em menos de um segundo.

O campo oculto do pipeline de dados

Construir modelos é apenas a superfície do desafio técnico; a complexidade real está no pipeline de dados. Fluxos de notícias globais e redes sociais estão repletos de ruído — multilíngue, emojis, gírias da internet — e, para isso, criámos um sistema de filtragem em múltiplas camadas, combinando expressões regulares específicas de idioma com modelos de detecção em tempo real baseados em FastText, garantindo a limpeza do texto de entrada. A estabilidade desse pré-processamento afeta diretamente a confiança nas análises subsequentes.

Um desafio ainda maior é estabelecer um sistema de avaliação. Além de contar com uma equipe de especialistas multilíngues para rotulagem manual, introduzimos uma resposta do mercado como indicador de validação dinâmica: correlacionando as saídas de sentimento com as flutuações de preços de ativos relacionados a curto prazo, otimizando continuamente os critérios de avaliação. Assim, o sistema evolui de uma busca por precisão de rotulagem estática para uma validação da eficácia na percepção dinâmica do mercado.

A filosofia de custos da infraestrutura

A migração para a API Bedrock trouxe uma mudança radical no modo de operação. O benefício mais evidente foi a eliminação completa da carga de infraestrutura e a capacidade de escalabilidade quase ilimitada — quando uma notícia de última hora provoca um aumento de 300% no tráfego, o sistema responde de forma estável sem intervenção manual. Em termos de custos, embora o modelo de cobrança por token seja utilizado, a implementação de cache inteligente de templates de narrativa frequentes e a otimização contínua de prompts reduziram os custos totais em cerca de 35% em comparação com clusters GPU auto-hospedados, evitando desperdícios de recursos ociosos. Essa mudança liberou recursos de engenharia, permitindo foco na lógica de arbitragem e na otimização do pipeline, impulsionando a inovação central.

Conclusão e direções futuras

A principal lição dessa evolução arquitetural é que, para sistemas de produção de alta performance, “um modelo autoritário único” muitas vezes é menos eficaz do que “um conselho de especialistas com funções distintas”. Ao integrar de forma orgânica a velocidade de resposta de LLMs gerais com a compreensão semântica profunda de modelos especializados, conseguimos criar um sistema de percepção de sentimento capaz de resistir às provas do mercado global em tempo real.

Para o futuro, estamos impulsionando a evolução do sistema de “análise de sentimento” para uma inteligência de “rastreamento de narrativas”. O novo desafio é fazer com que a IA não apenas avalie a polaridade emocional, mas também identifique e acompanhe a formação, difusão e decaimento de narrativas emergentes, como a “tokenização de ativos do mundo real”. Isso exige mecanismos de memória mais robustos e capacidades de raciocínio causal, conduzindo-nos à fronteira da próxima geração de infraestrutura financeira inteligente.