Um pipeline automatizado para recolher, agrupar e analisar
inteligência de fraude e cibercrime a partir de fontes abertas.
Fraud Intelligence é um pipeline totalmente automatizado que monitoriza feeds de inteligência de fontes abertas (OSINT) — feeds RSS de publicações de cibersegurança, autoridades policiais e entidades reguladoras — e consolida-os em relatórios mensais estruturados.
Em vez de mostrar artigos de notícias individuais, o sistema identifica quando várias fontes reportam o mesmo evento subjacente, agrupa esses artigos semanticamente e produz um único registo de evento consolidado com pontuação de risco, classificação de impacto e um resumo limpo. O resultado é um feed de sinais que reduz o ruído e destaca o que importa.
O sistema corre como um pipeline de quatro fases. Cada fase produz uma saída determinística que alimenta a seguinte — não há aleatoriedade nem modelo no ciclo entre fases.
Os feeds RSS são processados a partir de fontes configuradas. Cada artigo é obtido, limpo do ruído de navegação e recebe uma data de publicação. Uma hierarquia de confiança (timestamp RSS → extração do corpo → data de ingestão) garante que a atribuição de período reflete o momento real de publicação, não o tempo de execução do pipeline.
Os artigos são vetorizados com um modelo sentence transformer e agrupados por mês de calendário usando HDBSCAN. Artigos que cobrem o mesmo incidente são fundidos num único registo de evento. Os outliers tornam-se eventos individuais. A pontuação de risco e o impacto são calculados de forma determinística a partir do texto consolidado.
É gerado um relatório Markdown por mês de calendário. O mês atual é marcado como live e atualizado em cada execução do pipeline. Os meses fechados ficam congelados. Os relatórios incluem uma visão executiva, secções por categoria e padrões-chave.
Os relatórios Markdown são convertidos em HTML. Um índice reports.json é gerado para o painel. Todos os valores — pontuações de risco, rótulos de impacto, contagens de eventos — são lidos de events.json como fonte única de verdade. Não ocorre qualquer recálculo em tempo de construção.
O sistema foi construído em torno de um pequeno conjunto de restrições explícitas que evitam modos de falha comuns em pipelines de inteligência automatizados.
events.json é o registo autoritativo. O painel, os relatórios e as páginas HTML leem todos a partir dele. Nada é recalculado a jusante.
Dados os mesmos artigos de entrada, o pipeline produz sempre o mesmo events.json. A atribuição de período, a pontuação de risco e o clustering são baseados em regras e reproduzíveis.
Os artigos são atribuídos ao mês de calendário em que foram publicados, não ao mês em que o pipeline correu. Os timestamps de ingestão nunca são usados como substituto de datas de publicação em falta.
As pontuações de risco são aproximações heurísticas calculadas a partir de sinais do texto. Representam a severidade relativa dentro deste conjunto de dados, não avaliações absolutas de inteligência de ameaças.
Estas limitações estão documentadas de forma transparente. O sistema é útil para análise de tendências e monitorização de sinais, mas não deve ser usado como fonte primária para resposta a incidentes ou decisões de conformidade.
Os timestamps RSS estão por vezes atrasados, em falta ou atualizados retroativamente. Os intervalos de datas dos eventos representam janelas de publicação dos artigos, não datas de incidente confirmadas.
O clustering semântico atinge ~70–80% de precisão na deteção do mesmo incidente. Enquadramentos editoriais diferentes do mesmo evento podem produzir registos separados, e eventos simultâneos semelhantes podem ser incorretamente fundidos.
A extração de entidades usa correspondência de palavras-chave sem Reconhecimento de Entidades Nomeadas. Não consegue distinguir organizações específicas (ex.: "Deutsche Bank" vs. "um banco") e pode gerar falsos positivos a partir de menções contextuais.
As pontuações de risco são baseadas em regras. Palavras-chave financeiras como "milhão" ou "mil milhões" podem elevar incorretamente multas regulatórias ao mesmo nível que perdas financeiras diretas.
O sistema só monitoriza os feeds RSS configurados. Eventos não cobertos por essas fontes não aparecerão. A disponibilidade dos feeds e a cadência de publicação variam.
A plataforma está estruturada como um pipeline de processamento sequencial — sem framework web, sem base de dados, sem serviços na cloud. Cada camada tem uma responsabilidade definida e comunica através de ficheiros planos e lógica determinística.
Os feeds RSS são ingeridos e processados em registos de evento estruturados. Uma estratégia de filtragem por palavras-chave reduz o ruído antes de qualquer processamento semântico. Os scripts correm sequencialmente sem estado persistente entre execuções.
Os eventos são codificados como sentence embeddings e agrupados com HDBSCAN. Os clusters são depois pontuados através de uma função de ponderação determinística baseada na fiabilidade da fonte, na recência e na densidade de palavras-chave — sem qualquer modelo treinado envolvido.
Os clusters processados são serializados em ficheiros de índice JSON. Um passo separado de geração de relatórios produz resumos estruturados por execução. Todos os dados persistem como ficheiros planos — sem consultas a base de dados em tempo de leitura.
O painel lê de JSON pré-gerado no momento do carregamento. Sem renderização no servidor, sem passo de build, sem framework. Implementado como site estático — a mesma saída que o pipeline escreve é o que o browser consome diretamente.