O que é detecção de anomalias com IA?

O objetivo da detecção de anomalias é identificar aberrações nos dados. Mas, à medida que as organizações coletam cada vez mais informações em cada vez mais lugares, descobrir desvios da norma pode ser extremamente difícil. É aí que entra a IA. Agora, grandes conjuntos de dados podem ser rapidamente escaneados para encontrar padrões que fogem da norma e, assim, identificar anomalias. A detecção de anomalias orientada por IA é útil para identificar fraudes financeiras, certas condições médicas e intrusões de rede, entre muitas outras aplicações.

O que é detecção de anomalias com IA?

A detecção de anomalias com IA é um processo em que um modelo de inteligência artificial analisa um conjunto de dados e sinaliza registros considerados discrepantes de uma linha de base, que representa um comportamento normal e serve como ponto de referência para comparação. A linha de base esperada para um conjunto de dados é estabelecida durante o processo de treinamento do modelo usando uma combinação de dados históricos, expectativas do setor e objetivos do projeto.

A detecção de anomalias pode ser realizada com análise de dados tradicional, mas isso é feito por regras estabelecidas manualmente. O escopo estático e restrito dessas regras cria limitações que podem ser superadas pela capacidade de um modelo de IA de evoluir e se adaptar ao longo do tempo. A detecção de anomalias com IA também pode ser realizada sem dados de base em casos em que o sistema processa dados semissupervisionados e não supervisionados.

A detecção de anomalias tem aplicações operacionais e específicas do setor; exemplos incluem análise de transações de cartão de crédito, registros de segurança e dados de produção. À medida que as organizações mudam para um cenário de TI de ambientes multicloud e projetos de IA generativa, a detecção de anomalias por IA se torna ainda mais útil. Para departamentos de TI que dependem de multicloud, por exemplo, as complexidades nativas do ambiente — várias camadas e tipos de protocolos de segurança, diferentes configurações e APIs personalizadas para interoperabilidade — significam que um modelo de IA pode ajudar a simplificar e melhorar a detecção de problemas.

Principais conclusões

• A IA pode melhorar a velocidade, a precisão e a aplicabilidade da detecção de anomalias.
• Enquanto a detecção de anomalias baseada em regras tradicionais exige atualizações frequentes, a baseada em tecnologia de IA pode se adaptar automaticamente a novos padrões e tendências.
• Ao treinar a IA generativa em dados sintéticos, a detecção de anomalias com IA pode destacar outliers, e essas descobertas podem formar a base para a direção de outros conjuntos de dados gerados sinteticamente.
• A detecção de anomalias com IA também pode ajudar na validação de conjuntos de dados sintéticos usados ​​para fins de treinamento.

A detecção de anomalias com IA explicada

A detecção de anomalias tem origem na estatística, particularmente em aplicações industriais na manufatura no início do século XX. Os criptógrafos usavam a detecção manual de anomalias para quebrar códigos observando padrões incomuns ou desvios da distribuição estatística esperada de letras ou símbolos. Conforme os dados se tornaram mais abundantes, a detecção de anomalias controlada por computador se tornou a norma para áreas como detecção de fraudes, gerenciamento de estoque e controle de qualidade.

A detecção de anomalias por IA muda o processo de um conjunto estático de regras estatísticas para um modelo mais flexível treinado para criar uma linha de base para o "normal". Ao treinar com dados, o modelo de IA oferece uma definição mais precisa e refinada dos dados esperados — e quanto mais dados ele processa, mais preciso ele se torna. Isso permite um modelo que reflete melhor as muitas facetas de cada aplicação e é ideal para usos complexos, como monitoramento de dispositivos da Internet das Coisas e outros sistemas que geram muitos dados e onde as relações entre os pontos nem sempre são óbvias.

A IA generativa oferece um exemplo de como a detecção de anomalias de IA pode beneficiar uma variedade de projetos e serviços. Quase todos os projetos de IA generativa são viáveis ​​somente devido aos avanços na coleta, no armazenamento e no processamento de dados. Embora a detecção de anomalias baseada em regras tradicionais possa ser aplicada a esses projetos, muitas vezes faltam a precisão e a nuance para processar esses grandes volumes de dados de forma limpa. Assim, a detecção de anomalias com IA pode ser uma necessidade na transformação de dados e na normalização de fontes de dados de treinamento, identificando outliers, detectando vieses em dados e até mesmo auxiliando na geração de dados sintéticos para treinamento de algoritmos.

Como a detecção de anomalias com IA funciona

O processo de detecção de anomalias com IA é muito semelhante ao processo de qualquer modelo de IA: obtenção de dados, treinamento e iteração são necessários. A principal diferença está nos objetivos específicos, pois a detecção de anomalias se concentra em valores discrepantes. As etapas gerais para detecção de anomalias com IA são as seguintes:

1. Coleta e pré-processamento de dados: Assim como outros projetos de IA, a detecção de anomalias começa com a definição de uma direção para o projeto. Primeiro, os objetivos gerais do projeto exigem definição: qual é o estado normal dos dados e qual é o escopo a ser considerado? A partir daí, as equipes devem identificar fontes de dados para treinamento e estabelecer um repositório para coletar e categorizar dados — quais registros são anômalos e quais não são? As organizações podem simplificar esse processo de criação de dados de treinamento incorporando transformações automatizadas entre a origem e o repositório de treinamento.
2. Seleção de um algoritmo: Em vez de apenas metas gerais, as equipes podem considerar objetivos e restrições mais específicos para selecionar recursos, identificar atributos e escolher o melhor algoritmo para uma situação específica. Para detecção de anomalias, redes estatísticas (regressão), de agrupamento (K-means) e neurais fornecem um ajuste excelente. Todos os algoritmos usados ​​para detecção de anomalias com IA tentam categorizar registros de dados. Os mais bem-sucedidos geralmente usam redes neurais que categorizam dados de maneiras complexas. Por exemplo, transações financeiras podem ser classificadas como típicas de uma conta ou de alto valor. Elas podem então ser categorizadas como originárias de locais esperados ou de um novo local e podem ainda ser classificadas como gastos típicos ou incomuns. Quando dois estados anômalos ocorrem em uma única transação, ela pode ser fraudulenta. Quando todas as três condições existem, provavelmente é fraudulento. Por meio do treinamento, a IA pode fazer esse tipo de análise em muitas categorias e aplicar pesos para ajudar a decidir quando uma transação deve ser verificada mais detalhadamente.
3. Treinamento e seleção de modelos: Com essas peças no lugar, as equipes podem começar a treinar um modelo. As etapas incluem estabelecer a arquitetura, escolher um modelo de base disponível, preparar os dados de treinamento e executá-los no treinamento no modelo. Em seguida, as equipes usarão outro conjunto de dados para testar o modelo treinado e avaliar o quão bem ele detecta anomalias. O treinamento continua até que o modelo funcione conforme desejado. Dependendo do algoritmo subjacente, o modelo pode continuar aprendendo com dados para continuar melhorando ao longo do tempo.
4. Detecção em tempo real versus processamento em lote: Dependendo da aplicação, a detecção de anomalias por IA pode funcionar em tempo real ou processar dados em grandes lotes. A detecção em tempo real pode exigir que recursos significativos de computação e processamento sejam dedicados ao processo. Em troca, a detecção em tempo real produz resultados rapidamente, mas esses resultados podem ser menos esclarecedores e detalhados do que aqueles fornecidos pelo ambiente controlado de processamento em lote. Assim, a detecção em tempo real pode trocar a detecção de anomalias sutis pela velocidade.

Benefícios da detecção de anomalias com IA

A detecção de anomalias com IA representa um avanço significativo em comparação à tradicional baseada em regras. Sistemas baseados em IA podem exigir uma infraestrutura de computação mais robusta, mas normalmente terão um desempenho muito melhor. A seguir estão alguns dos benefícios mais comuns da detecção de anomalias com IA:

• Precisão e exatidão aprimoradas: Redes neurais devidamente treinadas desenvolvem milhares de categorias ou clusters e passam a entender como a participação nesses clusters pode indicar dados inter-relacionados. O resultado é uma capacidade de detectar aberrações de dados que nunca seriam encontradas com regras escritas por humanos. Esses modelos encontram anomalias mais sutis e têm o contexto adequado para fazer julgamentos. Tudo isso se combina para um processo de detecção mais preciso.
• Escalabilidade: A IA não só pode lidar com grandes conjuntos de dados — sistemas baseados em regras também podem fazer isso — como também pode lidar com conjuntos mais complexos. Em algoritmos atuais para conjuntos de dados muito grandes e complexos, representações vetoriais são criadas para cada registro complexo. Em seguida, pesquisas de similaridade são usadas para encontrar os vizinhos mais próximos. Se os vizinhos mais próximos do vetor estiverem em um cluster conhecido por conter registros fraudulentos, é seguro apostar que o registro em questão também esteja. Essa abordagem pode ser dimensionada para conjuntos de dados com bilhões de registros, cada um contendo dados complexos.
• Recursos de monitoramento em tempo real: A mesma abordagem que permite que os sistemas de detecção funcionem em escala também os permitirá funcionar em ritmo acelerado. Pesquisas de similaridade podem ser realizadas muito rapidamente, mesmo em dados complicados.
• Adaptabilidade aprimorada a padrões de mudança: Algoritmos que criam clusters de registros podem detectar possíveis novas anomalias ao encontrar novos clusters de registros. Esses aglomerados podem representar novas anomalias, mas também podem simplesmente representar uma mudança no que está sendo registrado. Por exemplo, digamos que um produto de uma loja se torna viral nas mídias sociais; um novo cluster ocorrerá dentro dos dados. Nesse exemplo, a anomalia é boa. A análise de como isso ocorreu pode ajudar uma loja ou produtor a fazer com que isso aconteça novamente. Se a moda acabar, o cluster pode não crescer. Mais uma vez, esses são dados para explorar.
• Redução de falsos positivos: Um desvio no que os registros mostram pode representar algo bom para o negócio, como no exemplo anterior. Ou regras estáticas podem categorizar esses novos registros de vendas virais como fraude. Esse tipo de classificação incorreta tem menos probabilidade de acontecer com sistemas baseados em IA, que normalmente analisam os relacionamentos de dados de uma forma mais detalhada.

Principais técnicas de detecção de anomalias com IA

Embora os modelos de detecção de anomalias com IA sigam muitas das mesmas etapas e regras gerais de outros projetos de desenvolvimento de IA, o processo se baseia em métodos específicos que são bem adequados à finalidade. A seguir estão as principais técnicas usadas na detecção de anomalias com IA:

1. Aprendizagem supervisionada versus não supervisionada: As equipes precisam escolher entre aprendizagem supervisionada e aprendizagem não supervisionada para detecção de anomalias com IA. Ambas funcionam. No entanto, anomalias rotuladas em conjuntos de dados tendem a ser mais raras, e rotular dados pode ser um processo lento e caro. Na maioria das circunstâncias, a aprendizagem não supervisionada é preferida porque é mais rápida e menos custosa. O resultado será a capacidade de agrupar registros e identificar anomalias, mas será necessário treinamento ou programação adicional para determinar se as anomalias encontradas são benignas ou representam alguma ameaça que deve ser gerenciada.
2. Métodos baseados em clustering: O clustering é uma técnica comum de IA frequentemente usada para detecção de anomalias devido à maneira como os modelos agrupam pontos de dados com base em características sobrepostas e outras semelhanças notáveis. Ao agrupar pontos de dados, o processo captura valores discrepantes para sinalizar anomalias. Algoritmos de cluster comuns incluem K-means, Isolation Forest e modelos mistos gaussianos. Representações vetoriais de registros são cada vez mais usadas para registros complexos ou de alta dimensão. Bancos de dados multimodais que dão suporte à criação e ao processamento de vetores podem facilitar a detecção de anomalias para dados complexos.
3. Redes neurais: Redes neurais podem identificar padrões complexos e analisar relacionamentos não lineares, o que ajuda a encontrar outliers e anomalias. Algumas arquiteturas de rede neural para detecção de anomalias por IA são autocodificadores, que podem detectar anomalias durante a fase de reconstrução, e redes adversárias generativas, ou GAN, que podem usar o paradigma gerador/discriminador para identificar outliers por meio do discriminador.
4. Técnicas de detecção de anomalias de séries temporais: Para dados registrados ao longo do tempo, as técnicas acima são úteis, mas a seleção ideal depende de recursos, objetivos, pontos de dados e outros fatores. Por exemplo, algoritmos de cluster podem avaliar transações de cartão de crédito em busca de fraudes agrupando dimensões específicas, como geografia, categoria de compra e custo. Em outro exemplo, uma rede neural poderia observar as relações entre a precisão da saída e os ciclos de uso em máquinas de produção complicadas. Ao avaliar os relacionamentos entre vários monitores na máquina, a rede neural pode identificar que uma combinação de pontos de dados sinaliza a necessidade de realizar manutenção mais cedo do que o normal.

Casos de uso de detecção de anomalias com IA

A detecção de anomalias com IA é útil em uma ampla gama de aplicações e setores. Os fatores a serem considerados incluem se seu caso de uso requer dados internos ou externos, ou ambos, e se a detecção em tempo real é o objetivo.

Aplicações populares de detecção de anomalias incluem:

• Segurança cibernética: Com monitoramento constante em todas as facetas da configuração de TI de uma organização, a detecção de anomalias pode identificar indicadores que podem sinalizar um ataque. No caso de uma configuração multicloud, a detecção de anomalias com IA pode fornecer ajuda significativa às equipes de TI que podem estar enfrentando dificuldades com uma variedade de sistemas e configurações sobrepostos. Para configurações multicloud, a IA pode monitorar automaticamente os muitos detalhes das operações que exigem experiência na operação de cada nuvem individual.
• Finanças: A detecção de fraudes é um dos casos de uso mais antigos para detecção de anomalias. Impulsionar isso com IA faz sentido à medida que os volumes de dados financeiros aumentam. Com a detecção de anomalias com IA, as instituições obtêm modelos mais precisos que se beneficiam desses grandes conjuntos de dados. Ao mesmo tempo, golpistas financeiros estão constantemente descobrindo novas técnicas, e a IA permite que o modelo evolua e se torne melhor na detecção de novos padrões ao aplicar um contexto mais amplo.
• Saúde: A IA pode analisar dados clínicos para ajudar a identificar anomalias que podem indicar ineficiências, instalações subutilizadas ou fraudes.
• Operações de TI: À medida que os cenários corporativos de TI se tornam cada vez mais complexos e o escopo do monitoramento de rede aumenta, a detecção de anomalias por IA pode complementar especialistas humanos e minimizar a "fadiga de alerta". Por exemplo, a IA pode analisar logs de aplicações para identificar anomalias que podem indicar desempenho degradado, como tempos de resposta lentos ou erros.
• Manufatura: Os sistemas de detecção de anomalias com IA para manufatura agora podem avaliar significativamente mais pontos de dados no esforço contínuo para encontrar e ajudar a resolver problemas potenciais antes que eles causem tempo de inatividade dispendioso, defeitos ou riscos à segurança. Por exemplo, flutuações anormais de temperatura em equipamentos podem indicar superaquecimento, enquanto câmeras com tecnologia de IA podem detectar defeitos em produtos antes que eles sejam enviados aos clientes.
• Gestão municipal e construção: A detecção de anomalias oferece benefícios para qualquer pessoa que precise monitorar infraestrutura, especialmente ao utilizar drones. Para municípios, a IA pode analisar imagens capturadas de pontes, estradas e linhas de energia para identificar anomalias e possibilitar manutenção proativa. Da mesma forma, drones equipados com detecção de anomalias alimentada por IA podem monitorar o progresso do projeto em relação a modelos; identificar riscos à segurança, como equipamentos ausentes ou posicionamento incorreto de materiais; e detectar defeitos estruturais em edifícios em construção.

Explore a detecção de anomalias usando o Oracle Cloud AI Service

Os serviços de IA na Oracle Cloud Infrastructure (OCI) fornecem um conjunto de ferramentas, modelos e recursos pré-criados para integrar IA em aplicações e fluxos de trabalho, incluindo recursos específicos para detecção de anomalias em várias configurações. A OCI traz aprendizado e adaptabilidade com tecnologia de IA para monitoramento, manutenção e vigilância em todos os setores e casos de uso.

A perspectiva para detecção de anomalias com IA é excepcionalmente promissora, graças ao crescente volume e complexidade de dados em todos os setores, além da necessidade de identificação proativa de fraudes e outros problemas. Espere ver modelos de IA mais sofisticados, incluindo deep learning e técnicas não supervisionadas, se tornando mais centrais para a detecção de anomalias, graças à sua capacidade de detectar anomalias sutis sem acesso a dados rotulados extensos. As empresas também buscam análises aprimoradas em tempo real, melhor integração com sistemas existentes e implementação de detecção de anomalias na borda.

Veja o OCI Anomaly Detection Service em ação

Perguntas frequentes sobre detecção de anomalias com IA

O que distingue a detecção de anomalias com IA dos métodos tradicionais?

A detecção tradicional de anomalias é baseada em equipes que estabelecem regras e limites de dados. Embora isso possa produzir resultados, traz limitações significativas, como a incapacidade de se adaptar às mudanças em evolução do setor e a negligência de relacionamentos não lineares. A detecção de anomalias com IA é mais adaptável às mudanças de dados e pode consumir mais tipos de dados.

Como as empresas podem determinar se precisam de detecção de anomalias com IA?

A detecção de anomalias por IA geralmente é mais poderosa, mais precisa e mais rápida do que a detecção de anomalias tradicional, o que a torna uma ferramenta útil para muitas organizações. No entanto, há circunstâncias em que os métodos tradicionais serão suficientes. Para determinar a melhor opção, as organizações devem examinar a complexidade de seus dados, o rigor de suas necessidades regulatórias e os fatores de risco de segurança. Além disso, o escopo dos recursos disponíveis precisa ser considerado. Por exemplo, a empresa pode dar suporte à compra e ao refinamento de um modelo pré-treinado e possui os recursos de computação e dados para dar suporte ao esforço? A nuvem é a melhor opção? Em muitos casos, é o caminho mais econômico.

Quais são os passos básicos para começar a usar a detecção de anomalias com IA?

As etapas mais básicas para usar a detecção de anomalias com IA incluem:

• Determinar objetivo, fontes de dados e limitações
• Selecionae o algoritmo de IA apropriado para cumprir os objetivos
• Treinar, preparar e ajustar o modelo, seja ele pré-treinado ou desenvolvido internamente
• Lançar o modelo com dados reais e monitorar sua saída continuamente
• Avaliar os resultados para ver se começaram a descobrir tendências surpreendentes