Como o novo sistema de inteligência artificial do Facebook desativou bilhões de contas falsas

O Facebook tem um grande problema com contas falsas - e a empresa sabe disso. Em apenas três meses, o Facebook pode derrubar quase tantas contas falsas quanto as reais no site.

Hoje, a rede social revelou seu método mais recente de encontrar as falsificações: um novo modelo de aprendizado de máquina chamado Deep Entity Classification (DEC). O Facebook diz que o sistema já detectou centenas de milhões de contas violadas.

O DEC foi projetado para superar as limitações dos métodos tradicionais de detecção de contas falsas, que geralmente se concentram no perfil do usuário. Isso pode funcionar muito bem quando uma conta exibe um comportamento altamente suspeito, como postar centenas de fotos de óculos de sol Rayban. No entanto, invasores sofisticados podem enganar esses tipos de sistemas, adaptando sutilmente seu comportamento, como ajustar o número de amigos e o tempo em que mantêm a conta ativa.

O novo sistema resolve isso examinando recursos mais profundos. Ele as encontra conectando uma conta suspeita a todos os amigos, grupos e páginas com os quais interage.

Em seguida, investigará todas essas entidades conectadas. Os amigos emitem sinais através da idade, dos grupos em que participam e do número de amigos que possuem. Os grupos podem ser avaliados com base nos membros que atraem e nos administradores que possuem. E as páginas podem ser avaliadas pelo número de administradores.

Ao analisar os comportamentos e as propriedades de todas essas entidades, o modelo obtém uma forte idéia sobre se uma conta é falsa.

Mas, se isso as engana, as contas entram em um processo de apelação que dá ao acusado a chance de responder antes de ser banido.

"Isso é defesa em profundidade", disse Brad Shuttleworth, gerente de produto do Facebook para a integridade da comunidade. "São esses dois conjuntos de sistemas trabalhando juntos e compensando os pontos fortes dos pontos fracos do outro."

Amigos falsos

Policiar o Facebook pode ser uma tarefa complicada. Os analistas humanos, por si só, não conseguem gerenciar a escala enorme, enquanto as máquinas enfrentam as sutilezas no comportamento de contas falsas e reais.

Nem todas as contas que parecem falsas têm intenções maliciosas.

"Quando as pessoas dizem que são falsas, geralmente são suspeitas", disse Bochra Gharbaoui, gerente de ciência de dados da unidade de integridade comunitária do Facebook.

"Eles não sabem ao certo qual é a intenção da conta e também pode estar vendo um comportamento no Facebook que não está alinhado com o modo como esperam que as pessoas se comportem na plataforma".

Essas expectativas podem ser um reflexo das diferenças culturais. Por exemplo, em algumas partes do mundo, “amizade” é comum apenas com pessoas que você conheceu, enquanto em outras regiões os usuários geralmente adicionam amigos que nunca conheceram antes.

Para evitar discriminação contra culturas diferentes, a equipe de Padrões da comunidade do Facebook se concentra apenas em valores universais.

Outra questão é que contas falsas nem sempre são maliciosas. Eles poderiam ser apenas empresas, organizações ou "entidades não humanas", como um gato de estimação, alguém interpretando Abraham Lincoln ou um alienígena, presumivelmente, que foram classificados erroneamente como contas em vez de páginas.

As contas violadoras que eles desejam desativar são aquelas que pretendem causar danos. Normalmente, eles são criados por scammers e spammers que tentam receber seu dinheiro. Às vezes, eles encontram bilhões deles em um único trimestre.

O mais recente relatório de aplicação de padrões da comunidade do Facebook sugere que a abordagem deles está funcionando. Nos dois anos abrangidos, mais de 99,5% das contas violadas contra as quais eles agiram foram encontradas antes dos usuários as denunciarem.

Ainda assim, é difícil saber quantas contas falsas eles podem ter perdido. O Facebook estima que cerca de 5% das contas ativas mensais são falsas, mas admite que não pode ter certeza sobre os números. 

No entanto, o Facebook está confiante de que seu novo sistema está funcionando bem e deseja garantir aos críticos que os humanos permanecem no circuito.

"Este é o lugar onde vemos o aprendizado de máquina e a revisão humana trabalhando em conjunto para sempre", disse Shuttleworth.

O sistema também luta para identificar motivações políticas. O Facebook criou equipes dedicadas para investigar esses tipos de invasores, como uma unidade de operações de informações que se concentra nos atores dos estados-nação. Mas as lições do DEC poderiam apoiar sua análise.

Em breve, eles terão um grande teste sobre o andamento desse trabalho: as eleições presidenciais dos EUA estão a apenas nove meses.