Os cientistas desenvolveram uma nova estrutura de IA para impedir que as máquinas se comportassem mal

Eles nos prometeram que os robôs não atacariam ...

No que parece um diálogo levantado diretamente das páginas de um romance de ficção científica pós-apocalíptico, pesquisadores da Universidade de Massachusetts Amherst e Stanford afirmam que desenvolveram uma estrutura algorítmica que garante que a IA não se comportará mal.

A estrutura usa algoritmos 'seldonianos', nomeados para o protagonista da série “Foundation” de Isaac Asimov, uma continuação do universo ficcional em que as “Laws of Robotics” do autor apareceram pela primeira vez.

De acordo com a pesquisa da equipe , a arquitetura Seldonian permite que os desenvolvedores definam suas próprias condições operacionais, a fim de impedir que os sistemas ultrapassem certos limites durante o treinamento ou a otimização. Em essência, isso deve permitir que os desenvolvedores impeçam os sistemas de IA de prejudicar ou discriminar seres humanos.

Os sistemas de aprendizado profundo oferecem tudo, desde reconhecimento facial a previsões do mercado de ações. Na maioria dos casos, como reconhecimento de imagem, não importa realmente como as máquinas tiram suas conclusões desde que estejam corretas. Se uma IA puder identificar gatos com 90% de precisão, provavelmente consideraremos esse sucesso. Mas quando se trata de assuntos de maior importância, como algoritmos que prevêem reincidência ou IA que automatiza a dosagem de medicamentos, há pouca ou nenhuma margem para erro.

Para esse fim, os pesquisadores usaram sua estrutura de algoritmo Seldonian para criar um sistema de IA que monitora e distribui insulina em diabéticos e outro que prevê os GPAs dos alunos. No primeiro, os pesquisadores instituíram a estrutura seldoniana para garantir que o sistema não enviasse pacientes a um acidente enquanto aprendia a otimizar a dosagem. E no último, eles procuraram evitar o viés de gênero.

Ambos os experimentos se mostraram eficazes e, de acordo com os pesquisadores, demonstraram com sucesso que os algoritmos seldonianos podem inibir comportamentos indesejados.

O atual paradigma de desenvolvimento de IA coloca o ônus de combater o viés no usuário final. Por exemplo, o software Rekognition da Amazon , uma tecnologia de reconhecimento facial usada pela polícia, funciona melhor se o limite de precisão for diminuído, mas demonstra um viés racial claro em tais níveis. Os policiais que usam o software precisam escolher se desejam usar a tecnologia de forma ética ou bem-sucedida.

A estrutura Seldonian deve tirar esse fardo do usuário final e colocá-lo onde ele pertence: aos desenvolvedores. Ao incluir os algoritmos de mitigação adequados - algo que diz à máquina, por exemplo, “encontre rostos sem viés racial”, eliminaria o potencial de viés prejudicial e, ao mesmo tempo, permitiria que o software funcionasse.

Isso é feito matematicamente. Os pesquisadores demonstram vários algoritmos simples que expressam comportamentos indesejados em termos que a máquina pode entender. Portanto, em vez de dizer a uma máquina "não permita que o viés de gênero afete suas previsões de GPA", os algoritmos seldonianos expressam o problema mais como 'prever com precisão o GPA de todos, mas não deixe que as diferenças entre o GPA previsto e o GPA real excedam um certo limiar quando o sexo é levado em consideração. "

Os pesquisadores esperam que, com um maior desenvolvimento, a estrutura possa fazer mais do que apenas revisar a atual tecnologia de IA, de acordo com o artigo da equipe:

Os algoritmos projetados usando nossa estrutura não substituem apenas os algoritmos de ML em aplicativos existentes; é nossa esperança que eles preparem o caminho para novas aplicações para as quais o uso de ML era anteriormente considerado muito arriscado.

As implicações para a tecnologia de curto prazo, como carros sem motorista e trabalhadores autônomos de robôs, são enormes, este é essencialmente o fundamento das "Leis da Robótica" de Asimov. Se os desenvolvedores puderem garantir que as máquinas de aprendizado não captem comportamentos perigosos ou, de repente, decidam otimizar sua programação de maneiras que envolvem machucar ou aprisionar humanos, poderíamos estar à beira de uma era de ouro da IA.