“Espero que as pessoas usem (tons) como uma ferramenta de diagnóstico para identificar onde e como pode haver problemas em um modelo”, diz Talat. “É uma maneira de saber o que está faltando em um modelo, onde não podemos ter certeza de que um modelo tem um bom desempenho e se é preciso ou não”.
Para criar o conjunto de dados multilíngue, a equipe recrutou falantes nativos e fluentes de idiomas, incluindo árabe, chinês e holandês. Eles traduziram e escreveram todos os estereótipos que eles conseguiram pensar em seus respectivos idiomas, que outro falante nativo verificou. Cada estereótipo foi anotado pelos palestrantes com as regiões em que foi reconhecido, o grupo de pessoas que segmentava e o tipo de viés que continha.
Cada estereótipo foi traduzido para o inglês pelos participantes – um idioma falado por todos os colaboradores – antes que o traduzissem em idiomas adicionais. Os palestrantes observaram se o estereótipo traduzido foi reconhecido em seu idioma, criando um total de 304 estereótipos relacionados à aparência física das pessoas, identidade pessoal e fatores sociais como sua ocupação.
A equipe deve presente suas descobertas Na Conferência Anual das Nações das Américas do Capítulo da Associação de Linguística Computacional em maio.
“É uma abordagem emocionante”, diz Myra Cheng, uma estudante de doutorado da Universidade de Stanford que estuda vieses sociais na IA. “Há uma boa cobertura de diferentes idiomas e culturas que reflete sua sutileza e nuances”.
Mitchell diz que espera que outros colaboradores adicionem novos idiomas, estereótipos e regiões a tons, o que é publicamente disponívellevando ao desenvolvimento de melhores modelos de linguagem no futuro. “Tem sido um enorme esforço colaborativo de pessoas que desejam ajudar a fazer melhor tecnologia”, diz ela.