O CEO de um dos principais laboratórios de inteligência artificial do mundo acabou de dizer a parte tranquila em voz alta: que ninguém realmente sabe como a IA funciona.
Em um Ensaio publicado em seu site pessoalO Antrópico CEO Dario Amodei anunciou planos de criar uma “ressonância magnética na IA” robusta na próxima década. O objetivo não é apenas descobrir o que faz com que a tecnologia marque, mas também para deixar de perigos imprevistos associados ao que ele diz permanecer sua natureza atualmente enigmática.
“Quando um sistema de IA generativo faz algo, como resumir um documento financeiro, não temos idéia, em um nível específico ou preciso, por que faz as escolhas que ele faz – por que escolhe certas palavras em detrimento de outras pessoas ou por que ocasionalmente comete um erro, apesar de geralmente ser preciso”, admitiu o CEO antópico.
De cara, é surpreendente para as pessoas fora do mundo da IA aprender que as pessoas que construíram essas tecnologias em constante avanço “não entendem como nossas próprias criações de IA funcionam”, continuou ele-e qualquer pessoa alarmada com essa ignorância é “o direito de se preocupar”.
Mas em outro nível, talvez não seja; Todos os geradores de imagem e texto que explodiram em popularidade nos últimos anos trabalham com o mesmo princípio de alimentação em uma pilha gigantesca de dados e permitindo que sistemas estatísticos o atendam a padrões que podem ser reproduzidos. A coisa toda é motivada por obras criativas humanas ingeridas, não dos primeiros princípios da inteligência da máquina.
“Essa falta de entendimento”, escreveu Amodei, “é essencialmente sem precedentes na história da tecnologia”.
No revelador de Amodei, essa ignorância sobre como a IA funciona e que riscos imprevistos que isso pode representar é um fator determinante por trás do Antrópico.
No final de 2020, o CEO e sua irmã Daniela deixaram o Openai em meio a preocupações com a empresa de Sam Altman-Run práticas de segurança – e em particular, que estava deixando de lado essas preocupações em busca de lucro. Os Amoideis e cinco outros ex-abertos fundado antropia No ano seguinte, trabalha na construção de AI mais segura – e parte desse trabalho parece ter se concentrado em descobrir as porcas e parafusos da tecnologia.
Nos últimos meses, escreveu Amodei, o Anthrópico começou a se concentrar não apenas em ajudar a “dirigir” a IA – e sua possível futura inteligência geral artificial – de maneiras que beneficiariam a humanidade, mas também com a “possibilidade tentadora” que os pesquisadores podem finalmente descobrir a interpretação da IA, ou o “trabalho interno” desses sistemas “,” Modelos “, antes de obter uma superfície de um que os modelos.
“Recentemente, (antropic) fez um experimento em que tivemos uma ‘equipe vermelha’ deliberadamente introduzindo uma questão de alinhamento em um modelo (por exemplo, uma tendência para o modelo explorar uma brecha em uma tarefa) e deu a várias ‘equipes azuis’ a tarefa de descobrir o que havia de errado”, explicou o CEO. “Múltiplas equipes azuis foram bem -sucedidas; de particular relevância aqui, algumas delas aplicadas produtivamente ferramentas de interpretabilidade durante a investigação”.
Embora haja muito mais trabalho a ser feito para escalar essas “ferramentas”, que não foram explicitamente detalhadas no ensaio de Amodei, ainda é fascinante que as pessoas do maior concorrente do Openai não estejam trabalhando apenas para tornar a IA mais avançada, mas também a se destacar por descobrir o porquê e como funciona.
“A IA poderosa moldará o destino da humanidade”, concluiu Amodei, “e merecemos entender nossas próprias criações antes que elas transformem radicalmente nossa economia, nossas vidas e nosso futuro”.
Mais em Amodei: CEO antrópico sugere que a IA merece os direitos dos trabalhadores