Pesquisadores da Apple lançaram um Artigo que levanta a sobrancelha Isso lança água fria nos recursos de “raciocínio” dos mais recentes e mais poderosos modelos de idiomas.
No artigo, uma equipe de especialistas em aprendizado de máquina defende que o setor de IA exagere grosseiramente a capacidade de seus principais modelos de IA, incluindo O3 O3, Claude 3.7 do OpenAI, Claude 3.7 e Gêmeos do Google.
Em particular, os pesquisadores atacam as reivindicações de empresas como o OpenAI de que seus modelos mais avançados podem agora “razão”-uma suposta capacidade que a empresa liderada por Sam Altman tem Cada vez mais se apoiou No ano passado, para fins de marketing – que a equipe da Apple caracteriza apenas como uma “ilusão de pensamento”.
É uma descoberta particularmente notável, considerando que a Apple tem sido acusado de ficar muito atrás da competição no espaço da IA. A empresa escolheu um caminho muito mais cuidadoso para integrar a tecnologia em seus produtos voltados para o consumidor-com alguns seriamente resultados mistos até aqui.
Em teoria, os modelos de raciocínio dividem o usuário do usuário em pedaços e usam etapas sequenciais de “cadeia de pensamento” para chegar às suas respostas. Mas agora, as mentes principais da Apple estão questionando se os modelos de IA da Frontier simplesmente não são tão bons em “pensar” quanto estão sendo feitos.
“Embora esses modelos demonstrem melhor desempenho nos benchmarks de raciocínio, suas capacidades fundamentais, propriedades de dimensionamento e limitações permanecem insuficientemente entendidas”, escreveu a equipe em seu artigo.
Os autores – que incluem Samy Bengio, diretor de pesquisa artificial de inteligência e aprendizado de máquina da gigante do software e hardware – argumentam que a abordagem existente para o benchmarking “geralmente sofre de contaminação por dados e não fornece informações sobre a estrutura e a qualidade dos traços de raciocínio”.
Ao usar “ambientes controláveis de quebra -cabeça”, a equipe estimou a capacidade dos modelos de IA de “pensar” – e fez uma descoberta aparentemente condenatória.
“Através de uma extensa experimentação em diversos quebra -cabeças, mostramos que a Frontier (grandes modelos de raciocínio) enfrenta um colapso de precisão completa além de certas complexidades”, escreveram eles.
Graças a um “limite de escala contra-intuitivo”, as habilidades de raciocínio do AIS “diminuem, apesar de ter um orçamento de token adequado”.
Simplificando, mesmo com treinamento suficiente, os modelos estão lutando com problemas além de um certo limiar de complexidade – o resultado de “um fenômeno” demais “, no fraseado do artigo.
A descoberta lembra uma tendência mais ampla. Benchmarks mostraram que a última geração de modelos de raciocínio é mais propenso a alucinar, não menosindicando que a tecnologia agora pode estar indo na direção errada de uma maneira essencial.
Exatamente como os modelos de raciocínio escolhem qual caminho seguir permanece surpreendentemente escuro, descobriram os pesquisadores da Apple.
“Descobrimos que os LRMs têm limitações na computação exata”, concluiu a equipe em seu artigo. “Eles não usam algoritmos explícitos e raciocinam inconsistentemente nos quebra -cabeças”.
Os pesquisadores afirmam que suas conclusões levantam “questões cruciais” sobre a atual safra dos “verdadeiros recursos de raciocínio dos modelos de IA”, minando uma nova avenida muito hiperada no empréstimo da indústria.
Isso apesar de dezenas de bilhões de dólares sendo despejados no desenvolvimento da tecnologia, com artistas como Openai, Google e Meta, construindo enormes data centers para executar modelos cada vez mais sedentos de IA.
A descoberta dos pesquisadores da Apple poderia ser ainda outro Canário na mina de carvão, sugerindo que a tecnologia “atingiu uma parede”?
Ou a empresa está tentando proteger suas apostas, chamando sua competição superada enquanto fica para trás, pois Alguns sugeriram?
Certamente é uma conclusão surpreendente, considerando o posicionamento precário da Apple na indústria da IA: ao mesmo tempo que seus pesquisadores estão destruindo a trajetória atual da tecnologia, prometeu um conjunto de ferramentas de inteligência da Apple para seus dispositivos como iPhone e MacBook.
“Esses insights desafiam suposições predominantes sobre os recursos de LRM e sugerem que as abordagens atuais podem estar encontrando barreiras fundamentais ao raciocínio generalizável”, diz o artigo.
Mais nos modelos de IA: As concessionárias de carros estão substituindo a equipe do telefone por agentes de voz de IA