Jakub Pachocki é o principal cientista da Openai desde 2024.Credit: OpenAI
OpenAI é mais conhecido pelo chatgpt-o gratuito, o uso, Modelo de linguagem grande-Chatbot baseado em base que se tornou um nome familiar após sua estréia em 2022. A empresa, em São Francisco, Califórnia, lançou uma série de ferramentas de inteligência artificial de ponta (AI), incluindo modelos de ‘raciocínio’ que usam processos de ‘pensamento’ passo a passo para se especializar em tarefas lógicas.
Ferramenta de ‘pesquisa profunda’ do OpenAI: é útil para os cientistas?
Essas ferramentas ajudaram os pesquisadores a prosa polonesa, código de gravaçãoAssim, Revise a literatura e até gerar hipóteses. Mas, como outros rivais de tecnologia, o Openai enfrentou críticas sobre o demandas de energia de seus modelos e a maneira como os dados são Explorado para treinamento de modelo. E, diferentemente de algumas empresas, o OpenAI divulgou quase exclusivamente modelos proprietários que os pesquisadores podem usar, mas não podem desenvolver.
Jakub Pachocki é o principal cientista da empresa desde 2024. Ele ingressou no Openai em 2017 da Academia, onde era um cientista teórico da computação e programador competitivo. Agora, ele lidera o desenvolvimento dos sistemas de IA mais avançados da empresa, projetados para enfrentar tarefas complexas em ciência, matemática e codificação.
Natureza Falei com Pachocki sobre se a IA pode gerar ciência original, inteligência geral artificial (AGI) e o próximo modelo de peso aberto da empresa.
Os cientistas estão cada vez mais usando modelos de raciocínio. Que papel esses modelos poderiam ter em cinco anos?
Hoje você pode conversar com um modelo, mas é apenas um assistente que precisa de orientação constante. Espero que seja a principal coisa que muda.
Já vemos que algo como o OpenAI’s Pesquisa profunda (Uma ferramenta que pode sintetizar resmas de informações) é capaz de trabalhar sem supervisão por 10 ou 20 minutos e produzir algo útil. Mas a quantidade de computação que está indo para resolver essas consultas é pequena.
Quais são as melhores ferramentas de IA para pesquisa? Guia da natureza
Se você tiver problemas de pesquisa aberta, vale a pena gastar muito mais computação nisso. Espero que tenhamos AIS que realmente seja capaz de novas pesquisas. Veremos muito progresso, por exemplo, em engenharia de software autônoma e no design autônomo de componentes de hardware e aplicativos semelhantes em outras disciplinas.
Quão importante tem o aprendizado de reforço – o processo de aprendizado iterativo baseado em tentativa, erro e recompensa – está na criação de modelos de raciocínio da OpenAI?
Os lançamentos originais do ChatGPT envolveram um estágio de pré-treinamento não supervisionado, onde o modelo ingere uma quantidade enorme de dados e cria uma espécie de ‘modelo mundial’. Fora disso, extraímos um assistente útil por meio de um processo de aprendizado de reforço, usando feedback humano.
Uma maneira de ver esse mais recente progresso nos modelos de raciocínio é que ele realmente aumenta a ênfase na fase de reforço-aprendizagem, para que não apenas expiremos algo, mas também permitindo que o modelo encontre sua própria maneira de pensar.
Quanta energia a IA realmente consumirá? O bem, o mal e o desconhecido
Uma pergunta é se devemos continuar pensando nesses estágios de aprendizado separadamente. Os modelos de raciocínio não aprendem a pensar no vácuo, eles estão enraizados em um modelo que aprendeu através do pré-treinamento. Muito do meu foco é pensar nessa fase e combinar as abordagens e entender sua interação.
Você fala sobre os modelos ‘pensamento’. Os modelos realmente raciocinam? Ou eles se aproximam de algo que parece raciocínio?
Uma coisa sobre a qual devemos ficar claros é que a maneira como os modelos funcionam é diferente de como um cérebro humano funciona. Um modelo pré-treinado aprendeu algumas coisas sobre o mundo, mas realmente não tem nenhuma concepção de como as aprendeu ou qualquer ordem temporal sobre quando aprendeu as coisas.