Os transformadores são realmente fundamentais para a robótica?

  • Vaswani, A. et al. Atenção é tudo o que você precisa. Em Anais da 31ª Conferência Internacional sobre Sistemas de Processamento de Informações Neurais 6000-6010 (Curran Associates Inc., Long Beach, Califórnia, EUA 2017).

  • Croitu, FA, Hondru, V., Ionescu, RT & Shah, M. Modelos de difusão na visão: uma pesquisa. IEEE Trans. Padrão anal. Mach. Intell. 4510850-10869 (2023).

    Artigo

    Google Scholar

  • Wang, Z. & SIM, VLM Modelo de linguagem visual simples pré -treinado com supervisão fraca. https://doi.org/10.48550/arxiv.2108.10904 (2022).

  • Tsai, Yh et al. Transformador multimodal para sequências de linguagem multimodal inalinadas. Proc. Conf. Assoc. Linguista do Comput. 20196558-6569, https://doi.org/10.18653/v1/p19-1656 (2019).

    Artigo

    Google Scholar

  • Bommasani, R. et al. Sobre as oportunidades e riscos dos modelos de fundação. ARXIV (pré -impressão) ABS/2108.07258 (2021).

  • Mitchell, M. Debates sobre a natureza da inteligência geral artificial. Ciência 383EADO7069 (2024).

    Artigo

    Google Scholar

  • Hu, Y. et al. Em direção a robôs de uso geral através de modelos de fundação: uma pesquisa e metanálise. https://ui.adsabs.harvard.edu/abs/2023arxiv231208782h (2023).

  • Buchholz, K. O custo extremo dos modelos de IA de treinamento. Forbes (2024).

  • Deepseek-Ai et al. Relatório Técnico Deepseek-V3. https://doi.org/10.48550/arxiv.2412.19437 (2024).

  • Khazatsky, A. et al. Droid: um conjunto de dados de manipulação de robôs em larga escala no robô. https://ui.adsabs.harvard.edu/abs/2024arxiv240312945k (2024).

  • Makoviychuk, V. et al. Isaac Gym: Simulação de física baseada em GPU de alto desempenho para aprendizado de robôs. ARXIV: 2108.10470 (2021).

  • Hoffmann, J. et al. Treinamento Compute-Optimal Language Models. https://doi.org/10.48550/arxiv.2203.15556 (2022).

  • Villalobos, P. et al. Ficaremos sem dados? Limites de escala LLM com base em dados gerados pelo ser humano. Anais da 41ª Conferência Internacional sobre Machine LearningVol. 235, 49523-49544 (PLMR, 2024).

  • Udandarao, V. et al. Nenhum “tiro zero” sem dados exponenciais: a frequência do conceito de pré-treinamento determina o desempenho do modelo multimodal. Arxiv ABS/2404.04125 (2024).

  • Schmid, P. et al. LLAMA 3.1 – 405B, 70B e 8B COM MULININGUTIDADE E LONGO CONTEXTO. https://huggingface.co/blog/llama31 (2024).

  • Hubara, I. et al. Redes neurais binarizadas. 30ª Conferência sobre Sistemas de Processamento de Informações Neurais (NIPS 2016)(Curran Associates Inc., Barcelona, ​​Espanha 2016).

  • Qu, G. et al. Inteligência de borda móvel para grandes modelos de idiomas: uma pesquisa contemporânea. https://doi.org/10.48550/arxiv.2407.18921 (2024).

  • Kim, Ks et al. O futuro dos semicondutores bidimensionais além da lei de Moore. Nat. Nanotechnol. 19895-906 (2024).

    Artigo

    Google Scholar

  • Li, Y. et al. Avaliando a alucinação de objetos em grandes modelos de linguagem de visão. https://doi.org/10.48550/arxiv.2305.10355 (2023).

  • Zhang, Y. et al. Música de sirene no Oce Ocean: uma pesquisa sobre alucinação em grandes modelos de idiomas. https://doi.org/10.48550/arxiv.2309.01219 (2023).

  • Jacob, C., Kerrigan, P. & Bastos, MT O efeito da câmara de bate-papo: confiando na alucinação da IA. Big data e sociedade 12 https://doi.org/10.2139/ssrn.5033125 (2025).

  • Robey, A., Ravichandran, Z., Kumar, V., Hassani, H. & Pappas, Robôs controlados por Jailbraking LLM GJ. https://doi.org/10.48550/arxiv.2410.13691 (2024).

  • Xu, Z., Jain, S. & Kankanhalli, M. Hallucination é inevitável: uma limitação inata de grandes modelos de linguagem. https://doi.org/10.48550/arxiv.2401.11817 (2024).

  • Mirzadeh, I. et al. GSM-simbólico: Compreendendo as limitações do raciocínio matemático em grandes modelos de idiomas. https://doi.org/10.48550/arxiv.2410.05229 (2024).

  • Li, B. et al. Atalhos semânticos enganosos nas cadeias de raciocínio: até que ponto os modelos podem ir sem alucinação? Em Anais da Conferência de 2024 do Capítulo Norte -Americano da Associação de Linguística Computacional: Tecnologias de Linguagem Humana (1, 7675-7688) Cidade do México, México. (Associação para Linguística Computacional 2024).

  • Marcus, G. A década seguinte em AI: quatro passos em direção a inteligência artificial robusta. https://doi.org/10.48550/arxiv.2002.06177 (2020).

  • Fufter, P., Schmitt, M. & Schütze, H. Informações de posição em Transformers: uma visão geral. Computação. Linguista. 48733-763 (2022).

    Artigo

    Google Scholar

  • Bommasani, R. et al. Sobre as oportunidades e riscos dos modelos de fundação Arxiv: 2108.07258 (2021).

  • Milliere, R. & Buckner, C. Uma introdução filosófica aos modelos de idiomas – Parte I: Continuidade com debates clássicos. Arxiv (pré -impressão) ABS/2401.03910 (2024).

  • Bender, Em, Gebru, T., McMillan-Major, A. & Mitchell, M. Sobre os perigos dos papagaios estocásticos: os modelos de linguagem podem ser muito grandes? Em Anais da Conferência ACM de 2021 sobre justiça, responsabilidade e transparência 610–623 (Associação para Máquinas de Computação, Evento Virtual, Canadá, 2021).

  • Lake, BM, Ullman, TD, Tenenbaum, JB e Gershman, SJ Máquinas de construção que aprendem e pensam como pessoas. Comportamento. Sci cerebral. 40E253 (2017).

    Artigo

    Google Scholar

  • Momennejad, I. et al. Avaliando mapas cognitivos e planejamento em grandes modelos de idiomas com CoGeval. https://doi.org/10.48550/arxiv.2309.15129 (2023).

  • Davidson, D. Ações, razões e causas. J. Philos. 60685 (1963).

    Artigo

    Google Scholar

  • Momennejad, I. Uma rubrica para agentes humanos e neuroai. Philos. Trans. Roy. Soc. B 37820210446 (2023).

    Artigo

    Google Scholar

  • Perry, CJ, Barron, AB & Chittka, L. As fronteiras da cognição de insetos. Curr. Op. Comportamento. Sci. 16111-118 (2017).

    Google Scholar

  • Dorkenwald, S. et al. Diagrama de fiação neuronal de um cérebro adulto. Natureza 634124-138 (2024).

    Artigo

    Google Scholar

  • Seeley, TD A sabedoria da colméia: a fisiologia social das colônias de abelhas de mel. (Harvard University Press, 1995).

  • Capaldi, Ea et al. Ontogenia de voo de orientação na abelha revelada pelo radar harmônico. Natureza 403537-540 (2000).

    Artigo

    Google Scholar

  • Sniegowski, PD e Murphy, Ha Evolution. Curr. Biol. 16R831-R834 (2006).

    Artigo

    Google Scholar

  • Pfeiffer, K. & Homberg, U. Organização e papéis funcionais do complexo central no cérebro de insetos. Annu Rev. Entomol. 59165-184 (2014).

    Artigo

    Google Scholar

  • PLATH, JA & BARRON, AB ARGURA PROGRESSO na compreensão das funções do complexo central de insetos. Curr. Opin. Sci de insetos. 1211–18 (2015).

    Artigo

    Google Scholar

  • Cope, AJ, Sabo, C., Vasilaki, E., Barron, AB & Marshall, Jar um modelo computacional da integração de pontos de referência e movimento no complexo central de insetos. PLoS um 12Assim, https://doi.org/10.1371/journal.pone.0172325 (2017).

  • Turner-Evans, DB e Jayaraman, V. O Complexo Central de Insetos. Curr. Biol. 26R445-R460 (2016).

    Artigo

    Google Scholar

  • Galizia, codificação olfativa CG no cérebro de insetos: dados e conjecturas. EUR. J. Neurosci. 391784-1795 (2014).

    Artigo

    Google Scholar

  • Huerta, R., Nowotny, T., Garcia-Sanchez, M., Abarbanel, HDL e Rabinovich, MI Classificação de aprendizado no sistema olfativo de insetos. Computação Neural. 161601-1640 (2004).

    Artigo

    Google Scholar

  • Smith, BH, Huerta, R., Bazhenov, M. & Sinakevitch, I. Em Neurobiologia e comportamento HoneyBee (Springer, 2012).

  • Bazhenov, M., Huerta, R. & Smith, B. Uma estrutura computacional para entender a tomada de decisões através da integração de regras básicas de aprendizagem. J. Neurosci. 335686-5697 (2013).

    Artigo

    Google Scholar

  • Barron, Ab & Klein, C. O que os insetos podem nos dizer sobre as origens da consciência. Proc. Nat. Acad. Sci. EUA 1134900-4908 (2016).

    Artigo

    Google Scholar

  • Krashes, MJ et al. Um mecanismo de circuito neural integrando estado motivacional com expressão de memória em Drosophila. Célula 139416-427 (2009).

    Artigo

    Google Scholar

  • Burke, CJ et al. Sinalização de recompensa em camadas através da octopamina e dopamina em Drosophila. Natureza 492433-437 (2012).

    Artigo

    Google Scholar

  • TSAO, C. -H., Chen, C. -C., Lin, C. -H., Yang, H. -y. Os corpos de cogumelos de S. Drosophila integram sinais de fome e saciedade para controlar o comportamento inato de busca de alimentos. eLife 7E35264 (2018).

    Artigo

    Google Scholar

  • Webb, B. Robôs com cérebros de insetos. Ciência 368244-245 (2020).

    Artigo

    Google Scholar

  • De Croon, Gche, Dupeyroux, JJG, Fuller, SB & Marshall, AI inseto de jar para robôs autônomos. Sci. Robô. 7EABL6334 (2022).

    Artigo

    Google Scholar

  • LECUN, Y. Um caminho em direção a Inteligência de Máquina Autônoma Versão 0.9. 2, 2022-06-27. Open Rev. 11-62 (2022).

    Google Scholar

  • Jyothir, SV, Jalagam, S., Lecun, Y. & Sobal, V. Planejamento baseado em gradiente com modelos mundiais. https://doi.org/10.48550/arxiv.2312.17227 (2023).

  • Summerfield, C. Inteligência geral natural de como a compreensão do cérebro pode nos ajudar a construir IA. 352 (Oxford University Press, 2023).

  • Caucheteux, C., Gramfort, A. & King, J. -r. Os algoritmos de linguagem profunda prevêem a compreensão semântica da atividade cerebral. Sci. Rep. 1216327 (2022).

    Artigo

    Google Scholar

  • DIGUTSCH, J. & KOSINSKI, M. Sobreposição no significado é um preditor mais forte da ativação semântica no GPT-3 do que em humanos. Sci. Rep. 135035 (2023).

    Artigo

    Google Scholar

  • Lewis, M. & Mitchell, M. Avaliando a robustez do raciocínio analógico em grandes modelos de linguagem. https://doi.org/10.48550/arxiv.2411.14215 (2024).

  • Sutton, rs a lição amarga. Idéias incompletas (blog) 13não. 1 38 (2019).