Richard S. Sutton

Neste artigo, será discutida a importância de Richard S. Sutton na sociedade atual. Richard S. Sutton tornou-se um tema relevante em diversas áreas, da política à cultura popular. A sua influência estende-se globalmente, gerando debates e reflexões sobre o seu impacto nas nossas vidas. Através de uma análise detalhada, serão exploradas diferentes perspetivas e abordagens sobre Richard S. Sutton, com o objetivo de compreender a sua verdadeira natureza e significado no contexto atual. Além disso, serão examinadas as implicações e consequências de Richard S. Sutton no mundo contemporâneo, proporcionando assim uma visão completa da sua relevância e significado.

Richard S. Sutton
Richard S. Sutton
Nascimento século XX
Ohio
Residência Canadá
Cidadania Canadá
Alma mater
Ocupação cientista de computação, engenheiro, pesquisador de inteligência artificial, professor universitário
Distinções
  • AAAI Fellow (For significant contributions to many topics in machine learning, including reinforcement learning, temporal difference techniques, and neural networks., 2001)
  • membro da Royal Society (2021, 2021)
Empregador(a) Universidade de Alberta
Orientador(a)(es/s) Andrew Barto

Richard S. Sutton (nascido em 1957 ou 1958) é um cientista da computação canadense professor de ciência da computação na Universidade de Alberta e pesquisador científico na Keen Technologies.[1] Sutton é considerado um dos fundadores do moderno aprendizado por reforço,[2] tendo várias contribuições significativas para o campo, como aprendizado de diferença temporal.[3]

Vida e educação

Richard Sutton nasceu em 1957 ou 1958[4][5] em Ohio e cresceu em Oak Brook, Illinois, um subúrbio de Chicago, Estados Unidos.[6]

Recebeu seu bacharelado em psicologia pela Universidade de Stanford em 1978 antes de fazer um mestrado (1980) e um doutorado (1984) em ciência da computação pela Universidade de Massachusetts Amherst, sob a supervisão de Andrew Barto. Sua dissertação de doutorado, Temporal Credit Assignment in Reinforcement Learning, introduziu arquiteturas ator-crítico e atribuição de crédito temporal.[7][3]

Ele foi influenciado pelo trabalho de Harry Klopf na década de 1970, que propôs que o aprendizado supervisionado é insuficiente para a inteligência artificial (IA) ou para explicar o comportamento inteligente, e que o aprendizado por tentativa e erro, impulsionado por "aspectos hedônicos do comportamento", é necessário. Isso concentrou seu interesse no aprendizado por reforço.[8]

Carreira

Em 1984, Sutton era pesquisador de pós-doutorado na Universidade de Massachusetts.[9] De 1985 a 1994, foi membro principal da equipe técnica do Laboratório de Computação e Sistemas Inteligentes da GTE em Waltham, Massachusetts.[3] Depois disso, ele passou três anos na Universidade de Massachusetts Amherst como cientista pesquisador sênior.[3] De 1998 a 2002, Sutton trabalhou no Laboratório Shannon da AT&T em Florham Park, Nova Jersey, como principal membro da equipe técnica do departamento de inteligência artificial.[3]

Desde 2003, ele é professor de ciência da computação na Universidade de Alberta. Ele liderou o Laboratório de Aprendizagem por Reforço e Inteligência Artificial da instituição até 2018.[10][3] Mantendo a sua cátedra, Sutton juntou-se à DeepMind em junho de 2017 como cientista pesquisador e cofundador do seu escritório em Edmonton.[7][11][12]

Ex-americano, Sutton tornou-se cidadão canadense em 2015.[12]

Aprendizagem por reforço

Sutton se juntou a Andrew Barto no início da década de 1980 na UMass, tentando explorar o comportamento dos neurônios no cérebro humano como base para a inteligência humana, um conceito que havia sido desenvolvido pelo cientista da computação A. Harry Klopf. Sutton e Barto usaram a matemática para desenvolver o conceito e usá-lo como base para a inteligência artificial. Este conceito ficou conhecido como aprendizagem por reforço e passou a se tornar uma parte fundamental das técnicas de inteligência artificial.[13]

Barto e Sutton usaram processos de decisão de Markov (PDM) como base matemática para explicar como os agentes (entidades algorítmicas) tomavam decisões em um ambiente estocástico ou aleatório, recebendo recompensas ao final de cada ação. A teoria tradicional do PDM pressupunha que os agentes conheciam todas as informações sobre os PDMs na tentativa de maximizar suas recompensas cumulativas. As técnicas de aprendizagem por reforço de Barto e Sutton permitiram que tanto o ambiente como as recompensas fossem desconhecidos e, assim, permitiram que esta categoria de algoritmos fosse aplicada a uma vasta gama de problemas.[14]

Sutton retornou ao Canadá na década de 2000 e continuou trabalhando no tópico que continuou a se desenvolver nos círculos acadêmicos até que uma de suas primeiras grandes aplicações no mundo real viu o programa AlphaGo do Google construído neste conceito derrotando o então campeão humano prevalecente.[13] Barto e Sutton foram amplamente creditados e aceitos como pioneiros da aprendizagem por reforço moderna, sendo a técnica em si fundamental para o boom da IA moderna.[15]

Em um ensaio de 2019, Sutton criticou o campo da pesquisa em IA por não "aprender a lição amarga de que construir a forma como pensamos não funciona a longo prazo", argumentando que "70 anos de pesquisa em IA que os métodos gerais que alavancam a computação são, em última análise, os mais eficazes, e por uma grande margem", superando os esforços baseados no conhecimento humano sobre campos específicos como visão computacional, reconhecimento de fala, xadrez ou Go.[16][17]

Sutton e John Carmack anunciaram uma parceria para o desenvolvimento da AGI em 2023.[1]

Publicações selecionadas

Prêmios e honrarias

Sutton é membro da Associação para o Avanço da Inteligência Artificial (AAAI) desde 2001;[18] sua nomeação foi: "Por contribuições significativas para muitos tópicos em aprendizado de máquina, incluindo aprendizado por reforço, técnicas de diferença temporal e redes neurais."[18] Em 2003, ele recebeu o Prêmio do Presidente da International Neural Network Society[19] e em 2013, o prêmio Outstanding Achievement in Research da Universidade of Massachusetts Amherst.[20] Em 2025, ele recebeu o Prêmio Turing da Association for Computing Machinery junto com Andrew Barto; a citação do prêmio dizia: "Por desenvolver os fundamentos conceituais e algorítmicos do aprendizado por reforço."[21]

Em 2016, Sutton foi eleito membro da Royal Society of Canada.[22] Em 2021, foi eleito membro da Royal Society of London.[23]

Referências

  1. ↑ a b «John Carmack and Rich Sutton partner to accelerate development of Artificial General Intelligence». markets.businessinsider.com (em inglês). Consultado em 2 de outubro de 2023 
  2. ↑ «Exclusive: Interview with Rich Sutton, the Father of Reinforcement Learning». 11 de janeiro de 2018. Consultado em 17 de dezembro de 2018. Cópia arquivada em 11 de janeiro de 2018 
  3. ↑ a b c d e f Piatetsky, Gregory (5 de dezembro de 2017). «Exclusive: Interview with Rich Sutton, the Father of Reinforcement Learning». KDnuggets (em inglês). Consultado em 10 de fevereiro de 2024 
  4. ↑ «Andrew Barto and Richard Sutton, pioneers in field of reinforcement learning, win AM Turing Award». The Telegraph. 5 de março de 2025. Consultado em 10 de março de 2025 
  5. ↑ «Rich Sutton, A.M. Turing Award Winner: Understanding Intelligence». Amii. 5 de março de 2025. Consultado em 10 de março de 2025 
  6. ↑ Heidrich-Meisner, Verena (2009). «Interview with Richard S. Sutton» (PDF). Künstliche intelligenz, Heft 
  7. ↑ a b «Brief Biography for Richard Sutton». incompleteideas.net. Consultado em 17 de dezembro de 2018 
  8. ↑ Sutton, Richard S.; Barto, Andrew (2020). Reinforcement learning: an introduction Second ed. Cambridge, Massachusetts: The MIT Press. pp. 22–23. ISBN 978-0-262-03924-6 
  9. ↑ «Dr. Richard Sutton». awards.acm.org (em inglês). Consultado em 7 de março de 2025 
  10. ↑ Brown, Michael (May 10, 2021). «AI innovator Richard Sutton named to Royal Society». Alberta Machine Intelligence Institute (em inglês). Consultado em 10 de fevereiro de 2024  Verifique data em: |data= (ajuda)
  11. ↑ «DeepMind expands to Canada with new research office in Edmonton, Alberta». DeepMind. Consultado em 27 de dezembro de 2018 
  12. ↑ a b «Edmonton AI guru Rich Sutton has lost his DeepMind but not his ambition». National Post. 19 de março de 2023. Consultado em 2 de julho de 2023 
  13. ↑ a b Metz, Cade (5 de março de 2025). «Turing Award Goes to 2 Pioneers of Artificial Intelligence». The New York Times (em inglês). ISSN 0362-4331. Consultado em 8 de março de 2025 
  14. ↑ «A.M. Turing Award». amturing.acm.org. Consultado em 8 de março de 2025 
  15. ↑ «AI pioneers Andrew Barto and Richard Sutton win 2025 Turing Award for groundbreaking contributions to reinforcement learning | NSF – National Science Foundation». www.nsf.gov (em inglês). 5 de março de 2025. Consultado em 8 de março de 2025 
  16. ↑ Sutton, Rich (13 de março de 2019). «The Bitter Lesson». www.incompleteideas.net. Consultado em 22 de março de 2022 
  17. ↑ Tunstall, Lewis; Werra, Leandro von; Wolf, Thomas (26 de janeiro de 2022). Natural Language Processing with Transformers (em inglês). : "O'Reilly Media, Inc.". ISBN 978-1-0981-0319-4 
  18. ↑ a b «Elected AAAI Fellows». www.aaai.org. Consultado em 17 de dezembro de 2018 
  19. ↑ «INNS Award Recipients». www.inns.org. Consultado em 17 de dezembro de 2018 
  20. ↑ «Outstanding Achievement and Advocacy Award Recipients». College of Information and Computer Sciences, University of Massachusetts Amherst (em inglês). 5 de outubro de 2010. Consultado em 17 de dezembro de 2018 
  21. ↑ «Turing Awardees – Directorate for Computer and Information Science and Engineering (CISE) | NSF – National Science Foundation». www.nsf.gov (em inglês). 5 de março de 2025. Consultado em 8 de março de 2025 
  22. ↑ Brown, Michael (19 de setembro de 2016). «U of A Scholars Join Ranks of Royal Society». The Quad. Consultado em 24 de agosto de 2023 
  23. ↑ «Royal Society elects outstanding new Fellows and Foreign Members». royalsociety.org. Consultado em 8 de junho de 2021