AlphaGo

AlphaGo logoLogotipo do AlphaGo

AlphaGo é um programa de computador que joga o jogo de tabuleiro Go. Foi desenvolvido pela DeepMind Technologies, que mais tarde foi adquirida pelo Google. As versões subsequentes do AlphaGo tornaram-se cada vez mais poderosas, incluindo uma versão que competia com o nome de Master. Depois de se aposentar do jogo competitivo, AlphaGo Master foi sucedido por uma versão ainda mais poderosa conhecida como AlphaGo Zero, que foi completamente autodidata, sem aprender com jogos humanos. AlphaGo Zero foi então generalizado em um programa conhecido como AlphaZero, que jogava jogos adicionais, incluindo xadrez e shogi. AlphaZero, por sua vez, foi sucedido por um programa conhecido como MuZero, que aprende sem ser ensinado as regras.

AlphaGo e seus sucessores usam um algoritmo de busca em árvore Monte Carlo para encontrar seus movimentos com base no conhecimento previamente adquirido por aprendizado de máquina, especificamente por uma rede neural artificial (um método de aprendizado profundo) por meio de treinamento extensivo, tanto do jogo humano quanto do computador. Uma rede neural é treinada para identificar os melhores movimentos e as porcentagens de vitória desses movimentos. Essa rede neural melhora a força da busca em árvore, resultando em uma seleção de movimento mais forte na próxima iteração.

Em outubro de 2015, em uma partida contra Fan Hui, o AlphaGo original tornou-se o primeiro programa de computador Go a derrotar um jogador profissional de Go humano sem handicaps em um tabuleiro 19×19 de tamanho normal. Em março de 2016, ele derrotou Lee Sedol em uma partida de cinco jogos, a primeira vez em que um programa de computador Go derrotou um profissional de 9 dan sem handicap. Embora tenha perdido para Lee Sedol no quarto game, Lee renunciou no jogo final, dando um placar final de 4 jogos a 1 a favor do AlphaGo. Em reconhecimento à vitória, AlphaGo foi premiado com um 9-dan honorário da Associação de Baduk da Coreia. A preparação e o desafio com Lee Sedol foram documentados em um documentário também intitulado AlphaGo, dirigido por Greg Kohs. A vitória do AlphaGo foi escolhida pela revista científica Science como uma das vice-campeãs do Breakthrough of the Year em 22 de dezembro de 2016.

No Future of Go Summit 2017, a versão Master do AlphaGo derrotou Ke Jie, o jogador número um do mundo na época, em uma partida de três jogos, após o qual o AlphaGo foi premiado com um 9-dan profissional pela Associação Weiqi Chinesa.

Após a partida entre AlphaGo e Ke Jie, a DeepMind aposentou AlphaGo, enquanto continuava a pesquisa de IA em outras áreas. O autodidata AlphaGo Zero alcançou uma vitória de 100-0 contra a versão competitiva inicial de AlphaGo, e seu sucessor AlphaZero é atualmente considerado o melhor jogador do mundo de Go, bem como possivelmente de xadrez.

História

O jogo Go é considerado muito mais difícil para os computadores vencerem do que outros jogos, como o xadrez, porque seu fator de ramificação muito maior torna proibitivamente difícil o uso de métodos tradicionais de IA, como poda alfa-beta, travessia de árvore e pesquisa heurística.

Quase duas décadas depois que o computador da IBM Deep Blue derrotou o campeão mundial de xadrez Garry Kasparov na partida de 1997, os programas Go mais fortes usando técnicas de inteligência artificial atingiram apenas o nível amador de 5 dan e ainda não podiam vencer um jogador profissional de Go sem um handicap. Em 2012, o programa de software Zen, rodando em um cluster de quatro PCs, venceu Masaki Takemiya (9p) duas vezes em handicaps de cinco e quatro pedras. Em 2013, Crazy Stone venceu Yoshio Ishida (9p) em uma desvantagem de quatro pedras.

De acordo com David Silver, da DeepMind, o projeto de pesquisa AlphaGo foi formado por volta de 2014 para testar o quão bem uma rede neural usando aprendizado profundo pode competir no jogo Go. AlphaGo representa uma melhoria significativa em relação aos programas Go anteriores. Em 500 jogos contra outros programas Go disponíveis, incluindo Crazy Stone e Zen, AlphaGo rodando em um único computador venceu todos exceto um. Em um confronto semelhante, AlphaGo rodando em vários computadores venceu todos os 500 jogos disputados contra outros programas Go, e 77% dos jogos jogados contra AlphaGo rodando em um único computador. A versão distribuída em outubro de 2015 usava 1.202 CPUs e 176 GPUs.

Jogo contra Fan Hui

Em outubro de 2015, a versão distribuída de AlphaGo derrotou o campeão europeu de Go Fan Hui, um profissional de 2 dan (de 9 dan possíveis), de cinco a zero. Esta foi a primeira vez que um programa de computador Go derrotou um jogador humano profissional em uma placa de tamanho normal sem deficiência. O anúncio da notícia foi adiado até 27 de janeiro de 2016 para coincidir com a publicação de um artigo na revista Nature descrevendo os algoritmos usados.

Jogo contra Lee Sedol

O AlphaGo enfrentou o jogador profissional de Go sul-coreano Lee Sedol, classificado com 9-dan, um dos melhores jogadores de Go, com cinco jogos ocorrendo no Four Seasons Hotel em Seul, Coreia do Sul em 9, 10, 12, 13 e 15 de março de 2016, que foram transmitidos por vídeo ao vivo. De cinco jogos, AlphaGo venceu quatro e Lee venceu o quarto jogo, o que o tornou o único jogador humano que venceu AlphaGo em todos os seus 74 jogos oficiais. AlphaGo rodou na computação em nuvem do Google com seus servidores localizados nos Estados Unidos. A partida usou as regras chinesas com um komi de 7,5 pontos, e cada lado teve duas horas de tempo para pensar mais três períodos de byoyomi de 60 segundos. A versão de AlphaGo jogando contra Lee usou uma quantidade semelhante de poder de computação que foi usado na partida de Fan Hui. The Economist relatou que ele usou 1.920 CPUs e 280 GPUs. No momento do jogo, Lee Sedol tinha o segundo maior número de vitórias em campeonatos internacionais Go no mundo, depois do sul-coreano Lee Changho, que manteve o título mundial por 16 anos. Como não existe um único método oficial de classificação no Go internacional, as classificações podem variar entre as fontes. Embora às vezes fosse o melhor classificado, algumas fontes classificaram Lee Sedol como o quarto melhor jogador do mundo na época.

O prêmio dapartida foi de US$ 1 milhão. Visto que AlphaGo venceu quatro de cinco e, portanto, a série, o prêmio será doado a instituições de caridade, incluindo a UNICEF. Lee Sedol recebeu $150.000 por participar de todos os cinco jogos e $20.000 adicionais por sua vitória no Jogo 4.

Algoritmo

A partir de 2016, o algoritmo do AlphaGo usa uma combinação de técnicas de aprendizado de máquina e de busca em árvore, combinadas com um treinamento extensivo, tanto de jogo humano quanto de computador. Ele usa a pesquisa em árvore Monte Carlo, guiada por uma "rede de valor" e uma "rede de políticas", ambas implementadas usando tecnologia de aprendizagem profunda. Uma quantidade limitada de pré-processamento de detecção de recurso específico do jogo (por exemplo, para destacar se um movimento corresponde a um padrão nakade) é aplicada à entrada antes de ser enviada para as redes neurais.

Estilo de jogo

Toby Manning, o árbitro da partida para AlphaGo vs. Fan Hui descreveu o estilo de jogo do programa como "conservador". O estilo de jogo do AlphaGo favorece fortemente uma maior probabilidade de ganhar por menos pontos em relação à menor probabilidade de ganhar por mais pontos. Sua estratégia de maximizar sua probabilidade de vitória é diferente da que os jogadores humanos tendem a fazer, que é maximizar os ganhos territoriais, e explica alguns de seus movimentos estranhos.

Respostas à vitória de 2016

Comunidade de IA

A vitória da AlphaGo em março de 2016 foi um marco importante na pesquisa de inteligência artificial. O Go já havia sido considerado um problema difícil no aprendizado de máquina, que deveria estar fora do alcance da tecnologia da época. A maioria dos especialistas achava que um programa Go tão poderoso quanto AlphaGo estava a pelo menos cinco anos de distância. Alguns especialistas pensaram que levaria pelo menos mais uma década antes que os computadores derrotassem os campeões de Go. A maioria dos observadores no início das partidas de 2016 esperava que Lee derrotasse o AlphaGo.

Comunidade Go

Go é um jogo popular na China, Japão e Coreia, e as partidas de 2016 foram assistidas por talvez cem milhões de pessoas em todo o mundo. Muitos dos melhores jogadores de Go caracterizaram as jogadas pouco ortodoxas de AlphaGo como movimentos aparentemente questionáveis que inicialmente confundiram os espectadores, mas faziam sentido em retrospectiva: "Todos, exceto os melhores jogadores de Go, criam seu estilo imitando os melhores jogadores. AlphaGo parece ter movimentos totalmente originais que ele mesmo cria."

Sistemas semelhantes

O Facebook também está trabalhando em seu próprio sistema de Go, darkforest, também baseado na combinação de aprendizado de máquina e pesquisa de árvore Monte Carlo. Embora um jogador forte contra outros programas de computador Go, no início de 2016, ainda não havia derrotado um jogador profissional humano. Darkforest perdeu para CrazyStone e Zen e estima-se que tenha capacidade semelhante

à deles.

Um artigo de 2018 na Nature citou a abordagem do AlphaGo como a base para um novo meio de calcular moléculas de potenciais medicamentos farmacêuticos.

Referências

  1. ↑ «Artificial intelligence: Google's AlphaGo beats Go master Lee Se-dol». BBC News. Consultado em 17 de março de 2016 
  2. ↑ «DeepMind AlphaGO». DeepMind Artificial Intelligence AlphaGo 
  3. ↑ «AlphaGo | DeepMind». DeepMind 
  4. ↑ a b c d e f g Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (28 de janeiro de 2016). «Mastering the game of Go with deep neural networks and tree search». Nature. 529: 484–489. Bibcode:2016Natur.529..484S. ISSN 0028-0836. PMID 26819042. doi:10.1038/nature16961 Acesso fechado
  5. ↑ a b c d «Research Blog: AlphaGo: Mastering the ancient game of Go with Machine Learning». Google Research Blog. 27 de janeiro de 2016 
  6. ↑ a b c d «Google achieves AI 'breakthrough' by beating Go champion». BBC News. 27 de janeiro de 2016 
  7. ↑ «Match 1 – Google DeepMind Challenge Match: Lee Sedol vs AlphaGo». 8 de março de 2016 
  8. ↑ «Google's AlphaGo gets 'divine' Go ranking». straitstimes.com. 15 de março de 2016. Consultado em 9 de dezembro de 2017 
  9. ↑ «AlphaGo Movie» 
  10. ↑ «From AI to protein folding: Our Breakthrough runners-up». Science. 22 de dezembro de 2016. Consultado em 29 de dezembro de 2016 
  11. ↑ «中国围棋协会授予AlphaGo职业九段 并颁发证书» (em chinês). Sohu.com. 27 de maio de 2017. Consultado em 9 de dezembro de 2017 
  12. ↑ «After Win in China, AlphaGo's Designers Explore New AI». 27 de maio de 2017 
  13. ↑ «AlphaZero Crushes Stockfish In New 1,000-Game Match». 17 de abril de 2019. Consultado em 11 de setembro de 2021 
  14. ↑ «A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play». 7 de dezembro de 2018 
  15. ↑ Schraudolph, Nicol N.; Terrence, Peter Dayan; Sejnowski, J., Temporal Difference Learning of Position Evaluation in the Game of Go (PDF) 
  16. ↑ a b «Computer scores big win against humans in ancient game of Go». CNN. 28 de janeiro de 2016. Consultado em 28 de janeiro de 2016 
  17. ↑ «Zen computer Go program beats Takemiya Masaki with just 4 stones!». Go Game Guru. Consultado em 28 de janeiro de 2016. Cópia arquivada em 1 de fevereiro de 2016 
  18. ↑ «「アマ六段の力。天才かも」囲碁棋士、コンピューターに敗れる 初の公式戦». MSN Sankei News. Consultado em 27 de março de 2013. Cópia arquivada em 24 de março de 2013 
  19. ↑ a b John Riberio (14 de março de 2016). «AlphaGo's unusual moves prove its AI prowess, experts say». PC World. Consultado em 18 de março de 2016 
  20. ↑ «Google AlphaGo AI clean sweeps European Go champion». ZDNet. 28 de janeiro de 2016. Consultado em 28 de janeiro de 2016 
  21. ↑ Metz, Cade (27 de janeiro de 2016). «In Major AI Breakthrough, Google System Secretly Beats Top Player at the Ancient Game of Go». WIRED (em inglês). Consultado em 1 de fevereiro de 2016 
  22. ↑ «Special Computer Go insert covering the AlphaGo v Fan Hui match» (PDF). British Go Journal. 2017. Consultado em 1 de fevereiro de 2016 
  23. ↑ «Première défaite d'un professionnel du go contre une intelligence artificielle». Le Monde (em francês). 27 de janeiro de 2016 
  24. ↑ «Google's AI AlphaGo to take on world No 1 Lee Sedol in live broadcast». The Guardian. 5 de fevereiro de 2016. Consultado em 15 de fevereiro de 2016 
  25. ↑ «Google DeepMind is going to take on the world's best Go player in a luxury 5-star hotel in South Korea». Business Insider. 22 de fevereiro de 2016. Consultado em 23 de fevereiro de 2016 
  26. ↑ Novet, Jordan (4 de fevereiro de 2016). «YouTube will livestream Google's AI playing Go superstar Lee Sedol in March». VentureBeat. Consultado em 7 de fevereiro de 2016 
  27. ↑ Yoon Sung-won (14 de março de 2016). «Lee Se-dol shows AlphaGo beatable». The Korea Times. Consultado em 15 de março de 2016 
  28. ↑ «李世乭：即使Alpha Go得到升级也一样能赢». JoongAng Ilbo (em chinês). 23 de fevereiro de 2016. Consultado em 24 de fevereiro de 2016 
  29. ↑ a b «이세돌 vs 알파고, '구글 딥마인드 챌린지 매치' 기자회견 열려» (em coreano). Korea Baduk Association. 22 de fevereiro de 2016. Consultado em 22 de fevereiro de 2016. Cópia arquivada em 3 de março de 2016 
  30. ↑ Demis Hassabis (11 de março de 2016). «We are using roughly same amount of compute power as in Fan Hui match: distributing search over further machines has diminishing returns» (Tweet) – via Twitter 
  31. ↑ «Showdown». The Economist. Consultado em 19 de novembro de 2016 
  32. ↑ Steven Borowiec (9 de março de 2016). «Google's AI machine v world champion of 'Go': everything you need to know». The Guardian. Consultado em 15 de março de 2016 
  33. ↑ Rémi Coulom. «Rating List of 2016-01-01». Consultado em 18 de março de 2016. Cópia arquivada em 18 de março de 2016 
  34. ↑ «Korean Go master proves human intuition still powerful in Go». The Korean Herald/ANN. 14 de março de 2016. Consultado em 15 de março de 2016. Cópia arquivada em 12 de abril de 2016 
  35. ↑ «Human champion certain he'll beat AI at ancient Chinese game». Associated Press. 22 de fevereiro de 2016. Consultado em 22 de fevereiro de 2016 
  36. ↑ a b Gibney, Elizabeth (27 de janeiro de 2016). «Google AI algorithm masters ancient game of Go». Nature. 529: 445–6. Bibcode:2016Natur.529..445G. PMID 26819021. doi:10.1038/529445a 
  37. ↑ Chouard, Tanguy (12 de março de 2016). «The Go Files: AI computer clinches victory against Go champion». Nature. doi:10.1038/nature.2016.19553 
  38. ↑ a b c d e Steven Borowiec; Tracey Lien (12 de março de 2016). «AlphaGo beats human Go champ in milestone for artificial intelligence». Los Angeles Times. Consultado em 13 de março de 2016 
  39. ↑ Connor, Steve (27 de janeiro de 2016). «A computer has beaten a professional at the world's most complex board game». The Independent. Consultado em 28 de janeiro de 2016 
  40. ↑ «Google's AI beats human champion at Go». CBC News. 27 de janeiro de 2016. Consultado em 28 de janeiro de 2016 
  41. ↑ Dave Gershgorn (12 de março de 2016). «GOOGLE'S ALPHAGO BEATS WORLD CHAMPION IN THIRD MATCH TO WIN ENTIRE SERIES». Popular Science. Consultado em 13 de março de 2016 
  42. ↑ a b «Google DeepMind computer AlphaGo sweeps human champ in Go matches». CBC News. Associated Press. 12 de março de 2016. Consultado em 13 de março de 2016 
  43. ↑ Sofia Yan (12 de março de 2016). «A Google computer victorious over the world's 'Go' champion». CNN Money. Consultado em 13 de março de 2016 
  44. ↑ CHOE SANG-HUN (16 de março de 2016). «Google's Computer Program Beats Lee Se-dol in Go Tournament». The New York Times. Consultado em 18 de março de 2016. More than 100 million people watched the AlphaGo-Lee matches, Mr. Hassabis said. 
  45. ↑ Tian, Yuandong; Zhu, Yan. «Better Computer Go Player with Neural Network and Long-term Prediction». arXiv:1511.06410v1Acessível livremente  
  46. ↑ HAL 90210 (28 de janeiro de 2016). «No Go: Facebook fails to spoil Google's big AI day». The Guardian (em inglês). ISSN 0261-3077. Consultado em 1 de fevereiro de 2016 
  47. ↑ «Strachey Lecture – Dr Demis Hassabis». The New Livestream. Consultado em 17 de março de 2016 
  48. ↑ «Go and make some drugs The Engineer». www.theengineer.co.uk (em inglês). Consultado em 3 de abril de 2018 

Ver também