Friday, December 08, 2017

GOOGLE'S ALPHAZERO IS NOW SCARY SMART

What would you think if you taught your child the rules of chess at breakfast and found that by lunchtime she had beaten the world champion? Awe? Parental pride? A bit of fear perhaps?

That's essentially what just happened at Google's DeepMind subsidiary in London. They created an ultra-powerful game-playing computer system called AlphaZero based on a neural network capable of deep learning through reinforcement.

Unlike other chess-playing programs--which have outperformed humans since IBM's Deep Blue beat the human world champion, Gary Kasparov, in 1997--AlphaZero was not pre-programmed with any specialized knowledge or expertise about chess. It was simply given the rules of the game and allowed to learn by playing against itself.

Four hours later AlphaZero crushed the World Computer Champion, Stockfish, with 28 wins and zero losses in a 100-game tournament (the remaining games were ties).

 World Champion Gary Kasparov struggles against IBM's DeepBlue, 1997
Credit: iChess.net

British chess expert Colin McGurty sums up AlphaZero's achievement:

The AlphaZero algorithm developed by Google and DeepMind took just four hours of playing against itself to synthesise the chess knowledge of one and a half millennium and reach a level where it not only surpassed humans but crushed the reigning World Computer Champion Stockfish 28 wins to 0 in a 100-game match. All the brilliant stratagems and refinements that human programmers used to build chess engines have been outdone, and like Go players we can only marvel at a wholly new approach to the game.

Other chess experts describe AlphaZero's play as "divine," or "from another galaxy." 

As if one superhuman feat were not enough, the AlphaZero team used the same artificial intelligence (AI) system to tackle the games of Go and the Japanese chess game, Shogi. It took AlphaZero just two hours of play against itself to surge past Elmo, the Shogi Computer World Champion, and all of 8 hours to surpass AlphaGo (another DeepMind program), which itself dethroned the human Go champion, Ke Jie, earlier this year.

So, to summarize, in less than a day, starting as a blank slate knowing nothing more than the rules of the games, and simply by playing against itself, AlphaZero reached a superhuman level of play in three abstract games that have challenged humans for millennia. Not a bad day's work.

And just in case you're thinking that AlphaZero reached these superhuman levels simply by calculating faster than any other computer, that's far from the case.  It is blindingly fast compared to humans--for example searching 80 thousand chess positions per second, but it is tortise-slow compared to other chess-playing systems. Stockfish, which AlphaZero completely dominated, searches 70 million positions every second. The system's creators explain, "AlphaZero compensates for the lower number of evaluations by using its deep neural network to focus much more selectively on the most promising variations -- arguably a more 'human-like approach to search."

In recent years some very smart people including Bill Gates, Elon Musk and Stephen Hawking have warned about the threat posed by out-of-control artificial intelligence. While the superhuman learning and game-playing of AlphaZero seem benign, and ubiquitous, mostly invisible AI applications help us every day in a huge variety of areas, there are red flags raised by robo-cops and soldiers, vital infrastructure managed by AI, increasingly capable and autonomous robots that may replace most workers, and the potential for super-intelligent AI creations that may not have the interests of humans at heart. AlphaZero, for example, could equally well learn to "play" at a superhuman level at politics, finance or war.

Gates and others emphasize that we need to figure this out before such intelligences emerge because once they do, like AlphaZero, they could leave us in the dust within a few hours.

So if your child became the world champion chess player after four hours of play, wouldn't you be scared? I would.

-----
You can read the scientific paper describing AlphaZero's accomplishments here.
-----
If you enjoyed this post, please sign up to follow or receive email notices from zerospinzone.blogspot.com (see upper right column).

---


Ahora AlphaZero de Google está peligrosamente inteligente

¿Que pensaría si le hubiera enseñado a su niña las reglas de ajedrez a las ocho de la mañana y descubriera que a mediodía ella ha ganado contra el campeón del mundo? ¿Asombro? ¿Orgullo parental? ¿Quizás un poco de miedo?

Eso es esencialmente lo que pasó en DeepMind, un subsidiario de Google en Londres. Ellos crearon un sistema informático ultra poderoso para jugar juegos, se llama AlphaZero, lo que implementa una red neuronal artificial capáz de realizar un aprendizaje profundo a través del refuerzo autónomo.

Es importante darse quenta que programas que juegan al ajedrez han superado a los humanos desde entonces Deep Blue, de IBM, lo ganó el campeon del mundo humano, Gary Kasparov, en 1997. Deep Blue y todas los programas aun mas poderosos que han sido desarrolados después, empiezan con una gran cantidad de conocimiento y pericia dado por expertos humanos. Por el contrario, AlphaZero no fue programado con algun conocimiento especializado, ni pericia. Nada mas supo las reglas del juego, y recibió instrucciones de aprender a través de jugar contra sí mismo.

Cuatro horas más tarde, AlphaZero le aplastó el Campeón Mundial de Ajedrez por Computadora, Stockfish, con 28 victorias y zero derrotas en un torneo de 100 juegos (los juegos restantes fueron atados).

El experto de ajedrez británico, Colin McGurty, resume lo que logró AlphaZero asi:

El algoritmo AlphaZero desarrollado por Google y DeepMind necesitaba nada más cuatro horas de juego contra si mismo para sintetizar el conociemiento de ajedrez de un milenio y medio y llegar a un nivel donde el no solo superó los humanos pero aplastó el reinante Campeón Mundial de Computadora, Stockfish, 28 victorias a 0 en un torneo de 100 juegos. Todas las estratagemas y refinamientos que los programadores humanos usaban para construir engines de ajedrez han sido superados, y como los jugadores de Go, no podemos hacer más que maravillarnos con un enfoque totalmente nuevo para el juego.

Otros expertos de ajedrez describen el juego de AlphaZero como “divino,” o “de otra galaxia.”

Como si una hazaña sobrehumana no fuera suficiente, el equipo de AlphaZero usaron el mismo sistema de inteligencia artificial (AI) para tratar de dominar el juego de Go y el juego de ajedrez japonés, Shogi. AlphaZero necesitaba nada más dos horas de juego contra si mismo para abrumar a Elmo, el Campeon Mudial de Computadora de Shogi, y un totál de 8 horas para superar al AlphaGo (un otro programa de DeepMind), lo cual destronó el campeon humano de Go, Ke Jie, a principions de este año.

Entonces, para resumir, en menos de un día, empezando como una pizarra en blanco, sabiendo solo las reglas de los juegos, y simplemente jugando contra sí mismo, AlphaZero alcanzó un nivel de juego sobrehumano en tres juegos abstractos que han desafiado los humanos por milenia. No está mal para el trabajo de un día.

Y si estás pensando que AlphaZero alcanzó estos niveles sobrehumanos simplemente por calculando más rapidamente que alguna otra computadora, no es la verdad. AlphaZero si es deslumbrantemente rapido comparado con los humanos—por ejemplo buscando 80 mil posiciones de ajedrez cada sugundo, pero es lento como una tortuga comparado con otros sistemas que juegan al ajedrez. Stockfish, lo cual AlphaZero dominó por completo, busca 70 millones de posiciones cada segunda. Los creadores del sistema explican, “AlphaZero compensa el menor número de evaluaciones mediante el uso de su red neuronal profunda para enfocar mucho más selectivamente en las variaciones más prometedoras – discutiblemente un enfoque mas humano a la busqueda.

En los años recentes, algunas personas muy inteligentes, incluso Bill Gates, Elon Musk y Stephen Hawking han advirtido sobre la amenaza de inteligencia artificial fuera de control. Es verdad que el aprendizaje y el juego de AlphaZero parecen benignos, y hay un monton de aplicaciones de AI, ubicuos y en su mayoría invisibles, que nos ayudan diaramente y en una variedad grande de maneras. Pero, al mismo momento, debemos de notar la posibilidad de soldados y policías robóticos, infraestructura vital administrada por AI, robots cada vez más capaces y autónomos que pueden reemplazar la mayoría de los trabajadores, y el potencial para creaciones AI de inteligencia sobrehumano que no tendrían los intereses humanos “en sus corazones.”

AlphaZero, por ejemplo, podría “jugar” a un nivel sobrehumano a la política, las finanzas, o la guerra.

Gates y otros enfatizan que necesitamos resolver este asunto antes de que una inteligencia de este tipo surja, porque, una vez que aparezca, nos puede dominar o superceder entre pocas horas.

Entonces, si su hija se convirtió en campeona mundial de ajedrez después de cuatro horas de juego, ¿no estaría asustado? Yo si estaría.



No comments: