{"id":4550,"date":"2023-09-18T19:11:46","date_gmt":"2023-09-18T17:11:46","guid":{"rendered":"https:\/\/sites.ac-corse.fr\/maths\/?page_id=4550"},"modified":"2023-09-21T17:26:36","modified_gmt":"2023-09-21T15:26:36","slug":"menace-le-dispositif-qui-apprend-a-jouer-au-morpion","status":"publish","type":"page","link":"https:\/\/sites.ac-corse.fr\/maths\/menace-le-dispositif-qui-apprend-a-jouer-au-morpion\/","title":{"rendered":"MENACE\u00a0: le dispositif qui apprend \u00e0 jouer au morpion"},"content":{"rendered":"\n
\n
Cors’IA<\/a><\/div>\n\n\n\n
Apprentissage par renforcement<\/a><\/div>\n\n\n\n
Apprentissage supervis\u00e9<\/a><\/div>\n<\/div>\n\n\n\n
\n\n\n\n

La pr\u00e9sentation originale de Matthew Scroggs est disponible \u00e0 cette page : https:\/\/www.mscroggs.co.uk\/blog\/19<\/a><\/em><\/p>\n\n\n\n

\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n

MENACE<\/em> : acronyme anglais de \u00ab Machine Educable Noughts And Crosses Engine \u00bb (dispositif qui apprend \u00e0 jouer au morpion).<\/h3>\n\n\n\n

En 1961, Donald Michie a \u00e9labor\u00e9 MENACE, un dispositif capable d\u2019apprendre \u00e0 mieux jouer au morpion. Comme les ordinateurs \u00e9taient bien moins disponibles \u00e0 cette \u00e9poque, MENACE a \u00e9t\u00e9 con\u00e7ue avec 304 bo\u00eetes d\u2019allumettes.<\/p>\n\n\n\n

Comment jouer contre MENACE<\/em><\/h3>\n\n\n\n

Chaque configuration de jeu \u00e0 laquelle MENACE peut \u00eatre confront\u00e9e est dessin\u00e9e sur une bo\u00eete d’allumettes. Des perles de couleur sont plac\u00e9es dans chaque bo\u00eete. Chaque couleur correspond \u00e0 un coup possible que MENACE peut effectuer dans la configuration donn\u00e9e. Sur la photo ci-dessus, une table de correspondance \u00ab\u00a0case\/couleur de perle\u00a0\u00bb est propos\u00e9e. Attention, ce n’est pas la m\u00eame que celle de l’exemple ci-dessous.<\/p>\n\n\n\n

Pour r\u00e9duire le nombre de bo\u00eetes d’allumettes n\u00e9cessaires, MENACE joue toujours en premier.<\/p>\n\n\n\n\n\n

Pour faire jouer MENACE, l\u2019op\u00e9rateur doit trouver la bo\u00eete correspondant \u00e0 la configuration en cours. Il secoue la bo\u00eete puis l’ouvre. MENACE joue alors le coup correspondant \u00e0 la couleur de la perle qui appara\u00eet \u00e0 l’avant de la bo\u00eete.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Par exemple, dans la partie ci-dessus, la premi\u00e8re bo\u00eete d’allumettes est ouverte et r\u00e9v\u00e8le une perle rouge. Cela signifie que MENACE (O) joue dans le coin. Le joueur humain (X) joue ensuite au centre. Pour effectuer le coup suivant, l’op\u00e9rateur de MENACE rep\u00e8re la bo\u00eete d’allumettes correspondant \u00e0 la nouvelle situation, secoue la bo\u00eete, puis l’ouvre. Cette fois, la perle est bleue. Cela indique que MENACE joue en bas, au milieu.<\/p>\n\n\n\n

Le joueur humain joue en bas, \u00e0 droite. De nouveau l\u2019op\u00e9rateur s\u00e9lectionne la bo\u00eete o\u00f9 figure la situation correspondante. Il en tire une perle orange, MENACE joue au milieu, \u00e0 gauche. Finalement le joueur humain l\u2019emporte en jouant en haut, \u00e0 gauche.<\/p>\n\n\n\n

MENACE a perdu la partie mais n\u2019a pas tout perdu. MENACE peut, \u00e0 pr\u00e9sent, apprendre de ses erreurs afin que cela ne se reproduise pas.<\/p>\n\n\n\n

Comment MENACE<\/em> apprend<\/h3>\n\n\n\n

MENACE a perdu la partie ci-dessus, dans ce cas les perles tir\u00e9es au sort sont extraites des bo\u00eetes. MENACE sera donc moins susceptible de choisir \u00e0 nouveau ces m\u00eames couleurs et a donc appris. Si MENACE avait gagn\u00e9, trois perles de la couleur tir\u00e9e au sort auraient \u00e9t\u00e9 ajout\u00e9es \u00e0 chaque bo\u00eete, encourageant MENACE \u00e0 reproduire ces coups dans une m\u00eame configuration. Si la partie est nulle, une perle est ajout\u00e9e \u00e0 chaque bo\u00eete.<\/p>\n\n\n\n

Initialement, on dispose quatre perles de chaque couleur dans la bo\u00eete correspondant au premier coup, trois perles de chaque couleur dans les bo\u00eetes correspondant au troisi\u00e8me coup, deux dans les bo\u00eetes correspondant au cinqui\u00e8me coup et une dans les suivantes. Enlever une perle de plus de chaque bo\u00eete en cas de d\u00e9faite signifie que de tels coups sont, par la suite, moins fortement encourag\u00e9s. Cela aide MENACE \u00e0 apprendre plus rapidement, ces coups \u00e9tant davantage susceptibles de conduire \u00e0 une d\u00e9faite.<\/p>\n\n\n\n

Apr\u00e8s quelques parties, il est possible que certaines bo\u00eetes soient vides. Si l’une de ces bo\u00eetes doit \u00eatre utilis\u00e9e, alors MENACE abandonne. Lorsque MENACE joue contre des joueurs qualifi\u00e9s, il est possible que la premi\u00e8re bo\u00eete se vide rapidement. Dans ce cas, MENACE doit \u00eatre r\u00e9initialis\u00e9 avec plus de perles dans les premi\u00e8res bo\u00eetes pour lui octroyer plus de temps d’apprentissage avant qu’elle ne soit contrainte \u00e0 l\u2019abandon.<\/p>\n\n\n\n

Comment MENACE<\/em> se perfectionne<\/h3>\n\n\n\n

Lors du premier essai de Donald Michie contre MENACE, 220 parties durant 16 heures ont \u00e9t\u00e9 jou\u00e9es. MENACE a r\u00e9guli\u00e8rement fait des parties nulles apr\u00e8s les 20 premi\u00e8res parties.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n\n\n

Apr\u00e8s un certain temps, Michie a essay\u00e9 de jouer des coups plus inhabituels. Pendant un certain temps, il a pu vaincre MENACE, mais MENACE a rapidement appris \u00e0 ne plus perdre. Vous pouvez en savoir plus sur la MENACE d\u2019origine dans \u00ab A matchbox game learning-machine \u00bb<\/em> de Martin Gardner [1]<\/a> et \u00ab Trial and error \u00bb<\/em> de Donald Michie [2]<\/a>.<\/p>\n\n\n\n

Jouer contre MENACE<\/em><\/h3>\n\n\n\n

Vous aimerez peut-\u00eatre exp\u00e9rimenter vous-m\u00eame diff\u00e9rentes tactiques contre MENACE.<\/p>\n\n\n\n

J’ai r\u00e9alis\u00e9 une impl\u00e9mentation de MENACE en JavaScript<\/a> pour que vous puissiez la d\u00e9fier. Le code source de cette impl\u00e9mentation est disponible sur GitHub<\/a>.<\/p>\n\n\n\n

Lorsque vous jouez avec cette version de MENACE, le contenu des bo\u00eetes d’allumettes est affich\u00e9 sur le c\u00f4t\u00e9 droit de la page. Les nombres indiqu\u00e9s sur les bo\u00eetes indiquent combien de perles correspondant \u00e0 ces coups restent dans la bo\u00eete. Les nombres rouges montrent quelles perles ont \u00e9t\u00e9 choisies dans la partie en cours.<\/p>\n\n\n\n

Le nombre initial de perles dans les bo\u00eetes et les incitations peuvent \u00eatre ajust\u00e9s en cliquant sur \u00ab\u00a0Ajuster les param\u00e8tres\u00a0\u00bb de MENACE au-dessus des bo\u00eetes d’allumettes (\u00ab\u00a0Show MENACE’s settings\u00a0\u00bb). Ma version de MENACE commence par plus de perles dans chaque bo\u00eete que la MENACE d\u2019origine afin d\u2019\u00e9viter que les premi\u00e8res bo\u00eetes ne soient \u00e0 court de perles, et limiter les abandons de MENACE. De plus, \u00e0 c\u00f4t\u00e9 du tableau, vous pouvez choisir l\u2019option : jouer contre MENACE ou MENACE contre elle-m\u00eame.<\/p>\n\n\n\n

Note : apr\u00e8s avoir assist\u00e9 \u00e0 une de mes conf\u00e9rences \u00e9clairs sur MENACE \u00e0 la CCC, Oliver Child a con\u00e7u un exemplaire de MENACE. Voici quelques photos qu’il m’a envoy\u00e9es :<\/em><\/p>\n\n\n\n

\n
\n
\"\"<\/figure>\n<\/div>\n\n\n\n
\n
\"\"<\/figure>\n<\/div>\n<\/div>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
\n\n\n\n

[1] : A matchbox game learning-machine<\/strong> par Martin Gardner<\/strong>. Scientific American, March 1962. [lien<\/a>]<\/p>\n\n\n\n

[2] : Trial and error<\/strong> par Donald Michie<\/strong>. Penguin Science Survey, 1961.<\/p>\n\n\n\n

\n\n\n\n

La pr\u00e9sentation originale de Matthew Scroggs est disponible \u00e0 cette page : https:\/\/www.mscroggs.co.uk\/blog\/19<\/a><\/em><\/p>\n\n\n\n

\n","protected":false},"excerpt":{"rendered":"

La pr\u00e9sentation originale de Matthew Scroggs est disponible \u00e0 cette page : https:\/\/www.mscroggs.co.uk\/blog\/19 MENACE : acronyme anglais de \u00ab Machine Educable Noughts And Crosses Engine \u00bb (dispositif qui apprend \u00e0 jouer au morpion). En 1961, Donald Michie a \u00e9labor\u00e9 MENACE, un dispositif capable d\u2019apprendre \u00e0 mieux jouer au morpion. Comme les ordinateurs \u00e9taient bien moins disponibles \u00e0 […]<\/p>\n","protected":false},"author":90,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-4550","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/sites.ac-corse.fr\/maths\/wp-json\/wp\/v2\/pages\/4550","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.ac-corse.fr\/maths\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/sites.ac-corse.fr\/maths\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/sites.ac-corse.fr\/maths\/wp-json\/wp\/v2\/users\/90"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.ac-corse.fr\/maths\/wp-json\/wp\/v2\/comments?post=4550"}],"version-history":[{"count":19,"href":"https:\/\/sites.ac-corse.fr\/maths\/wp-json\/wp\/v2\/pages\/4550\/revisions"}],"predecessor-version":[{"id":4625,"href":"https:\/\/sites.ac-corse.fr\/maths\/wp-json\/wp\/v2\/pages\/4550\/revisions\/4625"}],"wp:attachment":[{"href":"https:\/\/sites.ac-corse.fr\/maths\/wp-json\/wp\/v2\/media?parent=4550"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}