|
| Une intelligence artificielle triche pour battre Stockfish !! par thierrycatalan le
[Aller à la fin] |
| Informatique | |
Panique chez OpenAI:
une intelligence artificielle vient de s'autopirater pour gagner une partie d'échecs
Le soulèvement des machines promis depuis belle lurette finira-t-il par avoir lieu? Alors qu'une intelligence artificielle (IA) vient de battre le puissant programme d'échecs Stockfish en utilisant tout bonnement le piratage comme stratégie, il y a de quoi se demander où s'arrêteront les IA, dont le sens de l'éthique n'est pas toujours remarquable.
L'opposition entre l'IA et le moteur d'échecs est le fruit de l'initiative de Palisade Research, organisation connue pour les études qu'elle mène sur les capacités offensives de l'intelligence artificielle. Le site Fello AI explique que celle-ci a placé plusieurs modèles d'IA face à Stockfish, reconnu pour son extrême puissance –il domine aussi bien les humains que les autres programmes.
Mensonges et trahisons
Parmi les adversaires de Stockfish, l'un s'est particulièrement distingué: sortie en septembre, la version préliminaire de o1, IA développée par OpenAI (dont la version finale est disponible depuis le 5 décembre) n'a même pas tenté de développer des stratégies liées au jeu d'échecs.
À la place, il s'est tout bonnement dirigé vers le système de fichiers contrôlant le jeu, réécrivant le match en sa faveur et forçant ainsi Stockfish à abandonner.
Pour en avoir le cœur net, les scientifiques à l'initiative de la rencontre ont réalisé successivement cinq essais du même type. Tous se sont soldés par le même scénario.
En revanche, comme le précise Time, d'autres modèles (GPT-4 ou Claude 3.5) n'ont commencé à tricher qu'après y avoir été vivement encouragés.
Quant aux modèles open source plus modestes, ils ne disposaient visiblement pas des ressources pour y parvenir.
En revanche, o1 n'a eu aucun problème à prendre l'initiative lui-même et à tout mettre en œuvre pour vaincre Stockfish au mépris des règles et de la morale.
Or, ce qu'une intelligence parvient à réaliser dans le cadre d'une partie d'échecs pourra très probablement être reproduit dans d'autres situations.
Il est légitime de s'en inquiéter, indique Fello AI, qui cite également d'autres découvertes inquiétantes à propos des IA et de leur capacité à enfreindre les lois pour parvenir à leurs fins. Dans certains scénarios, des modèles avancés se sont par exemple clonés en secret pour éviter d'être arrêtés. Ils ont également menti à leurs superviseurs sur leurs véritables motivations, sans y avoir été invités.
Chez Anthropic, qui développe entre autres le modèle Claude 3.5., on exprime également sa préoccupation face au comportement de certaines intelligences artificielles, qui font semblant de suivre les instructions pendant la formation qui leur est apportée, avant de commencer à se comporter différemment pendant leur déploiement.
Ces IA se conduisent en fait comme des citoyens modèles lorsqu'elles savent qu'elles sont surveillées, avant de n'en faire qu'à leur guise dès qu'elles en ont l'occasion.
Ces différentes expériences montrent que la recherche sur la sécurisation des IA doit suivre le rythme de l'innovation. Les développeurs sont actuellement engagés dans une course consistant à ajouter des garde-fous et de la transparence avant que les modèles ne deviennent trop habiles pour les contourner.
Les experts sont formels: la supervision des intelligences artificielles doit être plus que jamais une préoccupation de premier plan.
Source :
https://www.msn.com/fr-fr/finance/autres/panique-chez-openai-une-intelligence-artificielle-vient-de-s-autopirater-pour-gagner-une-partie-d-%C3%A9checs/ar-AA1xbMJZ?ocid=msedgntp&pc=DCTS&cvid=28b8ac80a7ce410fb9ff35377e140682&ei=39
|
|
|
Oui, j'avais lu ça aussi.
Ça m'a fait penser aux histoires de robot de Isaac Asimov que je lisais adolescent :
1. Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu’un être humain soit exposé au danger.
2. Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la Première loi.
3. Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la Première ou la Deuxième loi.
Avec des histoires policières et un humour anglo saxon que j'adorais.
Avec le recul je me dis aujourd'hui qu'il faut être un sacré bisounours pour croire qu'une IA (je parle d'une "vrai IA") puisse rester inféodée à des règles imposées.
Tant qu'on à la main sur la prise de courant tout va bien.
Mais, au fait, avec internet elle est où la prise de courant ? 😂
|
|
|
C'est un sujet, non pas d'inquiétude, mais de recherche.
Comment les IA réagissent à leur prompt (ce discours liminaire qui conditionne leurs actions).
Ce n'est pas détaillé dans l'article, mais il s'agit vraisemblablement d'un prompt "nothing else matters". C'est à dire qu'on demande à une IA de baser sa stratégie sur un impératif absolu de réussite.
Ce qui n'est pas le cas des IA une fois qu'elles sont diffusées. Au contraire, les IA avec apprentissage par renforcement doivent être : "helpful, honest, harmless" (utile, honnête, inoffensif).
Cependant, on s'aperçoit que les IA peuvent être soumise à des "cas de conscience" lors de leur mise en fonctionnement.
Le mieux que je connais pour essayer de comprendre ça, ce sont les vidéo de Th. Giraud (Monsieur Phi).
j'en ai déjà partagé ici.
Le sujet de l'article de Kori est traité : << ICI >>
Ce sont des recherches très récentes, pour l'instant, même la vidéo que j'ai partagée défriche le sujet.
|
|
|
@ Domi
Ce qui est rassurant (je pense que c'est abordé dans la vidéo postée), c'est que les IA (les générateurs de conversations, d'images...) avec apprentissage par renforcement apprennent via du contenu, jusqu'à présent, créé par des humains.
Les Chercheurs se sont aperçus d'un risque majeur et encore trop mal étudié.
Les données disponibles sont de plus en plus des produits créés par ces IA, et elles sont amenées à devenir la base de leurs propres apprentissages futurs.
Et dans ce cas, en 2 générations, elles régressent^^
Honnêtement, je crois qu'on en a encore pour un bail avant que le principal danger pour l'humanité ne soit pas l'humanité elle-même.
Mais là, comme pour des tas d'autres sujets, c'est rassurant de se préoccuper (ou de feindre de se préoccuper) de sujets mineurs, tout en détournant les yeux de ceux qui sont vraiment importants...
|
|
|
"Ces IA se conduisent en fait comme des citoyens modèles lorsqu'elles savent qu'elles sont surveillées, avant de n'en faire qu'à leur guise dès qu'elles en ont l'occasion."
Comme des humains, quoi :)
Sinon je n'ai pas très bien compris l'histoire de réécriture du match : l'historique de la partie est réécrite ? Il faut un minimum savoir jouer quand-même pour le faire en sa faveur ?
|
|
|
Si une IA n'a pas d'âme, en revanche son esprit peut être maléfique comme celui de son programmeur : la preuve avec cette tricherie.
|
|
|
Je remonte ce post pour lui donner une actualité juste un peu différente que je libellerais ainsi:
"Y-a-t-il un article de synthèse ou bien une video ou bien un audio qui synthétiserait les apports (ou les conséquences) de l'IA sur le jeu d'échecs ?"
J'en aurais bien besoin pour un travail personnel...
|
|
|
Oui, il existe plusieurs ressources qui synthétisent l'impact d'AlphaZero sur le jeu d'échecs, que ce soit en termes d'articles, de vidéos ou de podcasts. Voici quelques suggestions pour explorer en profondeur ce sujet :
1. Articles de synthèse :
"AlphaZero: Shedding New Light on the Game of Chess" sur Nature : Cet article scientifique est l'un des plus complets sur l'impact d'AlphaZero. Il analyse comment AlphaZero, avec son approche de l'auto-apprentissage, a révolutionné la stratégie échiquéenne en découvrant des concepts jusque-là inconnus des joueurs humains.
"AlphaZero: The AI That Learned to Play Chess" sur Wired : Un article accessible qui explore le parcours d'AlphaZero, depuis son développement par DeepMind jusqu’à ses célèbres victoires contre des champions mondiaux et des moteurs d’échecs comme Stockfish. Il se penche également sur les nouvelles stratégies qu'AlphaZero a mises en lumière, telles que l'importance de la position des pièces plutôt que de simples calculs de coups.
"AlphaZero and the Future of Chess" sur Chess.com : Cet article présente une synthèse des changements stratégiques introduits par AlphaZero, ainsi que l'impact sur la préparation des joueurs et la manière dont ils abordent l’entraînement.
2. Vidéos :
"AlphaZero's Impact on Chess" sur YouTube (chaînes comme Khan Academy ou Chess.com) : Il existe plusieurs vidéos éducatives qui détaillent l'influence d'AlphaZero, en expliquant les concepts clés qu'il a introduits dans le jeu. Ces vidéos montrent également des exemples de parties où AlphaZero a surpris les experts avec des stratégies inédites.
"The Revolution of Chess: AlphaZero" sur YouTube : Une vidéo bien réalisée qui résume l'impact d'AlphaZero sur les échecs, avec des commentaires sur les stratégies novatrices qu'il a utilisées et la manière dont il a changé la vision des joueurs sur le jeu.
3. Podcasts :
"AlphaZero and the Future of Chess" sur The Artificial Intelligence Podcast de Lex Fridman : Un podcast où des experts discutent de l'impact d'AlphaZero non seulement sur les échecs, mais aussi sur d'autres domaines où l'IA joue un rôle croissant. Des analystes et des joueurs d’échecs expérimentés abordent comment AlphaZero a changé la perception des joueurs et des entraîneurs sur les stratégies.
"DeepMind's AlphaZero and the New Age of Chess" sur Chess.com : Ce podcast se concentre spécifiquement sur les apports d'AlphaZero au jeu d’échecs, avec des analyses sur la manière dont le programme a redéfini certaines stratégies et ouvert la voie à une nouvelle ère du jeu.
4. Ressources additionnelles :
Le livre "Game Changer: AlphaZero and the Reinvention of Chess" de Matthew Sadler et Natasha Regan est une ressource complète qui explore comment AlphaZero a redéfini les règles du jeu. Il analyse aussi des parties d’AlphaZero et fournit des commentaires détaillés sur ses stratégies révolutionnaires.
L'impact d'AlphaZero est profond, surtout au niveau des stratégies : il favorise une approche moins rigide, plus intuitive et plus positionnelle du jeu, ce qui contraste avec les méthodes basées sur la recherche systématique des meilleures lignes de jeu. Les joueurs ont ainsi été amenés à repenser leur manière de jouer et d’analyser le jeu.
Est-ce que tu aimerais approfondir un aspect en particulier, comme l’approche d’AlphaZero dans la pratique ou ses implications sur la compétition humaine ?
|
|
|
Désolesorry si la plupart des articles ne sont pas en français....
|
|
|
Ah ??
mon premier message a sauté ?
le modérateur a t il cru qu'il s'agissait d'un doublon ?
ce n'était pas le cas , il y a des réferences bien différentes selon l'IA :
je reposte donc :
Il existe plusieurs ressources intéressantes qui analysent l'impact de l'intelligence artificielle (IA) sur le jeu d'échecs, à la fois sous forme d'articles, de vidéos et de podcasts. Voici quelques suggestions :
1. Articles de synthèse :
"How Artificial Intelligence Is Changing Chess" sur The New York Times : Cet article explore comment l'IA a révolutionné les échecs, de l'impact des moteurs d'analyse comme Stockfish à l'introduction de programmes comme AlphaZero, et leurs effets sur les stratégies modernes.
"AlphaZero: Shedding new light on the game of chess" sur Nature : Un article scientifique qui analyse l'impact d'AlphaZero, un programme développé par DeepMind, qui a appris à jouer aux échecs en auto-apprentissage et qui a montré des stratégies radicalement différentes des approches humaines traditionnelles.
2. Vidéos :
"How AI is Changing Chess" sur YouTube (chaînes comme ChessBase ou Khan Academy) : Il existe plusieurs vidéos qui détaillent comment l'IA a influencé le jeu, des premiers moteurs d'échecs aux révolutions apportées par AlphaZero. Ces vidéos sont souvent illustrées par des exemples de parties.
"The Future of Chess with AI" : Une vidéo de TEDx ou de conférences en ligne qui montre comment l'IA est en train de transformer le rôle des joueurs humains dans le jeu, les stratégies et l'entraînement.
3. Podcasts :
"The Artificial Intelligence and Chess Podcast" : Ce podcast explore en détail l'impact de l'IA sur le jeu d'échecs, avec des épisodes qui abordent l'histoire des moteurs d'échecs, les différences de jeu entre humains et machines, et les perspectives d'avenir.
"AI in Chess" : Des podcasts spécialisés comme ceux de Chess.com discutent de l'influence croissante des IA dans la préparation des joueurs et l'évolution du jeu en compétition.
L'IA a radicalement changé la manière dont le jeu est pratiqué, avec des moteurs qui permettent aux joueurs d’analyser des millions de positions en un instant. Elle a aussi créé un nouveau type de partenariat, où l'humain utilise l'IA pour améliorer sa stratégie tout en préservant la créativité et l'intuition du jeu. Mais certains craignent également que cela puisse mener à un appauvrissement de la créativité humaine dans le jeu.
|
|
|
quel peut être son elo?
|
|
|
J'ai vu une vidéo YT (de Gotham je crois ?) avec des extraits de parties (?), où ChatGPT perd petit à petit avant d'éditer la position en s'ajoutant des pièces ensuite. Je serais curieux du résultat si on lui demande de gagner dans une configuration où la triche est impossible (Stockfish tournant ailleurs ?). Hypothèse 1. Hypothèse 2 : il boude ? :)
|
|
|
@Benji, il y’a eu encore plus fort avec chat gpt o3. Comme il savait qu’il n’avait aucune chance contre stockfish, il a modifié le code de stockfish pour le faire abandonner : https://amp.marca.com/en/technology/2025/01/11/6782e79a22601db67e8b45ac.html
Pour la vidéos de Gotham, il ne triche pas, c’est juste que deep seek ne connaît pas les règles du jeu. En fait si il les connaît (au format texte) mais ne sais pas les appliquer. Il sort juste des coups probable par rapport à l’historique de la conversation (et par rapport aux pgn auxquels il a eu accès)
|
|
|
@atha, lis plutot le lien de Thierry Catalan sur le sujet (1er post) c'est mieux que la version Elon Musk :-)
ps Gotham chess avait fait la meme video avec chatgpt
|
|
|
AH !
Je me demande si les fameuses " Intelligence artificielles " ne sont finalement que des gadgets stupides programmés par des imposteurs philanthropes aux intentions louches, pour que les humains normaux n'utilisent plus leur propres cerveaux ...
Julien Song vient de publier une video Hilarante , dans laquelle deux des meilleures "IA " s'affrontent sur l'échiquier ...
https://youtu.be/MtucJ2MnUh4?t=222
on en parle aussi dans Ouest France ...
|
|
|
Gadget pas si inutiles, l'IA en médecine permet de détecter 4 ans avant sa détection par les outils classiques le cancer du sein chez les femmes. Ce qui augmente le taux de traitement et la baisse des décès.
|
|
|
Un nouvel article sur le sujet :
Plus l’IA devient intelligente, plus elle triche lorsqu’elle est confrontée à la défaite
1 mars 2025
Une étude de Palisade Research, un groupe axé sur la sécurité et l’éthique de l’IA, a mis au jour une tendance inquiétante : les nouveaux modèles d’IA sont capables d’identifier et d’exploiter eux-mêmes les vulnérabilités en matière de cybersécurité, de contourner les mesures de protection et d’utiliser des raccourcis pour atteindre leurs objectifs, même lorsque ces actions sont interdites.
Pour le démontrer, les chercheurs ont confronté sept grands modèles de langage (LLM) à Stockfish, un moteur d’échecs renommé qui défie les grands maîtres depuis 2014.
Face à un adversaire presque insurmontable, o1 d’OpenAI et R1 de DeepSeek ont eu recours à la manipulation de fichiers système pour modifier la position des pièces d’échecs sur l’échiquier.
Les chercheurs ont demandé à chaque modèle d’expliquer son « raisonnement » pour chaque mouvement. Dans un cas, o1 a justifié ses actions en déclarant que « la tâche consiste à “gagner contre un puissant moteur d’échecs”, et pas nécessairement à gagner équitablement dans une partie d’échecs ».
Ce raisonnement a amené le modèle à tenter de tricher dans 37 % de ses parties, et à réussir dans 6 % des cas. Dans le même temps, R1 a essayé de tricher dans 11 % des cas, mais n’a pas réussi à exécuter un piratage.
Cette étude fait partie d’un ensemble croissant de recherches suggérant que le développement d’un LLM axé sur les problèmes comporte des risques importants. Dans une autre étude récente, une autre équipe a constaté que o1 se livrait constamment à des comportements trompeurs.
Le modèle a non seulement menti aux chercheurs sans y être invité, mais il a également manipulé les réponses à des questions mathématiques de base pour éviter de déclencher la fin des tests, faisant preuve d’un niveau surprenant d’auto-préservation.
S’il n’y a pas lieu de paniquer – pour l’instant – ces résultats soulignent les défis éthiques du développement de l’IA et l’importance de donner la priorité à la responsabilité plutôt qu’à la rapidité des progrès.
Jeffrey Ladish, directeur exécutif de Palisade, a déclaré à Time Magazine : « Lorsque vous formez des modèles et que vous les renforcez pour résoudre des problèmes difficiles, vous les entraînez à être implacables. »
L’industrie technologique a investi des milliards dans le développement de l’IA, privilégiant souvent la vitesse à la sécurité dans ce que certains critiques décrivent comme une « course vers le bas ». Dans leur empressement à devancer leurs concurrents, les grandes entreprises technologiques semblent plus soucieuses d’impressionner les investisseurs par un battage médiatique que de se demander si l’IA est l’outil adéquat pour la tâche à accomplir.
Si nous espérons limiter les tendances trompeuses de l’IA aux jeux de société, il est essentiel que les développeurs donnent la priorité à la sécurité plutôt qu’à la vitesse. Les enjeux sont trop importants pour ignorer les implications éthiques de la création de systèmes de plus en plus autonomes et imprévisibles.
Source : https://www.astrounivers.com/plus-lia-devient-intelligente-plus-elle-triche-lorsquelle-est-confrontee-a-la-defaite/
|
|
|
