Saturday 11 January 2014

2b. Harnad, S. (2008) The Annotation Game: On Turing (1950) on Computing, Machinery and Intelligence

Harnad, S. (2008) The Annotation Game: On Turing (1950) on Computing,Machinery and Intelligence. In: Epstein, Robert & Peters, Grace (Eds.) Parsing the Turing Test: Philosophical and Methodological Issues in the Quest for the Thinking Computer. Springer 

This is Turing's classical paper with every passage quote/commented to highlight what Turing said, might have meant, or should have meant. The paper was equivocal about whether the full robotic test was intended, or only the email/penpal test, whether all candidates are eligible, or only computers, and whether the criterion for passing is really total, liefelong equavalence and indistinguishability or merely fooling enough people enough of the time. Once these uncertainties are resolved, Turing's Test remains cognitive science's rightful (and sole) empirical criterion today.

Le test de Turing : les débuts de l'intelligence artificielle (vidéo)



13 comments:

  1. Dans l’article « Annotation Game », on soulève des objections au Test de Turing concernant le fait que les machines de Turing (MdT) seront toujours programmées pour faire ce qu’on leur demande de faire et donc ne pourront jamais « improviser » adéquatement pour toutes les situations que le testeur leur soumettrait. La réponse à cette objection est, si j’ai bien compris, qu’une MdT peut apprendre (ce qui est déjà démontré en pratique) mais que probablement seulement un niveau T3 pourrait arriver à assimiler suffisamment du monde réel pour produire une simulation raisonnable d’un être humain.

    Ceci semble indiquer qu’un T3 devrait passer un temps suffisamment long dans le monde réel (du moins à travers ses senseurs périphériques) pour se créer une « image » raisonnablement complète de ce monde. Ce serait un peu comme si ce robot devait passer par toutes les phases de développement mental d’un être humain pour arriver à la compétence recherchée. Il faudrait donc se contraindre à programmer des fonctions d’apprentissage qui simulent ce que nos fonctions innées réalisent dans notre cerveau d’humain (est-ce là le degré de liberté dont il a été question dans le cours ?). N’est-ce pas là revenir à expliquer comment fonctionne le cerveau avant de pouvoir programmer le robot ?

    ReplyDelete
    Replies
    1. Je trouve intéressant de comparer une machine à un enfant, qui dans un processus d’apprentissage commence d’abord par imiter ses parents, ou les personnes de références qu’il a dans son entourage. Pourquoi la pensée ne serait-elle un attribut n’appartenant qu’à l’humanité ? Et, l’humain ayant créé la machine comme étant à son image, pourquoi ne donnerions-nous pas des qualités humaines à cette machine comme celle de pouvoir penser ?
      Un humain qui éduquerait un enfant et une machine-enfant (capable d’apprentissage) en même temps pourrait-il obtenir le même langage de la part de chacun d’eux ? Je rejoins ce qu’Harold dit, ce serait là un niveau de T3, mais quelles facultés innées programmeraient-on à notre machine T3 pour qu’elle puisse tromper un test et passer pour un être humain capable de penser et de s’exprimer par un langage cohérent et intelligible en utilisant le « Je » ?

      Delete
    2. HC:

      1. On a déjà beaucoup d'algorithmes qui "improvisent": https://www.youtube.com/watch?v=Cbb08ifTzUk

      2. Il n'est pas impératif que les capacités sensorimotrices de T3 soient acquises en temps réel; une habilité est une habilité mais si elle est préfabriquée (innée). L'historique du robot T3 serait alors fictive (mais ça ne serait pas pertinent pour le T3, ce qui n'est pas censé d'être un détecteur de mensonges mais un détecteur d'habilités). Ce qui est impératif c'est que ces habilités soient sensorimotrices (dynamiques) et non pas juste computationnelles (symboliques, simulées).

      LB:

      1. Tu es en train d'imaginer une machine qui réussit le TT (T3) mais on est toujours en train d'analyser comment il le fera: par la computation ou la dynamique ou les deux (hybride)...?

      Delete
  2. Avant de lire ce texte, j’ai écouté le film “Le jeu d’imitation”, dans lequel Alan Turing semble avoir un type de syndrome d’Asperger affectant son intelligence émotionnelle ou du moins sa façon d’interagir avec les autres. Aussi, plus l’histoire avance, plus il semble s’adapter. Je comprends bien sûre, que le film n’est pas une représentation exacte de la réalité, par contre, je dois admettre que ça aurait pu affecter ma compréhension du message dans l’article de Turing. Aussi, j’ai vu par la suite, qu’il y a un débat à ce sujet et qu’il est impossible de prouver qui dit vrai. Par contre, sans parler de Turing nécessairement, je comprendrais comment quelqu’un, qui, ne comprend pas certains comportements humains de façon naturelle et devant faire face à l’apprentissage de différents symboles au cours de sa vie, afin d’assurer une interaction normale avec les autres, pourrait se demander si une machine ayant une capacité d’apprentissage infinie pourrait apprendre ces symboles, elle aussi, et paraitre normale. Ce qui explique pourquoi, selon moi, l’utilisation du mot jeu et l’utilisation de stratégie de tromperie sont parfaitement adaptés à cet article.

    Maintenant, au-delà, de ce que la personne ayant écrit cet article voulait dire (Ne pouvant en être certain, je ne suis pas dans sa tête), nous pouvons voir comment les gens l’ont perçu en regardant leur commentaires.
    Une vision, qui semble avoir été adopté dans le domaine des sciences cognitives, est qu’une machine qui pourrait réussir un test de Turing pourrait nous en apprendre sur la façon dont notre cerveau fonctionne. « Harnad 2008 » propose que la véritable question est de savoir si une machine peut ou non faire ce que nous (les organismes ayant la capacité de pensés) pouvons faire et si oui, comment?

    ReplyDelete
    Replies
    1. Beaucoup de mathématiciens sont un peu (ou même très) Asperger. Mais je crois que l'hypothèse du film (selon lequel c'est son autisme qui inspirait Turing pour le Test de Turing est extrêmement simpliste et manque la profondeur de ce Test (et de la computation). Idem pour l'hypothèse encore plus farfelue que c'est pour ressusciter son amour décédé qu'il l'a fait. Je trouve plus probable que c'est le fait d'avoir découvert la puissance universelle de la computation qui l'avait mené à ces réflexions.

      Delete
    2. Le mythe des mathématiciens Asperger

      Je ne sais pas ce que vous entendez précisément par « beaucoup », et vous pourriez très bien avoir raison comme quoi le syndrome d’Asperger est plus fréquent chez les mathématiciens. Il y a toutefois un mythe qui circule à ce sujet (voir Asperger’s Disorder and Mathematicians of Genius (Fitzgerald, 2002)), et je veux m’assurer que ce mythe n’est pas diffusé par inadvertance.

      Pour se convaincre de son non fondé, il suffit de monter quelques étages au-dessus du local du cours et de visiter le département de mathématiques.

      De façon plus générale, le problème du mythe est que les « symptômes » observés chez les mathématiciens sont confondus avec la nature de l’activité mathématique, elle-même mal comprise. Dans le commentaire de Fitzgerald, l’exemple le plus flagrant de mauvaise attribution de la cause est par rapport au « caractère restreint, répétitif et stéréotypé des comportements, des intérêts et des activités ».
      Une mauvaise compréhension de l’activité mathématique peut faire croire que les mathématiciens sont obsédés par des concepts inutiles, et même qu’il n’y a aucune composante sociale aux mathématiques, alors que rien n’est plus faux. C’est le caractère malheureusement (et inévitablement) ésotérique des mathématiques qui mène en erreur.

      Le mythe est assez inoffensif, mais il pose problème s’il est fondé dans l’idée que les gens aux comportements ou intérêts incompris souffrent probablement d’un trouble médical. Il ne faut pas oublier que, par définition, un trouble mental cause des problèmes significatifs (détresse, handicap, souffrance, risques élevés de mortalité …).

      N.B. Le texte de Fitzgerald est disponible sur le site de la bibliothèque.

      Delete
  3. Premièrement et ce sera la seule fois où j’aborderai la capacité de la pensée. Le test de Turing, même le 2 donne un grand désavantage à l’ordinateur, car nous lui demandons de penser exactement comme un humain. Or, il est facile de concevoir que les animaux ou même les insectes peuvent penser, par contre, ils auraient probablement un score plus bas qu’un logiciel à ce test. Certaines personnes diront alors, que le logiciel ou le robot devrait au moins être impossible à distinguer avec un autre organisme vivant, mais encore, nous ne connaissons pas tous les formes d’organismes vivants dotés de penser. Ne connaissant pas le comportement de l’ensemble des organismes ayant la pensée, il nous serait impossible de conclure, qu’il n’agit ou ne pense pas comme un organisme doté de la capacité de la pensée. Je crois, qu’à partir du moment où un organisme peut apprendre et interagir avec son environnement qu’elle soit virtuelle ou réelle. Nous devons avoir un doute, au moins équivalent, de sa capacité de pensée à celui qu’on a (Presque certitude) sur la capacité de pensée des animaux.

    Deuxièmement, « Harnad 2008 » mentionne le fait que la connotation de duperie dans le titre du jeu, ne concorde pas avec la méthodologie empirique utilisé par le test, ni avec les objectifs réels du test, disant que le logiciel devrait plutôt penser comme un humain, sans utiliser la duperie et disant que ce test doit aider à la rétro-ingénierie du cerveau. Par contre, même si un organisme aurait la capacité d’agir exactement comme un humain, au mieux cette organisme pourrait répondre à certaines questions béhavioristes, au pire malgré sa façon de se comporter nous ne pourrions être sure qu’un humain agirait exactement ainsi, puisqu’il n’est pas humain. Maintenant, si nous supposons pouvoir comprendre les processus qui mènent cet organisme à agir comme un humain, certains diront que ces processus nous aideraient à expliquer le mécanisme causal qui génère les capacités humaines. Moi, je dis, au mieux, nous sommes extrêmement chanceux et cette idée nous mène dans une direction semblable, au pire elle nous envoie dans une direction complètement à l’opposé. (Nous pourrions aussi bien tirer à pile ou face, ça demanderait beaucoup moins d’effort.)

    Finalement, le TT5 propose un organisme créé par l’homme semblable à celui-ci à la molécule près. Je ne doute pas qu’une telle invention pourrait nous indiquer très clairement le fonctionnement causal de l’intelligence humaine. Par contre, du même coup, je suis certain qu’une telle création nous aidera aucunement dans la rétro-ingénierie du cerveau, car si un jour nous accomplissons une telle tâche, la rétro-ingénierie sera déjà complété.

    Le jeu d’imitation se doit de rester un jeu, car peu importe la méthodologie scientifique apportée à ce jeu, il n’apportera aucune nouvelle connaissance, seulement une fascination de voir les différentes capacités d’un autre organisme. La même fascination qu’on ressent en voyant le talent de certaines personnes très talentueuses participés à un sport ou devant un chien apprenant un tour.

    ReplyDelete
    Replies
    1. Oui, un TT animal serait utile, si c'était possible. Mais même là ça serait nécessairement le T3 animal, donc pas purement computationnel, pour quasiment les mêmes raisons que chez le TT humain.

      La distinction entre le T4 (synthétique) et le T5 (biologique) n'est pas très important. Et on présume pour chaque niveau que c'est l'issue de la rétro-ingénierie qui nous a permis de le construire et donc on sait comment on génère les habilités T2 et T3. Les vrais questions se posent entre les niveaux T2 et T4.

      Le TT -- générer et ainsi expliquer toutes nos compétences cognitives -- est l'objectif des sciences cognitives. Mais ça n'explique pas comment faire pour réussir!

      Delete
  4. To obtain a given result in any experiment there is a method to follow. This method, not only allows the achievement of a certain result, but also allows the experiment to be reproducible. As a scientist, if I find proof that rain causes people to be sad, providing the experimental methodology of such findings to a community of scientific experts will allow them to verify my results. Let's take another example. An engineer wants to build a flying device. He has an understanding of classical mechanics and electromechanics. He his hesitating in making his flying device completely mechanical or both, mechanical and electrical. Regardless of how he wants to make his flying device fly, he needs to elaborate a plan showing its functioning.

    Little brother, I want you to imagine the human being as the result of an engineering project. However, no models nor drawings show its functioning. There is also no methodology to reproduce it. The only way to understand this project or experiment is by using reverse engineering. This means that we are going to study the human in order to understand its internal functioning.

    A mathematician named Alan Turing tried to solve this problem by proposing that a machine could think. In postulating that, the human cognition and a computer were no different. He says : "the human computer is supposed to be following fixed rules". A causal system is what Turing thinks about when he talks about he human cognition : "if one wants to make a machine mimic the behavior human computer in some complex operation one has to ask him how it is done, then translate the answer into the form of an instruction table". The word "mimic" is problematic. Mimicking doesn't make you more human. A human doesn't mimic. A human learns. Turing is aware of that. He imagines a machine that can learn like a child does. The child-machine would be programmed in a way that it learns the contingencies existing between events in the real world. This would be done by education. Turing is seeking a way to build a machine that performs like a human. Is the computational theory enough to understand the human?

    He is right in understanding cognition as a causal system. But humans are not only their cognition. They also are their body. Cognition is not independent from the thing embodying it. The body is also a causal system. This causal system is interacting with the causal system of cognition making these systems an inseparable whole. Causal systems are not independent from each other in real life. If you want a machine to perform like a human you have to make it human. There is no short. The human world is constructed by the metaphysical idea of death. We are aware of death because of our vulnerable bodies. Human cognition is strongly affected by that, without really noticing it. It is not possible, then, to make a machine that thinks and performs like a human for a life-time if it's not embodied in flesh.




    ReplyDelete
  5. Le texte s’appuie sur l’entrevue de Turing et tente de corriger,ou plutôt améliorer son approche en apportant certaines clarifications conceptuelles,ce qui permetras de mieux circonscrire l’objet des recherches en science cognitive.Nous allons mettre l’emphase sur sur les distinction conceptuel apporté plus que les clarifications ou les distinction proposé pour le texte de Turing.La question « est-ce que les machines pensent? » Est une question qui est dificile à repondre puisque «qu’est-ce que penser » est une question dont la reponse n’est pas necessairement évidentes,même si quand nous pensons nous savons que nous pensons.Nous pourrions par contre être definis comme étants des machines,c’est-à-dire comme des systèmes dynamiques et causaux,donc la question est-ce que les machines pensent est plutôt mal posé pour au moins deux raison.Le modèle de Turing s’applique à toute machine qui traite de l’information de manière formel.La question plus approprié serait pourquoi tel machine fonctionne de tel manière et une autre de tel autre.Pour bien circonscrire le problème de la cognition, il est préférable de faire une distinction entre structures(a) et fonctions(b)des machines,c’est-à-dire ce que (a)l’aspect materiel permets de faire(structure) et la (b)performance(l’operation le fonctionnement) de la structure dans l’actualisation de ces fonctions.Par rapport à la structure, l’intelligence artificiel à pour but de determiner l’effiquacité des outils de performances par rapport aux système informatique et les recherches de la cognition a pour but de determiner le fonctionnement de notre cognition par rapport à notre structure.Cette distinction permettras d’eviter les malentendus par rapport à la structure matériel de differentes machines,et donc d’utiliser le modèle de Turing de manière appropriée pour etudier nos modalités d’acquisitions des connaissances et de traitement de l’information.

    ReplyDelete
  6. Le test de Turing sert à classé ses propres résultats de manière hierarchique. Ce classement hierarchique dépend du niveau de l'humain à faire la distinction entre l'intelligence artificielle/robot et un autre humain, autrement dit; quel palier l'itelligence artificielle/robot peut se rendre avant que l'humain en question s'aperçoit qu'il n'est qu'intelligence artificielle/robot après tout. Le premier palier t0, est à mon avis un échec du test de Turing car l'intelligence/robot ne peut qu'effectuer qu'un nombre limité de tâches et rend du même coup la recognition facile pour l'être humain. Ensuite vient T2, qui semble marquer la première réussite du test de Turing. L'intelligence artificielle/Robot réussi réussi à tromper son interlocuteur au niveau du language. T3 tant qu'a lui, s'attarde no seulement au verbale/language mais aussi à ce qui est corporelle/physiqe. Pour atteindre le niveau T4, le sujet doit non seulement passer le T3 mais on y ajoute une partie neuronale, où l'on va utliser la neuroscience et être incapable d'en voir la difference. T5 serait une reproduction total d'un être humain même au niveau moléculaire.

    ReplyDelete
  7. Petite question sur la lecture.

    Si l'ordinateur n'est que computation, et que nous tentons de reproduire la performance humaine lors du test, il me semble que l'ordinateur ne sera jamais capable de passer le Test Turing, même le T2, dans la mesure où il ne sera jamais «indistinguishable» d’un humain. Je n'aborde pas la question de savoir si la machine ressent, où comprend ce qu’elle performe, mais simplement de reproduire la performance humaine.
    Si un humain a, par sa nature des défauts, comme l'oubli, qui peut se produire pour différentes raisons,un cas très simple serait disons l'effet d’interférence (bout de la langue), soit une interférence à se souvenir d'une information à un moment donné, sans aller trop en détails. Est-ce qu'un ordinateur doit reproduire cette «capacité», ce défaut, ou simplement faire le calcul que requiert une réponse à une situation donnée et arriver à la solution, puis en plus, calculer une probabilité qu'une interférence «sur le bout de la langue» arrive, et finalement simule le fait de ne pas être en mesure de donner la réponse?

    Où est-ce qu'on suppose que le modèle développé soit en mesure d'apprendre, à même titre que les humains et donc, que la machine aurait les mêmes défauts humains, car elle aurait développé les mêmes processus de cognition?

    ReplyDelete
  8. Selon Turing, La vraie question ne tient pas compte de la capacité réelle de penser pour une machine mais bien si son Test (ou jeu d’imitation) peut déterminer si une machine possède les capacités pour effectuer ce qu’un être pensant peut faire. Cette définition ressemble beacoup à notre définition de l’intelligence. Il définit par la suite très clairement ce qu’est une machine, soit tout système dynamique appliquant des principes causaux dans son fonctionnement.

    Lors du jeu, où la machine doit réussir à se faire passer pour un être humain, il est essentiel de masquer toute caractéristique qui n’est pas directement liée à la performance de «pensée» telles que l’apparence physique, la voix et même l’écriture puisque celles-ci sont considérées comme des compétences physiques dissociable de la cognition à proprement parler. Ceci étant dit, pour la machine de Turing, réussir le jeu ne semble par être suffisant pour qualifier la machine comme pensante, ni même la différenciation d’un homme et d’une femme si celle-ci était présentée au jeu en tant qu’interrogatrice, pour la simple raison que ce succès momentané ne représente en rien la complexité et la longévité de l’expérience de la pensée.

    Pour Turing, il existe donc une hiérarchie de Test capables de catégoriser les machines soumises au jeu, T2 et T3, .valuant principalement cette capacité à reproduire la pensée humaine, suivit de T4 et T5, qui examinent des caractéristiques plus physiques et donc infiniment moins pertinentes. Il est par la suite présicé que même si pour Alan turing, c’est T2 qui est significatif, car c’est à ce niveau que l’imitation débute, il est nécessaire d’avoir T3 pour se rapprocher le plus possible de la pensée car celui-ci inclut les compétences sensori-motrices. Plus important encore, les T2 et T3 sont ancrés dans la réalité, ce qui leur confère une force scientifique imcomparable à la nature théorique des Tests T4 et T5, malgré le fait que cest derniers sont aussi compatibles avec la notion que seuls les ordinateurs numériques, machines basées sur la manipulation symbolique algorithmique (donc computation) peuvent produire la cognition.

    Si il est vrai que cest Tests ont le pouvoir d’identifier une machine cognisante, il sera par contre pour toujours, selon Church/Turing, impossible d’oublier le problème des multiples consciences et donc de prouver que quelque chose d’autre que soit, les autres humains inclus, pense. Il est encore parfaitement inconcevable que nous puissions un jour projeter une conscience dans une autre dans le but de procéder à une analyser scientifique des processus causaux qui nous confèrent les capacités de faire ce que nous faisons et cela semble une bonne chose puisque l’analyse subjective de la pensée (ou introspection) a déjà été prouvée comme étant insuffisante à la recherche empirique.

    Question: Je ne suis pas certain d’avoir bien compris la partie avec le Test de Turing avec T2, lorsqu’on mentionne la possibilité de poser des questions sur le monde extérieur actuel par exemple, quelle serait la réaction de T2?

    ReplyDelete