CatComConU2016: 6a. Harnad, S. (2005) To Cognize is to Categorize: Cognition is Categorization

Saturday 11 January 2014

6a. Harnad, S. (2005) To Cognize is to Categorize: Cognition is Categorization

Harnad, S. (2005) To Cognize is to Categorize: Cognition is Categorization, in Lefebvre, C. and Cohen, H., Eds. Handbook of Categorization. Elsevier.

Le Martien, les champignons et les réseaux de neurones

S Harnad, A Cangelosi, M Coulmance - 2003

We organisms are sensorimotor systems. The things in the world come in contact with our sensory surfaces, and we interact with them based on what that sensorimotor contact “affords”. All of our categories consist in ways we behave differently toward different kinds of things -- things we do or don’t eat, mate-with, or flee-from, or the things that we describe, through our language, as prime numbers, affordances, absolute discriminables, or truths. That is all that cognition is for, and about.

Catégorisation I.

Catégorisation II.

résumé langue anglaise:

Cours ISC1000 2016 1:

Cours ISC1000 2016 2:

Cours ISC1000 2016 3:

Cours ISC1000 2016 4:

33 comments:

Unknown16 February 2016 at 08:40
La catégorisation des choses, réelles ou abstraites, se fait de deux manières : par essais-erreurs à l’aide de notre appareil sensorimoteur ou par ouï-dire, i.e. qu’on apprend de quelqu’un d’autre la définition de la catégorie.

Dans l’article, on suppose qu’un ensemble de base de catégories doit être appris par essais-erreurs, puisque toute définition par ouï-dire doit nécessairement référer à des catégories apprises par essais-erreurs en bout de ligne.

On dit qu’il doit en être de même pour les catégories abstraites, comme « justice ». J’ai utilisé mon dictionnaire pour tenter de remonter à des catégories qui pourraient être non abstraites et être apprises par essais-erreurs dans le monde réel. Je n’y suis jamais arrivé ! La définition de justice est toujours circulaire sur des catégories abstraites. Évidemment, mon exemple n’a rien d’une démonstration mais je me demande si cela ne signifie pas qu’il y a dans la catégorisation plus que les différences et similitudes.

Est-ce la catégorisation utilise aussi le contexte complet comme source d’apprentissage. Par exemple, un terme comme « justice » peut être appris en l’associant à une série de contextes : punitions reçues par nos parents ou enseignants à la suite d’un geste répréhensible, reportages télé de causes au tribunal, image d’une balance (la symbolique de l’équilibre joue certainement un rôle dans notre compréhension de la « justice »).

Dans ce cas, l’émotion ressentie lors des punitions est probablement l’élément le plus important pour comprendre la notion de justice. Est-ce l’émotion vient directement du sensorimoteur ou est engendré par lui ? Ainsi un T3 qui n’a pas d’émotions, si on suppose que la biochimie du cerveau humain est clé dans le support des émotions, pourrait-il catégoriser les abstractions ?
ReplyDelete
Replies
Unknown16 February 2016 at 18:07
Ici on cherche à constituer une expliquation interne de la theorie de « l’affordance » de Gibson.Gibson affirme que notre perception visuel se structure par rapport à la disponibilité plus ou moins grande des elements de notre environnement et par le positionnement de notre corps et les action aprehendé comme possible(de manière préréflexive)par celui-ci.Il s'agit d’une tentative d’explication de la perception ou l’on commence par la périphérie et où l’on cherche à l’expliquer par la relation organisme-percevant,environnement percus. La strategie dans ce texte est d’expliciter ou de chercher à expliquer ce qui se produit «dans»l’organisme percevant quand il perçoit son environnement. Les schèmes sensori-moteur abstraient certains élements de la perception immédiate qui peuvent être reconnue,ces élements abstrait de la perception immédiate constitue des catégorisations que l’organisme percevant et ses schême sensorie-moteur utilise pour aider à sorienté par rapport à sont environnement percus.
ReplyDelete
Replies
Unknown18 February 2016 at 21:06
Le neurone artificiel formel, développé par McCulloch et Pitts en 1943, est une représentation des composantes du neurones par des valeurs numériques. L'intelligence proviendrait du cerveau, le cerveau est composé de neurones, donc les neurones sont à la base de l'intelligence. Un neurone serait capable de faire une fonction logique de base (&, ou, négation) donc plusieurs neurones seraient capables de faire des choses plus complexes. Les différentes parties du neurone artificiel, inspiré du neurone biologique, sont les suivants :
- Corps cellulaire (soma) est la partie qui envoie un signal si le seuil d'activation (théta) est dépassé
- Dendrite reçoit la somme pondérée des signaux des autres neurones (entrée x)
- Axone envoie le signal vers les autres neurones (sortie y)

Selon le postulat de Hebb (1949), “quand un axone de la cellule A est assez proche pour exciter une cellule B et quand, de façon répétée et persistante, il participe à son activation, un certain processus de croissance ou un changement métabolique s’installe, dans une cellule ou dans les deux, tel que l’efficacité de A, en sa qualité de cellule qui active B, est augmentée”.
En d'autres termes, si 2 neurones sont excités simultanément, ils augmentent la force de leur interconnexion (= poids synaptique). C'est le principal fondement de la règle d'apprentissage dans un réseau de neurones artificiels.

Un réseau neurones artificiels est composé de
- Neurones d'entrées qui reçoivent l'info de l'environnement
- Neurones cachés qui permettent de complexifier le réseau en donnant de la puissance de calcul (si trop peu : réponse trop simple ; si trop nombreux : sur-apprentissage, perte de la généralisation)
- Neurones de sortie connectés à d'autres neurones et envoient une réponse
Le réseau peut avoir une dynamique feedforward, c'est-à-dire de l'entrée vers la sortie ou bien une dynamique récurrente où les connexions forment une boucle.
La rétropropagation (backpropagation) du gradient de l'erreur est une méthode d'apprentissage supervisé qui va comparer une réponse attendue à la réponse donnée. Cette méthode va de la sortie vers l'entrée afin de déterminer le(s) neurone(s) contribue à l'erreur pour diminuer son poids synaptique.
ReplyDelete
Replies
Unknown18 February 2016 at 21:14
Les connaissances des êtres humains seraient acquises par apprentissage en temps réel, par essai-erreur avec un feedback immédiat qui indique si la réponse fournie est bonne ou non. Pour déterminer la réponse à fournir, il faut être capable de classer les stimuli dans le but de donner la réponse la plus adaptée. La perception catégorielle nous permet de grouper des stimuli variant de façon continue dans des catégories distinctes. Cette capacité de perception est également visible dans les réseaux de neurones artificiels formels avec apprentissage par feedback rétroactif (= "rétropropagation de l'information sur l'écart entre réponse fournie et objectif à atteindre").

Le but de la simulation est de comparer la capacité de catégorisation en fonction d'un apprentissage sensori-moteur (confrontation réelle au stimuli par essai-erreur) vs. un apprentissage symbolique (vocalisation des individus indiquant le comportement à avoir). Dans la simulation, un groupe d'individus doit apprendre à choisir les champignons comestibles, les marquer et revenir aux emplacements de certains champignons. La différence entre les deux types d'apprentissage sera déterminée par le nombre de retour à l'endroit marqué des champignons.

Il y a deux stades dans cette simulation :
- Stade 1 : apprentissage du comportement et de la vocalisation :
Instructions :
_ si A, alors manger ;
_ si B, alors marquer ;
_ si A&B, alors manger et marquer ;
_ si autres caractéristiques, alors ignorer ;
_ si champignon est de telle manière alors vocaliser de telle manière ;
Comparaison de la réponse attendue et la réponse réelle, en fonction, ajustement des poids synaptiques (augmentation ou diminution de l'efficacité des connexions) = rétropropagation de l'erreur
- Stade 2 : comportement de retour : 2 groupes
_ Capture sensori-motrice (essai-erreur, rétropopagation)
_ Capture symbolique (avec vocalisation)

Les résultats indiquent que le nombre de retour sur les emplacements sont plus nombreux pour le groupe capture symbolique (vocalisation), donc par communication. La stratégie d'acquisition de la catégorisation la plus efficace est celle par capture symbolique.
ReplyDelete
Replies
Unknown20 February 2016 at 21:33
Explication de texte pour frère cadet :
Pour agir efficacement dans un monde, on utilise une base de connaissances catégorielle, c'est à dire qu'on divise la réalité en différentes boites (les « catégories ») rassemblant une multitude d'objets. Chaque boite détermine des caractéristiques communes que doivent posséder les objets pour en faire partie. On lui donne ensuite un nom symbolique arbitraire. Par exemple, pour appartenir à la catégorie « chien », le stimulus que je perçois doit être un mammifère, être carnivore, et aboyer.
Certaines connaissances catégorielles sont innées, d'autres acquises suite à des essais erreurs. Enfin certaines sont apprises grâce à un échange vocal existant via le langage, qui permet de savoir si x stimulus appartient à une catégorie sans passer par le processus d'essai erreur.

Une fois un certain répertoire de catégories acquis, cela fait en sorte d'accéder à des possibilités combinatoires permettant de créer de nouvelles catégories (cheval + rayures = zèbre).
Notons qu'il est essentiel de posséder une certaine base de connaissances acquise pour cela : il faut pouvoir associer le nouveau symbole à quelque chose de connu pour comprendre. Je peux visualiser un zèbre bien que je n'en ai jamais vu en vrai si on me le décrit comme « un cheval qui a des rayures », mais je ne peux pas le faire correctement si j'ignore le sens du mot « cheval »! Cela nous renvoie à l'image du dictionnaire, où pour comprendre un nouveau mot il est essentiel d'avoir une base de connaissances antérieure.

On appelle perception catégorielle le phénomène nous permettant d'avoir une perception discrétisée d'un stimulus pouvant varier de manière continue. Par exemple, concernant ma perception de l'état physique de l'eau, je vais subdiviser ses différents états en « solide» (glace), « liquide » et « vapeur » ; alors qu'en réalité ces différents états existent sur un continuum. Ajoutons que dans ma perception, je verrai moins de différences entre de l'eau liquide très chaude (qui se rapproche plus de la vapeur sur le continuum) et de l'eau liquide très froide (qui tend à se rapprocher de l'état solide ) ; qu'entre de l'eau liquide et de la vapeur. Pourtant l'écart physique entre les deux comparaisons est le même : ce qui veut dire qu'on a tendance à réduire l'écart perçu entre les différents exemplaires d'une catégorie et à augmenter celui qui concerne deux catégories différentes. On parle de compression / dilatation.

Lorsque l'on apprend à intégrer un nouveau stimulus dans une catégorie déjà présente dans notre base de connaissances (ex : ce champignon inconnu appartient-il à la catégorie « comestible »?) ; il a été montré que la capture symbolique de l'information (qui se fait sur la base de vocalisation, rendu possible par le langage) est plus efficace que la capture sensorimotrice (basée sur l'essai-erreur). En effet, cela permet d'amplifier le phénomène de perception catégorielle décrite précédemment (qui permet l'accroissement des processus de compression / dilatation), ce qui amène à une catégorisation plus efficace au niveau comportemental.

Le langage influence donc la façon dont nous percevons le monde car il a une incidence directe sur le phénomène de catégorisation. Par exemple, si j'ignore la différence entre un bleu de klein et un bleu marine car je les range tous les deux sous la catégorie « bleu », il y a de fortes chances pour que je ne remarque pas la différence entre les deux couleurs lors d'une exposition de peinture.
ReplyDelete
Replies
Unknown21 February 2016 at 15:02
La catégorisation est un phénomène qui a permis à diverses espèces tant de survivre, via des capacités de catégories innées, ainsi que d’évoluer, notamment en acquérant des comportements adaptatifs appropriés via les catégories apprises. Chez l’être humain, la construction de catégories apprises (que les choses soient concrètes ou abstraites) peut se faire de deux manières. Tout d’abord, l’apprentissage doit se faire par un processus d’essais-erreurs à l’aide de nos capacités sensorimotrices, c’est-à-dire nos cinq sens ainsi que la motricité. Elle peut aussi se faire par ouï-dires, ce qui signifie l’apprentissage d’une nouvelle catégorie grâce à l’association de symboles déjà catégorisés. C’est dans ce contexte que l’avantage de l’usage du langage chez l’être humain se fait nettement sentir. L’usage du langage chez l’être humain permet d’emblée d’installer un ‘’sens commun’’, ce qui permet de faciliter une catégorisation et ainsi que communiquer les apprentissages, les découvertes. Il serait intéressant de bien comprendre jusqu’où l’acquisition du langage chez l’être humain, et par conséquent tout l’aspect de socialisation, ont eu un impact sur les comportements évolutifs et adaptatifs, et par conséquent, la construction de nos connaissances telles qu’elles sont aujourd’hui. De surcroit, je crois qu’il est important de préciser que la langage ne permet pas uniquement de catégoriser via l’attribution de symboles sur des objets, mais bien de préciser les contextes liés aux apprentissages, et qui ont aussi un impact sur notre compréhension. Tout comme dans le texte ‘’Le Martien, les champignons et les réseaux de neurones’’, on apprend au fil de la catégorisation que là où un champignon AB sera trouvé, il en poussera forcément d’autres. On pourrait dire que la catégorisation est de la computation en ce sens qu’il s’agit toujours d’un processus similaire. Je ne crois toutefois par que nous puissions en venir à dire que la catégorisation est de la cognition, puisque la pensée comporte plusieurs dimensions que nous ne pouvons expliquer uniquement via la computation, notamment alors que nous ne sommes pas en mesure d’expliquer comment nous le faisons, contrairement à la computation.
ReplyDelete
Replies
Mariane Doucet23 February 2016 at 07:32
Résumé du texte «Le Martin, les champignons et les réseaux de neurones»

Le texte donne un modèle simple sur lequel on peut se baser afin de réfléchir à la question
« est-ce que cogniser signifie catégoriser ? » On mentionne d'abord qu'il existe deux types d'apprentissages qui nous permettent de séparer les éléments en différentes catégories : les apprentissages par essai-erreur et les apprentissages par ouï-dire, soit ceux qui sont construits suite à l'écoute de nos paires. D'emblée, on voit qu'il n'y a que le second type d'apprentissage qui nécessite le langage. Mentionnons que le langage est la caractéristique évolutive qui nous démarque le plus des autres animaux; c'est pourquoi le texte se demande aussi si cette capacité à se transmettre de l'information précise par voie orale est si utile. Afin de tester l'utilité du langage et de voir lequel des deux types d'apprentissages est plus adaptés, on utilise un modèle simple : 100 individus reproducteurs doivent apprendre à différencier les types de champignons qui les entourent afin de survivre. En se rappelant le principe de la machine de Turing, il est simple de comprendre que le mode de communication est basé sur un système binaire (0,1). On différencie les champignons picotés (qui doivent être mangés) et les champignons avec un pied grisé (qui doivent être marqués). Une combinaison des deux caractéristiques est possible et lorsque c'est le cas, on doit retourner à l'emplacement où ils étaient car ce n'est qu'à cet endroit qu'ils poussent. Ainsi, lorsqu'on retrouve la caractéristique, on émet un 1 et dans le cas contraire, un 0. Après avoir reçu l'information (constitué d'une série de 1 ou de 0), l'individu devra décoder le message et déterminer s'il mange et/ou marque le champignon. Évidemment, cette communication n'est possible que par le second type d'apprentissage, que si le langage est présent. L'apprentissage par essai-erreur est plus primaire : ils vont supervisés le premier groupe d'individus, apprendre les caractéristiques et le comportement associé. La différence est que dans l'apprentissage par ouï-dire, qu'on appelle aussi capture symbolique, on reçoit de l'information vocale et l'on est pas obligé d'imiter le comportement pour comprendre. Sans grande surprise, après des calculs dont je ne comprends pas vraiment l'origine, on s'aperçoit que les individus qui possédaient le langage, donc par capture symbolique, ont été plus efficaces lorsqu'est venu le temps de retourner à l'endroit où les champignons picotés et au pied grisé poussaient. Pourquoi ? Parce que langage aiguise notre perception catégorielle (aptitude à catégoriser). Le langage permet de distinguer deux éléments très similaires et il permet d'agencer plusieurs caractéristiques ensemble (comme nous l'avons vu avec l'exemple des champignons).
ReplyDelete
Replies
Mariane Doucet23 February 2016 at 08:25
Alors, est-ce que cogniser revient à catégoriser? À la fin du texte, on mentionne la faiblesse de l'argument des champignons en expliquant que c'est un modèle très simplifié et ainsi qu'on ne peut pas l'appliquer à la vie réelle. Je ne suis pas vraiment d'avis que le modèle est trop simple, car depuis le début du cours nous parlons de la machine de Turing pour nous aider à réfléchir sur la question « est-ce que la cognition n'est que de la computation? ». La machine de Turing est, je crois, un modèle encore plus simplifié que celui des champignons! Toutefois, je ne suis pas plus « catégoriste » que je ne suis « computationaliste ». D'où viendrait la créativité si tout n'était que catégorisation? J'ai lu la section «Instrumental Learning » du premier texte, mais il ne répond pas à la question de la création de la musique. Je suis tout à fait d'accord que le fait d'apprendre à jouer du violon relève de la catégorisation : telle note émet tel son donc cet agencement de notes donnera telle mélodie. Toutefois, les compositeurs eux ne se sont pas contenter de catégoriser, ils ont créé, ils ont innovés. Ils sont sortis des sentiers battus, alors comment auraient-ils pu catégoriser? Je ne parle pas des essais-erreurs de certaines mélodies qu'ils ont fait ou du résultat final qui relève encore de la catégorisation, je pense de l'essence même de leur idée, d'où est venue cette envie de créer et cette inspiration nouvelle? Certainement pas de la catégorisation.
ReplyDelete
Replies
Unknown23 February 2016 at 10:23
Voici les impressions qu’a suscités chez moi le texte To Cognize is to Categorize : Cognition is Categorization :
1. Cela peut sembler un peu farfelu, mais le texte m’a beaucoup fait penser à certains enseignements bouddhiques. En effet, certains écrits bouddhiques enseignent que la souffrance vient de l’ignorance et que la délivrance est l’épuisement de l’erreur. L’idée de l’épuisement de l’erreur suggère que l’on essaie plusieurs possibilités jusqu’à ne plus faire d’erreur, ce qui rappelle étrangement l’essai-erreur et la correction par le feedback dont on parle dans la partie du texte portant sur l’apprentissage supervisé (j’ai traduit littéralement ‘’supervised learning’’ car je ne sais pas quel est le véritable équivalent français de cette expression). Également, on peut comprendre de ces enseignements que, pour contrer l’ignorance, il faut réduire l’erreur. Or, ce qui contrer l’ignorance est la connaissance vraie, dont la base est l’information. On retrouve donc ici l’idée de l’information comme étant une réduction de l’incertitude dont on parle dans le texte. Je trouve vraiment intéressant de retrouver des concepts similaires dans des cadres de pensée aussi différents que ceux de la recherche scientifique occidentale et de la philosophie orientale : cela nous rappelle que nous sommes tous humains et que nous cherchons tous, à notre manière, les réponses aux mêmes questions.
2. Dans la section 6 intitulée Learned Categories, monsieur Hasnad explique que les catégories sont, en grande parties, apprises plutôt qu’innées. Bien qu’il présente des preuves qui me semblent suffisantes de cette affirmation dans les paragraphes subséquents, et malgré le fait que j’aie tendance à la considérer comme vraie, j’ai trouvé étrange qu’il l’introduise en écrivant : «The question to ask yourself is : was I born knowing what are and are not in these categories, or did I have to learn it?», alors qu’il a dit à maintes reprises que l’introspection n’est pas utile pour comprendre la cognition. De plus, poser le problème ainsi exclue de facto la possibilité – certes, peu crédible, mais tout de même – que les catégories soient innées mais qu’elles prennent du temps – tout comme le fait le corps – pour se développer.

ReplyDelete
Replies
Laurianne Bédard23 February 2016 at 15:17
Les premiers points du texte «To Cognize is to Categorize : Cognition is Categorisation» résumés en français;
Les systèmes sensorimoteurs Les organismes ont des systèmes sensorimoteurs, grâce auxquels ils peuvent interagir avec des objets physiques. Le contact entre un objet physique et les surfaces sensorielles est l’interaction entre l’organisme et l’objet. De ce fait, notre interaction est modulée par ce que permettent les systèmes sensorimoteurs.
Les invariances  Ce que le système peut faire est en fonction de ce qui peut être tiré des interactions motrices avec les entrées sensorielles. Une capacité complexe engendrée par les systèmes des organismes est l’aptitude de l’invariance. Par exemple, un boomerang en mouvement peut être reconnu comme ayant la même forme et la même taille même si sa forme et sa taille sont modifiées par sa trajectoire, sa forme est pourtant invariable à nos yeux. Ceci est l’invariance. Nos systèmes ont la capacité d’extraire l’invariance (dans ce cas-ci la forme et taille de l’objet) dans le boomerang et la projeter en constance visuelle.
Catégorisation Avoir la capacité de détecter des simulations ou des invariances n’est pas trivial et cela est démontré dans les tentatives des chercheurs. Ils tentent de reproduire des sensorimoteurs robotiques, mais ils peuvent expliquer qu’une petite partie de sous secteurs de nos capacités motrices. Arrive ici la catégorisation. La catégorisation est une interaction différentielle entre un système sensorimoteur autonome, adaptatif, et son monde. Elle est systématique, les interactions ne sont pas arbitraires. Ce n’est pas qu’un système dynamique simple, comme le vent et le sable dans le désert, qui ne fait qu’interagir selon les lois de la physique. Les composantes de la nature sont un système dynamique, mis à part quelques exceptions. Les systèmes dynamiques évoluent dans le temps. La catégorisation aussi est affectée, la même entrée à travers le temps ne produira pas la même sortie. La catégorisation implique des genres et elle se produit lorsque la même sortie arrive avec le même genre d’entrée. Il n’est pas nécessaire d’avoir une entrée exactement pareille pour engendrer la même sortie. Similairement, une autre sortie est engendrée avec un autre genre d’entrée (d’où le différentielle).
ReplyDelete
Replies
Unknown26 February 2016 at 02:24
Dans Harnad, S. (2005) To Cognize is to Categorize: Cognition is Categorization, je n'ai pas compris le concept de catégorie sous déterminées ("underdetermined"). Pourriez-vous le développer svp ?
ReplyDelete
Replies
Unknown26 February 2016 at 09:17
Il a été dit dans le cours que les grands singes n’avaient pas les catégories «justice», «vérité», etc. puisqu’il leur manque un certain niveau d’abstraction. Si j’ai bien compris, ils sont capables de distinguer un entraineur qui dit la vérité (ex. un entraineur qui leur indique que la nourriture se trouve dans une boîte dans laquelle il y a effectivement la nourriture) d’un entraineur qui ment/les trompe (ex. un entrainement qui leur indique que la nourriture se trouve dans une boîte qui est vide). Par contre, ils ne semblent pas capables d’abstraire un concept général de telles expériences, ce qui les empêche de généraliser leur expérience de «vérité». Ils sont donc incapables de réellement comprendre ce qu’est la catégorie «vérité». En conséquence, si un entraineur ment dans une nouvelle situation, les grands singes peuvent le réaliser, mais ne pourraient pas le traiter de menteur. Ils n’ont pas de concept général (ex. un mot ou une expression) associé à toutes leurs expériences de mensonge. Cette capacité serait propre aux humains.
Bien qu’il est vrai que les grands singes sont incapables de vocaliser des mots (seuls les humains sont capables), certains ont tout de même réussi à apprendre le langage des signes. C’est entre autre le cas de Koko, un gorille femelle. Pour ceux qui ne savent pas qui est Koko, voici un documentaire qui a été fait sur elle :
http://www.dailymotion.com/video/xv0c67_conversations-avec-koko-le-gorille_animals
Non seulement Koko comprend et utilise de manière adéquate 1000 signes du ALS (langue des signes américaines), mais elle est aussi capable de les comprendre à l’oral. Elle utilise souvent des signes dans le documentaire pour dire qu’elle est «triste» ou qu’elle est «gentille». Pour moi, ces concepts/catégories nécessitent le même niveau d’abstraction que «vérité» et «justice». Ainsi, je ne pense pas que les humains soient les seuls à avoir la capacité d'apprendre de telles catégories.
J’ai aussi trouvé très intéressant le fait que Koko soit capable de créer des mots composés comme «peigne à gratter» pour désigner une brosse et «doigt bracelet» pour désigner une bague. Cela montre qu’elle est capable de décrire des nouvelles catégories à l’aide de celles qu’elle connaît déjà (comme dans l’exemple du zèbre qui a été donné en classe : un zèbre ressemble à un «cheval avec des rayures noires et blanches»).
Ce qui est très intéressant aussi, c’est qu’elle montre à ses poupées gorilles les premiers signes qu’elle a appris (boire, manger et encore). Elle semble donc avoir la capacité et la volonté de transmettre ce qu’elle a appris!
ReplyDelete
Replies
Olivier Binette2 March 2016 at 09:41
L’apprentissage est-il possible?

Je souhaite présenter le modèle du Probablement Approximativement Correct (PAC), qui rend compte de l’apprentissage supervisé. C’est une des théories fondatrices de l’apprentissage machine. Elle démontre que l’apprentissage d’une catégorie « apprenable » peut être réalisé de façon algorithmique à partir d’une quantité finie d’information. Ce qui suit est un peu technique, et présente les grandes lignes de la théorie et de la démonstration.

On débute avec les 5 notions fondamentales à la théorie. Nous verrons ensuite un théorème qui permet d’affirmer qu’une catégorie est aprenable.

1. On considère un ensemble E d’objets, où chaque élément de E est soit membre d’une catégorie C, soit non-membre, et puis un ensemble H d’hypothèses de départ sur ce que pourrait être la catégorie.

2. On reçoit des exemples de bonne catégorisation: des éléments de E sont pigés au hasard (indépendamment et selon une distribution de probabilité quelconque) et il leur est associé l’étiquette « membre » ou « non-membre ».

3. Un algorithme d’apprentissage prend les exemples avec leur étiquette, et puis nous retourne une hypothèse de H.

4. L’hypothèse retournée par l’algorithme nous permet d’effectuer la catégorisation des éléments de E avec un certain niveau d’erreur. Deux types d’erreurs sont à considérer: l’erreur empirique par rapport aux exemples de bonne catégorisation déjà donnés, et l’erreur de généralisation qui est l’erreur moyenne si l’on continuait de piger au hasard (selon la même distribution que précédemment) de nouveaux exemples.

5. On dit que la catégorie C est apprenable si avec suffisamment d’exemples, l’erreur de généralisation peut être arbitrairement petite avec une probabilité arbitrairement grande.

Remarque. L’erreur de généralisation dépend des exemples qui seront hypothétiquement pigés au hasard, et c’est pourquoi il y a une condition en probabilité sur sa grandeur.

Il existe des bornes probabilistes sur l’erreur de généralisation, en fonction de l’erreur empirique, du nombre d’exemples donnés, et puis de la « complexité » de l’ensemble d’hypothèses. En particulier, on a le théorème suivant.

Théorème. Si l’ensemble d’hypothèses est fini, alors avec suffisamment de données, l’erreur de généralisation peut être arbitrairement proche de l’erreur empirique avec une probabilité arbitrairement grande.

Corollaire. Si le théorème précédent s’applique et que l’erreur empirique sur les exemples peut être arbitrairement petite, alors la catégorie est apprenable.

Conclusion.
Il faut retenir que l’apprentissage n’a rien de mystérieux ou de particulièrement humain. Même un ordinateur, mécaniquement, en un nombre fini d’étapes et avec un nombre fini de données, peut apprendre.
J’ai aussi présenté le modèle PAC en prévision de la discussion sur l’apprentissage du langage et l’argument de la pauvreté du stimulus. Nous venons de voir que ce type de question peut être traité par les mathématiques, et il sera peut-être intéressant de voir ce qu’elles ont à en dire.

Référence : M. Mohri, A. Rostamizadeh et A. Talwalkar, Foundations of Machine Learning, The MIT Press
ReplyDelete
Replies
Christopher Lemonnier6 March 2016 at 18:50
La catégorisation, c’est faire la bonne chose avec chaque chose. La «bonne» chose est ici entendu au sens évolutif de «permettant la survie», effectuer la catégorisation d’une récolte de champignons est ainsi manger ceux qui sont comestibles et rejeter ceux qui sont vénéneux.

Il existe des catégories innées. apr exemple, selon Chomsky, le fait de detecter et de générer des phrases convenant à al grammaire universelle constitue un élément inné, non pas au sens non-appui ou évolutif, mais comme étant inhérent è la forme et au fonctionnement du cerveau humain.

Il existe également des catégories apprises, c’est le cas de la majorité d’entre elles.

il existe également plusieurs types d’apprentissages. L’apprentissages supervisé est un apprentissage par essai et erreur, conditionné apr les conséquences, bonnes ou mauvaises, d’un choix de catégorisation. L’apprentissage apr observation simple est plutôt une catégorisation évidente, rendue triviale par la nature des choses catégorisées.

La perception catégorielle est l’effet sensoriel de la catégorisation. C’est un effet «accordéon» sur un dégradé.
ReplyDelete
Replies
Unknown6 March 2016 at 18:55

Birds and snakes are different categories. Just look up in the dictionary and you’ll find a different definition for each one of them. What makes a bird different from a snake? Which features does a bird have that a snake doesn’t? It is certainly not the eyes. Those two types of animals have eyes. These features would be irrelevant in distinguishing a bird from a snake. A bird has wings and a snake has a longitudinal body made out thick skin. These features characterize each one of those categories. I have no doubt there are more. The more we know about the features that characterize a category the more we distinguish it from other categories. The more I know about the unique features of a bird the more I can differentiate it from a snake and the more the distance between categories grows. Ultimately, I will ignore the features that are shared between categories and perceive only the features that are unique to the category. Features that are only owned by a specific category are called invariant attributes. These types of features allow faster recognition of objects in the world. Most importantly, categorization allows us to act upon specific objects in the right way.

Some categories are learned while others are innate. The distinction made between the colors of a rainbow is innate. The distinction between edible fruits from non-edible fruits is learned by trial and error (supervised learning) or by communication (unsupervised learning). Supervised learning can be illustrated by the fact that if you eat non-edible fruits you will start to get sick and eventually not eat those fruits. The physical characteristics of the non-edible fruit will be remembered and will be placed in the category “fruits that make me sick” or “non-edible fruits”. On the other hand, by eating fruits that alleviate your hunger and make you feel good, you're probably going to remember the features of these edible fruits and you’ll categorize them in “fruits that make me feel good” or “edible fruits”. Someone who writes down all the characteristics of the edible fruits and of the non-edible fruits and passes them to you is making you learn categories in an unsupervised way.

Supervised learning presupposes that error exist. In the realm of causality error can’t exist. If error did exist, it would mean that causal relations have an end. And if there is a particular end to anything, it would mean that something knows everything beforehand, that something is regulating how the world revolves. The laws of physics maybe are. In any case, when it comes to the human or any autonomous organic system, the content of its categorical perception is unarguably deeply rooted in its needs. In the case of the human, these needs underlie everything a human does. These needs give a kind of vitalism, a reason to live to any organic living form. If any kind of machinery had to be built in order to validate our understanding of cognition, it would have to have a sort of vitalism that makes it want to categorize in an autonomous way. For example, it would need to know that if it falls it could hurt itself and therefore not be able to move and so on. Computation is not sufficient for the machine to know every possible situation that could hurt it. The machine would need a dynamic system that enables it to act upon its environment depending on its internal needs.

ReplyDelete
Replies
Laurianne Bédard6 March 2016 at 20:27
La catégorisation est la façon de tirer les traits particuliers de ce que l’on perçoit (objet, actions, etc.) et de les cataloguer dans certaines catégories plutôt que d’autres, en fonction de ces traits spécifiques. Certaines actions sont possibles et d’autres impossibles avec les différentes catégories. Cela nous permet de faire ce que l’on doit faire avec la bonne chose pour le faire. Ce processus mental à des répercussions très évidentes sur le mode de vie humain actuel. Ce principe, dans une école secondaire par exemple, peut apparaitre sous forme de clans chez les jeunes, certains sont valorisés, d'autres sont négligés, etc, en fonction de la catégorie où se trouve l’étudiant. Cela ne s’arrête pas à la cour du secondaire. La catégorisation se reflète dans les habitudes, les achats, les préjugés, les choix de carrières, bref elle peut prendre une infinité de formes et est présente partout.
Dans le sens où la catégorisation nous permet un jugement critique, supporté par la comparaison et la discrimination de certains traits, sommes-nous réellement aptes à prendre des décisions qui engendrent des actions sur le monde, ou sommes-nous dangereusement anosognosiques et inconscients des réelles actions nécessaires pour préserver la vie (tous les organismes vivants)? Certes elle nous a permis les individus complexes que sont les êtres pensants d’aujourd’hui, mais peut-elle être néfaste pour ces mêmes organismes? Et si cette évolution tant formidable dans l’avancement vers la complexité était en fait un processus voué à l’échec?

ReplyDelete
Replies
Unknown14 March 2016 at 17:14
À la lecture du texte les martiens, les champignons et les réseaux neuronaux, je comprends qu’il existe plusieurs moyens de catégoriser c’est à dire savoir quoi faire avec la chose avec laquelle il faut le faire. Je ne vois pas ici l’intérêt de remettre en doute l’efficacité de la catégorisation par ouï-dire dans un optique évolutionnaire. Je pense en effet que le langage permet une économie de temps pour ce qui est de l’acquisition de connaissances. Il est aussi clair qu’un tel type de catégorisation requiert une étape de constitution c’est à dire la mise en place de certaines catégories par essai-erreur ou tout simplement de façon innée. Vient ensuite le langage qui par combinatoire permet d’élaborer d’autres catégories.

Ma question est la suivante: étant un humain de 22 ans ayant déjà acquis un nombre considérable de catégories serais-je en mesure d’être fonctionnel sans ne plus jamais avoir recours à la catégorisation par essaie-erreur? Cette question étant trop complexe à répondre, une seconde question survient: Est-ce que tommy notre robot ayant réussi le test T3 de Turing a accumulé un certain nombre de catégories en mémoire serait en mesure de réussir le test T2 si on déconnectait tous ses fonctions analogues? Répondre par la positive à cette question signifierait alors qu’il existe, pour l’environnement dans lequel nous évoluons, une base de catégories pouvant générer toutes les autres catégories.

Il existe bien sûr une infinité de nombres, de phrases, il ne vient pas à mon esprit un nombre qui ne puisse être généré par la combinatoire d’autres nombre, ou de phrase qui n’est pas constitué d’éléments plus simples. Je suis conscient que l’environnement est en continuel changement, or même malgré ces changements certaines composantes de bases sont constantes : le rouge sera toujours le rouge et il ne sera sans doute j’aimais possible d’ajouter une autre couleur au cercle chromatique. Je pense que notre interaction avec notre environnement sera toujours décomposable en éléments plus simples.

Une piste de réfutation de mon hypothèse pourrait se trouver dans la théorie de la gestalt selon laquelle le tout est plus grand que l’ensemble de ses parties. Cependant je ne vois pas d’explication logique à cette théorie.
ReplyDelete
Replies
Unknown15 March 2016 at 12:57
Le martien, les champignons et les réseaux de neurones

Comment acquière-t-on des connaissances ? Selon les auteurs de ce texte, il y a deux principales manières : l’une est un apprentissage par essai-erreur qui consiste à tirer profit des tests que l’on fait de manière continu dans notre environnement (l’essai de manger des champignons comestibles nous apprend ou plutôt nous induit que les prochains champignons de ce type seront comestibles) ; l’autre est un apprentissage par ouï-dire, fondé sur l’interlocution entre un auditeur et un locuteur sur un phénomène donné : « Stop ! Vénéneux ! » : discours suffisant pour que nos semblables apprennent en écoutant notre locution qu’on ne DOIT pas manger de ce champignon si nous voulons survivre.
Mais que nous révèlent ces deux façons d’appréhender l’acquisition de connaissances ? Selon les auteurs, cela nous faciliterait la compréhension de l’acquisition progressive de notre capacité langagière par le biais de la sélection naturelle, c’est-à-dire suivant les avantages qu’elle nous aura (nous les hominidés) permis de posséder tout au long de notre évolution.
La méthode par ouï-dire semble clairement la plus avantageuse et la moins coûteuse : en effet, si nous nous limitons grâce à un apprentissage individuel au test de tous les nouveaux aliments que nous rencontrons, il y a une forte probabilité pour que nous décédions rapidement ! A l’inverse, un simple enregistrement ou signe-symbole (qui n’est pas encore le langage verbal à proprement parler) suffisant pour avertir du caractère mortifère d’un champignon vénéneux.
Comment peut-on apprendre à discriminer les champignons vénéneux de ceux qui ne le sont pas ? Tout commence par la constitution par essai et erreurs (et non d’un apprentissage par essai et erreurs ! Car beaucoup plus dangereux !) d’une sorte de valise à catégories. On acquière cette dernière grâce à notre classification sous une certaine étiquette symbolique arbitraire d’un certain nombre d’attributs communs à un même objet. Ces attributs, une fois extraits de leur objet réel grâce à nos cinq sens (perception catégorielle), sont abstraits sous un même nom symbolique afin que tous les membres d’une espèce, ayant accès à ce signe-symbole commun, puissent l’interpréter de la façon suivante : cet objet est comestible ou non, selon qu’il est une certaine couleur en input, par exemple, qui nous donne l’information « non-comestible ».
ReplyDelete
Replies
Unknown7 April 2016 at 12:01
Après ma lecture « Le martin, les champignons et les réseaux de neurones » de S. Harnad et d’ A. Cangelosi, dire que la cognition serait de la catégorisation est plausible. Pour pouvoir catégoriser des choses réelles ou “abstraites“ on le fait par essais-erreurs ou par ouï-dire. Mais avant de transmettre par ouï-dire, la catégorisation a du se faire par essais-erreurs pour savoir par exemple si tel aliment est comestible ou non, pour pouvoir le transmettre au autre personne. L’essais-erreurs serait une autre forme d’apprentissage qui serait plus personnelle pour chaque individus, pour pouvoir catégorisé les « objets » et leur donner un sens, de la nous pouvons dire que c’est de la cognition car nous devons être capable de nous rappeler quels objets est dans quels catégories, pour pouvoir le transmettre par ouï-dire. Le langage aura eu une influence sur le monde qui nous entour, le langage aurai aidée à la catégorisation des objets, au début surement par des simple “cris“ de plusieurs tonalités, pour communiquée avec les autres individus. Alors es que ce serait la catégorisation qui aura aidée l’évolution du langage chez l’homme ? Pour pouvoir avoir une catégorisation par ouï-dire plus claire que de simple cris ?
ReplyDelete
Replies
Unknown11 April 2016 at 18:00
FUNES LE MÉMORIEL Jorge Luis Borges
http://www4.ncsu.edu/~jjsakon/FunestheMemorious.pdf

Funès, un homme ayant été victime d’un grave accident de cheval, demande à son ami un texte en latin accompagné d’un dictionnaire en latin car il ne connait aucun mot de latin.
Cela fut suffisant pour qu’il apprenne la langue et puisse réciter le livre au complet.
Il dit qu’après son accident de cheval il y a 19 ans, il a eu l’impression de de voir et d’entendre pour la première fois. Il dit avoir l’impression d’avoir vécu dans un rêve où il n’avait aucune mémoire et d’avoir été sourd et aveugle. C’est parce qu’il est devenu un surhomme qui se souvient réellement, dans le sens où il ne catégorise rien : il se souvient de tout ce qu’il a perçu dans les moindres détails. Il se souvient de ce qu’Il a vu pendant une fraction de seconde et peut parler de cet instant pendant des heures, car il ne filtre plus les influx sensoriels, il les enregistre tels quels. Il peut comparer les détails de n’importe quel objet qu’il n’a vu qu’une fois. Il a ainsi plus de souvenirs en lui que l’ensemble de tous les hommes n’ayant jamais vécus.

Il n’a pas besoin de trouver les invariants entre les éléments du monde pour créer des catégories car chaque chose qu’il voit est enregistrée avec une précision infinie.
Cela mène vers des réflexions qui pour nous semblent absurdes. Funès se demande pourquoi « Trente-Trois Uruguayens » doit être écrit avec 2 symboles et 3 mots au lieu d’un seul mot et un seul symbole.
Il se demanderait pourquoi chaque pomme de l’univers n’a pas son symbole et son mot pour la désigner car il ne catégorise pas. Chaque pomme, chaque nuage et chaque branche qu’il a rencontré a un nom unique. Il trouvait ridicule que le chien qu’Il a vu à 15 heures ait le même nom que le même chien qu’il a vu 1 cm plus loin à 15 heures et une seconde.

Certains pensent que Funès serait incapable de penser car penser, c’est catégoriser. Il ne peut pas ignorer les différences entre deux choses semblables pour les catégoriser. C.-à-d. qu’il ne peut ignorer ce qui varie dans quelque chose pour n’en extraire que l’invariant.
ReplyDelete
Replies

Add comment