Une étude montre que ce travail est à l’abri des IA comme ChatGPT – pour l’instant

L’intelligence artificielle (IA) a le monde sous son joug, avec des mises à jour quotidiennes sur les nouvelles capacités inspirant autant la crainte que la peur.

Dans le sillage de la sortie de ChatGPT – la plate-forme technologique à la croissance la plus rapide de tous les temps – il a été question de l’arrivée de l’IA pour les emplois d’écrivains, d’artistes, de musiciens et de codeurs, pour n’en nommer que quelques-uns.

Mais une profession peut être sûre pour le moment. Selon une étude de l’Université Brigham Young (BYU) aux États-Unis, les comptables humains surpassent toujours ChatGPT aux examens de comptabilité.

L’étude comprenait 327 co-auteurs de 186 établissements d’enseignement différents dans 14 pays, contribuant au total à 25 181 questions d’examen de comptabilité en classe.

Les questions portaient sur les systèmes d’information comptable (AIS), l’audit, la comptabilité financière, la comptabilité de gestion et la fiscalité. Ils variaient en difficulté et en type, y compris vrai ou faux, choix multiples et réponses courtes.

Et ChatGPT – ayant déjà réussi des examens de droit entre autres – a sans surprise bien performé. Sa moyenne globale était de 47,4%, faisant mieux que les étudiants humains sur 11,3% des questions. Il a particulièrement bien fonctionné sur l’AIS et l’audit.

Mais les étudiants ont globalement surpassé la machine. Leurs scores moyens s’élevaient à 76,7 % et ils étaient meilleurs pour les questions sur les évaluations fiscales, financières et managériales, peut-être parce que ChatGPT avait du mal avec les processus mathématiques requis pour ce dernier type.

En termes de type de question, ChatGPT a mieux réussi sur les questions vraies ou fausses (68,7 % correctes) et à choix multiples (59,5 %), mais il a eu du mal avec les questions à réponse courte.

Un « changeur de jeu » pour l’enseignement et l’apprentissage

L’auteur principal de l’étude, le professeur de comptabilité de BYU, David Wood, souhaitait recruter autant de professeurs que possible pour voir comment l’IA se comportait contre de vrais étudiants, afin d’aider à éclairer le débat sur la façon dont les modèles de langage d’IA devraient être pris en compte dans l’éducation.

« Lorsque cette technologie est sortie pour la première fois, tout le monde craignait que les étudiants puissent désormais l’utiliser pour tricher », a déclaré Wood.

« Mais les occasions de tricher ont toujours existé. Donc, pour nous, nous essayons de nous concentrer sur ce que nous pouvons faire avec cette technologie maintenant que nous ne pouvions pas faire auparavant pour améliorer le processus d’enseignement pour les professeurs et le processus d’apprentissage pour les étudiants. Le tester a été révélateur ».

Les chercheurs disent que même s’il reste du travail à faire dans le domaine de la comptabilité, c’est un changement de jeu qui changera la façon dont tout le monde enseigne et apprend pour le mieux.

« C’est l’occasion de réfléchir à la question de savoir si nous enseignons ou non des informations à valeur ajoutée », a déclaré Melissa Larson, co-auteure de l’étude et professeure de comptabilité à BYU.

« C’est une perturbation, et nous devons évaluer où nous allons à partir d’ici. Bien sûr, je vais toujours avoir des assistants pédagogiques, mais cela va nous obliger à les utiliser de différentes manières ».

L’étude a également mis en évidence d’autres résultats intéressants. D’une part, ChatGPT ne reconnaît pas toujours quand il fait des calculs et fait des erreurs absurdes telles que l’ajout de deux nombres dans un problème de soustraction ou la division incorrecte de nombres. Il fournit également des explications sur ses réponses, même si elles sont incorrectes.

ChatGPT est basé sur le modèle de langage d’apprentissage en profondeur GPT3.5 d’OpenAI. OpenAI a depuis publié GPT4, qui surpasse GPT3.5 en capacités. Les chercheurs s’attendent à ce que la technologie améliore de manière exponentielle les questions comptables posées dans leur étude.

Ce qu’ils trouvent le plus prometteur, c’est la façon dont le chatbot peut aider à améliorer l’enseignement et l’apprentissage, y compris la capacité de concevoir et de tester des devoirs, ou peut-être être utilisé pour rédiger des parties d’un projet.

« Ce n’est pas parfait ; vous ne l’utiliserez pas pour tout », a déclaré Jessica Wood, étudiante à BYU. « Essayer d’apprendre uniquement en utilisant ChatGPT est une course folle ».