Obtenez un devis
Écrit par Pierre Berteloot le 15 mai 2023

Peut-on faire confiance à ChatGPT dans la pertinence et qualité de ses réponses ?

Les outils de génération de texte tels que ChatGPT sont devenus indispensables dans le quotidien de nombreuses personnes. Ces outils permettent aux utilisateurs de générer facilement du contenu en posant des questions spécifiques ou en entrant des mots clés. Toutefois, il ne faut pas oublier que ces outils sont encore relativement récents et la technologie reposant sur le traitement algorithmique est bien souvent imparfaite. 

En effet, l'un des principaux défis liés à l'utilisation de ChatGPT est, comme stipulé ci-dessus, que ses réponses sont basées sur du traitement algorithmique. ChatGPT peut naturellement produire des réponses imprécises ou incomplètes voir fausses. Les utilisateurs doivent donc toujours vérifier les informations fournies par ChatGPT avant de les utiliser ou de les publier.

Le problème inhérent à l’utilisation de ChatGPT et de la qualité des informations données est la centralisation. En d’autres termes, ChatGPT produit un seul canal de réponse (le chat avec l’outil) qui empêche de comparer les réponses avec différentes sources. Avec un seul canal de diffusion on a une seule réponse. Si cette réponse est incorrecte ou fausses les utilisateurs de ChatGPT peuvent se méprendre. A contrario, lorsque l’on utilise un moteur de recherche traditionnel, on dispose de plusieurs canaux pour vérifier la qualité des informations qui nous sont présentées. En effet, on peut vérifier la qualité de notre recherche à la réputation du site ou du nom de l’expert concerné. ChatGPT, lui, ne cite pas ses sources et sa réponse n’est pas vérifiable dans l’immédiat à cause de cette centralisation dans sa réponse. 

Evidemment, il est possible de demander à ChatGPT de citer ses sources. Et c’est là que se pose un autre inconvénient majeur.  ChatGPT à tendance à créer des liens HTML vers des pages sur un site internet qui n'existent pas. Cela peut se produire lorsque ChatGPT identifie des termes clés ou des concepts pertinents dans une réponse et tente de créer un lien vers une source pertinente. Toutefois, si la source n'existe pas, le lien peut être erroné ou inutile pour l'utilisateur.

La question que l’on se pose est alors la suivante : pourquoi ChatGPT est-il capable de créer de faux liens HTML ? La réponse réside dans la façon dont l'algorithme de ChatGPT fonctionne. ChatGPT est un modèle de traitement du langage naturel basé sur l'apprentissage automatique. Il a été formé sur un vaste ensemble de données textuelles pour apprendre à prédire les mots suivants dans une séquence de texte donnée. Lorsqu'un utilisateur pose une question ou entre des mots clés dans ChatGPT, l'algorithme recherche des séquences de texte similaires dans son ensemble de données d'apprentissage et tente de prédire la réponse la plus probable en fonction des informations disponibles. Si ChatGPT identifie des termes clés dans une réponse et tente de créer un lien vers une source pertinente, il peut parfois créer un lien vers une source inappropriée ou inexistante.

Voici un exemple concret :

Lorsque nous demandons à ChatGPT de nous donner 3 décisions du Commissariat à la protection de la vie privée du Canada, l’outil est capable de nous donner 3 décisions qui ont bien existées et la description est conforme à la réalité des décisions rendues par l’autorité de contrôle.

Cependant, lorsque nous demandons à ChatGPT de nous citer ses sources et de donner un lien vers les décisions voici les liens donnés :
https://www.priv.gc.ca/fr/opc-decisions/decisions/2022/pipeda-2022-001/
https://www.priv.gc.ca/fr/opc-decisions/decisions/2022/pipeda-2022-004/
https://www.priv.gc.ca/fr/opc-decisions/decisions/2022/pipeda-2022-005/

En cliquant, on remarque immédiatement un message d’erreur nous disant que la page n’existe pas. Forcément, pour l’utilisateur averti et consciencieux cela pose des problèmes majeurs. Peut-on véritablement faire confiance à un outil incapable de citer ses sources ? Est-ce que par conscience je peux diffuser des informations en sachant que ChatGPT ne me permet pas de vérifier la véracité de mes propos ?

En conclusion, l'utilisation de ChatGPT pour générer du contenu peut être un outil utile pour les utilisateurs, mais il est important de comprendre les limites de cet outil et de l'utiliser de manière responsable. Les utilisateurs doivent toujours vérifier les informations fournies par ChatGPT avant de les utiliser ou de les publier, et être conscients des risques associés aux liens HTML créés par ChatGPT et de l’impossibilité de vérifier les sources.

Articles similaires

phone-handsetcrossmenu