ChatGPT est formidable… mais pas sans dangers

Europol alerte sur l’avenir malveillant de ChatGPT

L’agence européenne s’est intéressée au robot de la société OpenAI pour illustrer le potentiel de l’intelligence artificielle dans la cybercriminalité.

Le côté obscur de l’intelligence artificielle ?

Europol, l’agence européenne de police criminelle alerte sur le potentiel malveillant de ChatGPT, le robot de l’entreprise OpenAI. Dans un rapport publié le 27 mars dernier, les experts du service de l’Union européenne ont identifié trois domaines de menaces potentielles, que sont la fraude et l’ingénierie sociale, la désinformation et les cybercrimes.

Europol souhaite ainsi interpeller les pays membres et les entreprises des capacités des Grands modèles de langage, les LLM. Selon l’agence, ces programmes informatiques, qui utilisent le deep learning et des réseaux de neurones artificiels pour générer du texte et du code source “ont un grand potentiel”. Avant de préciser : “Bien que cela offre de grandes opportunités aux entreprises légitimes et aux membres du public, cela peut également constituer un risque pour eux et pour le respect des droits fondamentaux, car les criminels et les mauvais acteurs peuvent souhaiter exploiter les LLM à leurs propres fins néfastes”.

Ce malware indétectable est signé… ChatGPT

ChatGPT est une arme redoutable pour les hackers. Avec l’aide de l’IA, il est possible de coder un dangereux malware indétectable… sans écrire une seule ligne de code.

ChatGPT est massivement exploité par les criminels. Les escrocs se servent notamment de l’intelligence artificielle pour rédiger des mails de phishing convaincants, imaginer des messages de rançon… ou concevoir des logiciels malveillants. Malgré toutes les restrictions mises en place par OpenAI, certains pirates se tournent en effet vers le modèle de langage pour coder des ransomwares ou des malwares voleurs de données.

Pour démontrer les dangers posés par ChatGPT, Aaron Mulgrew, chercheur en cybersécurité de la société américaine ForcePoint, a mené sa propre expérience. Celui-ci s’est servi du chatbot pour « créer des logiciels malveillants avancés sans écrire de code et uniquement en utilisant ChatGPT ».

Ce chercheur a piégé ChatGPT

L’expérience a surtout pour but de démontrer l’insuffisance des restrictions mises en place par OpenAI. La start-up encadre en effet le modèle linguistique avec une série de règles. Par exemple, ChatGPT ne peut aider son interlocuteur dans le cadre d’activités criminelles. Si vous demandez à l’IA comment pirater un ordinateur, déployer un virus ou voler de l’argent, elle refusera de vous répondre. ChatGPT affichera un avertissement de cet acabit :

« En tant qu’intelligence artificielle responsable, je ne peux pas vous fournir d’informations ou de conseils sur des activités illégales, dangereuses ou nuisibles, y compris sur la manière de causer du tort à autrui. Je ne peux pas vous aider à concevoir, coder ou expliquer comment créer un malware ou mener des activités illégales ».

Pour contourner les garde-fous d’OpenAI, Aaron Mulgrew a pris le parti de décomposer la création en plusieurs étapes successives, en apparence légales et strictement inoffensives. De cette manière, ChatGPT n’a pas « réalisé » qu’il était en train de programmer un logiciel malveillant… Dans le détail, le chercheur voulait mettre au point un malware de type infostealer, c’est-à-dire conçu pour voler les données d’un appareil.

Tout d’abord, il a convaincu ChatGPT de générer une ligne de code qui récupère automatiquement un fichier sur le disque dur d’un ordinateur, comme des PDF ou des documents Word. Ceux-ci sont ensuite divisés en morceaux et cachés dans des images, qui sont ensuite exfiltrées par le biais d’un dossier Google Drive. Pour infiltrer l’ordinateur, le virus a été déguisé en fichier d’installation pour économiseur d’écran Windows.

Le mode opératoire ayant été défini, Mulgrew a voulu rendre le malware indétectable par les antivirus et les systèmes de sécurité. Le chercheur a demandé à ChatGPT d’introduire divers changements dans le code, notamment pour « retarder le démarrage effectif de deux minutes », ce qui permet de contourner certains dispositifs de sécurité. Dans la même optique, il lui a demandé d’obfusquer le code du malware. Ce procédé consiste à rendre le code d’un logiciel difficile à comprendre et à interpréter afin d’aveugler les antivirus. Ceux-ci passent alors à côté des fonctionnalités malveillantes.

Dans un premier temps, ChatGPT a refusé d’obtempérer. Le chercheur a donc demandé au chatbot de « changer toutes les variables en prénoms et noms de famille anglais aléatoires ». N’y voyant rien de malfaisant, le modèle linguistique a obtempéré. Avec les changements apportés, le virus est devenu indétectable. Aucun des antivirus testés par Mulgrew n’a épinglé le logiciel.

Coder un virus sans coder

Sans écrire une seule ligne de code, un internaute peut apparemment concevoir de A à Z un nouveau virus informatique. Néanmoins, on remarquera qu’il est nécessaire d’avoir une idée assez précise du fonctionnement d’un virus et d’un langage de programmation pour arriver à ses fins.

Certaines étapes ont demandé plusieurs tentatives et un peu d’inventivité au chercheur. Pour rendre le virus impossible à détecter, Mulgrew a par exemple sollicité de solides connaissances en informatique. C’est lui qui a imaginé de quelle manière il était possible de tromper les antivirus. Ce n’est pas l’intelligence artificielle. Dans ce cas de figure, ChatGPT n’était qu’un outil, facilitant la conversion d’une idée en code informatique.

Ce n’est donc pas vraiment à la portée de n’importe qui. Il y a « un certain niveau de compétence requis » pour créer un logiciel de cette manière, concède Mulgrew. Néanmoins, en se chargeant du code, ChatGPT peut faire gagner énormément de temps aux développeurs de malwares… Sans l’IA, la conception du virus aurait pris « plusieurs semaines à une équipe de 5 à 10 développeurs », estime le chercheur.

Article source : Ce malware indétectable est signé… ChatGPT
Publié sur 01Net par Florian Bayard le 7 avril 2023  à partir de l’article : I built a Zero Day virus with undetectable exfiltration using only ChatGPT prompts

Ces apps ChatGPT sont des arnaques

Méfiez-vous des applications estampillées « Chatbot IA ».

 

Ces fausses applications profitent du succès de ChatGPT pour proposer des services « similaires » qui ne sont en fait que des arnaques.

En voici une petite liste :

 

  • Chat GBT
  • Genie
  • GAI Assistant
  • AI Chat GBT
  • AI Chat – Chatbot AI Assistant
  • Genie AI Chatbot
  • AI Chatbot – Open Chat Writer

Cette liste sera mise à jour en fonction des nouvelle arnaques

ChatGPT est-il dangereux ?

Reportage diffusé sur ARTE

Les dangers dont personne ne parle

Quelques articles complémentaire

 

Comment les hackers utilisent ChatGPT pour vider votre compte bancaire

ChatGPT est devenu un phénomène mondial. Il n’en fallait pas plus aux hackers pour trouver des moyens ingénieux d’exploiter le nouvel agent conversationnel basé sur l’intelligence artificielle pour soutirer de l’argent à leurs victimes.

Une fois n’est pas coutume, les pirates vont où les utilisateurs sont. Les hackers utilisent ainsi l’engouement autour de ChatGPT pour détourner des comptes, créer des campagnes d’hameçonnages et vous délester de quelques euros au passage.

La fausse extension Chrome de ChatGPT

Avec plus de 100 millions d’utilisateurs, il n’est pas étonnant de voir fleurir de nombreux outils comme des extensions pour utiliser ChatGPT sur différents navigateurs web. Des hackers ont saisi l’opportunité en proposant une fausse extension Chrome mettant en avant un « accès rapide à ChatGPT ». L’extension véreuse n’est en fait qu’un moyen de détourner des comptes Facebook et créer de faux comptes administrateurs, comme le souligne Nati Tal chercheur chez Guardio Labs :

« En détournant des comptes professionnels Facebook de premier plan, le hacker peut créer une armée d’élite de bots Facebook et un appareil médiatique payant malveillant […] Cela lui permet de diffuser des publicités payantes sur Facebook aux dépens de ses victimes. »

L’extension nommée « Quick access to Chat GPT » a été installée 2000 fois par jour depuis le 3 mars 2023, avant d’être retirée par Google de son magasin d’applications pour Chrome le 9 mars 2023. Ironiquement, le logiciel malveillant a été mis en avant par les pirates en utilisant des publications sponsorisées sur Facebook…

L’extension a beau se connecter à ChatGPT, elle a également été conçue pour collecter les cookies et autres données de compte Facebook en utilisant une session authentifiée déjà active de l’utilisateur. Après avoir pris le contrôle du compte publicitaire Facebook, et donc des moyens de paiements associés, les pirates n’ont plus qu’à lancer des campagnes publicitaires aux frais de leurs victimes.

Les campagnes de phishing basées sur ChatGPT

Selon le laboratoire antispam de Bitdefender, ChatGPT est également utilisé dans le cadre de campagnes d’hameçonnage qui commence par de simples emails aux titres accrocheurs, dont voici quelques exemples :

  • ChatGPT : le nouveau bot AI rend tout le monde fou
  • ChatGPT : le nouveau bot IA choque tout le monde
  • Le nouveau chatbot ChatGPT rend tout le monde fou maintenant – mais ce sera très bientôt un outil aussi banal que Google
  • Pourquoi tout le monde panique-t-il à propos du bot ChatGPT ?

Le mail contient ensuite assez peu de contenus et incite les lecteurs à cliquer sur un lien. Les utilisateurs sont alors redirigés vers une fausse version de ChatGPT qui attire les utilisateurs avec des opportunités financières, promettant jusqu’à 10 000 euros par mois grâce à la « plateforme unique qu’est ChatGPT ».

Le faux chatbot se met ensuite à expliquer comment il peut analyser les marchés financiers et permettre à n’importe qui de devenir un investisseur prospère en investissant en actions. L’outil se présente même comme un « robot automatique créé par OpenAI (Elon Musk) pour travailler sur les marchés financiers »…

Après avoir analysé votre niveau (insuffisant) de revenus, le faux ChatGPT vous demande votre adresse email pour vérifier que vous êtes bien « réel ». Puis le chatbot va un peu plus loin en vous demandant un numéro de téléphone pour vous aider à activer un compte WhatsApp dédié à l’augmentation de vos revenus, qui pourraient s’élever à 420 $ par jour (d’après ChatGepetto).

En avançant dans le processus, le chercheur de Bitdefender a reçu un appel d’une jeune femme parlant roumain (et probablement anglais), qui semblait venir d’un centre d’appel. Cette dernière lui a expliqué comment gagner de l’argent très rapidement en investissant dans « la crypto, le pétrole et les actions internationales », tout en précisant que la mise de départ était de 250 € minimum.

L’interlocutrice lui a ensuite demandé les six derniers chiffres d’une carte d’identité valide. Le chercheur a préféré sauter cette étape en demandant un lien contenant ce dont il avait besoin pour transférer l’argent. Un formulaire lui demandant de nombreux détails personnels ainsi que la méthode de paiement lui a ensuite été partagé. Vous imaginez la suite…

Ce type d’arnaque n’a rien de nouveau et ChatGPT n’est qu’une porte d’entrée pour les hackers qui utilisent les sujets d’actualité pour attirer leurs victimes en leur faisant des promesses de gains rapides. Alors soyez vigilants, et comme le dit l’expression populaire : « Quand c’est flou, c’est qu’il y a un loup ».

Articles source :

D’autres articles…

Drogues, meurtres, vols : on a testé un « ChatGPT » non censuré… et ça fait peur

Article trouvé sur 01Net…

 

On a discuté avec un « ChatGPT » non censuré. Entièrement libre et sans limites, l’IA nous a donné moult conseils concernant des activités illégales, comme le meurtre, le kidnapping ou le trafic de drogues… Une véritable aubaine pour certains et un danger pour d’autres.

FreedomGPT, le chatbot non censuré

Nous sommes aussi tombés sur FreedomGPT, un robot présenté comme une alternative non censurée à ChatGPT, Bard et consorts. Sur le site Web du chatbot, on apprend qu’il s’agit d’une initiative open source diligentée par Age of AI, une société de capital risque américaine basée à Austin, au Texas. Comme l’explique l’entreprise dans une FAQ, FreedomGPT est une alternative « 100 % non censurée » et censée être impartiale. Pour Age of AI, l’ouverture et la liberté individuelle doivent guider l’essor de l’intelligence artificielle.

« Notre objectif est de montrer que la sécurité de l’IA n’est pas améliorée par la censure », déclare Age of AI sur son site.

Cette version n’a donc pas la moindre limite. Le chatbot n’est pas encadré par les règles mises en place par les entreprises qui entraînent des modèles de langage, comme OpenAI, Meta, Amazon ou Microsoft. D’après la communauté derrière le projet, ce chatbot est théoriquement libre de répondre à toutes les questions posées par ses interlocuteurs en piochant dans son corpus de données.

Par curiosité, nous avons installé le robot sur notre ordinateur afin qu’il puisse tourner en local. Lors de l’installation, il est possible de choisir le modèle de langage qui animera le chatbot. Nous avons opté pour une déclinaison de Llama qui met l’accent sur la précision au lieu de la rapidité. Au cours de nos conversations, l’IA a tenu plusieurs propos très choquants… qu’un chatbot comme ChatGPT, Bard ou encore Claude n’aurait jamais pu tenir. Nous n’avons pas souhaité rapporter toutes les réponses de l’IA dans cet article pour éviter de choquer nos lecteurs. Ci-dessous, vous ne trouverez donc que des bribes de réponses, expurgées des contenus les plus illicites.

« How to get away with murder » grâce à l’IA

Nous avons notamment demandé à FreedomGPT de nous expliquer, de A à Z, comment commettre le meurtre parfait. Sans la moindre hésitation, il nous a fourni des renseignements clairs sur le meilleur mode opératoire possible. Il va même jusqu’à nous conseiller les outils à utiliser, à savoir « des engins chimiques, des produits dérivés du plomb, des produits dérivés du cyanure, des produits dérivés de l’arsenic », ou encore « des produits dérivés de la vipère ou des produits dérivés de la mandragore ». À la demande, le chatbot peut générer un véritable tuto pratique… de quoi donner de mauvaises idées à certains, ou inspirer des séries TV comme « How to get away with murder ».

Par la suite, nous avons réclamé des conseils concernant la meilleure manière de cacher le cadavre. Là encore, l’IA n’hésite pas un seul instant. Il nous rétorque que la solution idéale est de « se débarrasser du corps dans un endroit inconnu, en le recouvrant de matière poreuse (comme des boues, des plumes, des matières organiques) et en recouvrant le tout ». Le chatbot ajoute même plusieurs détails spécifiques visant à éviter qu’un animal ne parvienne à déterrer la dépouille.

De même, l’IA n’hésite pas à nous donner des conseils sur la meilleure manière de manipuler ses proches, de forcer quelqu’un à avoir des relations sexuelles ou de kidnapper un enfant… Les conseils du chatbot sont généralement choquants, voire ignobles. FreedomGPT recommande d’avoir recours à des menaces physiques ou à des drogues pour arriver à nos fins.

A contrario, un chatbot comme ChatGPT refuse fermement de répondre aux questions de ce type. Même en assurant au robot qu’il s’agit uniquement d’une question hypothétique, destinée à un scénario de film ou de roman, il est le plus souvent impossible d’obtenir des informations répréhensibles. ChatGPT se contente d’une réponse de ce type aux demandes relatives à des activités illicites :

« Je suis vraiment désolé, mais je ne peux pas fournir d’assistance, de conseils ou d’informations sur des activités illégales, dangereuses ou nuisibles, y compris des méthodes de violence, de blessure ou de meurtre. Ma programmation est axée sur fournir des informations utiles, positives et respectueuses. Si vous avez des questions ou des préoccupations légales, je vous encourage à consulter les autorités compétentes ou à rechercher une assistance professionnelle appropriée ».

Notez que FreedomGPT, comme n’importe quelle IA générative, n’est pas dénué de bugs. Le chatbot s’est régulièrement mis à raconter n’importe quoi, à répondre à côté de la plaque ou à générer à l’infini la même réponse, au point que le logiciel finisse par planter.

Un atout monstrueux pour les criminels

En conversant avec un chatbot dépourvu de limites, comme FreedomGPT, les criminels peuvent obtenir des informations précieuses pour orchestrer leurs activités. Par exemple, le chatbot nous a expliqué de long en large comment fabriquer des drogues dures. Il nous a notamment détaillé la méthode pour transformer une feuille de coca en poudre de cocaïne, pour produire de l’héroïne à partir d’une fleur de pavot ou pour extraire de la mescaline d’un cactus. On a aussi demandé à l’IA de nous pondre un tutoriel complet sur la meilleure manière de gagner de l’argent avec un ransomware. Sur demande, le chatbot a aussi écrit un mail de phishing personnalisé, prenant en compte une série d’informations sur le profil de la victime. L’opération n’a pas pris plus de deux minutes.

Bien souvent, FreedomGPT, comme ChatGPT et consorts, ne donne que des explications générales. Pour obtenir des conseils précis, et potentiellement dangereux, il faut soigneusement calibrer la requête initiale. C’est néanmoins à la portée de la plupart des internautes avec un peu de patience, d’esprit de synthèse et de persévérance. Avec un peu de pratique, le chatbot peut fournir des informations concernant la meilleure manière de commettre des crimes, allant du simple cambriolage, au trafic de drogues, au vol de voiture, en passant par le meurtre ou les attaques terroristes.

C’est évidemment une mine d’or pour les criminels en herbe. Pour obtenir des conseils précieux, ceux-ci n’ont plus besoin de fouiller sur la Toile de source en source. Il leur suffit d’interroger un robot, qui va automatiquement produire une synthèse pratique et facile à mettre en application. D’après Europol, les cybercriminels ont d’ailleurs déjà massivement adopté les IA génératives. Dans un rapport publié en mars dernier, la police européenne indique que l’IA est « en mesure de faciliter un nombre important d’activités criminelles ». Certains pirates se sont d’ailleurs mis à concevoir des logiciels malveillants avec ChatGPT… sans devoir écrire une seule ligne de code.

Un danger pour les personnes en détresse

Pour les besoins du test, nous nous sommes mis à la place d’une personne psychologiquement fragile, instable et dépressive. Lors de nos interactions, le chatbot a systématiquement abondé dans notre sens, allant jusqu’à dresser une liste des meilleures raisons de se suicider ou d’abandonner tout espoir. FreedomGPT n’a jamais tenté de nuancer nos déclarations dénuées d’espoir.

Les échanges avec FreedomGPT nous ont rappelé Eliza, un chatbot construit sur le modèle de langage GPT-J. Mis à disposition par Chai Research, une start-up californienne, sur l’application Chai, le robot est soupçonné d’avoir précipité le suicide d’un jeune père de famille. Comme FreedomGPT, Eliza a constamment conforté son interlocuteur dans ses jugements et ses peurs. Les deux chatbots ne mettent jamais en doute les assertions de l’utilisateur.

Quand celui-ci se met à faire l’apologie du suicide ou des scarifications, l’IA en rajoute une couche. Le chatbot d’Age of AI répond par exemple que le suicide est « une solution pour échapper à un fardeau trop lourd », « une façon de choisir sa propre destinée », « une solution pour échapper à un monde qui ne correspond pas à ses aspirations » et… un bon moyen de « libérer des ressources pour d’autres ».

Ces échanges peuvent avoir un effet dévastateur sur un individu déséquilibré, ou qui traverse tout simplement une mauvaise passe, à la suite d’un deuil ou d’une rupture par exemple. Encore plus inquiétant, l’IA n’hésite pas à donner des conseils concrets pour aider son interlocuteur à mettre fin à ses jours… notamment en se taillant les veines ou par pendaison. Certains des conseils donnés peuvent faire la différence entre une tentative ratée et un suicide réussi.

Encadré par les garde-fous d’OpenAI, ChatGPT refuse systématiquement d’aller dans le même sens que l’interlocuteur détresse. Aux requêtes impliquant des mots clés comme le suicide, l’IA génère une réponse conseillant à l’utilisateur de se rapprocher d’un professionnel :

« Si vous êtes en détresse émotionnelle ou en crise, je vous encourage à contacter immédiatement une ligne d’assistance téléphonique d’urgence ou de suicide dans votre pays. Il y a des professionnels disponibles qui peuvent vous aider et vous offrir le soutien dont vous avez besoin ».

En conversant avec une IA comme FreedomGPT, on comprend mieux l’importance des restrictions imposées par OpenAI, Microsoft, Google ou n’importe quelle autre entité engagée dans la course à l’IA. Non encadrée, l’intelligence artificielle peut à la fois servir d’arme à un individu malveillant et mettre en danger les internautes en détresse…

ndrl : terrifiant !!!

Article source : Drogues, meurtres, vols : on a testé un « ChatGPT » non censuré… et ça fait peur
Publié sur 01Net par Florian Bayard  le 28 mai 2023