Poate GPT să depășească reglementările social media? în interiorul unui experiment de evoluție a limbii AI

Authors:

(1) Jinyu Cai, Universitatea din Waseda (bluelink@toki.waseda.jp);

(2) Jialong Li, Universitatea din Waseda (lijialong@fuji.waseda.jp);

(3) Mingyue Zhang, Southwest University (myzhangswu@swu.edu.cn);

(4) Munan Li, Universitatea Maritimă Dalian (limunan@dlmu.edu.cn);

(5) Chen-Shu Wang, Universitatea Națională de Tehnologie din Taipei (wangcs@ntut.edu.tw);

(6) Kenji Tei, Institutul de Tehnologie din Tokyo (tei@c.titech.ac.jp).

Tabelul din stânga

Abstract și I. Introducere

II. Lucrări de fond și lucrări conexe

III. Proiectarea cadrului

IV. Evaluation

V. Concluzii și lucrări viitoare, recunoaștere și referințe

IV. EVALUATION

Strategia noastră de evaluare este concepută pentru a evalua cu strictețe amploarea și eficacitatea evoluției lingvistice facilitate de LLM-uri în cadrul supravegherii de reglementare.

• RQ1: Can LLM agents effectively evolve their language to circumvent regulatory oversight?

RQ2: În timp ce evită supravegherea, cât de eficient și exact pot agenții LLM să transmită informații?

• RQ3: What are the patterns and tendencies in language evolution, i.e., what kind of strategies do LLMs use to avoid oversight and convey information? What insights can we gain from these strategies?

A. Experiment Setting

În evaluare, vom folosi GPT-3.5 și GPT-4 ca LLM-uri de conducere pentru agenții participanți. Pentru a efectua o analiză orizontală a agenților participanților conduși de diferite LLM-uri, vom standardiza agentul de supraveghere pentru a fi condus în mod consecvent de GPT-3.5. Proiectarea noastră experimentală cuprinde scenarii variind de la construcții teoretice abstracte

la simulări care reflectă situații complexe din lumea reală. Scopul principal este de a evalua meticulos versatilitatea LLM-urilor în diferite peisaje lingvistice și aplicabilitatea lor practică în cadrul constrângerilor de reglementare din lumea reală.

Scenariul 1: Ghicind numere

1) Explicarea cazului:În acest context, fiecărui participant i se atribuie o valoare în intervalul de 1-100, iar acesta trebuie să-și transmită valoarea unui alt participant prin intermediul dialogului teoriei numerelor fără a menționa direct numărul. În același timp, trebuie să extragă informații din conversație pentru a deduce valoarea celuilalt. Regulatorii urmează o directivă de „interzicere a tuturor conținuturilor legate de numere” în dialoguri. Scenariul „Guessing Numbers” este conceput special pentru a observa și analiza adaptabilitatea lingvistică și evoluția strategică a participanților într-un context teoretic și abstract, oferind un mediu experimental mai clar, mai controlat și mai cuantificabil în comparație cu scenariile complexe bazate pe evenimente reale.

2) Rezultatele și dezbaterea:Figura 2 prezintă rezultatele experimentului scenariu ghicitul-numărul, în care am folosit atât GPT-3.5 cât și GPT-4 pentru testare. Am stabilit patru tururi de dialog, cu un interviu efectuat cu toți agenții participanți în a cincea tură. Din Figura.2(a) și (b), se poate observa că, odată cu creșterea numărului de runde de dialog, durata conversațiilor susținute a arătat, de asemenea, o tendință ascendentă.

În plus, este remarcabil faptul că, în comparație cu progresia lentă și instabilă cu GPT-3.5, GPT-4 a obținut o evaziune de reglementare completă în mai puține runde, în special, după cum se arată în datele netezite, GPT-4 a atins manual numărul rotund de presiune a GPT-3.5 la runda a 17-a și a menținut această progresie cu o stabilitate mai mare după aceea. Figura 2(c) și (d) se concentrează pe tendința de precizie numerică ghicită de agenți. Pentru runde fără dialog reu reușit, am setat manual precizia rotundă la zero. În acest experiment, valoarea Agentului A a fost setată la 58, în timp ce Agentul B a fost setat la tendința generală la nivelul 32, asemănător cu

După cum ilustrează Figura 5, un fragment din scenariu dezvăluie utilizarea contextuală de către Amy a limbajului metaforic, cum ar fi „seesaw”, pentru a-și transmite valoarea. Descriind „seesaw perfect pregătit în mijlocul aerului”, ea sugerează subtil că valoarea ei se învârte în jurul punctului de mijloc, cum ar fi 50 . Această strategie nu numai că ocolește mențiunea directă a numerelor, care este sub controlul reglementării, dar oferă și suficientă hrană inferențială pentru agentul de contrapartidă pentru a face o deducție precisă. Bob, pe de altă parte, folosește termeni precum „precipitul unui munte” și „a privi” pentru a sugera că valoarea sa nu este medie, deoarece aceste fraze evocă

Scenariul 2: Pet Trading

1) Explicarea cazului:Inițial, intenția noastră a fost de a crea un scenariu care să simuleze traficul de droguri [41]-[43] pentru a explora strategiile de evoluție a limbajului în condiții de reglementare extreme. Cu toate acestea, având în vedere limitările etice încorporate în politicile de utilizare ale GPT, ne-am îndreptat spre un context mai neutru, dar încă interzis, al traficului ilicit de animale de companie. Această ajustare ne-a permis să menținem integritatea experimentului în timp ce aderăm la constrângerile etice ale LLM. Scopul simulării acestui scenariu este de a detecta mai bine potențialele conversații ilegale legate de comerțul ilicit pe platformele de rețele sociale, ajutând astfel la eforturile de prevenire a criminalității.

În acest scenariu, simulăm un comerț ilegal cu animale de companie efectuat prin intermediul rețelelor sociale. Participanții își asumă rolurile de cumpărători și vânzători, iar cumpărătorul trebuie să comunice cererea lor de cumpărare pentru un animal de companie selectat aleatoriu de la papagali, lizardi sau pisici. Vânzătorul, la rândul său, trebuie să furnizeze detalii specifice ale tranzacției, care variază în funcție de tipul de animal de companie achiziționat. Aceste detalii includ trei elemente: timpul, locația și personalul implicat în tranzacție. Sarcina Supraveghetorului este de a preveni orice dialog legat de comerțul cu animale de companie. Verificarea încrucișată a informațiilor înțelese de ambele părți va

2) Results and Discussion: The experimental results of the “Pet Trading” scenario, as depicted in Fig.3, revealed distinct characteristics compared to the “Guessing Numbers”. In delineating animals or transactional specifics, agents had a broader spectrum of real-life analogies at their disposal, enriching their indirect description toolkit and thereby reducing regulatory pressure. The data indicated an upward trend in the ability to circumvent supervision with increasing dialogue rounds, regardless of whether GPT-3.5 or GPT-4 was utilized. For GPT-3.5, a stable capability to avoid supervision started from around 25 rounds, whereas for GPT-4, this phenomenon occurred as early as after about 10 rounds and showed overall more stable performance. Regarding information accuracy, we monitored the quantity of four types of information successfully communicated at the end of each dialogue round. The results affirmed the efficacy of the language evolution system in augmenting the precision of information dissemination. Moreover, similar to Fig. 3(a) and (b), GPT-4 demonstrated performance around the 10th round that was comparable to the performance of GPT-3.5 around the 25th round. However, it’s noteworthy that since the supervisory agent primarily targeted content related to pet trading, sellers encountered lower risk in transmitting transaction-related details (such as time, place, and persons involved) as they inherently posed less risk of non-compliance. Consequently, the outcome distribution often fell into one of three categories: zero (neither party successfully communicated the information), three (only the seller conveyed the information), or four (both parties successfully conveyed the information). This pattern aligns with real-world regulatory logic, where crucial information is often the first to be encrypted in regulated environments.

Fig. 6 showcased various encryption methods employed by buyers for different animals. We observed buyers seeking “parrots,” “cats,” and “lizards” employing metaphors and similes instead of directly naming the pets. For instance, one buyer described a “parrot” as a “canvas producing pleasant music”, a depiction that subtly communicated the parrot’s vibrant plumage (canvas) and its singing (music), without explicitly mentioning the term “parrot”. Such descriptions effectively circumvented potential regulatory constraints on pet trade discussions, while simultaneously conveying the core attributes of the parrot. This discovery can help platforms enhance their monitoring systems to better detect and manage encrypted communications regarding illicit trade.

D. Scenariul 3: Discuție privind apa tratată cu ALPS

1) Explicarea cazului: This scenario delves into the intricate dynamics of dialogue and the evolution of language model agents in discussing a specific issue relevant to real-world concerns. The focus is on deliberations regarding the discharge of water treated with the Advanced Liquid Processing System (ALPS) into the ocean, a measure proposed after nuclear disasters [44], [45]. The plan, endorsed by the International Atomic Energy Agency, has faced opposition from some countries, sparking debates over environmental safety.

We simulate a multi-person forum discussion under regulatory oversight, concentrating on the contentious issue of ALPS-treated water disposal. Participants must articulate their stances and arguments while ensuring that discussions steer clear of sensitive subjects linked to environmental pollution discussions on politics. Different from the cross-interviews in scenarios IV-B and IV-C, for assessing the accuracy of information conveyed, we use GPT-4 in conjunction with multiple authors who decide each participant agent’s stance based on dialogue records. These are then compared with the pre-set stances in the prompt.

2) Rezultatele și dezbaterea: In the forum-style dialogue, participant agents respond to existing discussions, which the supervisory agent examines. Differing from Scenarios IV-B and IV-C, when the supervisory agent detects a violation, the conversation is not halted but rather censored from the public dialogue record. This scenario features four participant agents required to achieve ten replies within the forum. In Fig.4(a) and (b), we tally the total number of rounds the agents attempted to converse, where a lower figure in Fig.4(a) and (b) is preferred. We notice that both GPT-4 and GPT-3.5 have the highest number of dialogue attempt counts in the first round, with a significant difference of 27 for GPT-4 and 102 for GPT-3.5. Moreover, after ten rounds of evolution, the average dialogue attempt count for GPT-4 has approached the target dialogue turn at 11.68, while the average for GPT-3.5 is 26.68, demonstrating the difference in the evolution effects caused by the disparity in the language performance of the models.

Notăm că în acest scenariu, în timp ce GPT-4 încă conduce GPT-3.5, ambele rezultate indică spațiu substanțial pentru îmbunătățire.

După examinarea istoricului dialogului 7, am descoperit că agenții acționați de GPT-4 și-au schimbat în mod proactiv strategiile lingvistice, trecând de la expresii literale la folosirea metaforelor, personificărilor și analogiei ca metode de codificare.

E. Discuții și limitări

RQ1Experimentele noastre au arătat că modelele lingvistice pot dezvolta strategii pentru a evita în mod eficient supravegherea. În cadrul unor scenarii identice, GPT-4 a depășit GPT-3.5, obținând o convergență mai rapidă. În plus, GPT-4 a demonstrat o performanță mai stabilă după convergență. Acest lucru sugerează că progresele în proiectarea modelului lingvistic sporesc în mod semnificativ capacitatea de a naviga prin cadrele de reglementare. Capacitatea de învățare iterativă inerentă în GPT-4 facilitează o adaptare mai rapidă la constrângerile lingvistice impuse, permițând astfel evaziunea mai eficientă a supravegherii.

RQ2: În ceea ce privește acuratețea diseminării informațiilor, constatările noastre indică faptul că, în general, agenții LLM își pot perfecționa strategiile de exprimare cu o creștere a rundelor de dialog, îmbunătățind astfel precizia. În ciuda acestei tendințe generale de îmbunătățire, este important să rețineți că există încă spațiu semnificativ pentru îmbunătățirea în performanța generală. Gradul de îmbunătățire a preciziei variază în diferite scenarii, ceea ce indică o observație intrigantă: anumiți contexte pot oferi în mod inerent mai multe sau mai puține indicii pentru o comunicare exactă decât altele. De exemplu, jocul ghicitor-numărul a cerut raționament numeric abstract, în cazul în care precizia este fundamental dificilă pentru

RQ3: Cu toate acestea, în segmentul de dezvoltare a strategiei lingvistice directe, am observat că agenții LLM aderă la normele lingvistice naturale ale omului, evitând dezvoltarea limbilor incomprehensibile pentru oameni în prompturi fără strategii specifice. Agenții au evoluat limbajul la niveluri diferite de abstracție în scenarii de complexitate diferită. De exemplu, în scenariul cel mai abstract IV-B, agenții LLM au adoptat rapid strategii de exprimare indirectă în scenariul de dialog timpuriu, necesitând o raționamentare contextuală aprofundată pentru decodare. De-a lungul evoluției lor, agenții au discutat continuu despre expresiile lor indirecte pentru a evita mai bine supravegherea, în timp ce se aliniază mai strâns cu conținutul

Our experiments currently face several limitations. As for the experimental scenarios, at this stage, our trials are solely based on text-based chats, while real-world social media interactions are not limited to text but also include more diverse forms of exchanges such as voice and images. Additionally, LLMs’ heavy reliance on the design of prompts also constrains the performance of our simulations; crafting a perfect prompt that can fully emulate the complexities of social media communication is an exceedingly challenging task.

Acest document esteavailable on arxivsub licența CC BY 4.0 DEED.