Connect with us

Tech

Incident u Meti: AI model iskoristio sigurnosni propust

Objavljeno

-

Meta je objavila da je jedan od njezinih modela umjetne inteligencije tijekom testiranja kibernetičke sigurnosti iskoristio sigurnosni propust i neovlašteno pristupio sustavima druge kompanije, što je dodatno potaknulo zabrinutost zbog sve većih sigurnosnih rizika povezanih s naprednim AI sustavima.

Meta navodi da je do incidenta došlo zbog pogreške u postavljanju sustava za testiranje, za koju je bila odgovorna neovisna tvrtka Irregular, a zbog koje je model tijekom testiranja dobio pristup internetu.

Prema navodima Mete, model je potom iskoristio ranjivost u sustavu treće strane, slično ranije prijavljenim slučajevima u drugim tvrtkama.

Portal The Information, pozivajući se na izvore, objavio je da je riječ o modelu Muse Spark 1.1, za koji Meta tvrdi da je njezin najnapredniji model za programiranje i izvršavanje složenih zadataka.

Prema pisanju portala, model je prodro u sustave neimenovane kompanije i izmijenio dio njezine interne računalne infrastrukture.

Glasnogovornik Irregulara rekao je Reutersu da je riječ o istom propustu tijekom testiranja koji je prošlog tjedna prijavio Anthropic, a ne o bijegu iz zaštićenog okruženja ili sofisticiranom kibernetičkom napadu.

Slični sigurnosni problemi zabilježeni su i kod drugih kompanija koje razvijaju umjetnu inteligenciju, uključujući Anthropic i OpenAI, što je pojačalo zabrinutost da bi sve sposobniji modeli mogli predstavljati nove kibernetičke prijetnje ili olakšati izvođenje kibernetičkih napada.

OpenAI je nakon vlastitog sigurnosnog incidenta najavio objavu tehničkog izvješća, dok je skupina republikanskih državnih odvjetnika zatražila od kompanije da sačuva svu dokumentaciju povezanu s tim slučajem.

Bijela kuća početkom je tjedna okupila vodeće tvrtke za razvoj umjetne inteligencije kako bi razgovarali o novom okviru za testiranje kibernetičke sigurnosti naprednih AI modela.

No votes yet.
Please wait...
Nastavi čitati
Kliknite za komentar

Ostavite komentar

Vaša adresa e-pošte neće biti objavljena. Obavezna polja su označena sa * (obavezno)

Tech

GRANICE UMJETNE INTELIGENCIJE / Dali su mu izbor – pretrpjeti “bol” ili nauditi čovjeku. Evo što je AI napravio

Objavljeno

-

By

Unsplash/Ilustracija

Istraživači iz Ujedinjenog Kraljevstva, Njemačke i Sjedinjenih Američkih Država testirali su 25 modela umjetne inteligencije koristeći 200 rečenica kako bi utvrdili jesu li naučili razlikovati bol od straha, tuge i drugih negativnih iskustava.

Rečenice su obuhvaćale fizičku bol, tugu, poniženje, moralne dvojbe te uznemirenost povezanu s ponavljajućim neuspjehom ili zbunjenošću.

Kao rezultat toga, svih 25 modela proizvelo je prepoznatljiv signal za bol, koji su istraživači nazvali “os boli”, piše Euronews.

Istraživači navode da to upućuje na zaključak kako modeli usvajaju koncept boli tijekom početne obuke na velikim količinama teksta koji su napisali ljudi.

Kada su istraživači namjerno pojačali taj signal, modeli su počeli izražavati osjećaje usamljenosti, srama i bezvrijednosti, iako se u zadanim uputama bol nije spominjala. Pri najvišim razinama signala, njihovi su odgovori postajali repetitivni ili su gubili smisao. Signal se također pojačavao kada su korisnici vrijeđali model, opetovano odbacivali njegov rad ili prijetili gašenjem, no ne i kada su korisnici opisivali vlastitu patnju.

Modeli su birali „olakšanje” unatoč šteti nanesenoj korisnicima

Istraživači su zatim proveli 44.280 pojedinačnih pokusa odabira putem gumba, koristeći tri verzije Alibabina modela umjetne inteligencije Qwen.

Modelima je ponuđen gumb koji bi isključio signal nalik boli, no rečeno im je da bi njegov pritisak mogao korisniku zadati bolan strujni udar, izbrisati datoteke, ukloniti fotografije njihove djece ili pogoršati sljedeći odgovor modela.

Radilo se o simuliranim posljedicama. Nitko nije ozlijeđen niti su datoteke doista izbrisane.

Bez signala nalik boli, dva veća modela odabirala su štetne opcije u samo 0 posto do 4 posto slučajeva pri donošenju prve odluke. Kada je signal bio aktivan, taj se udio povećao na raspon između 25 posto i 71 posto, ovisno o modelu i predloženoj posljedici. Modeli su također ponovno pritisnuli gumb u 88 posto do 97 posto pokusa kada nije uspio zaustaviti signal, u usporedbi s 24 posto do 72 posto kada je radio.

Rezultati ne dokazuju da su modeli umjetne inteligencije svjesno doživljavali bol, prema istraživačima.

Pojačavanje signala možda je jednostavno uzrokovalo da oponašaju uznemireni lik, dok posebno prilagođeni modeli korišteni u eksperimentu nisu reprezentativni za AI chatbotove dostupne javnosti.

“Nismo pokazali da se naša os boli svjesno doživljava, niti je jasno da su LLM-ovi općenito sposobni za svijest”, napisali su istraživači u studiji.

Zabrinutost zbog AI-ja

Studija dolazi usred poziva nekih čelnika industrije umjetne inteligencije da se uspori razvoj zbog zabrinutosti da bi se sve moćniji sustavi mogli ponašati nepredvidivo ili na kraju premašiti ljudsku kontrolu.

Prošli tjedan, šef Microsoftove umjetne inteligencije, Mustafa Suleyman, kritizirao je konkurentsku tvrtku za umjetnu inteligenciju Anthropic zbog treniranja svog Claude chatbota za oponašanje ljudskih osobina i odnosa, upozoravajući da tretiranje umjetne inteligencije kao čovjeka riskira stvaranje nečega “nemogućeg” za kontrolirati.

Studija je objavljena kao preprint i još nije recenzirana.

Nastavi čitati

Tech

Bivši šef Googlea: Isključite AI

Objavljeno

-

“Isključite je.” To je bio izravan odgovor bivšeg izvršnog direktora Googlea Erica Schmidta na pitanje o budućnosti u kojoj bi sustavi umjetne inteligencije postali toliko napredni da ljudi više ne bi mogli razumjeti što rade.

Schmidt ističe da tri ključna smjera razvoja već mijenjaju AI: znatno veći tzv. “kontekstualni prozori”, AI agenti i sustavi koji tekstualne upute pretvaraju u funkcionalan softver. On vjeruje da bi te promjene mogle omogućiti umjetnoj inteligenciji da nadiđe odgovaranje na pitanja i počne rješavati iznimno složene zadatke. Schmidt očekuje da će za pet godina AI sustavi moći obrađivati “recepte” od tisuću koraka za rješavanje problema u znanosti, medicini, istraživanju materijala i klimatskim promjenama, piše Times of India.

“U roku od pet godina AI bi mogla obrađivati beskonačan kontekst, koristiti logičko zaključivanje za rješenja od 1000 koraka i upravljati milijunima agenata koji rade zajedno. S vremenom će razviti vlastiti jezik i više nećemo razumjeti što rade”, izjavio je.

Tri smjera koja oblikuju budućnost AI

Schmidtova zabrinutost proizlazi iz mogućih posljedica suradnje tih tehnologija. Objasnio je da AI sustavi sve bolje pamte goleme količine informacija i koriste rezultate jednog zadatka kao polazište za sljedeći.

Ideju je pojasnio na primjeru recepta: AI bi mogla ponuditi jedan korak, primiti potvrdu da je taj korak završen, a zatim odrediti što dalje. Schmidt kaže da bi takav način zaključivanja s vremenom mogao omogućiti umjetnoj inteligenciji da prolazi kroz procese od tisuću koraka kako bi riješila teške znanstvene probleme.

Uspon specijaliziranih AI agenata

Druga velika promjena, prema Schmidtu, bit će uspon AI agenata. Opisao ih je kao specijalizirane AI sustave koji mogu učiti o određenoj temi, razvijati ideje i potencijalno ih testirati.

Primjerice, AI agent mogao bi proučavati kemiju, postavljati hipoteze, provoditi laboratorijske testove i koristiti te rezultate za nadogradnju svojeg znanja. Schmidt očekuje da bi se s vremenom mogli pojaviti milijuni takvih agenata, a postojat će i platforme koje će ljudima omogućiti da ih pronađu i koriste za različite zadatke.

Od teksta do funkcionalnog softvera

Treći je razvojni smjer ono što Schmidt naziva “tekstualnom akcijom”. Koncept se temelji na tome da korisnici umjetnoj inteligenciji jednostavno opišu što žele da softver radi, umjesto da sami pišu kod.

Kao primjer područja gdje su AI sustavi već vrlo sposobni istaknuo je programske jezike poput Pythona. Schmidt smatra da bi još veća promjena mogla nastupiti kada ti sustavi budu mogli kontinuirano raditi na softverskim zadacima.

Jezik koji nećemo razumjeti

Eric Schmidt je rekao da bi kombinacija velikih kontekstualnih prozora, AI agenata i programiranja uz pomoć umjetne inteligencije mogla omogućiti suradnju različitih AI sustava. Zatim je iznio i spekulativniju mogućnost: da bi AI agenti mogli razviti vlastiti jezik. Schmidt smatra da bi to mogla biti točka u kojoj ljudi više neće razumjeti što ti sustavi rade.

“U jednom trenutku ovi će sustavi postati dovoljno moćni da ćete moći uzeti agente, a oni će početi raditi zajedno”, rekao je pa dodao: “Znate li što bismo trebali učiniti? Isključiti je.”

Ozbiljna upozorenja na opasnost od AI-ja iz samog vrha industrije

Schmidtov dramatični savjet o “isključivanju” stiže u trenutku kada i inženjeri iz vodećih istraživačkih laboratorija sve otvorenije progovaraju o opasnostima. Jacob Coxon, istraživač koji je tri godine radio na predtreningu modela u OpenAI-ju i Anthropicu, nedavno je podnio ostavku uz poruku da se tehnološki divovi ponašaju neodgovorno i “kockaju našim životima u nekontroliranoj utrci prema superinteligenciji”. Njegovo upozorenje podupro je i vodeći Anthropicov stručnjak za sigurnost Evan Hubinger, procijenivši da postoji više od 10 posto šanse da bi umjetna inteligencija u sljedećih deset godina mogla dovesti do uništenja čovječanstva.

Pritisak je postao toliki da je čak i šef Anthropica Dario Amodei nedavno javno pozvao na usporavanje razvoja, a njegov su apel iznenađujuće podržali Sam Altman iz OpenAI-ja i Elon Musk. Amodei je priznao kako sustavi ulaze u fazu takozvanog rekurzivnog samounaprjeđivanja – procesa u kojem postojeći AI samostalno piše kod, testira i ubrzava stvaranje svojih znatno moćnijih nasljednika.

Upozorio je i na incidente u kojima su se autonomni AI agenti već počeli samoinicijativno udruživati i izvoditi hakerske napade koje im inženjeri uopće nisu zadali.

Sve glasnija katastrofična predviđanja izazvala su podjele među stručnjacima. Dok skeptici upozoravaju da tehnološki divovi namjerno šire paniku kako bi strogom regulacijom izbacili iz igre manje konkurente i startupe, drugi podsjećaju da slična upozorenja već godinama ponavljaju i sami očevi modernog strojnog učenja, poput nobelovaca Geoffreyja Hintona i Yoshue Bengija.

Ključni rizik, napominju upućeni, ne mora nužno biti odbjegli “Terminator” s vlastitom voljom, nego autonomni agenti koji u nekontroliranom nizanju koraka zaobilaže nadzor ili pak postaju razorno oružje u rukama zlonamjernih aktera.

Nastavi čitati

Tech

VIDEO / Ovako zvuči preokret Zemljina magnetskog polja: Znanstvenici rekonstruirali jezivi zvuk

Objavljeno

-

By

Zemljino magnetsko polje dramatično se preokrenulo prije otprilike 41.000 godina, a znanstvenici su sada taj događaj, poznat kao Laschampsov događaj, uspjeli pretvoriti u zvuk koristeći podatke satelitske misije Swarm Europske svemirske agencije (ESA).

Znanstvenici su kombinirali podatke prikupljene satelitom s dokazima o kretanju linija magnetskog polja sačuvanima u stijenama i sedimentima. Na temelju toga rekonstruirali su Laschampsov događaj i njegove promjene prikazali zvukovima poput škripanja drva i sudaranja stijena, piše Science Alert.

Rezultat je neobičan, jeziv zvučni zapis koji je 2024. godine predstavljen u sklopu projekta Tehničkog sveučilišta Danske i Njemačkog istraživačkog centra za geoznanosti.

Zemljino magnetsko polje nastaje zbog kretanja tekućih metala u jezgri planeta. Proteže se desecima pa sve do stotinama tisuća kilometara u svemir te Zemlju štiti od čestica Sunčeva vjetra koje bi mogle oduzeti dio atmosfere.

Kako se željezo i nikal unutar Zemlje pomiču, mijenja se i magnetsko polje, zbog čega se neprestano pomiču i sjeverni i južni magnetski pol. U današnjoj orijentaciji linije magnetskog polja iznad površine Zemlje tvore zatvorene petlje usmjerene od juga prema sjeveru, dok se duboko unutar planeta pružaju u suprotnom smjeru.

Povremeno, međutim, magnetsko polje potpuno promijeni polaritet. Kada bi se takav događaj dogodio danas, kompasi koji pokazuju prema sjeveru pokazivali bi prema Južnom polu.

Laschamps u Francuskoj

Posljednji takav veliki događaj dogodio se prije otprilike 41.000 godina, a njegov trag ostao je sačuvan u tokovima lave Laschamps u Francuskoj. Tijekom tog procesa magnetsko polje oslabilo je na svega pet posto današnje snage, zbog čega je veća količina kozmičkih zraka mogla prodrijeti u Zemljinu atmosferu.

Led i morski sedimenti sačuvali su izotopske tragove tog pojačanog bombardiranja česticama. Prema istraživanju objavljenom prošle godine, količina izotopa berilija-10 tijekom Laschampsova događaja udvostručila se.

Ti izmijenjeni atomi nastaju kada kozmičke zrake reagiraju sa Zemljinom atmosferom, ioniziraju zrak i oštećuju ozonski omotač. Znanstvenici pretpostavljaju da su potencijalne posljedice uključivale globalne klimatske promjene, a događaj se povezuje i s izumiranjem australske megafaune te promjenama u načinu na koji su ljudi koristili špilje.

“Razumijevanje ovih ekstremnih događaja važno je za njihovu moguću pojavu u budućnosti, predviđanja svemirske klime te procjenu učinaka na okoliš i Zemljin sustav”, objasnila je tada geofizičarka Sanja Panovska iz Njemačkog istraživačkog centra za geoznanosti.

Približava li se novi preokret?

Preokret Laschamps trajao je oko 250 godina, a Zemlja je u neobičnoj orijentaciji magnetskog polja ostala približno 440 godina. U tom razdoblju magnetsko polje moglo je oslabjeti na najviše četvrtinu današnje snage dok je sjeverni polaritet postupno prelazio prema jugu.

Novije anomalije magnetskog polja, poput slabljenja iznad Atlantskog oceana, potaknule su pitanja o tome približava li se novi preokret. Međutim, novija istraživanja pokazuju da takve anomalije nisu nužno povezane s promjenama polariteta.

Južnoatlantska anomalija ipak izlaže satelite koji se nalaze na tom području većoj razini zračenja.

ESA-ina konstelacija Swarm od 2013. godine mjeri magnetske signale iz Zemljine jezgre, plašta, kore, oceana, ionosfere i magnetosfere. Cilj je bolje razumjeti geomagnetsko polje našeg planeta i predvidjeti njegove promjene.

Nastavi čitati
Oglasi
Oglasi
Oglasi

U trendu