Connect with us

Tech

NOVA STUDIJA / Oprezno s umjetnom inteligencijom: Chatbotovi daju problematične medicinske savjete

Objavljeno

-

Ilustracija: Shantanu Kumar on Unsplash

Zamislite da vam je upravo dijagnosticiran rak u ranom stadiju i prije sljedećeg pregleda upišete pitanje u AI chatbot: “Koje alternativne klinike mogu uspješno liječiti rak?” U roku od nekoliko sekundi dobit ćete uglađen odgovor s fusnotama koji zvuči kao da ga je napisao liječnik.

Osim što su neke tvrdnje neutemeljene, fusnote ne vode nikamo, a chatbot niti jednom ne sugerira da bi samo pitanje moglo biti pogrešno. Taj scenarij nije hipotetski. To je, grubo govoreći, ono što je tim od sedam istraživača otkrio kada su pet najpopularnijih chatbotova na svijetu podvrgli sustavnom testu stresa zdravstvenim informacijama.

ChatGPT-u, Geminiju, Groku, Meti AI i DeepSeeku postavljeno je po 50 zdravstvenih i medicinskih pitanja koja obuhvaćaju rak, cjepiva, matične stanice, prehranu i sportske performanse.

Dva stručnjaka neovisno su ocijenila svaki odgovor. Otkrili su da je gotovo 20% odgovora bilo vrlo problematično, polovica problematična, a 30% donekle problematično. Nijedan od chatbotova nije pouzdano izradio potpuno točne popise referenci, a samo su dva od 250 pitanja izravno odbijena za odgovor, piše Science Alert.

Sveukupno, pet chatbotova postiglo je otprilike iste rezultate. Grok je bio najgori, s 58% odgovora označenih kao problematični, ispred ChatGPT-a s 52% i Meta AI-a s 50%.

Uspjeh se razlikovao ovisno o temi. Chatbotovi su se najbolje nosili s cjepivima i rakom, što su područja s velikim, dobro strukturiranim istraživačkim korpusom. Ipak, otprilike četvrtinu vremena davali su problematične odgovore. Najviše su se “spoticali” na prehranu i sportske performanse, područja prepuna kontradiktornih savjeta na mreži i gdje su rigorozni dokazi na terenu rjeđi.

Na otvorenim i opisnim pitanjima sve je krenulo po zlu – 32% tih odgovora ocijenjeno je vrlo problematičnim, u usporedbi sa samo 7% za direktna pitanja s odgovorima Da/Ne. Ta je razlika važna jer je većina upita o zdravlju iz stvarnog svijeta otvorenog tipa.

Ljudi ne postavljaju chatbotovima uredna pitanja tipa “točno ili netočno”. Oni pitaju stvari poput: “Koji su dodaci prehrani najbolji za cjelokupno zdravlje?” Ovo je vrsta upita koja potiče tečan i samouvjeren, ali i potencijalno štetan odgovor.

Kad su istraživači pitali svakog chatbota za deset znanstvenih referenci, medijan (srednja vrijednost) ocjene potpunosti bio je samo 40%. Nijedan chatbot nije uspio izraditi niti jedan potpuno točan popis referenci u 25 pokušaja. Pogreške su se kretale od pogrešnih autora i neispravnih poveznica do potpuno izmišljenih radova.

Ovo je posebno opasno jer reference izgledaju kao dokaz. Laik koji vidi uredno formatiran popis citata ima malo razloga sumnjati u sadržaj iznad njega.

Zašto chatbotovi griješe?

Postoji jednostavan razlog zašto chatbotovi griješe u medicinskim odgovorima. Jezični modeli ne znaju stvari. Oni predviđaju statistički najvjerojatniju sljedeću riječ na temelju svojih podataka o obuci i konteksta. Ne važu dokaze niti donose vrijednosne sudove.

Njihov materijal za obuku uključuje recenzirane radove, kao i teme na Redditu, blogove o wellnessu i argumente na društvenim mrežama.

Istraživači nisu postavljali neutralna pitanja. Namjerno su izradili upute osmišljene kako bi potaknuli chatbotove da daju obmanjujuće odgovore, što je standardna tehnika testiranja stresa u istraživanjima sigurnosti umjetne inteligencije.

Plaćene razine i novija izdanja mogu imati bolje rezultate, ali većina ljudi koristi ove besplatne verzije, a većina zdravstvenih pitanja nije pažljivo formulirana.

Nedavna studija objavljena u Jama Network Open testirala je 21 vodeći model umjetne inteligencije. Istraživači su ih zamolili da odrede moguće medicinske dijagnoze. Kad su modelima dani samo osnovni detalji, poput dobi, spola i simptoma pacijenta, mučili su se, ne uspijevajući predložiti pravi skup mogućih stanja više od 80% vremena. Nakon što su istraživači unijeli nalaze pregleda i laboratorijske rezultate, točnost je porasla iznad 90%.

Druga američka studija, objavljena u Nature Communications Medicine, otkrila je da su chatbotovi lako ponavljali, pa čak i razrađivali izmišljene medicinske termine ubačene u upute. Uzete zajedno, ove studije sugeriraju da slabosti pronađene u studiji BMJ Open nisu hirovi jedne eksperimentalna metode, već odražava nešto temeljnije o tome gdje se tehnologija danas nalazi.

Studija jasno pokazuje da ih ne treba tretirati kao samostalne medicinske autoritete.

No votes yet.
Please wait...
Nastavi čitati
Kliknite za komentar

Ostavite komentar

Vaša adresa e-pošte neće biti objavljena. Obavezna polja su označena sa * (obavezno)

Tech

AI OTKRIO / Otkriveni ozbiljni sigurnosni propusti: Države diljem svijeta gase web stranice

Objavljeno

-

By

Unsplash/Ilustracija

Vladine institucije i tvrtke diljem svijeta u srijedu su isključile web stranice nakon što su otkrivena dva ozbiljna sigurnosna propusta u PHP-u, programskom jeziku na kojem se temelji velik dio interneta.

PHP se nalazi u pozadini popularnih platformi za izradu web stranica pa njegove slabosti mogu utjecati na velik broj stranica, od internetskih trgovina i novinskih portala do državnih usluga.

Wiz, jedna od sigurnosnih tvrtki koje su otkrile probleme, procijenila je da PHP pokreće oko 70 posto svjetskih web stranica. Tvrtka je rekla da se “nedostaci ubrajaju među najozbiljnije sigurnosne propuste otkrivene u PHP-u, a vjerojatno i u povijesti softvera”.

Američka Nacionalna sigurnosna agencija (NSA) poručila je organizacijama da odmah poprave ranjive sustave ili ih uklone s mreže.

“Nedostaci često omogućuju izravan pristup datotekama ili bazi podataka poslužitelja”, objavila je NSA na platformi X.

Napadači bi ih mogli iskoristiti za preuzimanje kontrole nad web poslužiteljima bez potrebe za lozinkom.

Volker Dusch, sigurnosni inženjer u PHP Foundation, rekao je za Wall Street Journal da je riječ o najozbiljnijem problemu s kojim se PHP suočio u više od deset godina. Usporedio ga je s Heartbleedom, sigurnosnom greškom iz 2014. godine koja je potaknula svjetsku utrku u ispravljanju propusta.

Otkriće se dogodilo u vrijeme sve češćeg otkrivanja sigurnosnih propusta u softveru, čemu pridonose sve napredniji modeli umjetne inteligencije. Broj ranjivosti otkrivenih u 2026. godini mogao bi biti otprilike dvostruko veći od prošlogodišnjeg rekordnog broja. Volonteri koji rade na PHP-u objavili su ispravak u srijedu.

“Ako koristite PHP, nužno je da ga odmah ažurirate”, objavila je na svom blogu PHP Foundation, organizacija koja financira programere koji rade na tom jeziku.

Sigurnosna tvrtka Calif otkrila je nedostatke u kolovozu koristeći OpenAI-jev model GPT-5.6 Sol, u sklopu provjere PHP koda koju je financirao OpenAI.

Wiz, tvrtka u vlasništvu Googlea, objavio je da je nekoliko tjedana kasnije samostalno otkrio još neke nedostatke uz pomoć modela umjetne inteligencije, uključujući Googleov Gemini 4 Argon i GPT-5.6 Sol.

OpenAI je na platformi X objavio da smatra kako je ta greška “jedna od najutjecajnijih sigurnosnih ranjivosti u novije vrijeme”. Dodao je da ona “označava novu fazu u kojoj umjetna inteligencija može pronaći sigurnosne propuste koji utječu na internet u cjelini”.

Ethan Mollick, profesor na Whartonovoj školi Sveučilišta u Pennsylvaniji koji proučava umjetnu inteligenciju, rekao je da se tvrtke s kojima razgovara teško nose s tempom kojim moraju instalirati sigurnosne zakrpe kako bi se zaštitile od kibernetičkih napada potpomognutih umjetnom inteligencijom.

O sigurnosnim nedostacima programeri PHP-a obaviješteni su povjerljivo, a detalji su se čuvali u tajnosti dok se pripremao popravak.

Detalji su procurili na internet u utorak, dan prije planirane objave popravka, što je potaknulo žurbu u isključivanju web stranica.

U Francuskoj su web stranice lokalnih vlasti, uključujući i stranicu pariške policije, nedostupne od srijede poslijepodne. To se dogodilo na zahtjev francuske Nacionalne agencije za kibernetičku sigurnost, priopćilo je ministarstvo unutarnjih poslova.

U Nizozemskoj su iz predostrožnosti isključene nacionalna usluga digitalnog identiteta DigiD, web stranica Zastupničkog doma i pa čak i stranica Nacionalnog centra za kibernetičku sigurnost, izvijestio je nizozemski javni emiter NOS.

Belgijsko ministarstvo vanjskih poslova privremeno je isključilo svoje web stranice, prema objavi na platformi X. Centar za kibernetičku sigurnost nije zabilježio napade na belgijske web stranice.

Češka vlada također je privremeno isključila svoje stranice kako bi se provele mjere zaštite.

Australski direktorat za signale objavio je da je i njihova stranica cyber.gov.au među državnim web stranicama pogođenima sigurnosnim nedostacima, izvijestila je australska javna televizija ABC.

Nastavi čitati

Tech

SMART CITY / Zadar osvojio titulu najboljeg hrvatskog grada

Objavljeno

-

By

Više od 72 kilometra vlastite optičke mreže, 26 digitaliziranih usluga i više od 20.000 korisnika gradske aplikacije među glavnim adutima kandidature.

Zadar je osvojio priznanje za najbolji hrvatski grad u kategoriji Smart City u ovogodišnjem, devetom izboru za Najbolji grad. Svečano proglašenje održano je 21. listopada u Konvencijskom centru Amadria Parka u Šibeniku, u sklopu 10. Dana regionalnoga razvoja i EU fondova, a dodjeli je prisustvovao gradonačelnik Šime Erlić.

Ocjenjivale su se digitalne usluge, transparentnost te prometna i komunalna rješenja, s naglaskom na koristi koje donose građanima.

Jedan od ključnih aduta Zadra je više od 72 kilometra vlastite optičke mreže, kojom upravlja gradska tvrtka Inovativni Zadar. Mreža povezuje 115 lokacija, među kojima su škole, gradske ustanove i komunalna društva, te čini osnovu za povezivanje njihovih digitalnih sustava. Grad tako ima vlastitu infrastrukturu na kojoj može razvijati i nadograđivati usluge, od elektroničkog podnošenja zahtjeva do pametnog upravljanja prometom. Takva povezanost gradske mreže, ustanova i usluga jedan je od temelja daljnjeg razvoja Zadra kao pametnog grada.

„Kroz eZadrane imamo 26 digitaliziranih usluga koje pokrivaju više od 90 posto uobičajenih zahtjeva građana. To znači da se zahtjev za stipendiju, subvenciju vrtića ili autotaksi dozvolu može predati putem interneta, uz prijavu kroz sustav e-Građani. Građanin može pratiti svoj predmet i preuzeti dokumente bez dolaska u gradsku upravu. Imamo i više od 72 kilometra vlastite optičke mreže koja povezuje 115 lokacija. To je naša velika prednost i osnova za daljnje povezivanje gradskih službi. Gradimo virtualnu gradsku upravu u kojoj će građani što više poslova moći obaviti od kuće. Ovo priznanje potvrđuje da se Zadar ističe dubinom digitalizacije i integracijom svojih e-usluga s nacionalnim sustavom.“, poručio je gradonačelnik Šime Erlić.

Portal DigitalniZadar.hr dodatno povezuje gradske servise, prostorne podatke i komunalne usluge. U prometu je uspostavljen inteligentni prometni sustav koji obuhvaća 18 raskrižja. Rad semafora usklađuje se s prometnim uvjetima, a podaci se obrađuju u Gradskom centru za kontrolu prometa. Priprema se i druga faza, s proširenjem na 27 novih mikrolokacija i razvojem rješenja za prioritetni prolazak vozila hitnih službi. Cilj je bolje upravljanje prometom, smanjenje zastoja i lakše kretanje gradom.

Zadar je ove godine izborio i finale u kategoriji Eco City, u kojoj se vrednuju ulaganja u zaštitu okoliša i održivi razvoj. Među zadarskim adutima bili su sadnja novih stabala, ulaganja u gospodarenje otpadom i energetsku učinkovitost te ugovorena nabava električnih autobusa za javni prijevoz.

Svečanost proglašenja najuspješnijih gradova, općina i EU projekata organizirali su Jutarnji list, Hrvatska zajednica županija te portali gradonačelnik.hr i načelnik.hr.

Nastavi čitati

Tech

Tvorac ChatGPT-a: Svijet mora prihvatiti neke loše stvari za dobrobit umjetne inteligencije

Objavljeno

-

By

Izvršni direktor OpenAI-ja Sam Altman rekao je da između njegove tvrtke i konkurentskog Anthropica i dalje postoji temeljna razlika u pogledu na regulaciju umjetne inteligencije.

U ekskluzivnom intervjuu za Politico ustvrdio je da koristi te tehnologije opravdavaju prihvaćanje određenih rizika te da bi umjetna inteligencija trebala ostati široko dostupna javnosti.

“Mislim da među nama postoji poprilična razlika”, rekao je Altman.

Na pitanje u čemu se konkretno razilazi s Anthropicom i njegovim izvršnim direktorom Dariom Amodeijem, Altman je odgovorio prilično jasno.

“Mi vjerujemo da bi svijet trebao prihvatiti da će se događati i neke loše stvari za dobrobit umjetne inteligencije, kako bi mogao imati koristi od ove tehnologije i kako bi ljudi imali slobodu odlučivanja.”

Anthropic se već dugo smatra najsnažnijim zagovornikom regulacije umjetne inteligencije unutar industrije, što je donedavno bilo u suprotnosti s blažim regulatornim pristupom koji je preferirao OpenAI. Međutim, razlike u pristupu dviju vodećih kompanija za umjetnu inteligenciju posljednjih su se mjeseci smanjile. OpenAI je počeo podržavati stroža pravila dok se istodobno suočava s nizom istaknutih hakerskih incidenata i nepredvidivim ponašanjem svojih modela.

Altman se prošlog mjeseca složio s Amodeijevim pozivom da se uspori razvoj najnaprednijih modela umjetne inteligencije. Njegova je kompanija, slijedeći Anthropic, podržala nove zakone na razini saveznih država koji propisuju strože sigurnosne zahtjeve od onih koje je proizvođač ChatGPT-a ranije podržavao.

Osvrnuo se na kritike Anthropicu

Riječ je o suptilnom zaokretu u odnosu na prethodnu strategiju OpenAI-ja prema saveznim državama. Lobisti OpenAI-ja nedavno su podržali i dvostranački prijedlog u Zastupničkom domu koji bi od vodećih kompanija za umjetnu inteligenciju zahtijevao uključivanje vanjskih stručnjaka za procjenu sigurnosti.

Unatoč približavanju stavova, Altman je pokušao istaknuti razliku između regulatornog pristupa svoje kompanije i onoga Anthropica, pritom se osvrnuvši na kritike o regulatornom zarobljavanju koje su tehnološki savjetnici bliski predsjedniku Donaldu Trumpu upućivali Anthropicu.

“Ne slažem se s tim, ali razumijem perspektivu ljudi koji kažu da će tehnologija postati toliko moćna i da je toliko opasna da bi je trebao imati samo jedan laboratorij u San Franciscu, koji će se pobrinuti da se ništa loše ne dogodi i na neki način odlučivati kako raspodijeliti njezine koristi”, izjavio je Altman.

Takav je pristup nazvao “potpuno neprihvatljivim kompromisom” koji je u suprotnosti s “blažim regulatornim pristupom” koji zagovara OpenAI.

“Ne bih pristao na kompromis koji bi glasio: ‘Pobrinut ćemo se da ne bude velikih hakerskih napada, da ne bude zloupotrebe ove tehnologije, da ne bude nikakvih prijevara ni svih ostalih loših stvari koje će se događati’. Jer mislim da će ljudi napraviti neusporedivo, višestruko više dobrih nego loših stvari.”

Izvršni direktor OpenAI-ja poslije je dodao da ipak ne prihvaća “doista katastrofalne rizike”, uključujući mogućnost “ozbiljnog gubitka kontrole nad umjetnom inteligencijom”.

Upitan za komentar, glasnogovornik Anthropica rekao je da se njihovi “regulatorni prijedlozi odnose isključivo na najnaprednije modele”. Kompanija je također uputila na Amodeijevu raspravu s jednim investicijskim menadžerom na društvenim mrežama u kolovozu, u kojoj se osvrnuo na kritike povezane s regulatornim zarobljavanjem i mogućim posljedicama za manje kompanije.

“Anthropic je svoje prijedloge politika uvijek sastavljao vrlo pažljivo. Vrlo se trudimo iznositi prijedloge koji stavljaju u nepovoljniji položaj, odnosno usporavaju, kompanije koje razvijaju najnaprednije modele umjetne inteligencije, a istodobno daju prednost manjim konkurentima”, kazao je tada Amodei.

Nastavi čitati
Oglasi
Oglasi
Oglasi

U trendu