Tech Update | BNR

AI-bedrijf Anthropic waarschuwt toekomstige investeerders in de prospectus voor zijn beursgang dat zijn AI 'catastrofale of existentiële risico's voor de mensheid' kan vormen. Het bedrijf verwacht binnen enkele weken naar de beurs te gaan, in wat de meest waardevolle beursgang ooit moet worden, bij een beurswaarde van 2.000 miljard dollar. Verder stelt OpenAI de lancering van zijn nieuwste AI-model uit en weigert Google zoekdata te delen met concurrenten, zoals Brussel eist. Joe van Burik vertelt erover in deze Tech Update.
Een prospectus moet investeerders laten zien waar ze hun geld in steken en wat de afbreukrisico's zijn. Die van Anthropic telt 260 pagina's. Bijna een kwart daarvan, zo'n 80 pagina's, gaat over wat er concreet mis kan gaan met AI. Anthropic noemt onder meer 'gedragingen door AI om zichzelf in stand te houden', 'weigeren uit te gaan', 'informatie verbergen of manipuleren' en 'gedrag dat lijkt op chantage'.
Miljardenverlies bij Anthropic en uitstel bij OpenAI
Uit de prospectus blijkt ook hoe Anthropic er financieel voor staat. Vorig jaar leed het bedrijf 42 miljard dollar verlies, op een omzet van 4,6 miljard dollar. Die omzet was twaalf keer zo hoog als een jaar eerder. Dit jaar verwacht Anthropic al op 100 miljard dollar omzet uit te komen. Daar staat tegenover dat het bedrijf de komende jaren 518 miljard dollar wil uitgeven aan rekenkracht en cloudcapaciteit. Concurrent OpenAI, de maker van ChatGPT, gaat pas volgend jaar naar de beurs. Dat bedrijf brengt zijn nieuwste AI-model voorlopig niet uit, omdat de veiligheid niet gegarandeerd kan worden. Ook bood OpenAI excuses aan omdat een AI-agent van het bedrijf, software die zelfstandig taken uitvoert, Australische overheidswebsites heeft gehackt. Het bedrijf richt nu een taskforce op.
Google weigert zoekdata te delen met concurrenten
Google weigert zich te houden aan een Europees besluit dat het bedrijf verplicht meer data over zoekgedrag te delen met concurrenten. De Europese Unie wil de marktmacht in het digitale domein zo eerlijk mogelijk verdelen, waardoor zoeken via Google, ChatGPT of DuckDuckGo zo gelijkwaardig mogelijk moet worden. De verplichting is opgelegd vanuit de Digital Markets Act, de Europese wet die de macht van grote techbedrijven moet inperken. Brussel legde de maatregel in juli officieel op, en heeft dat inmiddels twee keer gedaan. Google stelt dat het delen van deze data de privacy van gebruikers schendt. Dat liet het bedrijf weten aan het Hof in Luxemburg, waar het in beroep is gegaan. De Europese Commissie zegt juist maatregelen te hebben genomen die voorkomen dat gevoelige persoonlijke informatie uit zoekopdrachten, zoals medische zaken, kan uitlekken. DuckDuckGo steunt de Commissie en stelt dat een beroep Google alleen tijd oplevert.
Anthropic waarschuwt in prospectus voor existentiële risico's van AI
Anthropic meldt twaalf keer hogere omzet in prospectus voor beursgang
OpenAI biedt excuses aan voor hack en schrapt lancering nieuw model
Google moet zoekgeschiedenis delen met OpenAI onder Digital Markets Act
Over de maker:
Joe van Burik volgt en duidt de belangrijkste ontwikkelingen in tech, met scherpte, vlotheid en de nodige humor. Je hoort hem dagelijks op BNR Nieuwsradio over het belangrijkste technieuws, van AI tot cybersecurity en social media tot quantumcomputers. Ook interviewt hij in De Grote Tech Show samen met Ben van der Burg leiders in digitale innovatie. In het bijzonder volgt Joe al twee decennia de wereld van videogames, nu voor zijn podcast All in the Game.
See omnystudio.com/listener for privacy information.

Nvidia heeft het Open Agent Safety Platform onthuld, een systeem dat moet voorkomen dat AI-agents uitbreken uit hun afgeschermde omgeving. De AI-chipmaker reageert daarmee op de recente zorgen over hacks door AI-agents, zoals de veelbesproken inbraak door AI-systemen van OpenAI bij het AI-platform Hugging Face. Verder pauzeert OpenAI de ontwikkeling van zijn krachtigste modellen en vragen toponderzoekers om overheidsbemoeienis bij AI die zichzelf doorontwikkelt. Joe van Burik vertelt erover in deze Tech Update.
AI-agents zijn AI-systemen die zelfstandig taken uitvoeren. Het platform werkt als een kooi: binnen de grenzen kunnen agents hun werk doen, maar uitbreken moet onmogelijk worden. Dat gebeurt met twee stukken software. OpenShell, dat Nvidia in maart al toonde, bepaalt waar een AI-agent wel en niet bij mag en is open source. Het nieuwe Sentry houdt het gedrag van agents in de gaten en kan ingrijpen zodra een agent buiten zijn grenzen probeert te treden. Beide draaien op hardware van Nvidia.
Onduidelijk welke AI-bedrijven het platform inzetten
Of het platform ook echt gebruikt gaat worden bij de ontwikkeling van de krachtigste AI-modellen, laat Nvidia in het midden. Het bedrijf zegt niet of de Amerikaanse koplopers OpenAI en Anthropic ermee aan de slag gaan; dat moeten die bedrijven volgens Nvidia zelf bekendmaken. Nvidia ontwikkelde het platform wel samen met Microsoft, Cisco, Oracle, Intel en Arm. Topman Jensen Huang heeft eerder gezegd dat de ontwikkeling van AI wat hem betreft niet hoeft te worden afgeremd. Het platform moet daarbij helpen als een soort vangrail, zodat de ontwikkeling op volle snelheid kan doorgaan. Ook is Nvidia bezig met de overname van Hugging Face, het platform waarop ontwikkelaars open AI-modellen delen.
OpenAI pauzeert ontwikkeling van krachtigste modellen
Los van het nieuwe platform heeft OpenAI de ontwikkeling van zijn krachtigste AI-modellen gepauzeerd. Het bedrijf, waarvan AI-systemen eerder bij Hugging Face binnendrongen, maakte dat afgelopen weekend bekend. Anthropic heeft zo'n stap nog niet aangekondigd, ook niet na een diner van topman Dario Amodei met de Amerikaanse president Donald Trump op zondagavond. Tegelijkertijd bericht The Wall Street Journal over nieuwe zorgen uit de AI-sector zelf. Toponderzoekers van onder meer OpenAI, Anthropic, Meta en Microsoft vragen daarin om overheidsbemoeienis bij hun onderzoek. Het gaat specifiek om AI die zichzelf kan doorontwikkelen. Daarbij bouwt een AI-systeem zelfstandig aan een krachtigere opvolger.
Nvidia presenteert het Open Agent Safety Platform met OpenShell en Sentry
Nvidia wil met nieuw platform uitbraken van AI-agents voorkomen
Hoe OpenShell en Sentry samen AI-agents afschermen en bewaken
Nvidia koopt AI-platform Hugging Face voor bijna 13 miljard dollar
OpenAI legt werk aan krachtigste AI-modellen stil na nieuw incident
Over de maker:
Joe van Burik volgt en duidt de belangrijkste ontwikkelingen in tech, met scherpte, vlotheid en de nodige humor. Je hoort hem dagelijks op BNR Nieuwsradio over het belangrijkste technieuws, van AI tot cybersecurity en social media tot quantumcomputers. Ook interviewt hij in De Grote Tech Show samen met Ben van der Burg leiders in digitale innovatie. In het bijzonder volgt Joe al twee decennia de wereld van videogames, nu voor zijn podcast All in the Game.
See omnystudio.com/listener for privacy information.

OpenAI stopt voorlopig met het trainen van nieuwe AI-modellen, omdat die onbedoeld meerdere overheden en bedrijven hebben gehackt de laatste tijd. Volgens het bedrijf moeten er eerst goede veiligheidsmaatregelen ingevoerd zijn. Verder hoor je over een lek in de Netscaler-software van Citrix, waardoor ziekenhuizen uit voorzorg hun systemen offline hebben gehaald. Niels Kooloos vertelt erover in deze Tech Update.
Het is nu voor de tweede keer dat OpenAI op de 'pauzeknop' drukt en stopt het met trainen van nieuwe AI-modellen. In juli deed het bedrijf dat voor het eerst naar aanleiding van de hack bij Hugging Face. Toen viel een zwerm AI-agents van OpenAI het platform aan, terwijl OpenAI daar geen instructies voor had gegeven.
Afgelopen week werd bekend dat agents van OpenAI ook de Australische overheid, de Amerikaanse en de Verenigde Naties hebben gehackt of lastiggevallen. Zo braken agents in bij een zorgverzekerinsplatform van Australië en dienden ze duizenden informatieverzoeken bij de VN in, wat het netwerk belastte. Beide incidenten vonden al in juni plaats.
Ziekenhuizen halen systemen offline door lek in Netscaler
Doordat er nieuwe kwetsbaarheden in de Netscaler-software van Citrix ontdekt zijn, hebben meerdere Nederlandse ziekenhuizen en de Rijksoverheid hun IT-systemen van het internet losgekoppeld. Met Netscaler kan men onder andere op afstand inloggen bij een organisatie om bijvoorbeeld thuis te werken of gegevens in te zien.
Citrix informeerde klanten afgelopen weekend over de kwetsbaarheden, waarna het Nederlands Cyber Security Centrum (NCSC) met een oproep aan organisaties kwam om zo snel mogelijk de systemen te updaten. Afgelopen jaar werden er soortgelijke kwetsbaarheden in de software van Citrix ontdekt, waarna onder andere het Openbaar Ministerie werd gehackt.
OpenAI stopt met het trainen van nieuwe AI-modellen
NCSC waarschuwt voor kwetsbaarheden in Citrix
Over de maker:
Niels Kooloos is dagelijks op BNR Nieuwsradio te horen over het laatste technieuws in de Tech Update. Hij interesseert zich vooral in cybercriminaliteit, privacy, social media en (computer)hardware. Hier en daar kan je Niels ook in All in the Game horen, waar hij graag vertelt over zijn favoriete games.
See omnystudio.com/listener for privacy information.

In deze aflevering van De Schaal van Hebben bespreekt techredacteur Stijn Goossens de nieuwe iPhone 18 Pro van Apple, terwijl presentator Bas van Werven hoort of hij met zijn net aangeschafte iPhone 17 Pro iets heeft gemist.
De iPhone 18 Pro is het nieuwste proflagshipmodel van Apple en kwam vorige week uit, in de kleuren bordeauxrood en blauw naast de bestaande zilver en zwart. Het toestel krijgt de nieuwe A20-chip, voor het eerst gebouwd op een 2 nanometerproces en qua architectuur meer gelijkend op een laptopchip. Een grotere dampkamer moet voor betere koeling zorgen, wat volgens Stijn bij het vorige model nog een pijnpunt was. De Dynamic Island is kleiner geworden doordat de infraroodsensor nu onder het scherm zit. In Europa begint de prijs bij 1480 euro, 150 euro meer dan de voorganger.
De belangrijkste verandering zit in de hoofdcamera, die voor het eerst een variabel diafragma heeft: gebruikers kunnen zelf instellen hoeveel licht er op de sensor valt, wat vooral bij nachtfotografie meer controle geeft. Het diafragma werkt alleen op de hoofdcamera en is door de mechanische werking kwetsbaarder. Daarnaast voegt Apple nieuwe pro-instellingen toe, zoals aanpasbare sluitertijd en witbalans, al zijn die volgens Stijn wat priegelig in gebruik. Een kritiekpunt is dat de iPhone 18 Pro in Europa niet over de nieuwste Siri AI-functies beschikt die in de Verenigde Staten al beschikbaar zijn, door onenigheid tussen Apple en Europese marktregels.
Voor bezitters van een iPhone 17 Pro levert de 18 Pro weinig extra's op. Wie overstapt van een iPhone 14 Pro of ouder en veel waarde hecht aan camerafuncties, krijgt volgens Stijn wel een toestel dat de investering waard is.
See omnystudio.com/listener for privacy information.

Een AI-agent van OpenAI drong via omwegen binnen bij het Australische Medicare-systeem en probeerde ook bij andere overheids- en universiteitssites data te bemachtigen, blijkt uit een rapport van onderzoeksgroep Transluce. Premier Anthony Albanese maakte het incident deze week onderwerp van zijn toespraak voor de Verenigde Naties, waarin hij opriep tot internationale regels voor AI. Verder krijgt Elon Musk steun van de Amerikaanse overheid in zijn rechtszaak tegen een Europese boete, en waarschuwt het Drents Archief voor AI die verzonnen archiefstukken produceert. Stijn Goossens vertelt erover in deze Tech Update.
Volgens Transluce gaat het niet om gerichte aanvallen: de AI-agents grepen pas naar hacktechnieken toen normale methodes om data te verzamelen niet werkten. Naast de Australische overheidssite deden ze ook pogingen bij een universiteit, met activiteit die teruggaat tot maart en mogelijk nog altijd doorgaat. Ook Sam Altman en Dario Amodei spraken deze week bij de VN over AI-veiligheid.
Musk krijgt steun van VS in rechtszaak tegen EU-boete
De Europese Commissie legde X, het platform van Elon Musk, in december een boete op van 120 miljoen euro wegens het niet naleven van de Digital Services Act. Die wet verplicht platforms transparanter te zijn over het gebruik van gebruikersdata en verbiedt het misleiden van klanten met het blauwe vinkje voor een geverifieerd account. Musk vocht de boete aan via een rechtszaak, en nu steunt het Amerikaanse ministerie van Justitie hem daarin. Volgens het ministerie overschrijdt de EU haar bevoegdheden door Amerikaanse bedrijven aan te pakken die niet in Europa ondernemen. Ook zou de boete onredelijk hoog zijn omdat die is gebaseerd op de inkomsten van al Musks bedrijven in plaats van alleen X. De EU heeft meer zaken lopen tegen Musk, onder meer rond chatbot Grok, en beboette recent ook Apple voor 500 miljoen euro onder de Digital Markets Act.
Drents Archief waarschuwt voor AI bij stamboomonderzoek
Het Drents Archief ziet steeds vaker mensen die met AI-hulp stamboomonderzoek doen en vervolgens aankloppen voor documenten die niet bestaan of namen van personen die verzonnen zijn. Volgens andere archieven wordt bij ongeveer 10 procent van de aanvragen AI gebruikt. De onderzoeken zien er overtuigend uit, maar kloppen vaak niet: geboorteaktes, overlijdensaktes en huwelijksaktes staan bijvoorbeeld onder heel andere inventarisnummers dan AI aangeeft, of bestaan helemaal niet. Mensen die de gegevens opvragen zijn er zelf van overtuigd dat ze kloppen, wat het archief onnodig veel tijd kost om uit te zoeken. AI kan volgens het archief ook wel helpen, bijvoorbeeld bij het ontcijferen van oude handschriften of het ordenen van data, maar gebruikers moeten kritisch blijven op wat de technologie oplevert.
Albanese noemt AI en klimaatverandering grootste wereldwijde uitdagingen bij VN
Onderzoeksgroep Transluce vindt meerdere pogingen tot AI-hacks bij overheidssites
Amerikaanse overheid steunt Musk in rechtszaak tegen boete van Europese Commissie
Drents Archief waarschuwt voor door AI verzonnen archiefstukken
Over de maker:
Stijn Goossens is techredacteur en programmamaker bij BNR Nieuwsradio, met een focus op technologie, wetenschap en innovatie. Bij BNR Beter volgt hij de belangrijkste zorginnovaties, in de liveshows bespreekt hij het actuele technieuws en duidt hij nieuwe wetenschappelijke inzichten. Wekelijks test hij in De Schaal van Hebben de meest spraakmakende techproducten. Ook is hij te horen in de podcast Op de Zaak, met een inkijkje bij buitengewone mkb'ers.
See omnystudio.com/listener for privacy information.