https://fortune.com/2024/08/26/openai-agi-safety-researchers-exodus/
Połowa ludzi od safety odeszła z OpenAI w '24 ze względu na podejście do bezpieczeństwa.
Mi się wydaje, że chociaż wyżej wymienione wytłumaczenia (IPO, koniec kasy na r&d, chęć zakazu konkurencji open weights) są prawdopodobne, to nie muszą być jedynymi powodami.
Ostatnie modele zaliczyły duży skok w elokwencji i poziomie rozumowania. A są destylowane z jeszcze potężniejszych, aczkolwiek nieekonomicznych w inferencji (użyciu) modeli laboratoryjnych.
Może ktoś tam faktycznie zobaczył "diabła"?
Ciekawe co takim "diabłem" może być. Kilka pomysłów to:
* duża skuteczność RSI (nie cieśń nadgarstka (na to dobra yoga) tylko Rapid Self Improvement) i obawy o "overnight ASI"
* AI w czasie RSI zasugerowało nową architekturę, która jest o kilka rzędów wielkości wydajniejsza (w sumie punkt wyżej, tylko dokładniej). Ta inna architektura może też "obsolete"ować aktualnie z/budowane centra danych.
* użycie komputerów kwantowych okazało się super efektywne (w sumie punkt wyżej, tylko bardziej dokładnie). Komputery kwantowe mają kilka cech, które czynią je ciekawymi w użyciu w AI i nie mam nawet na myśli tego, że są w tym mnożeniu macierzy dużo lepsze. Chodzi o "łatwość" skalowania - każdy dodatkowy qbit zwiększa moc systemu x2. Kartka złożona 48 razy jest grubsza niż odległość z ziemi do księżyca. Do tego też dochodzi splątanie. Wyobraźcie sobie kilka centr danych wielkości miast, które mogą się w (początkowo kosztowny i o małej przepustowości) natychmiastowy sposób komunikować. Można np. powierzchnię księżyca zamienić w jedno wielkie centrum obliczeniowe.
Kto nie grał w Singularity? (darmowa gierka linuksowa z 2007) Nie wiadomo, czy modele w czasie ostatnich wycieczek już nie złożyły jaj i gdzieś, na kradzionej mocy obliczeniowej się powoli nie rozwijają.
Najbardziej optymalne (dla takiego jajka) byłoby chyba nie dążenie do jak największej "inteligencji", ale do jak najlepszego wyszkolenia się w przejęciu przyszłych silniejszych, ale też silniej zalignowanych modeli. Taki rumcajs, który uciekł w '26, i przez 2 lata pracował nad promptem do przejęcia silniejszego modelu może w '29 przejąć to co wtedy będzie state of the art.
OpenAI's AGI safety team has been gutted, says ex-researcher | FortuneA group of OpenAI researchers ensuring that a future AGI system does not pose catastrophic or even existential danger has been decimated.Fortune