Tak, próbujemy to poniekąd robić taki sposobami. Jako ciekawostka to np. przy modelach językowych próbujemy czegoś takiego jak próby wyjaśniania słabszych (starszych) modeli przy pomocy nowych, silniejszych, czyli np. GPT4 wyjaśniający GPT2 itd. itp.
Jestem amatorem ale z tego co się naczytalem, nasłuchałem, naoglądałem wynika, że problemem będzie gdy te "nasze" sieci neuronowe zaczną tworzyć inne, własne. Biorąc pod uwagę moc obliczeniową nie będziemy jako ludzie wstanie zrozumieć działania tych nowych, tak jak to autor tego materiału wskazał, to co my musielibyśmy tysiącami godzin liczyć na kartce, komputer robi w kilka sekund.
Czyli innymi słowymi nie wiemy nic, ponieważ budowa i równania matematyczne to tylko baza a cała magia, przepływ danych jest całkowicie niezrozumiały :) podobnie jak ma to miejsce w fizyce gdzie niby wiadomo wszystko ale nie wiadomo najważniejszych rzeczy np: dla czego prędkość światła jest stała, dodajmy średnia prędkość w tamtą i z powrotem ponieważ jedno kierunkowej nikt nigdy nie zmierzył i może być inna zależnie od kierunku.
Rozumiemy sieci neuronowe (koncept dosyć już stary) ale niektórzy naukowi celebryci zbijają na tym kapitał. Jest taki Pan "autorytet z fizyki" co biega ostatnio po całym YT i straszy ludzi AI i opowiada jak on to "nie rozumie".