Wyjaśnialna AI tzw. XAI (ang. Explainable Artificial Intelligence)

Shapley Additive exPlanations (SHAP) to niezależny od modelu model interpretowalności, który umożliwia wyjaśnienie przewidywań z dowolnego modelu uczenia maszynowego , w tym złożonych modeli „czarnej skrzynki”, takich jak sieci neuronowe. SHAP wykazuje analizę wpływu każdej cechy na decyzję modelu. Ta metoda uczenia maszynowego  wyjaśnia przewidywania modelu poprzez przypisanie każdej cesze unikalnej „wartości SHAP”, która określa jej wkład w konkretny wynik.

SHAP oferuje specyficzne wsparcie dla modeli języka naturalnego, takich jak te w bibliotece transformatorów Hugging Face. Dodając reguły koalicyjne do tradycyjnych wartości Shapleya, możemy tworzyć gry, które wyjaśniają rozbudowany, współczesny model przetwarzania języka naturalnego (NLP) przy użyciu bardzo niewielu ewaluacji funkcji.

https://github.com/shap/shap

Tworzy lokalne uproszczenia decyzji modelu.
Lime potrafi wyjaśnić dowolny klasyfikator typu „czarna skrzynka”, z dwiema lub więcej klasami. Wystarczy, że klasyfikator zaimplementuje funkcję, która przyjmuje surowy tekst lub tablicę numpy i zwraca prawdopodobieństwo dla każdej klasy. Wbudowana jest obsługa klasyfikatorów scikit-learn.

LIME (Local Interpretable Model-Agnostic Explanations)
LIME jest techniką, która opiera się na użyciu prostszego, interpretowalnego modelu (np. regresji liniowej) i wyjaśnieniu za jego pomocą predykcji modelu bardziej złożonego. Podstawowe założenie jest takie, że o ile globalnie (dla całego zbioru) granice decyzyjne są skomplikowane, o tyle lokalnie (tj. w obszarze bliskim konkretnej predykcji) jesteśmy w stanie je przybliżyć prostszym modelem.

Aby zobrazować różnice pomiędzy globalnymi i lokalnymi granicami decyzyjnymi, posłużmy się poniższym wykresem.

https://github.com/marcotcr/lime

Mapy Grad-CAM i saliencji sątechniki stosowane w sztucznej inteligencji objaśniającej (XAI) do wizualizacji, na których częściach obrazu skupia się model głębokiego uczenia podczas tworzenia prognozyGrad-CAM generuje „mapę cieplną” poprzez połączenie cech rozróżniających klasy konkretnej warstwy splotowej z gradientami tej warstwy, pokazując, które piksele są najbardziej istotne dla danego wyniku . Metody te mają kluczowe znaczenie dla zrozumienia i zaufania do procesu decyzyjnego złożonych modeli, takich jak splotowe sieci neuronowe (CNN). Techniki wizualizacji CNN pokazują, które fragmenty sygnału/obrazu decydują o klasyfikacji.

Korzyści:
Zapewnia bardziej solidne i rozróżniające klasy wyjaśnienie niż starsze metody saliencji.
Można go zastosować w dowolnej sieci CNN bez konieczności ponownego szkolenia, co czyni go bardzo elastycznym.