EU AI Act

Niniejszy dokument zbiera najważniejsze elementy upmedic dotyczące spełniania wymagań EU AI ACT

System służy do generowania i strukturyzowania tekstu (biurowość medyczna), a nie do wspomagania decyzji klinicznych:

• Kategoria: System AI o ograniczonym ryzyku (Limited Risk).

• Główny obowiązek: Przejrzystość (Transparency) – Art. 50 AI Act.

Zastosowania sztucznej inteligencji w upmedic

upmedic w scenariuszach używających rozpoznawania mowy (wbrew powszechnemu błędnemu rozumowaniu, rozpoznawanie mowy to problem rozwiązywany najskuteczniej za pomocą technik AI, źródło: wikipedia) opiera się na autorskim modelu rozpoznawania mowy upmedic-asr, którego wyłącznym właścicielem jest upmedic.

upmedic w scenariuszu podsumowania wizyt i lang_ai opiera się na zewnętrznych modelach LLM klasy SOTA dostosowanych do domeny medycznej, wobec tego upmedic dotyczą obowiązki dla dostawców systemów opartych na modelach ogólnego przeznaczenia.

Informacje na temat klasyfikacji zastosowań AI w upmedic wg EU AI ACT w dokumencie upmedic Assesment of Non-high risk AI

Obowiązek informowania (Art. 50)

Użytkownik (lekarz) wie, że korzysta ze sztucznej inteligencji. 

Interfejs upmedic, jako asystenta generującego tekst, z natury spełnia wymóg informowania o tym, że treść została wygenerowana maszynowo. Lekarz w każdej chwili korzystania z upmedic może zapoznać się, odświeżyć wiedzę na temat bezpiecznego korzystania z AI.

 Znakowanie treści (Art. 50 ust. 2):

Fragmenty dokumentacji w trybie lang_ai wygenerowane przez LLMy są podkreślane oddzielnym kolorem by lekarz zwrócił szczególną uwagę na ich merytoryczną poprawność.

Nadzór ludzki w procesie tworzenia treści 

System jest zaprojektowany tak, by lekarz weryfikował i zatwierdzał wygenerowaną notatkę. W modelu "generatora tekstu" jest to kluczowe zabezpieczenie przed halucynacjami AI.

Alfabetyzacja cyfrowa (AI Literacy - Art. 4): 

Personel medyczny korzystający z narzędzia rozumie, jak działa generator tekstu i jakie są jego ograniczenia (np. skłonność do zmyślania faktów, czyli tzw. halucynacji). Rejestracja lekarza wymaga aktywacji. W celu aktywacji konta konieczne jest odbycie szkolenia z upmedic.

Jasne instrukcje i ostrzeżenia wewnątrz aplikacji podnoszą kompetencje użytkowników w zakresie bezpiecznego korzystania ze sztucznej inteligencji.

Zgodność z RODO

Jako system przetwarzający dane medyczne (nawet jeśli nie jest wyrobem medycznym), upmedic spełnia rygorystyczne wymogi ochrony danych, co pośrednio wspiera wymogi AI Act dotyczące bezpieczeństwa danych. Więcej informacji dostępnych w dokumencie RODO w upmedic

Zwalczanie halucynacji (jakość danych): Korzystanie ze słowników takich jak SNOMED CT czy HL7 znacząco ogranicza ryzyko generowania błędnych terminów medycznych, co wpisuje się w postulat "dokładności i solidności" systemów AI.

Systemy AI muszą być odporne na próby manipulacji 

upmedic stosuje wszystkie zalecane techniki zapobiegania prompt injection wg OWASP https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html  

Zgodność z "Human Agency" (Podmiotowość człowieka): System nie narzuca lekarzowi technologii AI. Lekarz ma pełną kontrolę nad narzędziem pracy, co jest fundamentem etyki AI w UE.

Zarządzanie ryzykiem

Poprzez ograniczenie zakresu do „generatora tekstu” i brak funkcji diagnostycznych, system unika większości ryzyk związanych z błędami medycznymi AI.

Zarządzanie modelami AI w upmedic

Jakie są procedury eskalacji w przypadku błędnych decyzji AI (Czy istnieje procedura obsługi incydentów AI)? 

1. zgłoszenie przez użytkownika problemu z modelem

2. weryfikacja wejść i wyjść modelu, środowiska pracy lekarza czy nie uległo zmianie

3. potwierdzenie, że dla dobrych wejść model zwraca niepoprawne wyjścia

4. ocena skutków złej decyzji AI oraz jak łatwo wykrywalny jest ten błąd z perspektywy użytkownika

5. decyzja w zależności od tego czy model jest produkcyjny, eksperymentalny, typu użytkownika czy incydent powinien skutkować cofnięciem wersji modelu na poprzedniej

Jak wygląda proces testowania i walidacji modelu przed wdrożeniem?

1. policzenie metryk jakości modelu

2. porównanie metryk jakości modeli w poprzednich wersjach

3. sprawdzenie zachowania nowej wersji modelu przez zespół testerów

4. wdrożenie modelu w wersji eksperymentalnej dla komitetu lekarzy

5. po 2 tygodniach od wdrożenia zebranie feedbacku od komitetu

6. w przypadku zgody wiekszości składu komitetu wdrożenie modelu na produkcję w trybie eksperymentalnym, dla użytkowników, którzy chca testować nowe wersje modelu

7. weryfikacja, czy użytkownicy korzystający z trybu eksperymentalnego uważają nowy model za lepszy

8. decyzja o pełnoskalowym wdrożeniu modelu