EU AI Act

Niniejszy dokument zbiera najważniejsze elementy upmedic dotyczące spełniania wymagań EU AI ACT

System służy do generowania i strukturyzowania tekstu (biurowość medyczna), a nie do wspomagania decyzji klinicznych:

• Kategoria: System AI o ograniczonym ryzyku (Limited Risk).

• Główny obowiązek: Przejrzystość (Transparency) – Art. 50 AI Act.

upmedic w scenariuszach używających rozpoznawania mowy opiera się na autorskim modelu rozpoznawania mowy upmedic-asr

upmedic w scenariuszu podsumowania wizyt i lang_ai opiera się na zewnętrznych modelach LLM klasy SOTA dostosowanych do domeny medycznej, wobec tego upmedic dotyczą obowiązki dla dostawców systemów opartych na modelach ogólnego przeznaczenia.

Więcej informacji w dokumencie upmedic Assesment of Non-high risk AI

Obowiązek informowania (Art. 50)

Użytkownik (lekarz) wie, że korzysta ze sztucznej inteligencji. 

Interfejs upmedic, jako asystenta generującego tekst, z natury spełnia wymóg informowania o tym, że treść została wygenerowana maszynowo. Lekarz w każdej chwili korzystania z upmedic może zapoznać się, odświeżyć wiedzę na temat bezpiecznego korzystania z AI.

 Znakowanie treści (Art. 50 ust. 2):

Fragmenty dokumentacji wygenerowane przez LLMy są podkreślane oddzielnym kolorem by lekarz zwrócił szczególną uwagę na ich merytoryczną poprawność.

Nadzór ludzki w procesie tworzenia treści 

System jest zaprojektowany tak, by lekarz weryfikował i zatwierdzał wygenerowaną notatkę. W modelu "generatora tekstu" jest to kluczowe zabezpieczenie przed halucynacjami AI.

Alfabetyzacja cyfrowa (AI Literacy - Art. 4): 

Personel medyczny korzystający z narzędzia rozumie, jak działa generator tekstu i jakie są jego ograniczenia (np. skłonność do zmyślania faktów, czyli tzw. halucynacji). Rejestracja lekarza wymaga aktywacji. W celu aktywacji konta konieczne jest odbycie szkolenia z upmedic.

Jasne instrukcje i ostrzeżenia wewnątrz aplikacji podnoszą kompetencje użytkowników w zakresie bezpiecznego korzystania ze sztucznej inteligencji.

Zgodność z RODO

Jako system przetwarzający dane medyczne (nawet jeśli nie jest wyrobem medycznym), upmedic spełnia rygorystyczne wymogi ochrony danych, co pośrednio wspiera wymogi AI Act dotyczące bezpieczeństwa danych. Więcej informacji dostępnych w dokumencie RODO w upmedic

Zwalczanie halucynacji (jakość danych): Korzystanie ze słowników takich jak SNOMED CT czy HL7 znacząco ogranicza ryzyko generowania błędnych terminów medycznych, co wpisuje się w postulat "dokładności i solidności" systemów AI.

Systemy AI muszą być odporne na próby manipulacji 

upmedic stosuje wszystkie zalecane techniki zapobiegania prompt injection wg OWASP https://cheatsheetseries.owasp.org/cheatsheets/LLM_Prompt_Injection_Prevention_Cheat_Sheet.html  

Zgodność z "Human Agency" (Podmiotowość człowieka): System nie narzuca lekarzowi technologii AI. Lekarz ma pełną kontrolę nad narzędziem pracy, co jest fundamentem etyki AI w UE.

Zarządzanie ryzykiem

Poprzez ograniczenie zakresu do „generatora tekstu” i brak funkcji diagnostycznych, system unika większości ryzyk związanych z błędami medycznymi AI.