Od pierwszych dni II wojny światowej w pomoc polskim uchodźcom na Węgrzech zaangażowało się wiele przedstawicielek węgierskich elit. Jedną z nich była hrabina Józsefné Margit Károlyi.

Jeszcze przed wojną, po śmierci męża, całą swoją energię włożyła w działalność społeczną. Patronowała Chrześcijańskiej Lidze Kobiet w Székesfehérvár. Była wykształconą pielęgniarką i pracowała na rzecz Stowarzyszenia Opieki nad Dziećmi.

To Károlyi zainicjowała 29 września 1939 roku w Budapeszcie Komitet Pomocy dla Uchodźców. W kolejnych dniach osobiście przyjmowała na granicy tysiące Polaków uciekających przed wojną i kierowała ich w głąb kraju na zakwaterowanie. Wkrótce utworzona przez nią organizacja przekształciła się w Węgiersko-Polski Komitet Opieki nad Uchodźcami, którego została pierwszą przewodniczącą.

Hrabina wizytowała obozy zorganizowane przez władze państwowe, rozdając paczki z odzieżą i obuwiem. Przejęła sprawę wypłaty zasiłków uchodźcom cywilnym w obozach Dunamocs i Párkány-Nána. Interweniowała w obozie w Szob, gdzie rzeczy przesłane dla uchodźców przez Czerwony Krzyż trafiały do magazynów zamiast do potrzebujących.

Oprócz tego pomagała w sprawie wysyłek paczek żywnościowych do rodzin w Polsce, jak i do polskich żołnierzy w niemieckich obozach jenieckich. W 1941 roku po jej rozmowach z regentem Miklósem Horthym zwolniono aresztowanych Polaków. Ponadto Károlyi wraz z hrabiną Szápáry pomagały w wyszukiwaniu odpowiednich kwater dla żon i dzieci polskich oficerów.

Komitet był solą w oku Niemców. Po ich wkroczeniu na Węgry 19 marca 1944 roku Gestapo zamknęło jego siedzibę. Przez cztery lata swojej działalności pod kierownictwem hrabiny Károlyi Komitet niósł pomoc tysiącom Polaków w Budapeszcie i 37 obozach na terenie kraju. Węgiersko-Polski Komitet do spraw Uchodźców był małą wyspą w morzu ludzkości, w tamtym bezmiarze zła – tak o pracy organizacji pisał Gábor Dóró, współpracownik hrabiny.