Nach Beginn des Zweiten Weltkriegs durften Sinti und Roma auf Anordnung von Heinrich Himmler ab Mitte Oktober 1939 ihre Wohnsitze nicht mehr verlassen. Die große Mehrheit der deutschen und österreichischen Sinti und Roma wurde in Lagern interniert, um sie später zu deportieren. Eines der größten Lager mit bis zu 2.300 Insassen war Lackenbach im Burgenland nahe der Grenze zu Ungarn. Die dort internierten Menschen aus der "Ostmark" und aus Württemberg durften - wie in den meisten anderen Lagern auch - lediglich zur Zwangsarbeit das umzäunte und von der Schutzstaffel (SS) bewachte Lager verlassen. Ihre Unterbringung war beengt und notdürftig, die Verpflegung unzureichend.
Im Frühjahr 1940 begann die systematische Deportation von Sinti und Roma aus dem Deutschen Reich in das besetzte polnische Generalgouvernement. Federführend war das Reichssicherheitshauptamt (RSHA) unter Beteiligung der örtlichen Kriminalpolizei. Am 27. April 1940 ordnete Himmler den ersten Transport von "2.500 Personen - in geschlossenen Sippen" an. Aus Sammellagern im Hamburger Hafen, in den Kölner Messehallen und im Zuchthaus Hohenasperg bei Stuttgart fuhren während dieser sogenannten Mai-Deportationen Sonderzüge in das Generalgouvernement, wo die Verschleppten in Lager, Ghettos oder in Dörfer gebracht und zur Zwangsarbeit eingesetzt wurden. Jeder Fluchtversuch oder die Rückkehr ins Reichsgebiet wurden hart bestraft. Die Deportation der vom RSHA erfassten Sinti und Roma in das Generalgouvernement stieß bei anderen NS-Stellen nicht nur auf Zustimmung. Manche, wie der Reichsärzteführer Leonardo Conti (1900-1945), befürworteten stattdessen ihre - seit Mitte der dreißiger Jahre angedachte und zum Teil auch durchgeführte - Zwangssterilisation, um die als rassisch minderwertig eingestufte Bevölkerungsgruppe auf diese Weise aussterben zu lassen.
Im Herbst 1941 wurden auf Befehl Himmlers über 5.000 Sinti und Roma aus der Steiermark und dem Burgenland in das Ghetto Lodz deportiert und in einem abgeriegelten Teil untergebracht. Nach Ausbruch einer Typhus-Epidemie wurde das "Zigeunerlager" unter strenge Quarantäne gestellt. Die Beerdigung der zahlreichen Toten erfolgte auf dem jüdischen Ghettofriedhof. Im Januar 1942 wurden die letzten Überlebenden in das Vernichtungslager Chelmno gebracht und dort vergast. Zu diesem Zeitpunkt hatten Einsatzgruppen in den besetzten Gebieten in Polen, der Sowjetunion und in Südosteuropa bereits Zehntausende Roma systematisch ermordet. Der deutsche Verbündete Rumänien begann Ende 1941 mit der Ermordung von Roma, bis September 1942 starben dort rund 25.000 Menschen. Unmittelbar nach dem Balkanfeldzug im April 1941 hatten sich die Roma in Serbien registrieren lassen und gelbe Armbinden mit der Aufschrift "Zigeuner" tragen müssen. Viele von ihnen wurden Opfer von als Vergeltungsmaßnahmen für Partisanenangriffe deklarierten Exekutionen. Im 1941 die Unabhängigkeit erlangten Kroatien erging im Mai 1942 die Anordnung, sämtliche "Zigeuner" festzunehmen. Allein in der Krajina wurden über 5.000 Roma gefangen genommen und in das Lager Jasenovac verschleppt, wo bis Kriegsende geschätzte 10.000 bis 40.000 Roma umgebracht wurden.
Am 16. Dezember 1942 ordnete Himmler an, alle noch im Reichsgebiet und in den besetzten Gebieten lebenden Sinti und Roma in ein Konzentrationslager einzuweisen. Aufgrund dieses Erlasses wurden im März 1943 über 20.000 Sinti und Roma nach Auschwitz-Birkenau deportiert. Die meisten der insgesamt 23.000 Insassen im Lagerabschnitt B II e, darunter über 10.700 aus dem Altreich und 2.300 aus Österreich, starben an Hunger, Krankheiten, Misshandlungen und medizinischen Experimenten. Am 16. Mai 1944 konnten die im "Zigeunerlager" lebenden Menschen in einer einmaligen Widerstandsaktion ihre Ermordung zunächst abwenden, nachdem sie sich mit Steinen und Werkzeugen bewaffnet in den Baracken verbarrikadiert hatten. In der Nacht vom 2. auf den 3. August 1944 wurden die letzten fast 3.000 Männer, Frauen und Kinder in den Gaskammern ermordet und das "Zigeunerlager" in Auschwitz-Birkenau aufgelöst.
Von den erfassten rund 40.000 deutschen und österreichischen Sinti und Roma wurden über 25.000 ermordet. Insgesamt fielen geschätzte 220.000 bis 500.000 Sinti und Roma dem Rassenwahn der Nationalsozialisten und dem an ihnen systematisch geplanten Völkermord zum Opfer.