Unvergesslich ist Harry Dreifuss, wie der Großvater von den Geräuschen der herabsausenden Granaten erzählte, und wie er dann den Befehl zum Handeln geben musste. Die Soldaten retteten sich in die entstandenen Granattrichter, weil selten eine Granate noch einmal in dieselbe Stelle einschlug. Die schmerzliche Enttäuschung, dass Hitler an die Macht kam, und dass der Einsatz für ihr Land den jüdischen Soldaten mit Verfolgung und Mord „gedankt“ wurde, muss tief sitzen: Im Gespräch über den Großvater kommt Harry Dreifuss immer wieder darauf zurück.
Nach seiner Rückkehr von der Front engagierte sich Julius Dreifuss bei den Mannheimer Sozialdemokraten und wurde Obmann der SPD. Er besaß eine kleine Fabrik für Bohnerwachs, Möbelpolitur und Mottenschutzmittel, in der auch Harrys Vater mitarbeitete.
Nach Hitlers Ernennung zum Reichskanzler 1933 erlebte die jüdische Familie, wie die Nationalsozialisten politische Gegner ausschalteten und die wirtschaftliche und gesellschaftliche Ausgrenzung der Juden vorantrieben. Die Dreifuss‘ blieben zunächst in Mannheim, wo am 18. Mai 1935 Harry zur Welt kam.
Kurz nach dessen Geburt warnten Parteigenossen den Großvater vor einer drohenden Verhaftung. Rund vier Monate nach Harrys Geburt wurden im September 1935 die Nürnberger Gesetze erlassen, die die jüdischen Deutschen zu Menschen minderen Rechts degradierten. Zu dieser Zeit stand der Entschluss der Familie zur Flucht bereits fest. Die Großeltern fuhren mit Harrys Eltern und dem Baby im Auto zu Harrys Onkel und Tante nach Bern, in die Schweiz. Dort trafen sie Ende 1935 ein. Die Hoffnung der Familie war es, für ein halbes Jahr dort zu bleiben, bis Hitler gestürzt wäre. Nach sechs Monaten hatte sich diese Hoffnung zerschlagen.