Aufgrund des Berufsverbotes wegen seiner jüdischen Herkunft emigrierte er 1933 aus Nazi-Deutschland zuerst nach Frankreich und ließ sich dann Rio de Janeiro in Brasilien nieder. Außer in den unmittelbaren Kriegsjahren hatten er und seine Darmstädter Sportfreunde beim SV98 stets Briefverkehr. Seine starke Bindung an seine Heimatstadt und den Darmstädter Fußball bezeugte unter anderem sein nach Kriegsende geäußerter Wunsch wieder an den Woog zurückzukehren sowie sein Besuch bei den Darmstädter Freunden 1955. 1963 war es dann soweit, Dr. Heß ließ sich mit seiner Frau wieder in Darmstadt nieder und arbeitete bis 1968 im Rechtsamt der Stadt. Nach seiner Pensionierung verließ er jedoch abermals Darmstadt, um zur Familie seines Sohnes in Brasilien zurückzukehren. Dort starb er am 15. April 1975.
Der SV Darmstadt 98. e.V. wird dem verdienten Sportfunktionär, dem begeisterten Fußballfreund und treuen „98er“ Dr. Karl Heß immer ein ehrendes Andenken bewahren.