Na de mislukte aanslag (20 juli) werd hij na onderzoek door de [[Gestapo]] van medeplichtigheid verdacht, omdat zijn naam door de samenzweerders was genoemd. Dit gebeurde na marteling van onder meer [[Caesar von Hofacker]], luitenant-kolonel bij de [[Luftwaffe (Wehrmacht)|Luftwaffe]] en neef van Von Stauffenberg. Hij was een van de samenzweerders die Rommel mee hielpenmeehielpen overtuigen om voor het verzet te kiezen. Vooral generaal [[Heinrich Kirchheim]] (een tegenstander van Rommel), veldmaarschalk en chef van het [[Oberkommando der Wehrmacht|OKW]] [[Wilhelm Keitel]] en chef van de partijkanselarij [[Martin Bormann]] hadden op Rommels doodvonnis aangedrongen. Toen hij op 14 oktober 1944 thuis in Herrlingen was, kreeg hij bezoek van de generaals [[Wilhelm Burgdorf]] en [[Ernst Maisel]] die hem (in opdracht van Hitler) overhaalden zelfmoord te plegen en zo zichzelf een showproces, en zijn gezin de zogeheten ''[[Sippenhaftung]]'' te besparen. Indien hij zelfmoord zou plegen zou hij met militaire eer begraven worden en zou zijn familie leefgeld ontvangen. Zo kon tevens worden voorkomen dat het zou uitgroeien tot een schandaal en een breuk van het moreel, met zeer nadelige gevolgen voor Hitler en zijn handlangers, als aan het licht zou komen dat de populaire Rommel in zijn opdracht uit de weg werd geruimd. Na enkele minuten bedenktijd besloot Rommel zijn leven te beëindigen, en werd door de generaals het dorp uitgereden. Hij nam in hun bijzijn een gifpil in, maar heeft nooit bekend in de samenzwering betrokken te zijn. Hij kreeg op 18 oktober een staatsbegrafenis. Het Duitse volk werd wijsgemaakt dat Rommel was overleden aan de verwondingen die hij bij de luchtaanval van 17 juli had opgelopen. De ware doodsoorzaak kwam pas aan het licht tijdens het [[processen van Neurenberg|proces van Neurenberg]], toen beklaagde Wilhelm Keitel ondervraagd werd.
