The Midrash Raba (65:20):
אין יעקב שולט אלא בקולו – הקול קול יעקב, והידים ידי עשו – אין עשו שולט אלא בידים… בשעה שיעקב מרכין בקולו ידי עשו שולטות… ובשעה שהוא מצפצף בקולו… אין ידי עשו שולטות… בזמן שקולו של יעקב מצוי בבתי כנסיות אין הידים ידי עשו, ואם לאו הידים ידי עשו
Does not say not to fight back. Says that prayer will determine if Eisav’s might will prevail.