安远寨实际上是南宋飞虎军的大本营，飞虎军又是由南宋爱国词人辛弃疾亲手创建的。辛弃疾在任荆湖南路安抚使时曾经费尽心机修建了安远寨等军事防御体系用来抵抗金军南侵，由于从小就亲眼目睹了沦陷区的百姓惨遭女真人的蹂躏，辛弃疾和岳飞一样终其一生都在致力于抗金大业。回到南方后，一心带领宋军北伐的辛弃疾曾经多次上书言事，并向宋帝上奏《美芹十论》、《九议》等来明志。虽然他的奏章在民间广为传诵，但是却遭到了苟且偷安的南宋臣僚的排挤和打击。因此郁郁不得志的辛弃疾先后被派往湖北、湖南、江西等地担任安抚使、转运使等职，在地方上，辛弃疾除了采取安定民生，奖励耕战，打击贪污腐败等有效措施来发展生产之外，他还自费创建了飞虎军。

自从岳飞在风波亭遇害后岳家军便土崩瓦解，韩世忠也为了保全性命而退隐山林，南宋此时也仅剩下飞虎军能抵抗金军了。虽然飞虎军全军上下都骁勇善战，但是却仍然得不到宋朝的认可。一方面，在位的宋高宗担心飞虎军的强硬态度会惹恼金国，引起金军的大举南下向他兴师问罪；另一方面，在很大的程度上飞虎军属于辛弃疾的私人武装，南宋朝廷无法对它实行有效的监管宋高宗担心飞虎军会效仿刘正彦等人图谋不轨。所以他明里采用不供应钱粮之类的经济制裁之外，暗地里还命令手下匿名编写《说辛全传》来诋毁辛弃疾。