胡人自古以来就是游牧民族，他们狩猎渔耕，依赖畜牧业为生，难以牢靠栖身。到了秦汉时期，北方胡人逐渐形成了自己的政权，南来抢掠、洗劫、迁徙，往往会给中原区域带来不小的穷苦。汉武帝开拓西域后，对胡人的制约力度也增添了许多。
在这样的历史靠山之下，“胡人不敢南下而牧马”，成为了中原士人一种自我标榜的方式。然而现代考古研究诠释，西北区域胡人与汉朝之间同化交流异常频仍，胡人在汉地定居生涯的征象并不少见。着实，“胡人不敢南下而牧马”也只是士人嘴上说说而已。
不外从历史的长河来看，胡人不敢南下而牧马简直是有一定原理的。北方民族的栖身情形对照恶劣，对于畜牧业的依赖度更高。而江南区域水稻、棉花等农作物种植蓬勃，相宜耕作，胡人纵然南下，也无法顺遂地生长出自己的畜牧业。为了维系游牧民族的生计，胡人往往会向西北、西南偏向迁徙。
