牛皋出身农民家庭，初为射士，精练武功，擅长骑射，南宋初年聚集人民抗金。绍兴三年，加入岳家军、长胜军。牛皋使用双锏，乃金所制。后隶归岳飞，为其推重，对金作战中屡立战功。曾参加镇压杨幺起义，岳飞被害后，因始终反对宋金议和，被秦桧害死。

由于牛皋在家乡组织的抗金有功，牛皋被晋升为西道招抚使及蔡、唐、信军镇抚使。绍兴三年（1133年），岳飞统管江西、湖北军务，决定由襄汉进军中原，收复失地。牛皋奔赴临安面见宋高宗赵构，力陈刘豫必败，中原可复。赵构将牛皋所部划归岳飞指挥，牛皋加入岳家军。

其实，在牛皋加入岳家军之前，二人就多有来往，并交情深厚。牛皋年长于岳飞，加之战功卓越，因而颇得岳飞敬重。自此，牛皋就一直担任岳家军的副帅，岳牛二人并肩作战，书写了一部可歌可泣的抗金史。岳飞见到牛皋后非常欣喜，即命牛皋为唐、邓、襄、郢4州的安抚使，后又任牛皋为中部统领。