1948年11月初，淮海战役正式打响。为鼓舞士气，华东野战军文工团的文艺工作者们随野战部队一起开赴淮海前线。
在淮海战役的第一阶段战，华野部队沿着徐州以东地区的陇海线两侧对从新安镇撤出的国民党军黄百韬兵团展开追击。国民党军队为了避免覆灭的命运，拼命向西逃跑，人民解放军则极速追击，很多部队急行军中不起灶做饭，有的部队战士们一天只吃一顿饭，且是边走边吃。部队在强行军中，大多数时间每天要走130至150华里。战士们在“敌人跑到哪里，我们追到哪里，就把他们歼灭在哪里”的口号鼓舞下没有一个人掉队，紧紧咬住黄百韬兵团，最终将其包围在碾庄地区。文工团员韦明，被这一个追击的场面深深地震撼了，他激动得无法入眠，在油灯下，伏身在门板上写下了《乘胜追击》的歌词：
追上去！追上去！不让敌人喘气！
追上去！追上去！不让敌人跑掉……
这首节奏明快，催人奋进的歌词深深打动了时任华野文工团团长沈亚威，他立即动笔，充满激情地谱写了曲子，并且边行军边教战士们演唱。就在部队到达下一个宿营地的时候，淮海战场上的第一首歌曲已经在部队中传唱开了，后来这首歌成为了《淮海战役组歌》中的第一首歌曲。
在抢占运河铁桥战斗中，解放军战士们冒着国民党军疯狂的机枪扫射和密集的手榴弹，一次次地抱起炸药包冲向敌人碉堡，前面的战士倒下了，后面的战士抱起炸药包继续前进，最终攻克了敌人据点。他们大无畏的精神深深打动着文艺工作者们。时任华野文工团音乐股长的陈大荧，怀着对英雄的崇敬，含着热泪创作完成了歌曲《抢渡运河铁桥》，后来此曲成为《淮海战役组歌》中的第二首歌。
1948年11月23日，在黄百韬兵团被歼灭后，一位骑兵通讯兵，骑着奔驰的战马呼喊着：“捷报，捷报……全歼黄百韬。”被这种胜利的喜悦气氛深深感染的沈亚威，仅用2个小时就创作出了《捷报，捷报，歼灭了黄百韬》。
在淮海战役进行的过程中，随着胜利的捷报不断传来，文艺工作者们情绪高涨，陆续创作出《挖工事》《狠狠地打》《歌颂淮海胜利》等40余首充满激情和喜悦的战斗歌曲，平均不到两天就诞生一首新歌。战后，经沈亚威等同志集体研究，筛选出10首最能代表淮海战役各个阶段特点的歌曲，组成《淮海战役组歌》。配上朗诵词，连成一组反映淮海战役全过程的联唱，这就是响彻全中国的《淮海战役组歌》。