再说，林凤祥北伐大军攻至黄河刘家口，但见对岸清兵林立，渡船皆毁，自此入鲁北上已无可能。凤祥遂西进寻渡，一路杀至开封，屡攻不克。遂绕至朱仙镇。
时麦儿黄黄，夏风习习，林凤祥心境稍爽，遂再奏禀：东王千岁千千岁，自临淮至此，尽见坡麦，未见一田，粮料甚难，兵将日日加增，尽见骑马骡者甚多。忖思此时之际，各项俱皆丰足，只有谷米不足。临淮至此，着人带文回朝数次，未知至否？如此山遥水远，音信难通。兹今在朱仙镇酌议起程，西走寻渡，大军越河功成，方可回禀各王殿下金安，无烦远虑也。转奏天王万岁万岁万万岁！
1853年6月22日，林凤祥率军由祥符赶至中牟，逢五百清兵城外扎营，即刻包围砍杀。
清兵惧而抱首，只待死耳。
豫人目击，叹：“畏死而终不免于死。贼至而竟束手受戕，馁气乘心，魂魄先丧。可见平日操练无方，武备懈驰，徒有食粮之名而已。”
林凤祥攻得中牟，即刻督兵郑州，于巩县寻得一渡口，秘命人寻舟，得小船三十。前军、中军三万人，历时七昼夜，全渡。后军三千，不及渡，被追兵打散。
7月8日，林风祥率过河之军，剑指怀庆府。
怀庆，豫西北重镇，盛产货药，物阜民丰。林风祥仓促渡河，资财尽失，冀打牙祭，复待后军。
孰料怀庆知府余炳焘、知县裘宝镛皆乃猛人，巧舌如簧，阖府一宣，竟募得七千战士。
林凤祥先礼，降书绑箭，射入城垣。
余炳焘临危无惧，指挥兵士练勇，檑木滚下，矢石投下，滚汤泼下。林凤祥连攻半月，死伤枕藉，一无所获。强攻不克，林凤祥遂外扎营寨，欲圈围怀庆，耗死炳焘。此方甚毒，一月下来，怀庆府已弹尽粮绝。
余炳焘无奈饬令：释囚守城，城守释囚。守城男子每日食面糊两餐；女子即无面糊，清水亦可餐。
连攻不克，林凤祥又调土营，挖道炸城。
炳焘乃于城中穴地，置大瓮入内，令人坐而听之，准声所起，亦掘地道，掘愈近，声愈近，至能辨人语，引水骤灌之。或以“草上无露则下有地道，远近曲折，一目了然”。炳焘以此两方，破地道三十余处。
余炳焘硬撑十日，清军援兵陆续赶到。
7月18日，绥远城将军托明阿、都统西凌阿率兵四千，抵怀庆东南，于徐堡镇扎营。
24日，河南提督善禄、大名镇总兵董占元率兵三千抵怀庆东北，驻足清化镇。
27日，山东巡抚李僡率兵二千，驻扎清化镇、二十里铺。
28日，胜保率兵一千九，至怀庆城东八里处扎营。
29日，胜保率军猛攻，托明阿等消极拖沓。胜保无权节制诸军，恼，奏曰：近日各路官兵虽厚，而实在与贼接仗者不多。即便接仗，不过于距贼二百步外以枪炮轰击。迨贼炮一发，贼旗一动，遂多不敢前冲。专恃枪炮安能破垒擒渠？故以之胜贼尚易，以之灭贼实难。至黑龙江马队之枪箭虽称劲旅，不如吉林兵鸟枪，于截剿追杀更为得力。臣观，北路距贼甚远，进战时隔河施放枪炮，贼亦不甚介意。西路现在无兵，托明阿等东路尚能为臣后援，而其官兵亦多不能前进。各路官兵虽多，皆有统带大员，事权不一，未能和衷共济。钦臣讷尔经额远在临洺关调度，实远水不解近渴。
林凤祥围攻两月，虽连败各路援军。但人疲马乏，战资耗尽，而始终不能破城。而清军援部，正源源不断，自东、南、北三方蜂拥抵近。林凤祥斟酌再三，决意撤围西进，摆脱追兵。
1853年9月3日，凤祥率军折入山西，连克垣曲、绛县，斩杀二知县，进逼平阳。
平阳得失关系晋省全局，咸丰帝严旨切责：前因贼扰怀庆，密迩山西，叠次谕令哈芬严密防堵。该抚前奏布置隘口情形，据称已属周密。乃贼匪突陷垣曲，扰及绛县、曲沃，直扑平阳。叠据藩司郭梦龄驰奏，而哈芬近在省南，奏报转迟，且由阳城亲带官兵进剿，自应迅赴平阳迎击，何以迁延旬日尚逗留潞郡？似此调度无方，畏葸无能，若仍令待罪封疆，必致更滋贻误。怀庆围解，胜保功大，加都统衔，赐黄马褂，特予节制各路人马，入晋杀贼。
1853年9月12日，林凤祥攻打平阳，架炮轰塌城垣，兵勇商民惊慌四散，平阳知府何维墀脱手钏激赏之，亦不能止。林军占得平阳，尤恨平民助妖，怒将武庙沿街民居焚烧殆尽。
胜保率军追至，密伏城北。
林凤祥不知，督兵继进，被西凌阿马队冲散。林凤祥慌不择路，督率后军，退守平阳；李开芳率前队，北进洪洞。