一安排自然是李鸿章保荐的结果。李的用意是以此作铺垫，为他下一步出任陕西巡抚打下基础。可是，刘铭传到了陕西之后，却不听李鸿章的劝告，与当时的陕甘总督左宗棠闹起了不和。眼看矛盾越闹越大，清廷便耍起了惯用手法，各打五十大板，这让刘铭传咽不下这口气。不久，便以“脑痛欲裂，坐卧难安”为由，“自解兵柄，养疴田园”。这已是刘铭传第三次辞官，时在同治十一年(1872年)二月。
这一次，刘铭传辞官时间最长，前后近十年。这期间，他开始大兴土木，寄情山水。每日与人饮酒、赋诗、下棋，消遣时光。据地方文献记载，刘铭传的出生地原在离刘老圩西北约六华里的四方郢子，后迁至旱庄。这里是刘铭传创办团练扎寨之处。刘铭传辞官回乡后，由于家中妻妾多，人丁猛增，难以安置，便在旱庄西北角建起新居刘老圩，又在六安九公山建了一处别墅——刘新圩。刘老圩依山傍水，面对大潜山，金河水穿流而过，圩基包括水面占地近百亩。四周深濠高墙，设有碉堡、炮台和吊桥，内有亭院楼阁、花园假山、小桥长廊、池塘花木，以及仓库、米房和马库等，规模浩大，盛极一时。圩内还修有一座六角亭，该亭四面环水，石桥相通，专门用来放置西周著名青铜器——虢季子白盘。这是刘麻子打下常州后，从太平天国护王府中缴获的战利品。这件宝物后来成了刘家的传家宝。
刘铭传解甲后，曾撰过两副庙联。一联是：
十载河东，十载河西，眼前色相皆成幻；
一时向上，一时向下，身外功名总是空。
一联是：
万户侯，何足道哉！听钟鼓数声，唤醒四方名利客；
三生约，信非虚也！借蒲团一块，寄将七尺水云身。
从这些诗联中透露出的信息以及他大兴土木、寄情田园的情况看，刘铭传好像已经看破红尘，不再把功名放在心上，实则不然。刘铭传向来是一个干大事的人，他心雄万夫，志存高远，虽出身布衣，起于行伍，与科举无缘，但书读得并不少。史料说他“少读书，喜奇略”，诸如“医药、壬奇、占候、堪舆、五行之书”，无不涉猎，“尤好兵家言”，可见其所学甚博。他还长于诗文，著有《大潜山房诗钞》，曾国藩为之作序，称其诗有小杜、苏、黄豪侠之风，如同其用兵“横厉捷出，不主故常”。因此，刘铭传虽不是一个传统的读书人，但同样深受儒家思想影响，报国之志，家国情怀，深入骨髓，渗于血脉。他曾叹曰：“生不爵，死不谥，非夫也!”意思是说，生不封爵，死不加谥，不能算是大丈夫。因此，像他这样胸怀远大抱负之人又岂会看破红尘，把国事置之度外呢？
事实上，在赋闲期间，刘铭传一点也未闲着。他购置了许多西方报刊、译作，同时认真阅读中国史籍，“静研中外得失”，密切关注着国家安危。他的座上宾多是一些思想开明、心怀忧患的高蹈之士，如吴汝纶、马其昶、薛福成、陈宝琛、徐润等。这些在中国近代史上都是大名鼎鼎的人物。那段时间，边疆危机纷至沓来，国家并不安宁。每每谈起敌国外患，刘铭传便感到匹夫有责，大志难伸，于酒酣耳热之际，更是按捺不住，情绪激奋昂扬。有一次宴会，他拍案而起说：“公等识之，中国不变西法，罢科举，火六部例案，速开学校，译西书，以励人才，不出十年，事不可为矣！”
光绪六年(1880年)，伊犁事变发生，西北边陲告急，朝廷用人之际，李鸿章觉得机会来了，便向朝廷保荐刘铭传出山。可刘铭传一到北京，便放了一炮——上了一道《筹造铁路以图自强折》，立时捅了马蜂窝，引起轩然大波。最后，他的奏折被否定，刘铭传心里窝了一肚子火，既失望又气愤，于是屁股一拍，再次打道回府，过起了隐居生活。
这一过，又是将近四年。直到中法战争爆发，他才又重新出山。
1882年5月30日，法军入侵越南东京（今河内）。越南是中国的西南邻邦，且“久列藩封”，已二百余年。法国的行动不仅是对宗主国的挑衅，而且对中国西南边陲的稳定直接造成了威胁。6月初，清政府出兵越南，中法对抗，一触即发。
此后两年多时间里，中法两国打打谈谈，谈谈打打，直到观音桥事变发生后，战争才全面升级。
观音桥事变发生在1884年6月23日。原先两国交战只在越南境内，观音桥事变后，法军决定开辟第二战场，把战火烧向中国本土。随着局势危迫，朝廷“需材孔亟”，而宿将元勋凋零已稀。在这种情况下，朝廷又一次想到了刘铭传。
其实，早在一年前的5月，中法交涉相持不下时，李鸿章就提出起用刘铭传，打算令其调募数营，统带前往粤西，作为后路援军。可朝廷没有马上采纳李的意见。9月间，朝廷指示李鸿章，如法人肆意要挟，和局难保，必须做好开战的准备。
于是，李鸿章再次提出起用刘铭传，称刘主动请缨，表示愿率旧部万人赴越作战。并说当时驻扎在天津的刘盛休，驻防江阴、吴淞的唐定奎、吴宏洛各营，均为刘之旧部，堪称“久经大敌，素称劲旅”。