光绪十四年（1888年），张裕钊转任江汉书院教习，吴汝纶向直隶总督李鸿章毛遂自荐，辞去冀州知州，接任莲池书院山长之职。从光绪十五年（1889年）起，主讲保定莲池书院，吴汝纶到院后，锐意改革，聘请日本教师教授外文，改进教学方法。因此，国内慕名求学的青年很多，严复、林纾、马其昶、姚永朴、姚永概、李光炯、房秩五等人都受过教益。当时住在北京城的日本和西方文人学者也常往保定向吴汝纶请教，相互切磋。特别是日本教育界人士与他来往频繁。他们之间的相互交流，促进了吴汝纶对西学的了解，萌生了兴办新式学堂的主张。

光绪二十四年（1897年），严复修改《天演论》时，即约请吴汝纶为之作序，吴立刻应承，于次年正月成文。^[2] 光绪二十八年（1902年）五月，清廷下诏开办新学，派吏部尚书张百熙为管学大臣。张奏荐吴汝纶任京师大学堂总教习，加五品卿衔。吴汝纶坚辞不就，未获批准，于是奏请出国考察教育。他认为，日本明治维新以后，国力迅速强盛，是由于其教育的成功，要办好中国的京师大学堂，必须借鉴于日本。这年五月，他率领学生李光炯、方磐君等人东渡日本考察教育。在日本期间，他们先后到长崎、神户、大阪、西京和东京等地的各类学校和单位参观，并拜访了众多官员，吴汝纶后来将他在考察期间的所见所闻、所思所想进行分类整理，汇编成十多万字的《东游丛录》一书，这是中国最早的一部介绍日本的专著。因留学生事与驻日公使蔡钧发生龃龉，归国。当他到达马关时，当地人士集会欢迎他，请他题字留作纪念。他援笔大书：“伤心之地”。

汝纶十分关注桑梓教育，寓居省城安庆时，借巡抚衙门南院，筹建桐城学堂，即今桐城中学之前身，自认堂长。他表示：“吾辈此次办学堂，有进无退，人不善换人，法不善换法，决无止息之期。”他为学堂亲自撰写了楹联和匾额，楹联为“后十百年人才奋兴胚胎于此，合东西国学问精粹陶冶而成”，匾额为“勉成国器”。学堂于1952年改名为安徽省桐城中学。

光绪二十九年（1903年）春，汝纶在家病逝。民国四年（1915年），家人将其安葬在家乡吴牛山。