光绪十四年(1888年),
张裕钊转任江汉书院教习,吴汝纶向
直隶总督李鸿章毛遂自荐,辞去
冀州知州,接任莲池书院山长之职。从光绪十五年(1889年)起,主讲保定莲池书院,吴汝纶到院后,锐意改革,聘请
日本教师教授外文,改进教学方法。因此,国内慕名求学的青年很多,
严复、
林纾、
马其昶、
姚永朴、
姚永概、
李光炯、
房秩五等人都受过教益。当时住在
北京城的
日本和西方文人学者也常往
保定向吴汝纶请教,相互切磋。特别是
日本教育界人士与他来往频繁。他们之间的相互交流,促进了吴汝纶对西学的了解,萌生了兴办新式学堂的主张。
光绪二十四年(1897年),
严复修改《
天演论》时,即约请吴汝纶为之作序,吴立刻应承,于次年正月成文。
[2] 光绪二十八年(1902年)五月,清廷下诏开办新学,派吏部尚书
张百熙为管学大臣。张奏荐吴汝纶任
京师大学堂总教习,加五品卿衔。吴汝纶坚辞不就,未获批准,于是奏请出国考察教育。他认为,
日本明治维新以后,国力迅速强盛,是由于其教育的成功,要办好
中国的
京师大学堂,必须借鉴于日本。这年五月,他率领学生李光炯、方磐君等人东渡
日本考察教育。在
日本期间,他们先后到长崎、
神户、
大阪、西京和
东京等地的各类学校和单位参观,并拜访了众多官员,吴汝纶后来将他在考察期间的所见所闻、所思所想进行分类整理,汇编成十多万字的《东游丛录》一书,这是中国最早的一部介绍日本的专著。因留学生事与驻日
公使蔡钧发生龃龉,归国。当他到达
马关时,当地人士集会欢迎他,请他题字留作纪念。他援笔大书:“伤心之地”。