我的伯叔们,除了三伯世廉做官以外,其余的都在家当绅士,没有外出做过什么事。后来,我祖母刘氏死在天津。当时我父亲任直隶总督。他请了假,搬运灵柩回转项城安葬。但是我的大伯世敦,认为刘氏不过是一位庶母,所以不准埋入祖坟正穴,只准她附葬在坟所的地边。这本来是合乎那个时代的“礼仪”的。可是我父亲却和他争执了很多次,由于大伯坚决不答应,最后只得另买了新坟地安葬。从这以后,我父亲和大伯世敦就不再往来,还由于这个原因,以后就定居彰德的洹上村,不再回项城老家,直到我父亲做了总统,他们老兄弟俩还是不相闻问的。
当我父亲8岁的时候,他嗣父保庆到山东候补。我父亲第一次离开了家乡,随着嗣母牛氏前往济南。从这个时候起他开始入家塾读书。开蒙老师是王志清。后来,他的嗣父调任江南盐法道,他也就和嗣母随着到了南京。他人极聪明,但是不肯好好念书,经常外出玩耍,喜欢打拳、骑马、下棋、赌博。他十二三岁的时候,就喜欢骑着马四处游玩,南京的名胜如清凉山、雨花台、莫愁湖等地,都是他任意驰骋的好所在。也就在那个时候,他就能够自如地控制那些不驯服的烈马。我父亲后来的弃文习武,不能不说是与此有关。
他的嗣父有一个很得宠的姨太太,叫做金玉,是和牛氏不和的。我父亲当时年纪虽小,却能够在这两个人中间设法调和。因此,牛氏和金玉都非常喜欢他,并且还在他们丈夫面前,掩盖他那不好读书、不务正业的种种行为。后来他的嗣父死在南京,他才随着嗣母牛氏又回到了项城故乡,那时候他已经15岁了。