其时，汉朝廷虽然已经正式定都洛阳，但西京长安京兆依仗西汉，新莽旧都的优势，豪族大姓、达官贵人依然很多，且大多狂悖不法，无视朝廷法令，横行乡里，荼毒生灵，阻挠朝廷法令实施，小民百姓怨声载道，冤屈难伸，汉朝廷君臣，深以为忧。

建武三十一年（公元55年）年末，刘秀下旨，调十分熟悉京兆情况的原京兆督铸钱椽（市朝廷秘书），现会稽郡郡守第五伦，回西京长安任职，代理京兆尹（代理长安市长）。

第五伦廉洁耿介，公平正直，执法严明，不徇私情。在代理京兆尹第五伦的治理下，西京长安，很快就得到了治理。

奸邪不轨之事，也很少发生，诉讼案件，大幅度减少，百姓逐渐安宁，安居乐业，百业兴旺，也不再有冤枉出现，恢复了昔日帝都的繁荣景象。

刘秀见西京长安，在短时间内，就很快得到了治理，十分满意欣赏，大力褒奖京兆尹第五伦。

第五伦，姓第五，名伦，字伯鱼，京兆长安长陵县（今陕西咸阳东北）人。

第五伦的家族，还算十分有名的名门望族。第五伦的的祖先，是战国时代齐国的王族田氏。到了秦末，齐国等六国早已经灭亡，但田氏家族，依然是齐地，最有名最令朝廷忌惮的望族大姓。

于是，在西汉初年，汉朝廷就下令，迁徙齐地田氏家族，至西京长安的皇帝陵园守陵。当时，迁移的齐国王族田氏的户数很多，汉朝廷只好分批次，将田氏家族迁移。

第五伦的祖先，就以自己的田氏家族，迁徙的批次循序，第五次，来作为他们这个家族的姓氏，所以这一支田氏家族分支，就叫做第五家族了。

青少年之时，第五伦就以耿介正直，好义气，很有威望，而闻名乡里，被乡邻所称颂。

王莽末年，盗贼四起，京兆长陵县，也受到盗贼的侵袭。第五伦的宗族乡亲，为了在乱世求存，争着前去，依附第五伦，寻求第五伦的庇护，以此苟延性命。

于是，第五伦率领自己的第五家族，在地势险要之处，修筑了一座堡垒，用以自保。贼人前来侵扰第五家族堡寨之时，第五伦便率众，引弓持矛，坚守自卫。

先后有铜马军、赤眉军的军兵数十部，前来围攻第五伦家族坚守的堡垒，夺取粮食和财富，但都无法攻克第五家族的堡寨，一个个只好失望而归。第五伦以及第五家族男女老少，得以在乱世之中，保存了下来。

后来，战乱逐渐平息，天下逐渐统一，第五伦遂以第五家族营垒大首领的身份，去拜见当时的郡尹鲜于褒，请求汉朝廷的庇护。

京兆郡尹鲜于褒，见到第五伦后，认为第五伦品德高尚，才干非常杰出，很是与众不同，十分欣赏他。

于是，郡尹鲜于褒，征召第五伦，为自己部下的京兆属吏，对第五伦十分信任。

后来，郡尹鲜于褒，因任职时犯下的一些小过失，被降职为高唐县县令。

临行之时，京兆郡尹鲜于褒，握着第五伦的手，十分惋惜地向第五伦告别说道：

“第五伦啊，你的才华出众，我只恨与你相知，实在太晚了，不能够有机会，向朝廷推举你，心里感到非常遗憾难过啊！”

第五伦不以为意，急忙安慰京兆郡尹鲜于褒道：

“多谢大人赏识。金子总会发光的。说不定某一天，第五伦还会得到君王的赏识呢！”

京兆郡尹鲜于褒笑了笑说道：

“第五伦啊，你的才干卓绝，志向远大，怎么不会，有如此的际遇呢？”

第五伦见赏识自己的上司京兆郡尹鲜于褒离职，心里怅恨不已，怏怏不乐。

不久，第五伦也辞职回乡，继续担任京兆尹下属的长陵县县里的一个小吏，任乡里的啬夫。

第五伦担任乡啬夫这个小吏，依然恪尽职守，不因职位低微而看轻自己。他均平徭役，公正无私，调解乡里人的怨忿，很得乡里人的欢心和喜爱。

第五伦长久担任，乡里啬夫这样的小吏，一直得不到正常升迁，远大抱负难以实现，不免有些怅恨不已，常常对同僚叹息道：

“唉，诸君，我第五伦的品德和才干，不应该局限于乡里啬夫这样的小吏啊！长久担任乡里啬夫这样的小吏，大材小用，实在有些埋没了自己的才能和抱负啊！”

第五伦逐渐谋生了退意。

同僚好友张硕，知道第五伦的志向，挽留第五伦道：

“第五伦龙一般的大才，不是长留浅滩之物，但生不逢时，其奈我何呢？乡里啬夫这个小吏职务，虽然不能够荣华富贵，但不至于挨饿受冻，怎么不满足呢？”

“张硕啊，我第五伦虽然生不逢时，岂能够就此庸庸碌碌一生，籍籍无名，老死床笫呢？”

于是，第五伦不顾同僚好友张硕的挽留，狠下心来，辞掉了乡里啬夫这个小吏职务，带着自己的家人，背井离乡，隐姓埋名，迁居到了河东郡一带居住。

第五伦出生于豪族大姓，生怕他人，认出自己，遭到嘲笑羞辱，辱没了家族门第，于是改名变姓，自称为王伯齐，在异地他乡，做做运盐、贩盐一类的小生意，维持一家老老小小的生计。

第五伦常常运盐、贩盐，来往于太原郡、上党郡之间。虽然身在异地他乡，第五伦依然非常注意，自己的言行，不肯因为一些微不足道的小事，就放纵自己。

载盐、贩盐之时，所过之处，第五伦常常要亲自把运盐马车牲畜的粪便，认真清扫干净以后，才肯离去。

所以，即使是在河东郡、太原郡、上党郡这样的异地他乡，第五伦给别人的印象，也非常非常好，大家都称第五伦，为谨言慎行的“有道之士”。