东汉后期，社会上流传着这样一句童谣：“天下清苦羊嗣祖。”（《后汉书集解》卷三十一引《三君八俊录》）歌谣中的羊嗣祖，指的便是时官河南尹的大臣羊陟。

    羊陟，字嗣祖，泰山梁父人。其少时即“清正有学行”，冲、桓之际，举为孝廉，被太尉李固征辟入府中。后选官“举高第”（指成绩优异者），拜侍御史。及李固在党争中为外戚拘陷而死，羊陟因是李固故吏，也被禁锢数年。后来再举高第，迁任冀州刺史，他到任查处贪婪污秽之辈，“所在肃然”。泰山太守苑康遭常侍侯览陷害，被打入廷尉狱中，羊陟诣阙为其诉冤，使苑康得释归本郡。后又改任虎贲中郎将、城门校尉，再迁为尚书令。羊陟不畏权势，奋然弹劾“与宦竖相姻私，公行货赂”的太尉张颢等人，又以前太尉刘宠等人居官“清亮在公”，上疏荐举。汉灵帝嘉陟忠直，于光和元年（178），拜其为河南尹。羊陟下车之始便“禁绝豪右嘱托”，坚拒贿赂，只根据任职时间来接收俸禄，时常以干饭蔬菜充饥，由此赢得“天下清苦羊嗣祖”之称。时论将羊陟列为“八顾”之一。“顾”者，言能以德行引人也。（《后汉书》卷六十七《党锢列传》）

    羊陟不独清苦自律，而且求贤若渴。他与辞赋家赵壹交好的故事被传为佳话：赵壹负才俊异，但性情倨傲，不为世赏。光和元年（178）他作为汉阳郡上计吏赴洛阳上计簿（即报告郡内全年的人口、钱粮、狱讼等情况），事竣往河南尹羊陟处拜访。由于门禁森严，一连数日，都未能见到羊陟。赵壹便天天到羊府候见，羊陟只得勉强同意让赵进府，但自己仍然高卧榻上。赵壹一直走到羊陟的榻前言道：“壹蜗居在西州，早就听到羊公的美名。现在有幸见到我公，却没想到公已仙逝。奈何我的命运这般不好啊！”接着放声大哭，引得羊陟阖府大惊。羊陟感到来者定是非常之人，便起身下榻，请他坐下交谈，一番晤对，羊陟对赵壹的谈吐深感惊异。第二天一早，羊陟便率领众多车骑侍从回访赵壹。两人坐在赵壹的柴车下交谈，直至黄昏，临别时羊陟说：“卞氏之玉还未被人看出本色，现在将有人泣血推举。”不久羊陟与司徒袁滂一同推举赵壹，使其名动京师。

    灵帝朝迫害清流的党锢之祸再起，羊陟又一次被免官禁锢，不久便抱憾卒于家中。