余生南阳西鄂，字平子，少善属文，游历三辅，入京师观太学，通五经贯六艺。虽才高世，而无骄尚之气，常从容淡静，不好交接欲人。

永元中，举孝廉不行，连辟公府不就。时当太平，王侯以下奢侈，衡乃仿班固《两都赋》作《二京赋》，以讽谏时弊，十年方成。大将军邓骘奇其才，累召不应。

安帝时，以善术学被公车特征拜郎中，迁太史令。衡不慕当世，居官积年不徙，后自去史职，五载复归。顺帝初，再转太史令，仍潜心天文阴阳历算，著《灵宪》《算罔论》。

阳嘉元年，复造候风地动仪，以精铜铸成，员径八尺，外有八龙，内含都柱，能测地震方向，实为奇器。

衡性致思，善机巧，安帝雅闻其术学，曾欲以官职褒扬，衡终不慕富贵，专志于天文历算与学术研究。