潘氏的第一代祖先是 姬季孙，他是周文王姬昌的第十五个儿子毕公高（姬姓，名高）的四子。毕公高在周武王灭商后被封为毕公，而季孙公被分封在潘地，因此以潘为氏，尊季孙为得姓始祖。

此外，还有其他关于潘姓起源的说法，包括：

潘太师：

商朝时期的一位宰相，被封为潘国公，其后代以潘为姓。

黄帝的后代：

源于黄帝的孙子潘庆之。

夏朝的大夫：

夏朝时期的一位大夫潘叔，为夏禹治理水患，被封为潘侯，其后代以潘为姓。

芈姓：

春秋时楚国公族“芈潘崇”之后，属于以先祖名字为氏。

尽管存在多种说法，但姬季孙作为潘姓的得姓始祖，被广泛接受。