班氏家族到班壹时代，拥有牛羊数千群，财力居塞北之首。他们外出狩猎时，总是旌旗飘扬，鼓乐齐鸣，十分威风。班壹活到100多岁，北方一带非常崇拜他的富有和长寿。

至汉时，班壹的后代班伯被推举做了中常侍，并受到皇上的器重，让他在未央宫金华殿从张禹读《尚书》和《论语》。班伯聪明好学，不久通晓了《尚书》《论语》，被破格提升为奉车都尉。从此，他身份显赫，大将军王凤、九卿许商的子弟们常与他结伴为伍。但是，班伯对此并无兴趣，因此他经常抱怨说：“在于绮襦纨绔之间，非其好也。”为摆脱这种环境，他数次请求出使匈奴，后来终于如愿。

后以“纨绔子弟”指浮华的富家子弟。现在引用，贬义更强，指依仗权势，在社会上横行霸道、无法无天的富商官僚子弟。