原本意指君王欲教化众人，理应身体力行，成为世人效仿的楷模。源自东汉·班固《白虎通·三教》：“教者，效也。上为之，下效之。”而这一思想(主张)则至少在春秋时就已产生了。

《韩非子·外储说左上》记载着这样一个故事。春秋时期，齐国国君齐桓公喜欢穿紫色衣服，于是齐国上下流行紫色衣服，市场上五件白衣服抵不上一件紫色衣服的价钱。齐桓公为此颇为苦恼，对大臣管仲说：“我喜欢穿紫色衣服，竟惹得全国都流行穿这种衣服，价格也跟着奇高。怎么办呢?”管仲回答说：“你只要脱下这种衣服，并告诉身边的人： 我很厌恶紫色衣服的气味，就可以制止这件事。”齐桓公照此去做。只三天，全国上下就没有人穿这种衣服了。

现“上行下效”多指上级或上辈怎么做，下级或下辈就学着怎样做。多用于贬义。