原是秘密文书的简称。“秘书”二字最早出现于《汉书·叙传》：“游博学有俊材……与刘向校秘书，每奏事，游以选受诏进读群书。上器其能，赐以秘书之副。”当时的“秘书”应理解为“秘密之书”的简称，是指宫廷内秘藏的书籍。

据我国古代的史籍记载，东汉桓帝年间开始设立“秘书监”，相当于现在的国家图书馆馆长。而实际上的“秘书长”，汉初称“长史”，后来叫“中书侍郎”“翰林学士”等。古代幕僚中的“记室”、地方官府的“主簿”，都相当于秘书之类。“秘书”作为官职名称的出现则是在曹操当了魏王以后，他设立了秘书令，掌管机要文书。清代各衙署设文案，一般称“师爷”不称“秘书”。

到了近代，第一个使用秘书的是孙中山，宋庆龄就是孙中山的秘书。中国共产党的秘书工作可以说从党的诞生之日起就有了。董必武在回忆党的第一次全国代表大会时说：“那时不具备现在的条件，那是在一家中式楼房里开的，会场布置得相当简单!代表们也就是会议的秘书人员和会场的服务人员。”1926年7月，中央正式设立了秘书处。1942年，陕甘宁边区政府还发布了《秘书性业务规程》。1949年，中华人民共和国成立后，政务院就设立了秘书厅，从此，我们的秘书组织、机构便逐步地发展壮大起来了。

现“秘书”是指掌管文书并协助机关或部门负责人处理日常工作的人员。