橄榄石这个名词，是直接来自法文PERIDOT,旧的法文也是PERIDOT,字的出处并不太清楚，在13世纪的英国，曾用PERIDOTA一字，以后才演变为PERIDOT。 

古罗马的哲学家普林尼曾用CHRYSOLITE一词，这个字是来自希腊文，是“金色”和“”的意思，是用来形容黄，黄玉的，但今天，在欧洲常常用于黄绿色及绿黄色的橄榄石。 

象其它许多宝石一样，橄榄石也有不少有趣的传说，和带有传奇色彩的故事。古时候称橄榄石为“太阳石的宝石”，这种与太阳相联系，很可能与当地人们的信仰有关，他们相信橄榄石所具有的力量，象太阳一样大，可以驱除邪恶，降服妖术。为了展示它作为护身符的力量，橄榄石常常被镶在金子上，佩戴这种护身符，可以消除夜间的恐怖。但如果被用作驱逐邪恶念头的护身符，橄榄石需系在驴的鬃毛上，佩戴到左臂上。如果橄榄石被磨成粉末，它可以作为药，用来治疗气喘病，如果放到舌头底下，可以减轻因高烧引起的干渴。 

橄榄石是8月的生辰石，它与缠丝玛瑙互为替代石。