橄榄石的主要颜色为绿色，一颗颗圆润的橄榄石就好像橄榄一般，它也因此得名。橄榄石的英文名为Peridot或Olivine，前者直接源于法文Peridot，后者为矿物学名词。大约在3500年前，世界上第一颗橄榄石在古埃及领土圣·约翰岛，当地人因其灼眼的光芒将其称为太阳宝石。

 

古罗马的哲学家普林尼曾用CHRYSOLITE一词，这个字是来自希腊文，是“金色”和“宝石”的意思，是用来形容黄水晶，黄玉的，但今天，在欧洲常常用于黄绿色及绿黄色的橄榄石。

像其它许多宝石一样，橄榄石也有不少有趣的传说，和带有传奇色彩的故事。古时候称橄榄石为“太阳石的宝石”，这种与太阳相联系，很可能与当地人们的信仰有关，他们相信橄榄石所具有的力量，象太阳一样大，可以驱除邪恶，降服妖术。为了展示它作为护身符的力量，橄榄石常常被镶在金子上，佩戴这种护身符，可以消除夜间的恐怖。但如果被用作驱逐邪恶念头的护身符，橄榄石需系在驴的鬃毛上，佩戴到左臂上。如果橄榄石被磨成粉末，它可以作为药，用来治疗气喘病，如果放到舌头底下，可以减轻因高烧引起的干渴。

另外，在红海的扎巴甲德岛发现了世界上最大的一颗宝石级橄榄石，重达319克拉。目前被存放在美国华盛顿SmithsonianInstitution博物馆中。