Az ágas-bogas, lombos, örökzöld fa impozáns szépségét évezredek óta dicsérik. Kréta szigetén már az i.e. 3500 körül olajfákat ültettek, melyek termését elfogyasztották. Később az olajbogyóból sajtolt olajjal ételt készítettek, a bőrüket kenték, sebet és daganatot kezeltek, világítottak. A görög költő, Homérosz (i.e. kb. 9. sz.) idejében a fa olaját elsősorban a test bedörzsölésére használták, és i.e. 600 körül már a rómaiak is sokfelé termesztették. Később az összes földközi-tengeri országban elterjedt.
Az olajfa a görög Athénének, az igazság és a bölcsesség istennőjének volt a szent fája. A hiedelem szerint ugyanis Athénétől kapta a fa az áldásos, bogyótermő képességét. Amikor a perzsa király I. Dareiosz fia, Xerxész (i.e. 519-465) elfoglalta az Akropoliszt, egy misztikus olajágat égetett el, amely azonban varázslattal ismét megjelent.
Az olajfa - mely perzsa közvetítéssel Kelet-Délkelet Ázsiában is meghonosodott - termésének zöld színe miatt, a kínaiak számára az élet jelképe. Ugyanolyan hatást tulajdonítottak neki, mint a bornak vagy a teának. Régebben még újévi italként is fogyasztották az olajbogyóból készült italt.
Mindazonáltal elsősorban a Bibliából ismert ez a növény, melynek „gyümölcse hús, levele gyógyszer”. Noénak egy galamb olajfaágat hozott, ezzel jelezve, hogy vége a vízözönnek, biztonsággal kiszállhatnak a bárkából. Az olajfákról elnevezett Olajfák hegye, Jeruzsálem óvárosától keletre eső, a Kedron patak völgyével elválasztott, 820 m magas, többcsúcsú hegy. Szent hely, mind a keresztények, mind a zsidók számára. Jézus az Olajfák hegyéről érkezett Jeruzsálembe, amikor megjósolta a város bukását a végítéletkor. Az Olajfák hegyének nyugati lejtőjén lévő, Getsemáne-kert Krisztus utolsó menedékhelye, itt rejtőzik el, és itt imádkozik, amikor elárulja őt Iskarióti Júdás, s ez a hely Jézus vérizzadásának, elfogatásának és mennybemenetelének helyszíne. Mielőtt az égben eltűnt volna, utolsó mozdulatával megáldotta az apostolokat, majd a következőket mondta nekik: „Galilei férfiak! Mit álltok itt égre emelt tekintettel? Ez a Jézus, aki közületek az égbe emelkedett, úgy jön el ismét, amint szemetek láttára az égbe ment.” Egyes elképzelések szerint Jézus keresztfáját olajfából ácsolták.