Il nome è di origine normanna, probabilmente dal termine Alfihar, il cui significato è "esercito di folletti, degli elfi". La pronuncia di questo nome è stata probabilmente alterata dalla successiva associazione con il nome Oliva, dal nome latino dell'albero di olivo. Una seconda interpretazione lo lega al nome norreno Aleifr che significa "discendente dell'antenato". Celebre il fotografo italiano Oliviero Toscani.