Cette famille de marins pourrait être originaire de Wissant mais est déjà en basse ville de Boulogne sur mer à la fin du XVIème siècle, le nom apparaissant dans les registres paroissiaux de Saint Nicolas dès 1582. Ses premières alliances connues sont en effet les familles DELEPIERRE et BARBE, toutes deux de Wissant. Elle est éteinte à Boulogne avant la fin du XVIIème siècle. Le nom est indifféremment écrit OLIVIER ou OLLIVIER.