Η εταιρεία ξεκίνησε από το Hvitsten, μια μικρή πόλη στο Oslofjord στη Νορβηγία, το 1848, όταν τρία αδέρφια Olsen – ο Fredrik Christian, ο Petter και ο Andreas – αγόρασαν τα πρώτα τους πλοία και ξεκίνησαν μια διεθνή ναυτιλιακή εταιρεία. Τώρα στην πέμπτη γενιά της οικογένειας, διαχειρίζονται εταιρείες ειδικευμένες σε διάφορες πτυχές του εμπορίου κρουαζιέρας και επιβατηγού ναυτιλίας, καθώς και βιομηχανίες αερομεταφορών, πληρώματος πλοίων, ναυπηγικής και υπεράκτιων βιομηχανιών. Εκτός από τις βιομηχανίες μεταφορών, ο όμιλος Fred Olsen έχει επίσης ενδιαφέροντα στον τομέα των πολυτελών ξενοδοχείων, τη διαχείριση ακινήτων, την ανάπτυξη ακινήτων και τις εταιρείες ηλεκτρονικών.