В конце XIX века французские католики, проживавшие на берегах Невы, образуют свою собственную общину. Она насчитывала в то время около полутора тысяч человек. В 1898 году община получает разрешение на строительство в Петербурге нового католического храма. За шестьдесят семь тысяч рублей был приобретен участок в центре столицы, на Ковенском переулке. В одной из построек, оставшихся в наследие от купца Максимова, сделали временную часовню.
Проект нового храма был разработан архитектором Леонтием Бенуа. В 1903 году был построен первый этаж церкви, но затем строительные работы затянулись из-за недостатка средств на реализацию задуманного плана. Помощник Бенуа, молодой архитектор Мариан Перетяткович несколько изменил первоначальный проект, и строительство возобновилось.
Торжественная церемония освящения церкви состоялась 2 ноября 1909 года, храм освятили во имя Пресвятой Девы Марии. Облик нового католического храма вышел на редкость аскетичным и строгим. В архитектуре здания использованы мотивы романского стиля. Фасад церкви, выходящий на Ковенский переулок, асимметричен. Он облицован большими блоками грубо околотого гранита. Боковую часть фасада венчает высокая четырехгранная башня с полуциркульными окнами. Над вторым ярусом этой башни возвышается восьмигранный барабан с заостряющимся кверху куполом. На другой стороне фасада – лишь небольшая башенка, резко отличающаяся по своему силуэту. В центре главного фасада расположен портал в идее арки, украшенной колоннами. Имеются еще два входа в здание. Они расположены симметрично по разным сторонам от арки и ведут в нижний этаж храма. На верхнем этаже – большой просторный зал, стены которого декорированы колоннами в готическом стиле.
Внутреннее убранство храма также отличается строгостью и простотой.
После революции и событий гражданской войны все католические храмы в Петрограде и его пригородах были закрыты. Однако французская церковь продолжала функционировать, и по-существу оставалась долгое время единственным действующим католическим храмом в городе. В 1941 году советские власти разорвали дипломатические отношения с Францией, и настоятель храма отец Флоран был выслан из страны. Богослужения в церкви прекратились на некоторое время и были возобновлены уже после войны, в 1947 году. В после военные годы усилиями прихожан и священнослужителей в храме удалось сделать первый ремонт.
В 1966 году во французской церкви в Ленинграде молился и причащался известный политический деятель, президент Франции генерал де Голль.
В 90-е годы в храме проводились масштабные реставрационные работы по возвращению церкви ее исторического облика.
