Комитет по постройке был сформирован собранием прихожан 5 ноября 1905 г. и утвержден министром внутренних дел П. А. Столыпиным в январе 1906 г. Деньги на приобретение земельного участка были пожертвованы Эмиром Бухарским. Под его патронажем был проведен и конурс проектов, первое и второе места на котором заняли проекты архитектора Н. В. Васильева. За образец Васильев взял мавзолей Гур-Эмир в Самарканде.
К доработке проекта, который носил черты обоих вариантов, Васильев привлек архитекторов А. И. фон Гогена и С. С. Кричинского (последний, помимо всего прочего, был мусульманином - выходцем из польских татар).

З апреля 1909 г. С.С. Кричинскому было выдано свидетельство на ведение подготовительных работ: разборку деревянных строений, установку забора. Одновременно, в апреле 1909 г. проект мечети был направлен на экспертизу в Императорскую Академию художеств. В целом проект был одобрен, однако категорическое возражения вызвало избранное для строительства место на Кронверском проспекте, вблизи церкви Святой Троицы - первого из православных Храмов Санкт-Петербурга, поблизости от Домика Петра Великого. Эксперты усмотрели в создании здесь монументального нового сооружения угрозу нарушения исторической целостности старейшей части Санкт-Петербурга. Однако, П. А. Столыпин не считал возможным "взять обратно уже данное разрешение" и 8 июля 1906 года проект был утвержден.

Церемония официальной закладки, приуроченная к 25-летнему юбилею правления Эмира Бухарского и его визиту в Санкт-Петербург состоялась 10 февраля 1910 года. На специальном помосте был выстроен павильон в виде шатра, декорированный гирляндами и надписями из Корана. Для церемонии были приготовлены мраморные кирпичи, серебряная закладная доска, серебряные лопатки, раствор. В начале церемонии член строительного комитета Ахун Баязитов сказал: "Коран говорит: "Бог красив и любит красоту. Мечеть наша будет красивой и послужит славой архитектуре и красой городу. Такой Мечети, какая будет в Петербурге, нет ни в Париже, ни в Лондоне. Мечеть красива, но надо, чтобы она блистала не одной внешней красотой, и надо молить Аллаха, чтобы Мечеть эта совершенствовала нас в духовно-нравственной красоте". Затем Эмиром Бухарским был положен первый камень, состоялся прием депутаций из Москвы, Кронштадта, с Кавказа, от мусульманских приходов столицы. На месте закладки состоялось богослужение, в строительной конторе состоялся торжественный завтрак.
 
9 февраля 1913 года Комитет по постройке Мечети получил разрешение Министра внутренних дел на проведение 21 февраля первого богослужения, посвященного трехсотлетию царствования Дома Романовых, "....чтобы предоставить прибывающим в Петербург на эти торжества Эмиру Бухарскому и Хану Хивинскому возможность слушать Богослужение по обрядам своей религии. Храм этот, хотя еще и не закончен постройкой, но уже отапливается и приведен внутри в такой вид, что вполне допускает возможность временного совершения в нем Богослужения". Тем не менее, отделочные работы в мечети продолжались.
  
С началом Первой Мировой войны ход работ замедлился. Из-за войны прекратились поставки изразцов фирмой "Гельдвейн-Ваулин" (на заводе наладили выпуск снарядов для фронта, а пожар, случившийся в 1917-м году уничтожил оборудование для производства керамики), поэтому майоликовая отделка мечети не была закончена. А в конце 1918 года были арестованы расчетные счета комитета по строительству мечети и работы остановились. 
Но 30 апреля 1920 года мусульманская "двадцатка" была, наконец, зарегистрирована и в мечети начались регулярные богослужения, которые длились до июня 1940 года.
Тем не менее, работы все еще продолжались под руководством С. С. Кричинского (Васильев эмигрировал в 1919-м году, фон Гоген - скончался в 1914-м году). В 1921-м году установили крыльцо и цоколь ограды. Саму ограду установили в 1923-м году. В 1921-м году был доставлен большой тавризский ковер для центрального зала мечети - подарок Эмира Бухарского, уже свергнутого к этому времени. 
  
В 1955-м году, уступая настояниям верующих, а также благодаря ходатайствам таких известных политиков как Сукарно и Джавахарлал Неру, мечеть вернули верующим. 18 января 1956 года в ней возобновились богослужения.