Первая мечеть на этом месте была построена ещё при жизни Мухаммада, последующие исламские правители расширили и украсили святыню. Под Зелёным куполом (Купол Пророка<ref>Tore Kjeilen [http://lexicorient.com/e.o/madina.htm Madina] // LookLex Encyclopaedia</ref>) расположена могила Мухаммада. Точная дата возведения купола неизвестна, но его описание можно найти в манускриптах начала XII века. Первые два мусульманских халифа [[Абу Бакр]] и [[Умар ибн Хаттаб|Умар]] также похоронены в мечети.
После [[Хиджра|Хиджрыхиджры]] Мухаммад поселился в Ясрибе (названном позже Мединой) в доме, на месте которого позже начал возведение мечети, сам принимал участие в работах. Принцип планировки этого здания был принят для других мечетей во всем мире<ref>{{книга|автор=Akel Ismail Kahera|заглавие=Deconstructing the American mosque: space, gender, and aesthetics|ссылка=https://books.google.ru/books?id=VwotXUqGFNEC&pg=PA13&pg=PA29|издательство=[[University of Texas Press]]|год=2002|pages=29|allpages=194|isbn=9780292743441}}</ref><ref>{{книга|автор=Akel Ismail Kahera, Latif Abdulmalik, Craig Anz|заглавие=Design Criteria for Mosques and Islamic Centers: Art, Architecture and Worship|ссылка=https://books.google.ru/books?id=Edj6IO_ldEMC&pg=PA13&pg=PA16|издательство=[[Elsevier|Elsevier Architectural Press]]|год=2009|pages=16|allpages=93|isbn=9780750667968}}</ref>. В сооружении были заложены основные элементы композиции колонной мечети: открытый прямоугольный двор и прототип будущего колонного зала, ориентированного первоначально к Иерусалиму, а позднее — к Мекке, признанной главным священным городом мусульман. Мечеть также служила помещением для проведения культурных и общественных мероприятий, судом и религиозной школой.
