Бастер был основан в 1627, году французами при сьере [[Пьер Белен д'Эснамбук]]. Он служил столицей французской колонии Санкт-Кристоф, которыйкоторая состоялсостояла из северной и южной оконечностей острова Сент-Китс (центр уступили Великобритании). Когда [[Филипп де Лонгвильер де Пуэнс]] был сделанстал французским губернатором Сент-Китс в 1639 году, город превратился в большой успешный порт, командующий в восточной части Карибского бассейна торговлей и колонизацией. Де Пуэнс быстро сделал Бастер столицей всей французской Вест-Индии, колонии, в которую вошли острова Гваделупа и Мартиника, и оставался губернатором до своей смерти в 1660 году. Город стал столицей всего острова Сент-Китс в 1727 году, после изгнания французов с острова и перехода его под полный британский контроль. Город Бастер имеет одну из самых трагических историй из всех столиц Карибского бассейна, уничтожался много раз из-за колониальной войны, пожаров, землетрясений, наводнений, массовых беспорядков и ураганов. Несмотря на всевсё это, значительное число хорошо отреставрированных зданий до сих пор существуют в центре города Бастер.