A történet 1888-ban egy Ralph Lincoln Spencer nevű üzletemberrel kezdődött, aki közel 200 magyar családot hívott meg Pennsylvaniából Haralson megyébe, hogy az általa létrehozott borászatban dolgozzanak. Az 1890-es évek közepére felvirágzott a borászat, a helyiek jól éltek és kivették részüket a környék fejlődéséből is, létrejöttek települések házakkal, utcákkal, üzletekkel, illetve egy iskola, egy temető és egy katolikus templom is épült. A magyarok által lakott legnagyobb települést Budapestnek nevezték az anyaország fővárosa iránti tiszteletből. A magyar családok sikerein felbuzdulva szlovák bevándorló családok is érkeztek a környékre, akik egy helyre települtek le, létrehozva a Nyitra és Tokaj nevű településeket.
Úgy tűnt az üzlet fejlődésének semmi sem állhatja útját egészen az 1908-ban Georgiába meghozott szesztilalmi törvényig. Ez a törvény keresztbe törte az addig kemény munkával és elszántsággal létrehozott üzletet. Tönkrement a borászat, a magyarok nagyrésze pedig visszament Pennsylvániába. Mára csak a hajdan szolgáló pap rezidenciája, illetve a Budapest nevű temető maradt meg az egykor virágzó településből. A temető sírkövein lévő, a helyieknek furcsán csengő nevek és a Budapest felirat emlékeztet a valaha itt élt magyar közösségre.
A temetőt kikezdte az enyészet, ami törött és hiányos sírkövekkel, megrongálódott járdával, illetve törött kerítéssel volt jellemezhető egészen az előző évig. A Hungarian Community Church of Georgia szervezet a magyar állam támogatásával elkezdte a temető renoválását 2022-ben és sikeresen hajtotta végre az első fázisban eltervezett munkálatokat, többek között talajkiegyenlítést és a sírkövek tisztítását, helyreállítását és adott esetekben pótlását. A 2023/2024-es évre tervezett második fázis magába foglalja a temető füvesítését, új járdák létrehozását a sírok között és egy új kerítés építését. A második fázis novemberben kezdődött a temető befüvesítésével és folytatódik a teljes felújításig.
A szervezet célja a temető renoválásával, hogy ez a történelmi helyszín megmaradjon a következő generációk számára is.