Gullholmsön är ett av västkustens allra äldsta fiskelägen. Det lär ha bott människor här redan på 1200-talet.
Under de stora sillperioderna på 1700- t och 800-talen växte samhället på ön och konservfabrik, salteri och segelmakeri tillkom. Man började använda kuttrar för fiske och fraktfart, vilket både skapade arbetstillfällen och gjorde Gullholmen till ett skeppar- och fiskesamhälle.
Under 1700- och 1800 talen var sillfisket stort och samhället på ön växte. Under 1880-talet fick gullholmarna chansen att, för en billig penning, inköpa kuttrar från England då engelsmännen ersatte sin seglade fiskeflotta med ångtrålare. Detta möjliggjorde makrillfiske i Nordsjön, runt Doggers bankar. Makrillen exporterades till USA via Norge och röktes där för att användas som tilltugg till whisky på de många barerna. Fisket avtog efter första världskriget på grund av försämrad lönsamhet. Människorna sökte sig bort från öarna, skolan och konservfabriken lades ned och många hus såldes till sommargäster.
Många av de äldre husen är väl bevarade och man kan lätt se skillnad på de små, enkla fiskarstugorna och de stora pampiga kaptenshusen. Husen står tätt tillsammans, vilket beror på att Gullholmen, fram till 1999, var en så kallad kronoholme. Detta innebar att marken ägdes av kronan/staten och var fri att bygga på. Man lade ut slanor varhelst man vill bygga; hade ingen protesterat efter några veckors tid var det bara att sätta igång.
Näringarna har växlat under århundradenas lopp och det är framförallt fiske och sjöfart, som har påverkat Gullhomens utveckling. Ännu finns mycket av det typiska fiskar- och småbrukarsamhället kvar. Många hus har sålts till sommargäster men Gullholmen lever året om. Här bor ca 100 åretruntboende. Det finns ingen skola på ön men väl affär, kyrka, bibliotek och biograf.