据城关三合潭出土文物表明，早在新石器晚期，境内已有人类居住、生息，延至商、周、春秋、战国。时人称东瓯越族。西汉间，闽越、瓯越争战。时县人属瓯越。建元三年（前138），东瓯（越）王摇奉命举国徙庐江郡（今安徽省地），境内人烟乃虚。后闽越人渐入栖居。元封元年（前110），闽越国被除，复迁东越地民众至江淮（今江苏省地）。今县境亦复虚。东汉末（约建安十七年，即公元212年前后），渐复有人居玉环岛。东晋间（317—420），临海太守郗情（约310一380）立庄园（时称“别墅”）于玉环岛，居数百家。隆安五年（401），孙恩起义失败，部将孙安捣毁郗司空庄园。之后400余年间，境内基本不见常居黎庶。隋开皇十年（590）上柱国内史、诏讨大将军杨素与会稽高智慧战于境域海面，岛上扎有军伍。至唐晚期，境内居民渐盛。开成二年（837），港南今青马乡西青岙一带（明永乐《乐清县志》称“玉环乡南社铁场”）建南保安院。咸通间（860—873），僧启爽于大竹冈西岙（今田马乡西岙村）刘氏宅建灵山寺。唐末、五代及北宋初，中原多故，闽南及各地官民徙居入境者甚多，仅港北，便有孔、林、戴、张、邵、郭、赵等氏，港南有陈氏祖自闽之长溪迁居玉环东柽（即今沙鳝乡之东青）。近年城关镇东门村矮山头、环城乡小岙村出土唐代文物、福山乡出土五代文物为印证。

北宋初，岛有密鹦盐场（在今环城乡后土交村一带），为浙江四盐场之一，居者淘海煎盐。至南宋乾道初，有市肆千余家。港北蓝田、石龟、灵山等地已有民众筑坝拦水，围海造田。竹冈、兰田、枫林、洋根、钱岙、金钿一带人烟繁密，灵山寺及竹冈一带几成文化中心。南宋乾道二年（1166）秋分之夜，玉环岛上发生暴风骤雨并海溢，人死房毁，全岛几近荒废。开禧二年（1206），濮阳（今河南地）李宽奉命知监事，重建监市至青岙（今沙鳝乡沙岙村、东青村一带）。明洪武二十年（1387），倭寇扰边，朝廷命徙海岛居民于内地，并勒石厉禁：居者死，耕者断足。港南遂被迁弃，就近止于港北者为数甚众。其间港北海涂大规模围垦拓宽。明嘉靖二十四年（1545）大水，楚门所堤塘田亩被冲毁，军民上岛冒禁耕种。至万历间，垦地6000余亩，临时居住茅棚53座。其间，来自福建莆田、东山、惠安等县渔民开始在犁头嘴、车首头、钓艚岙、应捕岙等地随渔汛作季节性居住或搭寮定居；经平阳县辗转徙入的闽籍农户，则在古城山头诸地及港北、港南各岙口定居务农。其间海涂被大规模围垦拓展，围成塘堤20余条。

清顺治十八年（1661），郑成功据沿海抗清，清廷命撤边海三十里地居民而虚之，境地遂遭遣弃。而闽、粤渔民趁隙徙居来境者众，并在境内濒海诸岙口零散居住。康熙八年（1669），清廷复于竹冈（今田马乡东西岙村）设防，旧日徙民很少得以复归。至康熙二十二年，郑克壤降清，港北楚门先始渐复，返土者多落居于大小竹冈山边及金钿一带。闽南渔民开始在车首头、应捕岙、钓艚岙、同安溪、花岩礁等地集居。至雍正三年（1725），有平阳籍华文旦、姚云等60余人到玉环岛住垦。雍正五年展复玉环山，招徕太平、乐清、平阳、永嘉、瑞安5县良民报垦。被视作“无籍游民”的闽、广渔户，也在岛东沿海岙口居住。县境人烟始得全面复升。此后，境内生齿日繁。

民国时期人口无重大变化。1955年2月，盘踞披山岛国民党残部撤逃，掳岛上居民190家，900余人，披山岛遂成荒墟。后由人民政府动员居民60户、187人前往定居垦复。