西汉东瓯国，闽越国先后被举国迁徙后，无以知其姓氏，东晋间唯郗姓志有所载。唐末至宋元间，已知今县境港北有刘、孔、林、戴、金、鲍、卜、吴、王、朱、郑、周、干、郭、赵、应、樊、陈、邵、张、韩、薛、黄、冯、徐、耿；港南有陈、林、李等姓氏。其中林、戴、干、邵、陈，系于唐末五代间为避乱自闽浮海而来；黄、陈、郭等先世亦居闽，五代时避乱或做官迁平阳、黄岩、大同等地，后于宋代转迁来今县境；赵、应、韩、张、冯、李、耿等则于宋元间从温州、台州各县及金华、长兴等各处迁来，有避难者，有觅土创业者，亦有乐志山林海箍者。港南自明洪武二十年（1385）被迁徙后，原有姓氏不复再传。清顺治十八年（1661），港北亦被迁徙，仅八、九年便得准回归，至今得见旧姓苗裔者，已知有戴、林、冯、孔、赵、郭、应、邵、黄、陈、张、耿、李、韩等。

清雍正五年（1727）展复玉环山，招徕太平、乐清、平阳、永嘉、瑞安5县民众，姓氏大增，其中最多为太平和平阳人。平阳人中有不少闽人。六年至乾隆间，仍有不少移民陆续迁来。据现有资料，已知港南有华、陈、姚、殷、郭、林、张、高、蒋、徐、杨、吴、李、董、刘、金、沈、卓、吕、黄、陶、盛、郑、许、平等姓氏。港北除原有诸旧姓外，亦有新迁入者，除其中部分为港南诸姓中之分迁或转迁而去者外，还有胡、王、倪、赵、叶、朱、周、孙等。

此后因经商、婚娶等，仍常有外籍人口陆续迁来，姓氏随增。1949年后，有南下军队转业干部来县定居，姓氏遂又增加。

1982年人口普查，共有姓氏244个，其中复姓2个。人数较多者依次为：陈、林、张、王、李、黄、郑、吴、叶、潘等，合计人数16.9万余，占总人口50.6％。其余分别为：杨、金、赵、蔡、苏、徐、胡、董、周、刘、曾、颜、朱、沈、梁、江、许、孙、高、郭、蒋、罗、应、孔、庄、章、谢、余、方、卓、洪、姚、阮、施、吕、丁、冯、邵、骆、占、翁、戴、倪、毛、卢、何、游、萧、钟、柯、汪、连、盛、杜、薛、韩、曹、邱、马、季、池、莫、袁、龚、程、耿、陆、鲍、仇、干、彭、尤、柳、钱、陶、任、郏、瞿、华、傅、刑、侯、管、项、唐、南、葛、娄、石、缪、宋、姜、狄、屠、魏、舒、万、汤、史、褚、赖、包、伍、熊、符、於、范、易、梅、牟、温、车、支、童、尚、戚、庞、夏、贾、鲁、邬、来、俞、虞、薄、祁、甘、卒、殷、段、佘、欧、阙、冀、廖、厉、巫、屈、顾、郦、五、于、欧阳、付、茜、崔、武、历、谭、贺、裘、奚、木、邹、平、谷、贝、谬、尹、滕、祝、戈、商、邓、密、尼、单、亍、诸、阿、芮、房、雷、黎、白、全、宗、楼、燕、浦、丛、韦、宣、岑、诸葛、冬、兰、常、宁、安、宫、竺、官、凌、会、水、解、穆、练、纪、关、田、凡、聂、查、藏、梨、玉、彦、闻、迟、向、英、桃、储、左、释、增、绪、爽、银、莘、桂、第、喜、旺、姬、井、阀、察、卜、文、樊、翟。