在原始社会，河南省已是人类繁衍生息的主要地区之一，进入阶级社会后，域内王朝迭兴，诸侯邦国林立，形成了早期的政区建置。
一、夏至西周
（一）夏朝（前21世纪～前16世纪） 夏朝是中国历史上第一个王朝，其建立标志着中国社会进入了阶级社会。随着阶级的产生和国家建立，氏族社会时期那种按血缘和地域相结合划分居民的社会组织，逐渐被以地域划分居民的社会组织形式所代替，体现出了国家的统治职能。夏时期开始按地理形势把全国划分为若干区域，首开区域建置和地方行政体制之端。史称：“芒芒禹迹，划为九州，”（《左传》襄公四年）说明夏朝把居民按居住地分成9个区域进行统治。
据考古发掘和历史文献记载，建立夏朝的夏氏族，其主要活动区域就在河南省境内。传说中的夏都，曾先后定于阳城（登封县告成镇）、阳翟（禹县）、斟鄩（巩县境内）、原（济源县境内）、帝丘（濮阳市）、老丘（开封市东）等地。此外，在夏朝统治区内，还有许多封国。河南境内的封国主要有：商（商丘县）、虞（虞城县）、韦（长垣县北）、葛（宁陵县）等。
（二）商朝（前16世纪～前11世纪） 商族是中原地区一个古老的部族，其早期活动中心区域在河南省东部，当时商族的农业生产力很低，迁徙频繁，“自契至汤八迁。”（《史记》卷3《殷本纪》）迁徙地区主要在河南省境内。商汤灭夏后，将国都定于西亳（偃师县尸乡沟）。在此后约600年的统治时期，多次迁都，河南境内的北亳（商丘市北）、相（内黄县东南）、嚣（荥阳县东北）等地都曾作过商朝都城。到了商朝中期，郑州成为都城。商王盘庚即位后，将国都迁至殷（安阳小屯），历经273年未变，成为商朝后期的政治、经济、文化中心。
商朝建立后，在地方政区上实行“外服”体制，臣服于商王的各部落、氏族首领以及由商王派遣到某一地方行使统治权的商朝贵族统称“外服”。这些首领或贵族各有封域，以后逐渐发展成诸候国，有一定的独立性。随着势力的发展，有些诸侯国成为某一区域的实际统治者。商朝的基层行政区划称“邑”，商王和各诸侯通过邑来对人民进行统治。
商时期，河南境内的主要诸侯国有：沫（淇县）、韦（长垣县北）、昆吾（许昌市东）、鄂（沁阳县）、封父（封丘县西）、阙巩（巩县）、越戏方（荥阳县西南）、葛（宁陵县北）、虞（虞城县北）、杞（杞县）、厉（鹿邑县东）、历（禹县）、霍（临汝县）、畴（平顶山市西南）、崇（嵩县北）等；城邑有：羑里（汤阴县北）、楚（濮阳市西南）、盂（濮阳市东）、牧（汲县）、凡（辉县西南）、宁（获嘉县）、函（沁阳县西南）、鸣条（封丘县东）、管（郑州市东）、洛（洛阳市）、 （登封县西北）、蜀（新郑县南）、栗（夏邑县）、瓜（永城县西）、蔡（上蔡县西南）等。
（三）西周（前1027～前771年） 公元前1027年周武王灭商，建立起一个新的王朝，史称“西周”。西周以镐京（陕西西安）为国都，称宗周；同时，为加强对东方地区的统治，在河南省西部的洛水流域又建立起一座新都城，即东都洛邑（洛阳市），又称成周。在地方政权上，西周初年采取分封诸侯制度，所封同姓国为53个（《荀子·儒效》记载：周“兼制天下，立七十一国，姬姓独居五十三人），异姓国为1800个（《通典·州郡一》：“及乎周初，尚有千八百国……。”）。各诸侯在其封国内，仿照中央分封所属卿大夫，这些封地称为“采地”或“采邑”。西周这种分封诸侯、卿大夫的制度，实际上构成了两级地方行政区划。
河南省是周天子统治广大东方地区的重要区域，除营建东都洛邑作为东方的政治、军事中心外，在河南省全境，还分封了许多诸侯国和城邑。
诸侯国主要有：邶（汤阴县东南）、卫（淇县）、东（濮阳市南）、共（辉县）、凡（辉县西南）、邘（博爱县西北）、樊（济源县）、原（济源县北）、苏（济源县东北）、单（济源县南）、盟（孟县）、向（孟县西北）、温（温县西）、胙（延津县北）、燕（延津县东北）、封父（封丘县西南）、管（郑州市）、东虢（荥阳县东北）、越戏方（荥阳县西南）、阙巩（巩县）、北虢（陕县）、焦（三门峡市西北）、郐（新郑县西北）、华（新郑县北）、康（禹县东北）、霍（临汝县西）、鄢（鄢陵县北）、许（许昌市东）、畴（叶县西北）、应（鲁山县东）、胡（漯河市西）、杞（杞县）、葛（宁陵县）、戴（民权县东）、宋（商丘县）、厉（鹿邑县东）、陈（淮阳县）、蔡（上蔡县）、房（遂平县）、挚（汝南县）、聃（平舆县北）、申（南阳市北）、吕（南阳市西）、鄂（南阳市北）、谢（南阳市东南）、蓼（唐河县南）、鄫（方城县）、息（息县）、江（息县西）、黄（潢川县）、蒋（淮滨县东南）、缪（固始县北）。城邑主要有：羑里（汤阴县北）、长丘（封丘县西南）、牧（淇县南）、聩（获嘉县北）、陉（博爱县西北）、絺（沁阳县西南）、怀（武陟县西南）、隰（武陟县西南）、伾（荥阳县西北）、蔽（郑州市东）、鹿（嵩县北）、郏（郏县）、历（禹县）、蜀（新郑县西南）。
二、春秋战国
春秋战国时期（公元前770～前221年），河南成为全国政治中心和大国争霸、群雄角逐的主要场所。一方面，周平王东迁正式确立了洛阳作为国家首都的地位，周天子在此继续作为名义上的天下共主；另一方面，由于各诸侯国实力的增强，逐渐形成“礼乐征伐自诸侯出”的局面，这些强大起来的诸侯或大夫纷纷在中原地区争霸称雄，西周时期的分封制遂演变为大国争霸的格局。
春秋时期邦国林立，见于史书记载的有100多个。河南省境内，洛阳一带为成周，属王畿之地，由周天子直接统辖，其他地区分属各诸侯国。当时卫国据河南省北部，郑国据中部，宋国据东、东南部，楚国据南、西南部。这些实力强大的诸侯国，在其统辖范围内各有若干属国，在河南省境内的属国具体划分如下：
卫国：国都先后定于沫（淇县）、曹（滑县东）、楚丘（滑县东北）、帝丘（濮阳市西南）。其属国有共（辉县）、凡（辉县西南）、燕（南燕，延津县东北）、胙（延津县北）、雍（焦作市西南）、原（济源县西北）、樊（济源县西南）、单（济源县南）、温（温县西）。
郑国：国都新郑（新郑县）。其属国有东虢（荥阳县东北）、祭（郑州市东北）、费（巩县南）、密（密县东南）、郐（新郑县西北）、许（许昌市东）、鄢（鄢陵县北）、胡（漯河市西）、东不羹（郾城县西）、西不羹（襄城县东）、应（鲁山县东）、叶（叶县南）。
宋国：国都宋城（商丘县）。其属国有戴（民权县东）、葛（宁陵县北）、滑（杞县东北）、陈（淮阳县）、厉（鹿邑县东）、项（沈丘县）、蔡（上蔡县）、房（遂平县）。
楚国：道（确山县北）、息（息县）、弦（息县南）、江（罗山县西北）、黄（潢川县）、蒋（淮滨县东南）、蓼（缪）（固始县北）、蓼（飂）（唐河县南）、申（南阳市北）、吕（南阳市西）、析（西峡县）、商密（淅川县南）、缯关（方城县）。
战国以后，在不断的斗争和重新分化组合中，形成了七雄并立的局面。这一时期除周王室继续辖有洛阳及周围地区外，七雄中的韩国占据河南省西北部，公元前416年，将国都从平阳（山西临汾西北）迁至宜阳（宜阳县西），后又迁阳翟（禹县），前367年灭郑后，迁都于郑（新郑县）。魏国占据河南省中北部，前316年，将国都从安邑（山西夏县西北）迁至大梁（开封市）。赵国占据河南省北陲，前425年，曾将国都迁至中牟（鹤壁市西）。秦国占据河南省西部。楚国占据河南省南部（楚国后期曾迁都于陈，即淮阳县）。七雄以外的宋国，在灭亡前占据河南东南一隅，国都在睢阳（商丘市西南）。
前350年，各诸侯国在河南省所辖主要城邑如下：韩国：管（郑州市）、华阳（新郑县北）、阳翟（禹县）、南梁（禹县西）、负黍（新郑县西）、荥阳（荥阳县东北）、垣雍（郑州市北）、成皋（荥阳县西）、宜阳（宜阳县西）、渑池（渑池县西）、卢氏（卢氏县）、野王（沁阳县）、葵（焦作市西）。
魏国：顿丘（濮阳市西）、观（濮阳市东北）、濮阳（濮阳市南）、荡阴（汤阴县）、朝歌（淇县）、汲（汲县）、共（辉县）、宁（获嘉县）、山阳（焦作市）、怀（武陟县）、卷（原阳县西）、轵（济源县）、向（济源县南）、酸枣（延津县）、黄池（封丘县）、桂陵（长垣县西北）、陕（三门峡市西）、襄陵（睢县）、承匡（睢县西）、长社（长葛老城）、林（尉氏县西）、安陵（鄢陵县北）、岸门（许昌市北）、长平（西华县东北）、郾（郾城县）、昆阳（叶县）、舞阳（叶县东南）、鲁阳（鲁山县）、仪台（虞城县西南）。
赵国：中牟（鹤壁市西）。
秦国：析（西峡县）、於（西峡县东）、丹（淅川县西南）。
宋国：外黄（杞县北）。
楚国：陈（淮阳县）、阳夏（太康县）、苦县（鹿邑县）、召陵（漯河市东北）、上蔡（上蔡县）、平舆（平舆县）、城阳（信阳市北）、曾（光山县西南）、期思（淮滨县东南）、雩娄（固始县东南）、宛（南阳市）、穰（邓县）。
春秋战国时期，新兴地主阶级逐渐发展起来，他们在同奴隶主势力的斗争中，为加强力量，在其所控制的地区内实行集权。与此相适应，一种新的地方行政建置开始出现，此即郡县制。这种新体制的出现，打破了已行使数百年之久的分封采邑制，为秦汉时期广泛实行郡县制奠定了基础。河南省是较早出现郡县的地区之一，春秋前期，楚国在灭申（南阳市）、息（息县西南）等国后，在这些地方设置县级政区建制。以后灭陈（淮阳县），也在此置县。战国时，魏国在其辖境设县达百余个，其中许多即在河南省境内。