가문과 혈통을 어머니의 핏줄을 기준으로 삼는 사회. 반대말은 부계사회(patrilineality)다.
대체로 성씨가 아버지 가문에서 친손주가 아닌, 어머니 가문에서 외손주로 전해진다. 모계사회와 부계사회는 가문과 혈통이 어느 쪽을 따르는가를 기준으로 구별하며, 가정이나 사회에서 어느 남성과 여성의 권한을 기준으로 하지 않는다. 따라서 모권사회(matriarchy)와는 구분되는 개념이다.
모계사회에 대해 쉽게 이해하려면 일본의 데릴사위 제도를 생각하면 된다.
일본에서는 사위가 처가의 가업을 잇는 경우 남편이 아내쪽 집안에 편입되며 아내의 성을 따라 남편이 성을 바꾼다.
이런 경우가 아주 흔한 것은 아니지만 현대까지도 드물지 않게 일어나는 일이다. 고이즈미 준이치로 전 일본 총리 집안도 이 경우로, 준이치로의 아버지 사메지마 준야가 고이즈미 가문에 데릴사위로 들어가면서 성을 고이즈미로 바꿨다.
또 유명한 사례로는 기시 노부스케 전 총리와 사토 에이사쿠 전 총리 형제 집안이 있다. 이들이 친형제지간임에도 성씨가 다른 것은 이들의 아버지 기시 슈스케가 사토 집안으로 들어가면서 사토 슈스케가 되었는데, 노부스케에게는 원래의 성 기시를, 에이사쿠에게는 처가의 성 사토를 물려줬기 때문이다.
만약 이런 식으로 남자가 아내쪽 집안에 편입되는 경우가 그 반대의 경우보다 많다면 모계사회라고 분류되는 것이다.
이와 같이 부계사회/모계사회의 구분은 어느 쪽의 집안에 편입되는가에 따른 분류이며 남녀간의 역학관계와는 직접적인 관계가 없고 대부분 남자가 권력을 잡는 구조이다.
즉 부계쪽 남자가 권력을 잡느냐, 모계쪽 남자가 권력을 잡느냐의 차이일 뿐이다. 예컨대 유대인 사회는 어머니가 유대인인 사람을 유대인으로 인정하는 모계사회이면서 유럽의 다른 부계사회들보다 여성의 지위가 낮다.
다만 유럽 유대인이 모계사회라지만 사위가 처가에 들어갈 뿐 외손자의 성씨는 사위의 성씨를 쓴다.
모계사회는 중국, 동남아시아, 인도, 아프리카, 유럽, 북아메리카 일부 지역에서 발견되었다.
세계의 여러 지역에서 광범위하게 발견된 셈이지만 전체적으로 부계 사회에 비해 상당히 드문 편이다. 몇몇 신화를 근거로 한반도에도 모계사회가 존재했다는 주장이 있지만 뚜렷한 근거는 없다.
고대의 몇몇 사회가 모권사회가 아니었나 추측하는 경우도 있지만 이들 사회가 모권사회였는지는 확실하진 않다. 평민 사회에서는 여자가 우세한 사회처럼 보여도 지배층에서는 남성이 우세한 사회들이 많기 때문이다.
현대에서는 중국의 소수민족인 모소족이 모권사회에 가깝다는 평가를 듣지만 모소족의 경우 전통적으로는 여성이 촌장의 지위를 가져갔으나 외부 사회와의 교류에 영향을 받아 현재는 촌장의 지위를 남성이 가져간다.
인도의 카시족, 나야르족과 같이 연장자인 여성이 지도자의 역할을 맡아 어머니의 재산을 딸이 세습하고 어머니가 자식에게 성을 물려주는 모계사회는 관찰된 바 있으나 이 경우에도 남성에게도 정치적 지도자가 될 수 있는 기회가 주어졌다.
여성의 경제적, 정치적 결정권을 배제하는 남성우월의 가부장제와는 차이가 크다는 것이다.
따라서 여성의 지위가 남성보다 미세하게 더 높거나 균형을 이루는 성평등사회는 관찰된 바 있으나, 경제적, 정치적, 문화적으로 모든 면에서 남성을 배제하고 여성이 압도적인 주도권을 가져가는 실질적인 의미에서의 여성우월의 인간 모권사회는 과거에서도 현재에서도 발견되지 않았다.
마빈 해리스의 저서를 읽어보면 모계사회의 여성이 가부장적 부계사회의 남성에 비해 압도적인 주도권을 가지지 못한 이유가 나오는데 현재까지 이어져 내려온 모계사회는 가정 내 성별권력의 위계를 가를 때 여성이 승리한 체제가 아니라 타 부족과의 경쟁에서 이기기 힘든 약소 집단들이 여성의 유출을 막고 종족을 보존하기 위해 만든 체제인 경우가 많다는 것이다.
모소족을 예로 들자면, 여성에게 가장의 의무와 책임을 쥐어주고 부족안에 묶어놓는 방식이다. 이러한 경우 여성들은 엄청난 양의 노동을 감당해내면서도 그 비용을 가정의 유지에 써야하기 때문에 부족을 나가는 것이 거의 불가능하다.
원시 모계 사회의 경우는, 인류가 농경을 시작하기 전에는 혈통과 재산이 모계를 따라 상속되는 모계사회였으며, 여성이 정치, 경제적 우위를 가진 모권 사회였다는 가설이다.
진화론이 나타났을 때 인류학자와 고고학자들은 모계사회라든지 난혼 등 기존의 가부장제 하의 일부일처제 가족제도와 배치되는 원시적 가족제도의 연구를 통해 사회진화론의 형태를 띈 원시모권 사회에 대한 가설을 수립하였다.
현재 발견된 대다수의 원시 시대 조각품들이 여성의 신체를 묘사한 점으로 미루어 볼때, 고대에는 여성들이 사회적으로 우위에 존재했으며, 여신숭배가 보편적이었다는 학설도 있다.
사실 모계사회의 가설은 남성우월론의 입장에서 나온 것이다.
19세기의 유럽은 부계사회이자 부권사회였으므로, 혈통이 부계로 이어지는 것과 남성의 지위가 높은 것은 자연스럽게 동일시되었다.
원시 모계사회가 사회의 진보에 따라 가부장제로 변화했다는 것이 그 당시 형성된 원시 모계사회에 대한 생각이었던 것.
당시 학자들은, 그 뒤로 모건 등의 고고학자의 연구를 받아들인 엥겔스와 같이 사회주의적인 해석도 역시 시작되었고 페미니즘, 생태주의적 해석이 그 뒤를 따르며 원시 모계 사회는 어느 새 당연한 전재가 되어 기정 사실화되기 되었지만 현재는 각 학계마다 다르나 인류학에선 그 관점을 수용하지 않는듯 보인다.
이는 인류학에 대한 연구가 진전됨에 따라 수렵생활을 유지하고 있는 부족들중 부계 형태의 사회들도 속속들이 발견되었으며, 다른 포유류, 특히 유대류와의 행동비교, 선사시대 유적지에 대한 분석 등을 통해 어떤 사회든 절대적으로 한쪽 성별이 우위에 있는 부계사회나 모계사회는 존재하지 않으며, 원시사회는 양성평등 사회에 가깝다는 것이 주류 학설이다.
인류학자 신시아 밀러는 본인의 저서 '원시모권제의 미신'에서 여성주의 고고학에서 주장하는 모권사회, 모계사회는 충분한 근거를 가지지 못하며 오히려 남녀간의 권력차이를 유의미하게 보여주는 어떠한 고고학적 근거도 없다고 밝혔다.
또한 인류학자 퍼듀 대학교의 로랜스 A. 쿠슈너 박사는 원시 모계사회에 대한 가설은 논리적, 경험적으로 실패하였으며 과학적으로 사용하기에는 너무 모호하다고 밝혔다.
20세기에 인류학이 발전하면서 많은 '원시적인' 부족들을 연구한 결과 실제로는 '난혼' 단계 자체에 대한 신뢰성이 상실되었으며,
여러 모계사회를 조사한 결과 부권/모권의 문제와 부계/모계의 문제는 별개라는 점이 분명해졌다.
또한 유럽과는 다른 가족체계들 역시 충분히 잘 발달되고 안정된 시스템인 것을 알게 되어 이러한 여러 종류의 혈통 시스템 중에서 유럽의 부계사회 시스템이 가장 우월하다는 인식도 수정되었으며, 이러한 인식에만 전적으로 바탕을 둔 '난혼 → 모계사회 → 부계사회'의 진화론 역시 폐기되었다. 무엇보다도 이러한 종류의 '진화'를 뒷받침할 근거는 전혀 발견되지 않았다.