명치정부는 1869년 8월(명치 2년 7월), 즉 유신의 전란이 하코다테(函館)에서 에노모토 다케아키(榎本武揚)가 이끄는 구 막부군의 항복으로 종지부를 찍은 2개월 후 태정관 산하에 병부성을 두고, 해군과 육군을 통할하였다. 이때 편입된 함선은 군함 3척(富士山, 甲鐵, 千代田形), 운송선 4척에 불과하였다. 그 후 새로운 구입이나 제번으로부터 헌납이 계속되었고, 게다가 1871년(명치 4년)의 폐번치현(廢藩置縣)에 의하여 제번이 보유하고 있던 군함 중 역무에 견딜 수 있는 것은 모두 병부성으로 이관하였다. 그런데도 군함과 운송선의 합계는 합하여 17척, 배수톤 13,832톤에 불과하였다.
그러나 일본이 근대국가로 탈피하는데 해군에 대한 관심은 매우 컸다. 페리가 4척의 미국함대를 이끌고 우라가(浦賀)에 나타난 것이 1853년(嘉永 6년)이다. 그때는 “단지 4척 때문에 밤잠을 못 잤던” 막부가 자기 해군을 건설하기 위하여 네덜란드로부터 기증받은 외륜선 간코마루(觀光丸)를 가지고, 해군사관의 양성을 시작한 것은 2년 후인 1855년(安政 2년)이었다. 모든 것을 전례에 따르고 구태의연하게 말기증상을 보이고 있던 막부로서는 정말로 대단한 반응이었다. 또 1853년에는 전래의 법의 하나였던 大船 건조의 금지를 폐지하고, 이에 응하여 사츠마한(薩摩藩)에서는 일찍이 양식범선 2척을 기공하여 다음 해인 1854년(安政 원년)에 완성하였다. 이것이 가로하마루(以呂波丸)와 쇼헤이마루(昇平丸)이다. 같은 해에 막부에서도 우라가에서 호우호마루(鳳凰丸)라는 양식범선을 건조하였다. 막부와 제번은 머지않아 유럽제국으로부터 함선을 매입하여 각각의 함대를 구성하게 되는바, 막부는 제번과는 질량 양면에서 비교가 안될 세력의 함선을 보유하게 되고, 요코스카(橫須賀)에서는 프랑스인 베르니(Francois Leoncee Verny)의 지도하에 조선소가 건설 중이었다.
막부 말기부터 명치 초년에 이르는 시대의 군비정책은 해군을 주로 하고, 육군을 종으로 하는 것이었다. 그래서 육해군이 아니라 해육군이라고 부르는 것이 당시의 표현이었다. 막부가 전국의 해안을 7개 구역으로 구분하여 증기군함 370척을 기간으로 하는 함대편성의 건의(1861년), 또는 병부성이 20년간에 군함 200척, 운송선 20척을 건조하려는 건의(1870년) 등 대규모의 해군을 갖고 싶다는 생각을 항시 가지고 있었던 것이다.
이것은 막부당국이나 명치정부가 외국이 바다로부터 침략해 올 것이라는 위기의식을 항상 가지고 있어 이에 대비하기 위해 해군의 육성이 긴급하게 필요하다는 생각을 가지고 있었기 때문이다.
그러나 현실적으로는 국내의 반란이 계속되었기 때문에 큰 자금의 투입이 필요한 군함건조가 후순위로 밀리고 말았다. 그 동안에 육군의 증강이 계속되어서 海主陸從의 방침은 점차 陸主海從으로 변화하고 말았다.
1872년(명치5년) 병부성을 육군성과 해군성으로 분리하여 해군의 독립이 이루어졌다.
같은 해 막부가 건설한 요코스카조선소를 인수하여 다음 해, 배수량 898톤의 슬루프함 세이키(淸輝)의 건조에 착수하였다(1876년 준공). 동 조선소에서는 1870년대 후반부터 80년대에 걸쳐 배수량 1,000톤 내외의 목조 내지 철골목피(鐵骨木皮)의 군함이 건조되었다. 또 1875년(명치 8년) 명치정부로서는 처음으로 외국(영국)에 군함신조를 발주하고, 이에 의하여 中央砲郭型의 소형장갑함, 후소(扶桑, 3,777톤), 철골목피의 코르벳함 콩고(金剛)와 히에이(比叡, 모두 2,284톤)가 1878년(명치 11년)에 일본에 도착하여 일본해군의 주력함이 되었다.
해군이 본격적인 함선의 증강정비를 도모한 것은 1883년(명치 16년) 이후로 대장경 마츠카타 마사요시(松方正義)의 재정정리(1880-85년)의 결과 일본경제가 안정된 방향으로 향하기 시작한 때부터이다.
이와 같이 명치의 일본해군은 유신 후 십수년간에 걸친 불안정한 경제 속에서 조금씩 정비되어 유럽제국으로부터의 구입함을 주력으로 하여 점진적으로 함대로서의 실력을 축적해간 것이다. 그 속에서 유럽제국과는 서로 다른 독특한 성격을 갖는 해군사상이 형성되었다.
첫째, 일본해군이 범주해군의 전통을 전혀 갖지 않고, 최초부터 증기력 해군으로 발족하였다는 점이다. 그래서 장기간 지속된 범주해군의 전통이 새로운 증기력 해군에 악영향을 미치는 것과 같은 일이 전혀 없었다는 점이다. 예를 들면 처음부터 증기력 해군에 적합한 체계적인 교과과정을 갖춘 사관양성교육이 실시되었고, 또 기관과 사관을 위시한 병과이외의 사관의 지위도 사회적으로 대등한 위치를 차지한 것이다. 다만 영국을 비롯한 유럽제국의 해군제도를 모방하였기 때문에 병과이외의 사관은 오랫동안 문관으로 취급되었고, 후에 “준장교”(1915년 이후, “기관장교”와 “장교상당관”으로 분리)로 무관에 편입되었으나, 군령수행에서는 병과 우선이라고 규정하였다. 후에 이 제도는 기관과 사관에 의한 병과와 대등한 위치를 확보하는 수평화 운동으로 발전한다.
둘째는 해군의 임무가 국토방위, 해안방어로 의식된 것이다. 유럽제국이나 미국에서는 해안방어 이외에 반드시 자국의 통상보호와 적국의 통상파괴가 해군의 임무의 수위를 점하는 것이 상식화되어 있었으나, 오랜 쇄국으로부터 갓 탈피한 명치해군으로서는 통상보호나 통상파괴의 중요성이 이해되지 않고, 그런 개념은 부차적인 임무라고 의식되었다. 그리하여 일본의 무역이 세계적으로 확대되고, 상선대의 팽창이 계속된 후에도 일단 정착된 의식은 좀처럼 변하지 아니하였다. 이것은 후년의 제2차세계대전에서 일본해군이 갖는 기본적인 결함으로 중대한 결과를 낳게 된다.
일본의 해군은 그 창설초기에는 영국, 프랑스의 제도를 받아 들여 1872년(명치 5년)이후 해군성이 “해군 군함에 관한 일체의 사무를 관장하는 곳”이 되어 군령, 군정을 일원화한 조직으로 발족하였다. 그 장관은 해군경으로 태정대신에 대하여 해군 일체의 사무를 책임지고 있었다.
당시 육군은 이미 육군성, 참모본부, 감군본부의 세 관청이 분립하여 각각 업무를 분담하고 있었으나, 1886년(명치 19년) 3월, 해군성 군사부가 관장하고 있던 함대편성, 작전계획, 정보, 출동준비계획, 해방계획, 해상운송 등의 사항이 해군성 관장으로부터 분리되어 새로 설치된 참모본부 해군부로 이관되었다. 이것은 군령관계를 육군에 준하여 군정으로부터 분리한 것인데, 2년 후의 參軍官制의 제정에 의하여 천황 직할의 참군(황족 大中將으로 충당)밑에 해군참모본부가 창설되었다. 이렇게 해서 군령에 관한 천황의 통수권이 제도적으로 도입된 것으로 보였으나, 다음 해인 1889년(명치 22년) 3월 군령관계 사무가 다시 해군성으로 복귀되어 해군참모부가 되었다. 그러나 육군과의 사이에 제도상의 균형을 유지하기 위하여, 1893년(명치 26년) 5월 천황 직할로 해군군령을 관장하는 해군군령부가 독립하여,1) 이에 일본 특유라고 할 수 있는 군령과 군정을 분리한 이원적 군제가 탄생하였다. 이 이원적 군제는 해군 자신의 강한 의지, 또는 필요성에 의한 것이라기 보다는 육군과의 제도상의 균형을 유지하기 위하여 발생한 것이다, 그러나 이러한 사실은 육군도 해군도 각각 독자적인 국방정책을 가져서 서로 대항하여 이것을 정부가 통제할 수 없는 상태를 만들어내는 하나의 원인(遠因)이 되었다.