日本的高等教育机构包括专科、本科和研究生教育。专科2-3 年； 本科一般4 年，医科（含牙医、兽医）6 年（毕业后可报考博士课程研究生，学制4 年）；硕士2 年；博士3 年，研究生教育阶段，有些学校硕士课程和博士课程分别设立；有些学校是合在一起设立，分博士课程前期2 年，博士课程后期3 年，前期课程2 年也视为硕士课程。
日本实施研究生教育的机构是大学里的“大学院”，日本高等教育机构根据其设立形式和经费来源渠道，分为国立（86 所）、公立（77 所）、私立（600 所）三种。简单的说，国立大学院是国家设立的大学（类似中国的一本大学），比如京都大学；公立大学为地方政府设立的大学（类似中国的二本大学），比如名古屋市立大学；私立大学是学校法人设立的学校，比如中央大学。
 
 据吉林良品日语留学顾问介绍:日本国立，公立大学的“大学院”还有一种特殊的“学习制度”，也就是非正规学生，一般称这类学生为“研究生”，既不能取得学分，也不能获得学位证书。虽然也称为研究生，但是与中国的“研究生”有所不同： 中国的“研究生”指的就是硕士，而日本的“研究生”是日本一种特殊的学习制度，是由于外国留学生尚未达到读修士的水平，需花半年或者一年左右的时间跟导师补充相应的知识而设立的制度，相当于硕士或者是博士的预科。不可以与国内的研究生划等号。
 
而目前在日本的私立大学中只有很少部分的大学设有研究生制度或类似的制度，比如说中央大学的研究生制度或者同志社大学的特别学生制度。如果希望进入私立大学学习一般只能通过直接参加考试的方式或者是别科的方式进行准备。不过，随着日本政府“30 万留学生计划”的出台有越来越多私立大学的硕士课程可以进行海外申请，比如上智大学，早稻田大学等等。
 
日本的高等教育机构大多用日语授课，少数课程用英语授课。进入日本的高等教育机构学习，大部分大学要求文科专业的学生日语能力水平考试成绩要达到一级，部分大学要求达到二级：理工科专业一般没有明确限制， 但是如有一级则具有相当的申请优势。