这座博物馆的历史可以追溯到1996年3月2日,伊热夫斯克曾经建立了一座市级的米哈伊尔·卡拉什尼科夫轻武器博物馆。同年,新的现代化博物馆大楼开始建设,并与2004年完工。2004年11月4日,米哈伊尔·卡拉什尼科夫85岁生日时,新的博物馆隆重开幕。