قدمت کاخ چای‌خوران به دوران رضا شاه باز می گردد. این کاخ حدود 4000 متر مربع وسعت دارد و روی ارتفاع قرار گرفته است. زمین این کاخ نسبت به مناطق اطراف مرتفع تر بوده و اطراف آن سرسبز می‌باشد و به همین دلیل مردم آن را به عنوان کاخ می‌شناسند. کاخ چای‌خوران چالوس نسبت به سایر کاخ‌ها در دوره قاجار و پهلوی، تشریفات کمتری دارد. این کاخ در سال 1353 مورد مرمت قرار گرفت و در فهرست آثار ملی کشور به شماره 1045 به ثبت رسید.