این عمارت از نظر معماری، نقاشی، کاشی‌کاری و گچ‌بری از شاهکارهای معماری زمان قاجار است. هسته مرکزی این باغ عمارت وسط است. این عمارت سه طبقه با تزئینات زیبا و گوناگون است. اتاق‌های طبقه زیرین که برای استراحت در روزهای گرم تابستان ساخته شده بودند، به حوضخانه معروف است. اين تالار آبنمایي دارد و از وسط آن نهر آب مي‌‌گذرد و سپس به استخر بزرگي در جلو عمارت می‌پیوندد.
در وسط تالار حوضخانه يك ستون سنگي حجاري شده قرار گرفته و ديوارها و كف تالار با كاشي‌هاي هفت رنگ كه به طرزي زيبا و ماهرانه به كار رفته مزين است. سقف حوضخانه با كاشي‌هاي معرق و هفت رنگ پوشيده شده كه تصاوير زيبایي از شكارگاه‌ها و مناظر طبيعت و داستان خسرو و شيرين و نقوش ديگر را در بر دارد. كاشي‌هاي سقف حوضخانه را بايد از بهترين‌هاي اين هنر در دوره قاجاريه دانست. كاشي‌هاي نماي عمارت نيز زيبایي‌ها و ويژگي‌هاي خيره‌كننده و دلپذيري دارد. كاشي‌كاري‌ها عموماً به سبك كارهاي دوره زنديه و قاجاريه است. 
ستون‌های دو طبقه بالایی نیز از تخت جمشید الهام گرفته‌اند. عمارت پيشين باغ ارم را جاني خان و محمد قلي خان ايلخاني قشقایي بنا کرده بود. سازنده و مهندس عمارت با شكوه فعلي باغ حاجي محمد حسن معمار شيرازي است.
طبقه دوم ايواني بزرگ با دو ستون بلند دارد. طبقه سوم در وسط سالنی بزرگ مشابه سالن طبقه دوم دارد كه پنجره‌هاي آن به ايوان اصلي باز مي‌شود و در دو طرف اين سالن دو راهرو است. در جنب راهرو ضلع شمالي عمارت دو اتاق و در جنب راهرو ضلع جنوبي يك اتاق و يك سالن بزرگ است. دو ايوان نيز در دو طرف همانند ايوان‌هاي طبقه دوم و درست بالاي آن‌ها قرار دارد. هشت باب اتاق هم در جنوب ضلع شمالي عمارت اصلي و چسبيده به آن قرار دارد. در پشت ساختمان اصلي يعني در طرف مغرب باغ عمارت و محوطه اندرون قرار دارد. عمارت اندرون دو سالن و پنج اتاق دارد. سرستون‌های ايوان ساختمان اصلي به طرز ماهرانه‌اي حجاري شده است. نقش سرستون‌ها را تصوير مرداني با لباس‌هاي دوره قاجاريه و گل و بوته‌هایي به طور قرينه تشكيل مي‌دهد
