曾大屋原稱「曾氏山下圍大屋」，位於沙田獅子山隧道公路旁的山腳 (又稱山廈圍)。創建人為曾貫萬 (又稱曾三利)，廣東省嘉應州長樂縣人，生於清嘉慶十三年 (1808年)。曾氏自幼家貧，十六歲時，得知新安沿海一帶商業活動頻繁，於是與兄輝賢來港謀生。
曾貫萬最初在茶果嶺石廠當工人，後來被升為工頭。南京條約簽訂 (1842年) 以後，英人計劃將中環一帶發展為「女皇城」。由於洋商的倉庫和住宅、軍人的堡壘和營房、政府的建築物和海堤等，無一不需用石塊。於是曾貫萬看準時機，將累積起的金錢在筲箕灣投資創辦三利石行；同時，兼營販賣淡水給船戶的生意。曾萬貫的事業漸入佳境。
據說，曾貫萬在筲箕灣營商時，有海盜劫得鹹魚十六甕登門求售，曾氏以八百錢全部購入。在賣去四甕後，竟發現鹹魚下原來埋有金銀，於是利用這筆意外之財擴展事業及擇地建屋。清朝道光二十八年 (1848年)，他在瀝源覓得「曾大屋」的現址，以其背山而面向農田和遠處的海，正好形成一條「龍」似的風水格──山為「龍頭」，屋位於「龍脈」，農田與海則為「龍尾」，於是向隔田村曾氏購下該地建屋，建立「山下圍」，期望為村民帶來好運。至同治六年 (1867年)，歷二十年方告完成。
「曾大屋」佔地六萬餘方呎，為一座獨立的中國式青磚堡壘圍村。該村呈長方形，採三進式的設計。圍內的上、中、下三廳各為一進；廳與廳之間有天井分隔，故這三個廳又稱為「三棟」；另外，上下兩進與左右兩橫屋相連，彷如一座棋盤形的院落，明顯是粵東客籍大屋的典形設計。共有大小房間二百餘間。圍的四角設有炮樓(更樓)，城牆上更開有排列整齊的槍孔和瞭望孔，以作防衛之用。
據說建築工人是特別由長樂縣聘請而來，故「曾大屋」具有長樂縣客家屋宇的形制；而砌成大屋的青磚則是由隔田村的窯廠供應。
「曾大屋」與其他圍村一樣，在中軸的第二和第三進設有議事廳及祠堂。每逢清明時節，曾氏家族成員都會齊集議事廳，在村長主持下舉行理事會；而在春秋時節，曾氏家族成員則會在祠堂舉行祭祀儀式。此外，「曾大屋」曾設有作育族中子弟的「貫萬學校」，據說校址原為清朝時期的一個炮台，清朝以後炮台被拆卸，改作學校。而曾大屋其中一個炮樓也曾用作貫萬學校的校舍。二十世紀初約有學生十餘人, 曾得到香港政府的資助。戰後, 聘有兩位女教師教授小一至小四的中、英、數等科目。直至1960年代，在政府的資助下，於山下圍另設一所學校，名為「文正學校」，並接受別村的學生就讀。
目前「曾大屋」只有四、五百人居住。由於村內房舍日久失修、加建情況嚴重、衛生環境日趨惡劣、陽光不足，很多曾姓村民已搬離，把房屋租予外姓人, 仍然留在村內居住的曾氏子孫不足一百人。古物古蹟辦事處多年來和曾氏族人商討將曾大屋列為法定古蹟, 但由於曾大屋業權分散, 不少業主又移居外國, 故未能達成協議。