Pondok Pesantren Al-Khudriyah didirikan pada tahun 1995 oleh KH. Ujang Said al-Khudri atas gagasan ayahnya, KH. Ahmad Widara Musa al-Bantani, pendiri Pondok Pesantren Riyadlul Mubarakah. Pesantren Al-Khudri berdiri di sebuah lahan bekas perkebunan milik H. Abdurrasyid (mertua KH. Ujang Said al-Khudri) di kampung Pasar Kadubitung, desa Malangsari, kecamatan Cipanas, kabupaten Lebak, Banten.
Pada awal berdiri, Pesantren Al-Khudri hanya berupa sebuah bangunan gubuk sempit yang terdiri dari beberapa kamar. Pada tahun 2000-an pondok mulai dibangun lebih luas dan bertingkat. Tingkat pertama dijadikan sebuah Majelis Taklim yang menunjang berbagai kegiatan belajar mengajar para santri, sedangkan tingkat kedua digunakan sebagai kamar para santri dengan alas kayu dan dinding anyaman bambu.
Sepanjang tahun 2015 -2016, pondok dan Majelis Taklim mulai diperluas, serta struktur bangunan kamar tempat tinggal para santri mulai diubah menjadi berupa tembok. Majelis Taklim mulai diisi oleh kitab-kitab fikih berjilid jilid yang menjadikannya sebagai perpustakaan pesantren, yang selanjutnya disebut Pustaka al-Khudri.
Pustaka al-Khudri adalah sebuah perpustakaan yang diperuntukan bagi masyarakat umum dan santri sekitar kecamatan Cipanas, kitab-kitab yang dihadirkan berupa kitab-kitab fikih karangan para ulama salaf Ahlussunah wal Jamaah.
Pada perkembangan selanjutnya, Pesantren Al-Khudri tidak hanya mengadakan jadwal pengkajian rutin dengan para santri, melainkan juga menghidupkan pengkajian mingguan bagi masyarakat setempat dan para alumni di Majelis Taklim Al-Khudriyah, setiap selasa pagi untuk ibu-ibu, sedangkan bakda zuhur jadwal pengkajian untuk bapak-bapak dan para alumni pesantren.
Kitab yang dikaji bersama para alumni dan masyarakat sekitar diantaranya adalah kitab Tafsir al-Jalalain, Shahih Bukhari, dan Nihayatuz Zayn.