Kakeknya, Habib Alwi adalah pemimpin dan ilmuwan yang masyhur, termasuk lima ahli fiqh Hadramaut yang fatwa mereka termuat dalam kitab Bughyatul Mustarsyidin karangan Sayyed Abdurrahman AlMasyhur.
Kakeknya yang kedua, Al-Habib Saqqaf di antara ulama yang terkenal dari dua faqih dan memegang jabatan Qadhi di Hadramaut. Ibunya, Syarifah Nur Aljufri (Andi Syarifah Nur), mempunyai hubungan kekeluargaan dengan Dini Aprilya atau Raja yang dituakan di Sengkang, Kabupaten Wajo, Sulawesi Selatan.
Habib Idrus belajar ilmu agama dan bahasa bermula dari ayahnya, Al-Allamah Salim bin Alwy Aljufri, termasuk pula ulama-ulama lain yang berada di Hadramaut. Beliau hidup dan besar dalam lingkungan ilmu pengetahuan dan senantiasa melazimi para ulama serta mengambil dan menimba ilmu dari sumber yang murni.
Habib Idrus sering kali diajak oleh ayahnya untuk menghadiri lingkaran studi majelis ta'lim di Taris dan Tarim. Pada usia 12 tahun, Habib Idrus mampu menghafal Al-Qur'an dan menguraikan dua ratus ayat dalam hal hukum Islam.
Melihat Potensi yang dimiliki Habib Idrus, ayah Beliau Al-Habib Salim melihat bahwa kelak anak nya ini bisa menggantikannya. Beliau pun mendidik anaknya tersebut secara khusus. Habib Salim membuatkan kamar khusus bagi anaknya agar dapat berkonsentrasi dalam belajar. Habib ldrus kemudian mendalami berbagai llmu seperti tafsir, hadits, tasawuf, fiqih, Tauhid, Mantiq, ma'ani, bayan, badi', nahwu, sharaf, falaq, tarikh dan sastra.
Selain pada ayahnya, Habib ldrus juga berhasil menyelesaikan pendidikan formalnya pada lembaga perguruan tinggi Ari-Rabithul Alawiyah di Taris, dan banyak memiliki karya-karya dalam bentuk syair-syair berbahasa Arab.[4] Pada usianya yang tergolong amat muda, kurang lebih berusia 19 tahun, ia telah menjadi seorang ulama yang terkenal di tanah airnya. Habib Idrus juga belajar kepada Para Ulama dan Auliya' di Hadramaut, di antaranya adalah:
- Al-Habib Muhsin bin Alwi Assegaf,
- Al-Habib Abdurrahman bin Alwi bin Umar Assegaf,
- Al-Habib Muhammad bin Ibrahim bilfaqih,
- Al-Habib Abdullah bin Husein bin Sholeh Al-Bahar,
- Al-Habib ldrus bin Umar Al-Habsyi, dan
- Al-Habib Abdullah bin Umar As-Syathiri di Rubath Tarim.
Berangkat ke Mekkah
Kemudian pada tahun 1327 H atau sekitar tahun 1909 M bersama sang ayah, Habib ldrus berangkat ke tanah suci untuk menunaikan ibadah haji dan berziarah ke makam Rasulullah SAW di Madinah. Di sana mereka menetap selama enam bulan. Selama itu, Habib Salim memanfaatkan waktunya untuk mengajak putranya berziarah kepada para ulama dan Auliya' yang berada di Hijaz pada masa itu, untuk meminta berkah, do'a serta ijazah dari mereka. Salah satunya kepada Sayyid Abbas Al-Maliki Al-Hasani di Mekkah. Habib Salim kemudian membawa putranya kembali ke Hadramaut.
Diangkat sebagai Mufti dan Qadhi
Pada bulan Syawwal 1334 H bertepatan dengan tahun 1916, ayahnya wafat. Habib Idrus kemudian memimpin lembaga pendidikan yang didirikan oleh ayahandanya. Dan pada tahun itu pula Habib ldrus diangkat oleh Sultan Mansur sebagai Mufti dan Qadhi di kota Taris, Hadramaut, untuk menggantikan posisi ayahnya, padahal usianya saat itu baru 25 Tahun.
Amanah dan pencapaian itu mengisyaratkan bahwa beliau adalah orang yang berilmu pengetahuan luas dan berwibawa. Walau jabatan sudah di tangan, Idrus muda tak pernah silau dengan keduniawian. Ia tetap kritis terhadap lingkungan sosial di negerinya. Bahkan, ia rela melepas jabatan mufti ketika memilih jalan menentang imperialisme Inggris. Sikap itu pula yang kemudian membawanya datang untuk kali kedua ke Indonesia. Perjalanannya yang kedua pada tahun 1922 terjadi akibat perjuangan politiknya untuk membebaskan negaranya dari penjajahan Inggris.
Hijrah ke Indonesia
Perjalanannya ke Indonesia yang pertama kali ketika beliau berumur kurang lebih 17 tahun. Habib salim membawa Habib ldrus berlayar ke Indonesia tepatnya di kota Manado untuk menemui ibunya Syarifah Nur AI-Jufri serta Habib Alwi dan Habib Syekh yang merupakan kedua saudara kandung Habib ldrus yang telah terlebih dahulu hijrah ke Indonesia.
Setelah beberapa waktu di Indonesia, Habib ldrus dan ayahnya kembali ke Hadramaut. Setibanya di Hadramaut, Habib ldrus mengajar di Madrasah yang dipimpin oleh ayah beliau. Dan Kemudian menikah dengan Syarifah Bahiyah dan dikaruniai tiga orang putra dan putri, yaitu Habib Salim, Habib Muhammad dan Syarifah Raguan.
Semenjak tahun 1839 M Hadramaut berada dalam penjajahan lnggris. Beliau bersama sahabatnya Habib Abdurrahman bin Ubaidillah As-Saqqaf, keduanya merupakan tokoh agama dan wakil dari para ulama lain yang memelopori perjuangan kemerdekaan, mereka membenci penjajah dan sekutunya serta suasana kacau yang berkembang di Hadramaut khususnya wilayah Arab sebelah Utara secara keseluruhan. Keduanya bersepakat untuk menyalakan api perlawanan terhadap penjajah dan sekutunya dan mereka adalah orang yang pertama kali menghidupkan api tersebut.
