Habib Usman menambahkan bahwa jika seseorang bisa berlaku adil, itu luar biasa.
"Berusaha untuk adil, tapi yang punya adil itu hanya Allah. Manusia itu gak bisa adil, tapi berusaha mendekati keadilan," tambahnya.
Akhirnya Habib Usman membuka 4 golongan orang yang disebut boleh berpoligami.
"Golongan pertama itu adalah raja. Dia punya anak menjadi pangeran ya kan, menyebarkan kerajaannya lebih besar. Seorang raja boleh poligami, raja yang baik ya. Seorang raja, seorang khalifah, atau seorang pemimpin daerah, dia adil, dia boleh. Tapi dengan tujuannya untuk menyebarkan kebaikannya," katanya.
Golongan yang kedua disebutnya adalah yang kaya dan dermawan.
"Yang kedua adalah orang kaya dermawan. Kaya dermawan, baik, dia sodaqohnya baik, semuanya baik. Dengan kekayaannya, dia bisa punya banyak istri, banyak anak," lanjutnya lagi.
"Gak, Habib belum kaya! Belum! Belum!" celetuk Kartika yang memang khawatir suaminya masuk ke dalam golongan tersebut.
Kekhawatiran Kartika pun terjadi di mana Habib Usman masuk ke dalam golongan ketiga orang yang boleh poligami.
"Dan yang ketiga adalah ulama. Ulama itu buat dakwah, menyebarkan dakwahnya, anaknya menjadi ulama lagi. Anak saya pasti jadi Habib, dan pasti jadi syarifah karena keturunan dalam darahnya," ujarnya.