Küçük Hüseyin Paşa diye bilinir. Aslen Çerkez veya Gürcü olan paşa, Ahıskalı Yusuf Paşa’nın oğlu Silâhdar İbrahim Paşa’nın kölesidir. Kendisinin Sultan III. Selim’in sütkardeşi olduğu söylenmektedir. Bu yüzden Daye/Tayezade diye de tanınmakta idi. Aynı süt anneden süt emdiği sanılan kız kardeşi Gülhayr Hanım 1253 Recebinde (Ekim 1837) vefat etti. Laleli Türbesi haziresine defnedildi. Babası, Mustafa Ağa olup 1245 (1829) yılında vefat etti. Kabri, Eyüp Sultan Türbesi haziresinde ve Lala Mustafa Paşa Türbesi civarındadır.

Sultan III. Selim’in, 1789 yılında tahta geçtiği sırada onun hizmetinde bulunmuş ve bu sayede mabeynci olmuştur. Beş altı ay sonra, saray âdetine aykırı olarak 1204 Muharreminde (Ekim 1789) başçuhadar oldu. Bu hizmetlerinde kazanmış olduğu itimat ve itibar sebebiyle 17 Receb 1206’da (10 Mart 1792) kaptanıderya oldu.

Hüseyin Paşa kaptanıderya olduktan sonra tersane işlerine güzel bir nizam vermiştir. Bahadır, disiplinli, iş bilir ve sözü geçen bir vezir idi. Küçük Hüseyin Paşa’nın tersanedeki çalışmalarını çok takdir eden III. Selim onu amcası I. Abdülhamid’in kızı Esma Sultan ile evlendirdi. Paşa o sırada 36 yaşıda idi. Nişan ve nikâhları aynı günde yani 7 Cemaziyelevvel 1207’de (21 Aralık 1792) icra edildi ve Divanyolu’nda Sultan II. Mahmud türbesi haziresinin yerinde bulunan Saray’da gerdeğe girdi.

Akdeniz’de korsanlık yapan meşhur Karakaçan ile yaptığı savaşı kazanmış, onu esir etmiş ve gemilerini de ele geçirerek büyük bir debdebe içinde İstanbul’a getirmiştir. Bu yüzden şan ve şöhreti her tarafı tutmuştur.

Kaptanıderya Hüseyin Paşa, Mısır’ın 1213 (1798) yılında Fransızlar tarafından işgali üzerine, İngilizlerle beraber 70 Osmanlı harp gemisiyle harekete geçmiş ve Fransızlar mağlûp edilerek 1216’da (1801) bir anlaşma imzalanmış ve kendi kethüdası Hüsrev Ağa’yı da Mısır valisi tayin ettirmiştir.

Hüseyin Paşa, Kaptanıderya iken bir gün denize düşmüş ve Tersane çavuşlarından İbrahim Ağa tarafından kurtarılmıştır. Bunu unutmayan Paşa onu derhal başçavuş yapmıştır. İbrahim Ağa 16 Muharrem 1257’de (10 Mart 1841) vefat etti. Kabri, Tophane’de Defterdar Camii haziresinde iken Kılıç Ali Paşa Camii’ne nakledilmiştir. Bu zatın kızı meşhur müellif, Sicilli Osmanî yazarı M. Süreyya Bey’in annesidir.

Hüseyin Paşa’nın, Kasımpaşa Hastanesi’nin yokuşu başında, Cezayirli Hasan Paşa Mektebi’nin sol tarafında, 1212 (1798) yılında yaptırmış olduğu bir çeşmesi vardır.

Her ne zaman emredilse yeteri kadar donanma hazır bulunurdu. Bu görevde iken Cemaziyelahir 1212’de (Kasım 1797) Vidin seraskeri oldu. Fakat sertliğinden dolayı başarılı olamadığı söylenir. Hüseyin Paşa, Nizamı Cedid’ in en hararetli taraftarı idi. On iki seneye varan kaptanıderyalığı vardır.

Vidin’den dönüşünde hastalandı ve 23 Şaban 1218’de (8 Aralık 1803) Kuruçeşme’deki yalısında vefat etti. Şair Vasıf bu münasebetle

Vâsıfa Hakk’a niyaz eyle didim tarihin
Gülşeni Adn ola mesken Kaptan Paşa’ya

tarihini düşürmüştür. Kabri, Bostan İskelesi Sokağı üzerinde Mihrişah Valide Sultan Türbesi yanındadır. Muhteşem kallavili lahdi mevcuttur.