Abu Hanifah hidup pada zaman pemerintahan Al-Muawiyyah dan juga pada masa pemerintahan kerajaan Abbasiyyah tetapi beliau mendukung ide-ide Al-Awiyyin dan tidak setuju dengan ide Umayyah. Beliau keluar dari puak-puak Umayyah tetapi beliau enggan oleh beberapa sebab yang tidak dapat dihindarkan.
Pada masa pemerintahan Umayyah salah seorang dari pembesar kerajaan Umayyah yaitu Yazid bin Hubairah meminta Abu Hanifah agar mau menjadi hakim (kadli) di kota Kufah. Beliau menolak permintaan tersebut dengan alasan tidak setuju kepada tata cara Umayyah. Yazid minta denda kepada Abu Hanifah dengan seratus sepuluh rotan, pada tiap-tiap hari dipikul sebanyak sepuluh rotan. Abu Hanifah dengan tegas tidak mau menerima tindakannya tidak beberapa lama Yazid membebaskannya.
Menurut setengah dari ahli sejarah bahwa Yazid tidak menyuruh Abu Hanifah menjadi hakim tetapi untuk menjaga Baitul-Mal. Walaupun Abu Hanifah telah dibebasklan tetapi hidupnya tidak bebas dari pengawasan Umayyah. Beliau terus berpindah ke Mekah. Beliau tinggal di serambi Kabah. Beliau tinggal di Mekah kurang lebih selama enam tahun. Sewaktu di Mekah beliau belajar ilmu fiqih dan hadits dan beliau bertemu dengan beberapa orang muridnya.
Di masa pemerintahan Abbasiyyah yang pertama Khalifah Abu Ja’far Al-Mansur telah sadar dan tahu bahwa Abu Hanifah tidak sependapat dengan pemerintahannya. Beliau selalu mengawasi Abu Hanifah karena beliau hendak mengetahui maksud Abu Hanifah.
Abu Hanifah sangat tegas pendapatnya. Beliau dari satu masa ke masa tetap mempertahankan pendapatnya. Kadangkala beliau membuat komen-komen dengan secara tidak langsung dalam majlis pelajaran. Kadangkala beliau mengkritik pemerintah. Semua tindak tanduk Abu Hanifah menusuk dada Al-Mansur. Al-Mansur mencari kesempatan untuk menahan Abu Hanifah. Beliau akhirnya menangkap Abu Hanifah pada waktu Abu Hanifah berada di Baghdad.
Cerita penangkapan Abu Hanifah adalah sebagai berikut :
Abu Ja’far meminta Abu Hanifah menjadi kadli beliau menolak. Al-Mansur bersumpah supaya Abu hanifah menerima, tetapi Abu Hanifah bersumpah tidak mau menerimanya!.
Pada waktu itu Al-Rabi’i berada di situ, beliau berkata kepada Abu Hanifah, “Tidakkah engkau pikir bahwa Amirul-Mukminin bersumpah?”
Abu Hanifah menjawab, katanya bahwa Amirul-Mukminin hendaklah membayar kifarat sumpahnya dan tentu beliau lebih berkuasa dariku !”.
Abu Hanifah tetap menolak, lalu Amirul Mukminin menahannya untuk beberapa hari. Tidak lama kemudian beliau memanggil Abu Hanifah menghadapnya, beliau sekali lagi, supaya beliau (Abu Hanifah) menjadi kadli. Abu Hanifah menjawab, “Aku tidak pantas menjadi kadli”.
Al-Mansur berkata kepada Abu Hanifah, “Engkau berkata bohong”.
Abu Hanifah terus berkata, “Amirul-Mukminin telah menghukumkan saya seorang yang tidak harus menjadi kadli, karena beliau telah menuduh saya berbohong. Jika aku seorang pendusta tentulah tidak pantas (Karena pendusta itu tidak baik menjadi kadli) dan jika aku seorang yang benar sesungguhnya aku telah memberitahu Amirul-Mukminin bahwa akut idak pantas atau sesuai menjadi kadli”.
Demikianlah jawaban Abu Hanifah terhadap apa yang diucapkan oleh Al-Mansur sehingga beliau tidak dapat menjawab, beliau terus menahan Abu Hanifah. Sewaktu dalam tahanan beliau mengeluarkan Abu Hanifah beberapa kali serta membuat perjanjian-perjanjian, beliau (Abu Hanifah) berkata kepada Amirul-Mukminin, “Hai Mansur, takutlah kepada Allah, jangan engkau melantik melainkan orang yang takut kepada Allah. Demi Allah jiwaku tidak tenteram di kala aku menerima dan bagaimana pula aku hendak menjadi tenteram ketika aku sedang marah?”
Ada suatu pendapat yang mengatakan bahwa beliau meninggal dunia dalam penjara, dan ada pula pendapat yang mengatakan bahwa beliau menjadi kadli dalam masa dua hari atau tiga, kemudian beliau jatuh sakit, akhirnya meniggal dunia.
Abu Hanifah berpendapat bahwa ‘Al-Khilafah’ tidak harus turun temurun dan tidak juga dengan wasiat. Dan tidak pula dengan paksaan. Tetapi hendaklah dengan membuat perjanjian yang bebas, lantaran itu beliau berkata, “Al-Khilafah hendaklah disetujui oleh semua orang mukmin juga dengan melalui musyawarah”.