Pada awalnya Beliau pernah mengambil bagian dalam peperangan menetang Nabi Muhammad SAW dan kaum Muslim. Ia masuk Islam bersama Khalid bin Walid. Enam bulan setelah masuk Islam, beliau bersama Rasulullah SAW menaklukan Mekkah dalam peristiwa Fathul Mekkah. Ia adalah panglima perang yang bijak dalam mengatur strategi perang.
Beliau adalah panglima perang yang menaklukan Baitul Maqdis dan Mesir dari cengkraman Romawi. Ia kemudian dilantik sebagai gubernur Mesir oleh Umar bin Khattab, tetapi kemudian dipecat oleh Khalifah Usman bin Affan. Selanjutnya Muawiyah bin Abu Sufyan melantik kembali beliau menjadi gubernur Mesir. Panglima Amru mengerahkan tentara yang al-Quran menjujung diujung tombak, ia menggunakan cara ini dalam pertempuran dengan Ali bin Abi Thalib agar Ali bin Abi Thalib menghetinkan serangan.