উচ্চ আদালতে একটি রিট পিটিশন দায়ের করার মাধ্যমে শেখ মুজিব ১৯৬১ সালে জেল থেকে ছাড়া পান। এবার শুরু করেন গুপ্ত রাজনৈতিক তৎপরতা। অন্যান্য সাধারণ ছাত্রনেতাদের নিয়ে গোপনে স্বাধীন বাংলা বিপ্লবী পরিষদ নামে একটি সংগঠন গড়ে তোলেন যার উদ্দেশ্য ছিল বাংলাদেশের স্বাধীনতা আদায়ের লক্ষ্যে কাজ করা।
১৯৬২ সালের ৬ ফেব্রয়ারি জননিরাপত্তা আইনে তাকে আবার আটক করা হয়েছিল। জুনের ২ তারিখে চার বছরব্যাপী মার্শাল ল অপসারণের পর একই মাসের ১৮ তারিখে তাকে মুক্তি দেয়া হয়। ২৫ জুন অন্য রাজনৈতিক নেতাদের সাথে মিলে আইয়ুব খান আরোপিত বিভিন্ন রাজনৈতিক ইস্যুর বিরুদ্ধে সংগ্রামে নেমে পড়েন। ৫ জুন পল্টন ময়দানে আয়োজিত এক সম্মেলনে আইয়ুব খানের সমালোচনা করেন।
২৪ সেপ্টেম্বর লাহোর যান এবং সেখানে শহীদ সোহরাওয়ার্দীর সাথে মিলে জাতীয় গণতান্ত্রিক ফ্রন্ট গড়ে তোলেন। এটি মূলত বিরোধী দলসমূহের একটি সাধারণ কাঠামো হিসেবে কাজ করেছিল। পুরো অক্টোবর মাস জুড়ে শহীদ সোহরাওয়ার্দীর সাথে মিলে বাংলার বিভিন্ন স্থান সফর করেন এই যুক্তফ্রন্টের সমর্থন আদায়ের লক্ষ্যে। ১৯৬৩ সালে সোহরাওয়ার্দীর সাথে আলোচনার উদ্দেশ্যে লন্ডন যান, সোহরাওয়ার্দী সেখানে চিকিৎসারত ছিলেন। এই বছরের ৫ ডিসেম্বর সোহরাওয়ার্দী বৈরুতে মৃত্যুবরণ করেন।
সোহরাওয়ার্দীর মৃত্যুর পর ১৯৬৪ সালের ২৫ জানুয়ারি মুজিবের বাসায় অনুষ্ঠিত এক বৈঠকে আওয়ামী লীগকে পুণরায় সংহত করার সিদ্ধান্ত নেয়া হয়। এই বৈঠকের প্রস্তাবের ভিত্তিতে শেখ মুজিব তত্কালীন পাকিস্তানের অন্যতম প্রধান রাজনৈতিক দল আওয়ামী লীগের মহাসচিব ও মাওলানা আবদুর রশীদ তর্কবাগীশকে দলের সভাপতি নির্বাচিত করা হয়।
১১ মার্চ একটি সর্বদলীয় সংগ্রমা পরিষদ গঠিত হয় যার মাধ্যমে মুজিব সাম্প্রদায়িক দাঙ্গা প্রতিরোধকল্পে বিশেষ ব্যবস্থা গ্রহণ করেন। সেনাশাসক আইয়ুব খানের বেসিক ডেমোক্রেসিস প্ল্যান, সামরিক শাসন এবং এক-ইউনিট পদ্ধতির বিরোধী নেতাদের মধ্যে অগ্রগামী ছিলেন শেখ মুজিব। এই পদ্ধতি অনুযায়ী ক্ষমতা কেন্দ্রীভূত করার পরিকল্পনা করা হয় এবং প্রদেশগুলোকে একত্রে জুড়ে দেওয়ার চেষ্টা করা হয়। অন্যান্য রাজনৈতিক দলগুলোর সাথে কাজ করতে গিয়ে, মুজিব আইয়ুব বিরোধী দল প্রার্থী ফাতিমা জিন্নাহকে সমর্থন করেন। যথারীতি নির্বাচনের দুই সপ্তাহ পূর্বে তাকে আটক করা হয়। তাকে রাষ্ট্রদ্রোহীতা এবং আপত্তিকর প্রস্তাব পেশের অভিযোগে অভিযুক্ত করে এক বছরের কারদণ্ডে দণ্ডিত করা হয়। অবশ্য উচ্চ আদালতের এক রায়ে তার আগেই তিনি মুক্তি পেয়ে যান। এ সময় সামরিক বাহিনীর গণহত্যা আর বাঙালিদের চাহিদা পূরণে সামরিক শাসকদের ঔদাসীন্য পূর্ব পাকিস্তানের জনগণকে ক্ষুব্ধ করে তোলে।