يقوم منهج الطبراني في (الأوسط) على جملة من الأمور نشير إلى بعضها فيما يلي:
- رتب الكتاب على أسماء الشيوخ ترتيبًا معجميًّا، يروي عن طريق كل شيخ عددًا من الأحاديث يزيد أو ينقص، حسب كثرة روايته عن هذا الشيخ أو قلتها، ولأجل بيان التفرد الذي يقع من بعض الرواة عن بعض، يعقب على كل حديث - غالبا - بقوله: لم يروه عن فلان إلا فلان، أو بقوله: تفرد به فلان.
- رتب أسامي شيوخه على حروف المعجم، ولم يتقيد برواية عدد معين لكل شيخ بل قد يكثر وقد يقل بحسب روايته عن هذا الشيخ، كما مر آنفا، وبحسب المستغرب من المرويات.
- إذا تكرر سند واحد لعدة أحاديث من مرويات شيخ واحد، فإن المؤلف يذكر السند كاملًا في أول موضع، ثم إن تكرر السند بتمامه يقول فيما يليه: " وبه..." وإن تكرر بعض السند فيقول فيما يليه: " وبه إلى فلان... ".
- اقتصر في جمع أحاديثه على الغرائب التي تفرد بها بعض الرواة عن بعض.
- وقد تمثلت مادة الكتاب في(9489) نصًا مسندًا، منها المرفوع - وهو الغالب - والموقوف والمقطوع.
قال الحافظ الذهبي في تذكرة الحفاظ 3 / 85 :
المعجم الأوسط في ست مجلدات كبار على معجم شيوخه يأتي فيه عن كل شيخ بما له من الغرائب والعجائب, فهو نظير كتاب الأفراد للدارقطني بيَّن فيه فضيلته وسعة روايته، وكان يقول: هذا الكتاب روحي, فإنه تعب عليه, وفيه كل نفيس وعزيز ومنكر ... اهـ