یادداشت‌های علم اهمیت تاریخی دارد؛ چون علم تنها کسی در حکومت پهلوی بوده که یادداشت‌های خود را به یادگار نهاده است. همچنین وی اغلب اوقات خود را با شاه می‌گذراند؛ چه در سفرهای تفریحی چه سیاسی. نقش وی در تصمیم‌گیری‌های شاه از اهمیت بسیار ویژه‌ای برخوردار بود. چنان‌که خود او چندین بار نیز به این نکته در یادداشت‌های خود اشاره کرده است. یادداشت‌های او از روز اول اردیبهشت ماه ۱۳۴۶ در دسترس است و آخرین دیدار او با شاه نیز در تاریخ ۲۸ تیر ۱۳۵۶ بود. وی سپس برای درمان رهسپار پاریس شد و شاه هویدا را به جانشینی او برگزید.

عالیخانی ویراستار کتاب در مصاحبه خود با صدای آمریکا در ۲۰۲۰ با بیژن فرهودی میزان سانسور کتاب را اندک دانسته و بیش از ۹۹ درصد کتاب را دست نخورده می‌داند.او در این مصاحبه سانسور را در موضوعاتی مانند درخواست فلسفی برای مشروب و تریاک در زندان یا اموال مربوط به استان قدس می‌خواند.

با اینحال صحت خاطرات نقل شده در یادداشت های علم توسط بسیاری از پژوهشگران مورد تردید قرار گرفته برای نمونه مسعود کوهستانی نژاد مورخ تاریخ می‌نویسد:

اگر بخواهم مثال دیگری در تحریف این خاطرات و کتاب‌سازی‌ها بیاورم می‌توان به خاطرات اسدالله علم اشاره کرد؛ خاطراتی که مثل کتاب مقدس در برخی موسسه‌های فرهنگی ما نقل قول می‌شود. اسدالله علم در یکی از جلدهای کتابش عنوان کرده است که در سال ۱۳۵۴ خدمت اعلیحضرت شاه بوده‌ است و برای حل مشکلات کشور به وی پیشنهاد می‌کند که جمعی از ریش سفیدان و افراد با تجربه را در کنار هم جمع کند تا از آن‌ها در اداره مملکت‌داری، راهنمایی بگیرند اما شاه به وی گوش نداده است.

ما با خواندن این خاطره متوجه می‌شویم که اسدالله علم یا یک دروغگوی تمام عیار است یا انسانی فراموش کار که خاطراتی اشتباه را که ریشه در واقعیت ندارند، نقل می‌کند؛ چرا که او در حال گفتن این خاطرات به این نکته واقف نبوده است که ۸ سال قبل و در دوره نخست‌وزیریش، خود او طرح لایحه‌ای را به نام مجلس شورای دولتی برای تصویب به مجلس برد تا ساختار سیاسی ما را که از دوران ناصرالدین شاه تا سال ها بعد وجود داشت اصلاح کن