ISI با ایجاد اطلاعات استنادی در پایگاه علمی داده ها، تعداد زیادی از مقالات نشریات علمی دنیا را گردآوری کرده است. در این پایگاه با محاسبه استناد سالیانه مقالات هر نویسنده یا گروه تحقیقاتی، عامل تاثیر (IF)  تعیین می شود. از دیدگاه منتقدان این موضوع با نقدهای متعددی روبه رو است: به عنوان مثال استناد به مجله نمی تواند نشانگر کیفیت مقالات آن باشد؛ زیرا تاثیر استنادی به طور اساسی مقیاس سنجش کاربرد علمی است تا شاخص سنجش کیفیت علمی؛ بنابراین انتخاب مراجع به وسیله نویسنده با جهتگیری خاص به کیفیت علمی مقاله مربوط نیست. شایان ذکر است عامل تاثیر، تفاوت در میزان استناد مقالات را پنهان می سازد؛ چاپ مقالات طولانی با مراجع فراوان را در ارجحیت قرار می دهد، البته داده های علمی منتشر شده در کتابها از این شمول خارج می شوند؛ مجلات انگلیسی زبان نسبت به مجلات غیر انگلیسی زبان در اولویت قرار می گیرند؛ دانشمندان و محققان با زمینه های تحقیقاتی محدود نسبت به دانشمندانی که مقالات مروری تهیه می کنند، در اولویت بعدی قرار می گیرند و سرانجام در زمینه های علوم انسانی نسبت به علوم دیگر ـ بااستفاده کمتر یا نادر از مراجع ـ اختلاف و محدودیت ایجاد می کند