ISI با ایجاد اطلاعات استنادی در پایگاه علمی داده‌ها، تعداد زیادی از مقالات نشریات علمی دنیا را گردآوری کرده است. در این پایگاه با محاسبه استناد سالیانه مقالات هر نویسنده یا گروه تحقیقاتی، عامل تأثیر(IF) تعیین می‌شود. از دیدگاه منتقدان این موضوع با نقدهای متعددی روبه‌رو است: به عنوان مثال استناد به مجله نمی‌تواند نشانگر کیفیت مقالات آن باشد؛ زیرا تأثیر استنادی به طور اساسی مقیاس سنجش کاربرد علمی است تا شاخص سنجش کیفیت علمی؛ بنابراین انتخاب مراجع به وسیله نویسنده با جهتگیری خاص به کیفیت علمی مقاله مربوط نیست. شایان ذکر است عامل تأثیر، تفاوت در میزان استناد مقالات را پنهان می‌سازد؛ چاپ مقالات طولانی با مراجع فراوان را در ارجحیت قرار می‌دهد، البته داده‌های علمی منتشر شده در کتابها از این شمول خارج می‌شوند؛ مجلات انگلیسی زبان نسبت به مجلات غیر انگلیسی زبان در اولویت قرار می‌گیرند؛ دانشمندان و محققان با زمینه‌های تحقیقاتی محدود نسبت به دانشمندانی که مقالات مروری تهیه می‌کنند، در اولویت بعدی قرار می‌گیرند و سرانجام در زمینه‌های علوم انسانی نسبت به علوم دیگر ـ بااستفاده کمتر یا نادر از مراجع ـ اختلاف و محدودیت ایجاد می‌کند.
