Trích nguyên văn bài viết của GS Tuấn tại http://tuanvannguyen.blogspot.jp/
"Thời gian gần đây, trên một vài diễn đàn báo chí trong nước, người ta bàn đến việc đánh giá nhà khoa học. Đây là vấn đề khó khăn và gai góc. Trong bài này tôi sẽ bàn qua một số chỉ số mà các đại học ngoài này hay sử dụng.
NVT
Việc đánh giá năng lực của một nhà khoa học là việc cần thiết. Các trung tâm nghiên cứu và đào tạo hàng năm phải tuyển dụng nhà khoa học, phải tuyển chọn nghiên cứu sinh và hậu tiến sĩ, và hội đồng tuyển chọn phải đi đến một quyết định chọn đúng người trong số nhiều ứng viên. Các trường đại học cũng cần đánh giá nhà khoa học, vì mỗi năm họ phải xét duyệt đề bạt các chức danh khoa bảng (như giáo sư, phó giáo sư) cho nhiều ứng viên. Các hội đồng tuyển chọn hay hội đồng khoa bảng cần những chỉ số khách quan để so sánh các ứng viên, và qua đó mà tuyển chọn đúng người hay đề bạt người xứng đáng vào các chức danh khoa bảng.
Nhưng việc đánh giá năng lực và sự nghiệp của một nhà khoa học là một việc làm khó khăn. Cái khó khăn lớn nhất là do năng lực của một cá nhân lúc nào cũng là một đặc tính đa chiều và có nhiều tiêu chí. Chẳng hạn như một nhà khoa học, ngoài “sản phẩm” chính là sáng tạo tri thức mới, còn có những khía cạnh khác như đào tạo nghiên cứu sinh, phục vụ cho chuyên ngành, hay phục vụ cộng đồng. Cho đến nay, cộng đồng khoa học vẫn chưa nhất trí một công thức khách quan nhất để tồng hợp các tiêu chí này.
Có lẽ cách đơn giản nhất là đọc tất cả những công trình nghiên cứu của nhà khoa học, hay cách làm của Đại học Harvard khi đề bạt chức danh khoa bảng là thẩm định 5 công trình mà nhà khoa học tự đánh giá là có giá trị nhất. Nhưng ngay cả việc làm này phi thực tế, vì đòi hỏi thời gian và cần phải có những chuyên gia trong chuyên ngành. Ngay cả những chuyên gia trong ngành cũng chưa chắc khách quan trong việc đánh giá các công trình nghiên cứu khoa học, vì do cảm tính và cảm tình cá nhân của người đọc đối với nhà khoa học.
Do đó, để đánh giá năng lực một nhà khoa học, các hội đồng khoa bảng phải dựa vào một số chỉ số mang tính định lượng, dù biết rằng những chỉ số này tự nó cũng không hẳn là hoàn hảo. Hiện nay, có 3 chỉ số chính để đánh giá một nhà khoa học: số lượng ấn phẩm khoa học, hệ số ảnh hưởng (impact factor hay thường viết tắt là IF), và chỉ số Hirsch (thường viết tắt là H index).
Số lượng ấn phẩm khoa học
Sản phẩm chính và có lẽ quan trọng nhất của một nhà khoa học là số lượng ấn phẩm khoa học đã được công bố. Cần phải nói thêm rằng cụm từ “ấn phẩm khoa học” ở đây được hiểu theo nghĩa tiếng Anh là “original article”, hay “paper”, tức những bài báo nghiên cứu mang tính nguyên thủy đã được công bố trên một tập san khoa học, và tập san khoa học đó có một cơ chế bình duyệt (peer-review) và tập san đó được cộng đồng khoa học chuyên ngành công nhận. Công nhận ở đây có nghĩa là tập san được liệt kê trong các danh bạ của Viện thông tin khoa học (Institute of Scientific Information).
Ấn phẩm khoa học không bao gồm những bản tóm lược trong các hội nghị khoa học (abstract hay conference proceeding), những bài bình luận (commentary), những bài xã luận (editorial), hay những thư bình luận (letter to the editor) trên các tập san khoa học. Bài báo khoa học cũng không phải là những bài báo đăng trên các tạp chí phổ thông dù là của một hiệp hội chuyên môn; hay những bài đăng trên các tờ báo đại chúng, bởi vì những bài này không đáp ứng tiêu chuẩn đã qua bình duyệt của đồng nghiệp chuyên ngành.
Một số lớn các trường đại học phương Tây thường dựa vào số lượng bài báo khoa học như là một tiêu chuẩn để xét duyệt đề bạt các chức danh khoa bảng. Tuy không có qui định nào cụ thể là ứng viên phải có bao nhiêu bài báo để được xét duyệt, nhưng thông thường, những con số được "hiểu ngầm" là giáo sư dự khuyết (assistant professor) phải có từ 5 bài báo trở lên, phó giáo sư (associate professor) thì ít nhất là 20, và giáo sư (professor) thì ít nhất là 50.
Số lượng ấn phẩm phản ảnh một phần về phần lượng, phần năng suất của một nhà khoa học. Tuy nhiên, trong xu hướng hợp tác nghiên cứu khoa học như hiện nay, một bài báo (nhất là trong khoa học thực nghiệm như y khoa) thường có nhiều tác giả, và một số không ít những tác giả này chẳng có đóng góp gì cho công trình nghiên cứu nhưng được ghi tên “tác giả làm quà” (còn gọi gift authorship). Một nhà khoa học có thể có nhiều bài báo, nhưng trong thực tế chỉ là hợp tác, hay thậm chí là “tác giả làm quà”, và do đó số lượng ấn phẩm khoa học không phản ảnh được điều này.
Ngoài ra, số lượng ấn phẩm khoa học như nói trên chỉ phản ảnh phần lượng, nhưng có thể không phản ảnh phần phẩm chất. Một người có thể công bố nhiều công trình khoa học, nhưng là những công trình có chất lượng thấp thì không thể xem là có năng lực. Ngược lại, một nhà khoa học giỏi có thể chỉ công bố vài công trình, nhưng toàn là những công trình có giá trị lâu dài, những công trình được cộng đồng khoa học ghi nhận, nhưng số lượng không phản ảnh được tài năng của nhà khoa học.
Chỉ số trích dẫn
Một công trình khoa học có giá trị hay có chất lượng thường được trích dẫn. Trong một nghiên cứu [1] về lí do trích dẫn, các nhà khoa học trình bày những lí do sau đây : (a) ghi nhận công trạng của tác giả ; (b) kính trọng tác giả ; (c) phương pháp liên quan ; (d) bài báo cung cấp thông tin nền có ích ; (e) trích dẫn để phê bình hay phản nghiệm ; và (f) trích dẫn để làm cơ sở cho các phát biểu trong bài báo. Do đó, ngoài số lượng ấn phẩm khoa học, tần số trích dẫn là một chỉ số rất quan trọng để đánh giá chất lượng nghiên cứu khoa học.
Chỉ số trích dẫn cũng rất khác biệt giữa các bộ môn khoa học, nhưng tính trung bình chỉ có trên dưới 1% bài báo khoa học được trích dẫn hơn 6 lần mà thôi trong vòng 5 năm. Do đó, có đề nghị là một bài báo được trích dẫn một cách độc lập (tức không phải chính tác giả tự trích dẫn) hơn 5 lần được xem là "có ảnh hưởng". Những công trình có ảnh hưởng lớn thường có số lần trích dẫn 100 lần trở lên. Một nghiên cứu trong thập niên 1970s về tần số trích dẫn các nghiên cứu công bố trước khi các nhà khoa học được trao giải Nobel cho thấy tính trung bình, số lần trích dẫn là 62 (so với tần số trung bình của tất cả các nhà khoa học là 6 lần).
Cần nói thêm rằng theo phân tích của Viện ISI, trong tất cả các bài báo khoa học công bố trên thế giới, có khoảng 55% không bao giờ được ai (kể cả chính tác giả) trích dẫn hay tham khảo sau 5 năm công bố [2]! Trong các ngành như kĩ thuật (engineering), tần số không trích dẫn lên đến 70%. Ở nước ta, theo phân tích của tôi, khoảng 50% những bài báo toán học không được trích dẫn sau 10 năm công bố.
Chỉ số ảnh hưởng (impact factor)
Đánh giá chất lượng một công trình khoa học hay một bài báo khoa học không phải là việc làm đơn giản vì nó đòi hỏi thời gian và phương pháp đánh giá. Một công trình nghiên cứu cơ bản sau khi công bố có khi phải chờ đến 20 năm hay lâu hơn mới có khả năng ứng dụng, hay được cộng đồng khoa học chấp nhận. Tuy nhiên, đối với các hội đồng khoa bảng, họ không có thì giở phải chờ đến 20 năm sau để đánh giá một nhà khoa học; họ cần những chỉ số ngắn hạn nhưng đáng tin cậy để làm “thước đo” chất lượng nghiên cứu của một nhà khoa học.
Một trong những thước đo phổ biến hiện nay là hệ số ảnh hưởng hay impact factor (IF). Hệ số này được phát triển từ thập niên 1950s để đánh giá chất lượng tập san khoa học [3] ở Mĩ, và ngày nay được sử dụng trên toàn thế giới. Theo định nghĩa của Eugene Garfiled (người phát triển chỉ số IF), IF là tần số trích dẫn trung bình của những bài báo khoa học sau khi đã công bố trong vòng 2 năm. Cố nhiên, IF chỉ tính cho những tập san được liệt kê trong danh bạ ISI hay Journal Citation Report của ISI. Chỉ số IF được tính dựa vào số liệu trong 3 năm. Chẳng hạn như IF của năm 2005 của một tập san được tính như sau: IF = A/B, trong đó A là số lần trích dẫn trong năm 2005 của những bài báo đã công bố trong thời gian 2003-2004, và B là số bài báo đã công bố trong thời gian 2003-2004. Ví dụ: trong 2 năm 2003 và 2004 tập san y khoa Lancet công bố 450 bài báo khoa học, và trong năm 2005 có 10,500 bài báo khác trích dẫn 450 bài báo đó, thì hệ số IF = 10.500 / 450 = 23.3. Mỗi năm ISI đánh giá cho khoảng 7,500 tập san trên thế giới. Hiện nay, IF của các tập san dao động từ 0.02 đến 69.
Chỉ số IF tuy được sử dụng rộng rãi, nhưng cũng bị phê bình rất nhiều. Một số khiếm khuyết của IF đã được chỉ ra trong quá khứ bao gồm những vấn đề liên quan đến văn hóa ngành, cách tính toán, :
• IF không biết đến sự khác biệt về "văn hóa" giữa các ngành khoa học, như ngành toán thường có chỉ số trích dẫn thấp hơn ngành vật lí ;
• IF tính luôn những bài bình luận và xã luận trong vế B (như nói trên) mà những bài này trong vế A ;
• IF không thể phân biệt xu hướng tác giả tự trích dẫn bài báo của mình ;
• IF trung bình hóa quá đáng, bởi vì trong thực tế chỉ có khoảng 20% trích dẫn của một tập san có thể chiếm đến 80% tổng số trích dẫn ;
• khoản thời gian 2 năm trong tính toán IF là quá ngắn và không công bằng cho các ngành khoa học cơ bản ;
• IF không phân biệt được những công trình nghiên cứu sai nhưng được trích dẫn thường xuyên để làm ví dụ.
Dù bị phê bình nhiều, nhưng IF vẫn được các cơ quan tài trợ nghiên cứu, đại học, và trung tâm khoa học áp dụng rộng rãi. Sự thật là hiện nay thế giới có trên 108.000 tạp chí khoa học với đủ thứ chất lượng “thượng vàng hạ cám” (con số này chưa kể đến các tạp chí trực tuyến). Do đó, một công trình nghiên cứu dù có chất lượng thấp cỡ nào đi nữa, và nếu tác giả kiên trì theo đuổi, thì công trình sẽ được in trong một tạp chí nào đó, cũng có thể mang tiếng “tạp chí quốc tế”. Do đó, việc sử dụng IF như là một tiêu chí để đánh giá năng lực của nhà khoa học là điều có thể hiểu được.
Như đề cập trên, bởi vì IF dao động rất lớn giữa các bộ môn khoa học. Chẳng hạn như các tập san thuộc bộ môn khoa học thực nghiệm thường có hệ số tác dụng cao hơn các tập san trong các ngành khoa học tự nhiên và toán học. Nhưng ngay cả trong cùng một bộ môn khoa học các tập san cũng có IF rất khác nhau. Chẳng hạn như trong ngành toán học, tập san “Bulletin of the American Mathematical Society” có IF khoảng 1.8, Annals of Methametics 1.7, nhưng tập san toán của Trung Quốc (Chinese Annals of Mathematics) có IF chỉ 0.3 hay tập san toán của Viện hàn lâm khoa học Nga (Russian Academy of Sciences Izvestiya Mathematics) có IF 0.04. Do đó, việc sử dụng IF trong khi đánh giá năng lực của một nhà khoa học cần phải đặt IF trong từng bộ môn khoa học, chứ không thể so sánh giữa các bộ môn.
Cho dù IF không phải là chỉ số hoàn hảo để “đo lường” ảnh hưởng của tập san và bị nhiều “tai tiếng”, nhưng trong thực tế bất cứ nhà khoa học nào cũng biết rằng công bố một bài báo trên các tập san có IF cao thường khó hơn rất nhiều so với công bố trên một tập san có IF gần bằng 0! Ở các nước đang phát triển như Trung Quốc, Pakistan, và ngay cả Hàn Quốc, Đài Loan, người ta thưởng cho nhà khoa học nào có những bài báo trên các tập san có IF cao.
Chỉ số Z và vị trí tác giả
Nghiên cứu khoa học trong những thập niên gần đây thường mang tính cách liên ngành. Một công trình nghiên cứu, nhất là nghiên cứu thực nghiệm như y sinh học, đòi hỏi sự đóng góp từ rất nhiều nhà khoa học với các chuyên ngành như sinh hóa, y khoa lâm sàng, thống kê học và dịch tễ học, y học hạt nhân, sinh học phân tử, di truyền học, v.v... Không những trong các ngành khoa học thực nghiệm, mà ngay cả khoa học xã hội cũng có xu hướng liên ngành. Theo một phân tích vào thập niên 1960s, có đến 62% số lượng các công trình nghiên cứu của các nhà khoa học được trao giải Nobel là do hợp tác với các đồng nghiệp khác [4].
Xu hướng hợp tác liên ngành dẫn đến xu hướng đa tác giả trong các bài báo khoa học. Ngày nay, không ngạc nhiên khi có những bài báo trên các tập san lớn như Science, Nature, Cell, New England Journal of Medicine, Lancet, JAMA ... mà danh sách tác giả có khi kéo dài đến nửa trang ! Do đó, một bài báo có thể xuất hiện trong hàng trăm lí lịch khác nhau.
Một trong những khó khăn trong các bài báo với nhiều tác giả là vấn đề định lượng công trạng (credit). Một cách hiển nhiên và theo cách hiểu thông thường, người nào có đóng góp nhiều nhất phải là tác giả đầu tiên, người có đóng góp quan trọng thứ hai đứng vai tác giả thứ hai … nhưng trong thực tế thì không đơn giản như thế. Trong thực tế, rất ít nhóm nghiên cứu tuân thủ theo các tiêu chuẩn trên đây, nhưng thứ tự tác giả thường được hoạch định theo một "văn hóa" của trung tâm nghiên cứu mà các nhà nghiên cứu ngầm chấp nhận. Các "qui chế" bất thành văn trong các văn hóa này có thể tóm lược như sau [5]:
• Văn hóa thứ tự (sequence-determined credit). Theo văn hóa này, tác giả có công nhiều nhất (ý tưởng nghiên cứu, thực hiện nghiên cứu, phân tích số liệu, viết bản thảo) sẽ đứng tên tác giả số 1, người có công thứ hai đứng tên tác giả 2, và người có công ít nhất đứng tên tác giả sau cùng. Đối với văn hóa thứ tự, tác giả đầu tiên có k điểm, tác giả hai có k/2 điểm, tác giả 3 có k/3 điểm, v.v... trong đó k là IF của tập san.
• Văn hóa tương đương (equal contribution norm). Theo văn hóa này, tất cả các tác giả có mức độ đóng góp như nhau, và thứ tự tác giả sẽ được quyết định bằng chữ cái của họ. Nói cách khác, tác giả nào có chữ cái là A sẽ đứng tên tác giả đầu, và cứ theo thứ tụ đến tác giả sau cùng có chữ cái của họ là Z. Đối với văn hóa tương đương, việc tính điểm dễ hơn, vì chỉ cần lấy k chia cho số tác giả trong bài báo.
• Văn hóa "đầu chót" (first-last emphasis). Theo văn hóa này, tác giả thứ nhất và tác giả sau cùng là hai người có đóng góp nhiều nhất và chịu trách nhiệm về dữ liệu trong bài báo. Thông thường, tác giả thứ nhất là nghiên cứu sinh tiến sĩ hay hậu tiến sĩ, tác giả sau cùng là trưởng nhóm nghiên cứu của lab hay cơ sở nghiên cứu, và các tác giả theo sau tác giả đầu được xếp theo mức độ đóng góp. Đối với văn hóa trước đầu chót, tác giả đầu có k điểm, tác giả chót k/2 điểm, các tác giả còn lại có k/n điểm, trong đó n là tổng số tác giả.
• Văn hóa định lượng (percent contribution indicated). Trong văn hóa này, chi tiết về đóng góp của từng tác giả được liệt kê một cách vắn tắt, và định lượng trong nội bộ với nhau. Chẳng hạn như hai hay ba tác giả có đóng góp tương đương nhau, và thứ tự tác giả được sắp xếp theo chữ cái của họ hay theo một phương pháp khá khoa học : đó là ngẫu nhiên hóa ! Đối với văn hóa định lượng, mỗi tác giả i có số phần trăm đóng góp (kí hiệu là pi), và điểm cho từng tác giả chỉ đơn giản là kpi.
Do đó, chúng ta cần phải điều chỉnh chỉ số Hc cho vị trí tác giả. Mới đây, có đề nghị tính yếu tố Z (Z factor) như sau [6]:
Z = tổng số (IFi x Pi)
Trong công thức này, P là “contribution factor”, phản ảnh đóng góp của tác giả cho công trình nghiên cứu. Chẳng hạn như tác giả đầu và cuối có P = 1, còn tác giả đóng vai trò hợp tác thì P có thể 0.3. IF là chỉ số ảnh hưởng của tập san. Thường thường, thời gian đòi hỏi một paper được trích dẫn cũng phải 2-5 năm, cho nên khi đánh giá thành tích trong năm, người đánh giá không có lựa chọn nào khác là dựa vào IF.
Do đó, một nhà khoa học công bố được N = 5 bài với IF của 5 tập san đó lần lược là 1, 2, 4.5, 2.5, và 3. Ngoài ra, trong số này nhà khoa học là tác giả chính của 2 bài, còn 3 bài kia là người hợp tác, chỉ số Z được tính như sau:
Z = 1×1 + 2×1 + 4.5×0.3 + 2.5×0.3 + 3×0.3 = 6
Một nhà khoa học khác cũng có 5 bài báo và cũng với IF như trên, nhưng nếu là tác giả chính thì chỉ số Z là 13.
Như vậy Z khắc phục được khiếm khuyết của số lượng bài báo và tính đến công trạng của tác giả. Tuy Z có phần tốt hơn IF, nhưng vấn đề lớn nhất của chỉ số Z là không tính phần trích dẫn và dựa vào IF, một chỉ số tự nó đã không hoàn hảo.
Chỉ số Hirsch (H index)
Nhưng hệ số ảnh hưởng IF chỉ phản ánh uy tín của tạp chí chứ không hẳn phản ảnh chất lượng của một bài báo cụ thể. Năm 2005, nhà vật lí học Jorge Hirsch (Đại học California San Diego) thực hiện một phân tích về xu hướng công bố bài báo khoa học và tần số trích dẫn, và qua kết quả phân tích, ông đề nghị một chỉ số mà ông lấy tên là H index (H có lẽ là viết tắt họ của ông) [7]. Ngay từ khi chỉ số H ra đời, có nhiều người tán thành và lấy đó làm thước đo thành tựu và ảnh hưởng của một nhà khoa học. Ngày nay, các tập san khoa học danh tiếng như Nature, Science, Cell, PNAS, v.v… và các cơ quan quản lí khoa học ở Âu châu, Mĩ châu, Úc châu đều sử dụng chỉ số H để làm cơ sở cho đề bạt, cấp tài trợ, và đánh giá thành công của một nhà khoa học hay một nhóm nghiên cứu.
Chỉ số H được tính toán dựa vào số công trình công bố và số lần trích dẫn. Mục tiêu của chỉ số H là đo lường mức độ ảnh hưởng tích lũy của một nhà khoa học. Chỉ số H được định nghĩa như sau: Chỉ số H của một nhà khoa học là H công trình trong số N công trình của nhà khoa học đó được trích dẫn ít nhất là H lần, và (N – H) được trích dẫn dưới H lần. Ví dụ, nếu một nhà khoa học có chỉ số H = 20 có nghĩa là nhà khoa học này có 20 công trình nghiên cứu với mỗi công trình được trích dẫn ít nhất là 20 lần. Một giáo sư (professor) ở đại học có tiếng ở Mĩ thường có chỉ số H khoảng 20. Một nhà khoa học với H = 20 sau 20 năm làm khoa học có thể xem là một nhà khoa học thành công (successful); một chỉ số H = 40 sau 20 năm làm khoa học được xem là xuất sắc (outstanding) thường hay thấy ở các đại học hàng đầu hay viện nghiên cứu đẳng cấp quốc tế; một chỉ số H = 60 sau 20 năm làm nghiên cứu được xem là thật sự cá biệt (truly unique) [7].
Chỉ số H qua cách tính như mô tả có 2 vế : năng suất và ảnh hưởng của nhà khoa học. Tuy được phát triển để đánh giá năng lực một cá nhân, nhưng ngày nay, chỉ số H được sử dụng để đánh giá một nhóm nhà khoa học, phân khoa trong đại học, thậm chí đánh giá năng lực khoa học của một quốc gia. Ngay cả Viện thông tin khoa học (ISI Thomson) cũng sử dụng chỉ số H trong báo cáo của họ.
Nhưng chỉ số H vẫn chưa hoàn hảo. Trong những khiếm khuyết mà giới khoa học chỉ ra trong thời gian qua, có 3 khiếm khuyết lớn. Thứ nhất, chỉ số H luôn luôn tăng theo thời gian, và do đó tùy thuộc vào độ tuổi của nhà nghiên cứu và thời gian làm nghiên cứu. Thứ hai, chỉ số H không phân biệt được những nhà khoa học đã nghỉ hưu với những nhà khoa học đang làm việc. Thứ ba, chỉ số H còn tùy thuộc vào ngành khoa học, với các ngành khoa học tự nhiên và thực nghiệm (như vật lí, y sinh học) có xu hướng công bố nhiều công trình nghiên cứu và thường hay trích dẫn nhau hơn các nghành khoa học như toán học hay xã hội học.
Để khắc phục các khiếm khuyết về thời gian tính, một vài chỉ số khác đã được đề xuất để “điều chỉnh” chỉ số H. Để điều chỉnh cho thời gian làm nghiên cứu, Hirsch đề nghị chia chỉ số H cho thời gian làm nghiên cứu và ông gọi chỉ số này là Chỉ số m. Chẳng hạn như một người làm khoa học 30 năm với chỉ số H = 61 thì chỉ số m là 61 / 35 = 1,74.
Nhưng khiếm khuyết thứ ba là đáng quan tâm nhất. Chúng ta biết rằng các bộ môn khoa học có những văn hóa ngành khác nhau. Chẳng hạn như các ngành khoa học thực nghiệm thường có truyền thống trích dẫn cao hơn so với các ngành khoa học tự nhiên như toán học. Do đó, rất khó mà so sánh chỉ số H của một nhà vật lí học với một nhà toán học, nếu không có một hệ số điều chỉnh.
Khi phân tích tổng số bài báo từ 1995 đến 2005, người ta thấy tần số trích dẫn bình quân (tính trên mỗi bài báo) của ngành miễn dịch học là 19.55, vật lí 7.22, còn ngành toán chỉ 2.66, ngành khoa học máy tính 2.49, v.v... Do đó, người ta phải đề ra một chỉ số H chuẩn hóa (standardized H index). Cách chuẩn hóa là lấy ngành vật lí làm ngưỡng chuẩn. Chỉ số H chuẩn hóa (kí hiệu Hc) là Hc = H×c, trong đó H là chỉ số H do ISI cung cấp, và c là hệ số liên quan đến trích dẫn của một ngành khoa học. Chẳng hạn như hệ số c của ngành vật lí [đương nhiên là] 1, toán 1.83, khoa học máy tính 1.75, miễn dịch học 0.52. Do đó, nếu một nhà toán học có H = 10 thì Hc = 18.3, tức cao hơn một nhà vật lí học có cùng H.
Vài nhận xét
Thành quả nghiên cứu khoa học có thể đánh giá qua số lượng và chất lượng bài báo khoa học. Trong thời gian qua, đã có khá nhiều tranh cãi chung quanh con số và cách tính điểm bài báo khoa học trong qui trình đề bạt chức vụ giáo sư, nhưng chưa ai bàn đến cách đánh giá chất lượng bài báo khoa học. Chẳng hạn như vị cựu Thư ký Hội đồng Nhà nước về Chức danh Giáo sư, cho biết: "Mỗi ứng viên cho chức danh giáo sư phải có 2 điểm - tương đương với hai công trình - đăng trong các tạp chí uy tín", và mỗi ngành chỉ có hai "tạp chí uy tín" ở trong nước, hiểu theo nghĩa "nếu đăng ở đấy thì nó khó, chất lượng cao hơn. Còn việc chọn đâu là hai tạp chí uy tín của mỗi ngành thì do hội đồng ngành đề xuất, hội đồng thường trực sẽ thông qua. Còn các bài báo đăng ở tạp chí khoa học ngoài nước tất nhiên là không hạn chế rồi." Đây là một cách đánh giá theo số lượng là chính, nhưng không/chưa xét đến chất lượng một cách có hệ thống.
Nhưng phân tích trên đây cho thấy số lượng bài báo khoa học không phải là một chỉ số đáng tin cậy, vì còn có vấn đề nhiều tác giả và văn hóa ngành. Ngay cả IF chỉ là chỉ số phản ảnh chất lượng của tập san, chứ không phải cá nhân nhà khoa học. Trong trường hợp này, chỉ số Z có lẽ là một thước đo tương đối khách quan, nhưng để áp dụng chỉ số này, cần phải hiểu phân định công trạng trong văn hóa ngành.
Có lẽ chỉ số đánh giá năng lực của một nhà khoa học tốt nhất hiện nay là chỉ số H (hay các chỉ số được cải tiến như chỉ số m). Tuy nhiên, cần phải ghi nhận rằng chỉ số H dựa vào tần số trích dẫn, mà tần số trích dẫn thì còn tùy thuộc vào cơ sở dữ liệu (database). Hiện nay, có 3 cơ sở dữ liệu chính là ISI Web of Knowledge, Scopus, và Google Scholar, và mỗi cơ sở dữ liệu có những ưu và khuyết điểm riêng. Chẳng hạn như ISI Web of Knowledge có đầy đủ các tập san in (print journals), nhưng dữ liệu về các bài báo trong các hội nghị chính (vốn rất quan trọng trong ngành khoa học máy tính) thì không đầy đủ ; do đó, chỉ số H dựa vào ISI có thể thấp hơn so với thực tế cho các nhà khoa học máy tính. Scopus thì bao trùm tốt các bài báo trong hội nghị nhưng lại rất thiếu các tập san ; do đó, dựa vào nguồn dữ liệu này có thể cho ra chỉ số H thấp hơn thực tế. Google Scholar có khả năng bao trùm các tập san in và bài báo hội nghị, nhưng chỉ hạn chế những bài sau 1990 ; do đó, không thể sử dụng cơ sở dữ liệu này để tính chỉ số H.
Không có một chỉ số nào là hoàn chỉnh. Tuy nhiên, các chỉ số như H hay Z vẫn còn khách quan hơn là đánh giá dựa vào ý kiên cá nhân hay cơ chế bình duyệt (peer review). Trước đây, một số nước Âu châu, kể cả Anh, từng dựa vào cơ chế bình duyệt để đánh giá các đại học, nhưng sau 2008 họ quyết định áp dụng các chỉ số trích dẫn để đánh giá các đại học. Ở nước ta, việc đánh giá năng lực nhà khoa học đã được đặt ra, nhưng phương pháp đánh gia vẫn chưa thích hợp và chưa khách quan. Hi vọng rằng những chỉ số trình bày trên đây sẽ cung cấp cho các hội đồng khoa bảng và đại học một số thước đo để đánh giá năng lực nhà khoa học chính xác và khách quan hơn. Áp dụng các chỉ số trên đây để đánh giá hoạt động khoa học của một đại học hay trung tâm nghiên cứu cũng là một hình thức giúp khoa học nước ta hội nhập quốc tế.
Ghi chú :
[1] Lawani SM. Citation analysis and the quality of scientific productivity. BioScience 1977; 27:26-31. Trong phân tích này, người ta thấy các công trình của Albert Eistein được trích dẫn 346 lần trong năm 1974.
[2] Phelan TJ. A compendium of issues for citation analysis. Scientometrics 1999; 45:117-36. Theo một nghiên cứu khác, có đến 90% các bài báo khoa học công bố không bao giờ được trích dẫn hay tham khảo (xem L. I. Meho, The rise and rise of citation analysis, Physics World). Tuy nhiên, tôi nghĩ con số 90% này được tính cả những bản tóm tắt (abstract) trong các hội nghị và các conference papers. Do đó, con số 55% chính xác hơn.
[3] Garfield E. The impact factor [internet] Current Contents 1994 20;3-7 (cited 16 August 2002). Hệ số ảnh hưởng cũng không phải là một chỉ số hoàn hảo phản ảnh chất lượng, nhưng cho đến nay vẫn chưa có chỉ số nào tốt hơn, cho nên giới khoa học vẫn phải sử dụng hệ số ảnh hưởng cho việc đề bạt giáo sư, tài trợ nghiên cứu, và đánh giá uy tín của một nhà khoa học. Ở Úc, khi ứng viên xin được đề bạt, ngoài danh sách bài báo khoa học, ứng viên còn phải cung cấp hệ số ảnh hưởng của tạp và số lần trích dẫn cho mỗi bài báo.
[4] Zuckerman H. Nobel laureates in science : patterns of productivity, collaboration, and authorship. American Sociological Review 1967 ; 32 :391-403.
[5] Tscharntke T, et al. Author sequence and credit for contributions in multiauthored publications. PLoS Biology January 2007 volume 5, issue 1, e18.
[6] Z factor : a new index for measuring academic research output. Molecular Pain 2008 ;4 :53.
[7] Chỉ số h do một nhà vật lí học đề nghị, và tài liệu tham khảo là: Hirsch, Jorge E., (2005), "An index to quantify an individual's scientific research output," Proc Natl Acad Sci USA 2005;102(46):16569-16572. Bài báo này có thể download hoàn toàn miễn phí từ địa chỉ sau đây: http://www.pnas.org/cgi/content/abstract/102/46/16569. "
NVT
Việc đánh giá năng lực của một nhà khoa học là việc cần thiết. Các trung tâm nghiên cứu và đào tạo hàng năm phải tuyển dụng nhà khoa học, phải tuyển chọn nghiên cứu sinh và hậu tiến sĩ, và hội đồng tuyển chọn phải đi đến một quyết định chọn đúng người trong số nhiều ứng viên. Các trường đại học cũng cần đánh giá nhà khoa học, vì mỗi năm họ phải xét duyệt đề bạt các chức danh khoa bảng (như giáo sư, phó giáo sư) cho nhiều ứng viên. Các hội đồng tuyển chọn hay hội đồng khoa bảng cần những chỉ số khách quan để so sánh các ứng viên, và qua đó mà tuyển chọn đúng người hay đề bạt người xứng đáng vào các chức danh khoa bảng.
Nhưng việc đánh giá năng lực và sự nghiệp của một nhà khoa học là một việc làm khó khăn. Cái khó khăn lớn nhất là do năng lực của một cá nhân lúc nào cũng là một đặc tính đa chiều và có nhiều tiêu chí. Chẳng hạn như một nhà khoa học, ngoài “sản phẩm” chính là sáng tạo tri thức mới, còn có những khía cạnh khác như đào tạo nghiên cứu sinh, phục vụ cho chuyên ngành, hay phục vụ cộng đồng. Cho đến nay, cộng đồng khoa học vẫn chưa nhất trí một công thức khách quan nhất để tồng hợp các tiêu chí này.
Có lẽ cách đơn giản nhất là đọc tất cả những công trình nghiên cứu của nhà khoa học, hay cách làm của Đại học Harvard khi đề bạt chức danh khoa bảng là thẩm định 5 công trình mà nhà khoa học tự đánh giá là có giá trị nhất. Nhưng ngay cả việc làm này phi thực tế, vì đòi hỏi thời gian và cần phải có những chuyên gia trong chuyên ngành. Ngay cả những chuyên gia trong ngành cũng chưa chắc khách quan trong việc đánh giá các công trình nghiên cứu khoa học, vì do cảm tính và cảm tình cá nhân của người đọc đối với nhà khoa học.
Do đó, để đánh giá năng lực một nhà khoa học, các hội đồng khoa bảng phải dựa vào một số chỉ số mang tính định lượng, dù biết rằng những chỉ số này tự nó cũng không hẳn là hoàn hảo. Hiện nay, có 3 chỉ số chính để đánh giá một nhà khoa học: số lượng ấn phẩm khoa học, hệ số ảnh hưởng (impact factor hay thường viết tắt là IF), và chỉ số Hirsch (thường viết tắt là H index).
Số lượng ấn phẩm khoa học
Sản phẩm chính và có lẽ quan trọng nhất của một nhà khoa học là số lượng ấn phẩm khoa học đã được công bố. Cần phải nói thêm rằng cụm từ “ấn phẩm khoa học” ở đây được hiểu theo nghĩa tiếng Anh là “original article”, hay “paper”, tức những bài báo nghiên cứu mang tính nguyên thủy đã được công bố trên một tập san khoa học, và tập san khoa học đó có một cơ chế bình duyệt (peer-review) và tập san đó được cộng đồng khoa học chuyên ngành công nhận. Công nhận ở đây có nghĩa là tập san được liệt kê trong các danh bạ của Viện thông tin khoa học (Institute of Scientific Information).
Ấn phẩm khoa học không bao gồm những bản tóm lược trong các hội nghị khoa học (abstract hay conference proceeding), những bài bình luận (commentary), những bài xã luận (editorial), hay những thư bình luận (letter to the editor) trên các tập san khoa học. Bài báo khoa học cũng không phải là những bài báo đăng trên các tạp chí phổ thông dù là của một hiệp hội chuyên môn; hay những bài đăng trên các tờ báo đại chúng, bởi vì những bài này không đáp ứng tiêu chuẩn đã qua bình duyệt của đồng nghiệp chuyên ngành.
Một số lớn các trường đại học phương Tây thường dựa vào số lượng bài báo khoa học như là một tiêu chuẩn để xét duyệt đề bạt các chức danh khoa bảng. Tuy không có qui định nào cụ thể là ứng viên phải có bao nhiêu bài báo để được xét duyệt, nhưng thông thường, những con số được "hiểu ngầm" là giáo sư dự khuyết (assistant professor) phải có từ 5 bài báo trở lên, phó giáo sư (associate professor) thì ít nhất là 20, và giáo sư (professor) thì ít nhất là 50.
Số lượng ấn phẩm phản ảnh một phần về phần lượng, phần năng suất của một nhà khoa học. Tuy nhiên, trong xu hướng hợp tác nghiên cứu khoa học như hiện nay, một bài báo (nhất là trong khoa học thực nghiệm như y khoa) thường có nhiều tác giả, và một số không ít những tác giả này chẳng có đóng góp gì cho công trình nghiên cứu nhưng được ghi tên “tác giả làm quà” (còn gọi gift authorship). Một nhà khoa học có thể có nhiều bài báo, nhưng trong thực tế chỉ là hợp tác, hay thậm chí là “tác giả làm quà”, và do đó số lượng ấn phẩm khoa học không phản ảnh được điều này.
Ngoài ra, số lượng ấn phẩm khoa học như nói trên chỉ phản ảnh phần lượng, nhưng có thể không phản ảnh phần phẩm chất. Một người có thể công bố nhiều công trình khoa học, nhưng là những công trình có chất lượng thấp thì không thể xem là có năng lực. Ngược lại, một nhà khoa học giỏi có thể chỉ công bố vài công trình, nhưng toàn là những công trình có giá trị lâu dài, những công trình được cộng đồng khoa học ghi nhận, nhưng số lượng không phản ảnh được tài năng của nhà khoa học.
Chỉ số trích dẫn
Một công trình khoa học có giá trị hay có chất lượng thường được trích dẫn. Trong một nghiên cứu [1] về lí do trích dẫn, các nhà khoa học trình bày những lí do sau đây : (a) ghi nhận công trạng của tác giả ; (b) kính trọng tác giả ; (c) phương pháp liên quan ; (d) bài báo cung cấp thông tin nền có ích ; (e) trích dẫn để phê bình hay phản nghiệm ; và (f) trích dẫn để làm cơ sở cho các phát biểu trong bài báo. Do đó, ngoài số lượng ấn phẩm khoa học, tần số trích dẫn là một chỉ số rất quan trọng để đánh giá chất lượng nghiên cứu khoa học.
Chỉ số trích dẫn cũng rất khác biệt giữa các bộ môn khoa học, nhưng tính trung bình chỉ có trên dưới 1% bài báo khoa học được trích dẫn hơn 6 lần mà thôi trong vòng 5 năm. Do đó, có đề nghị là một bài báo được trích dẫn một cách độc lập (tức không phải chính tác giả tự trích dẫn) hơn 5 lần được xem là "có ảnh hưởng". Những công trình có ảnh hưởng lớn thường có số lần trích dẫn 100 lần trở lên. Một nghiên cứu trong thập niên 1970s về tần số trích dẫn các nghiên cứu công bố trước khi các nhà khoa học được trao giải Nobel cho thấy tính trung bình, số lần trích dẫn là 62 (so với tần số trung bình của tất cả các nhà khoa học là 6 lần).
Cần nói thêm rằng theo phân tích của Viện ISI, trong tất cả các bài báo khoa học công bố trên thế giới, có khoảng 55% không bao giờ được ai (kể cả chính tác giả) trích dẫn hay tham khảo sau 5 năm công bố [2]! Trong các ngành như kĩ thuật (engineering), tần số không trích dẫn lên đến 70%. Ở nước ta, theo phân tích của tôi, khoảng 50% những bài báo toán học không được trích dẫn sau 10 năm công bố.
Chỉ số ảnh hưởng (impact factor)
Đánh giá chất lượng một công trình khoa học hay một bài báo khoa học không phải là việc làm đơn giản vì nó đòi hỏi thời gian và phương pháp đánh giá. Một công trình nghiên cứu cơ bản sau khi công bố có khi phải chờ đến 20 năm hay lâu hơn mới có khả năng ứng dụng, hay được cộng đồng khoa học chấp nhận. Tuy nhiên, đối với các hội đồng khoa bảng, họ không có thì giở phải chờ đến 20 năm sau để đánh giá một nhà khoa học; họ cần những chỉ số ngắn hạn nhưng đáng tin cậy để làm “thước đo” chất lượng nghiên cứu của một nhà khoa học.
Một trong những thước đo phổ biến hiện nay là hệ số ảnh hưởng hay impact factor (IF). Hệ số này được phát triển từ thập niên 1950s để đánh giá chất lượng tập san khoa học [3] ở Mĩ, và ngày nay được sử dụng trên toàn thế giới. Theo định nghĩa của Eugene Garfiled (người phát triển chỉ số IF), IF là tần số trích dẫn trung bình của những bài báo khoa học sau khi đã công bố trong vòng 2 năm. Cố nhiên, IF chỉ tính cho những tập san được liệt kê trong danh bạ ISI hay Journal Citation Report của ISI. Chỉ số IF được tính dựa vào số liệu trong 3 năm. Chẳng hạn như IF của năm 2005 của một tập san được tính như sau: IF = A/B, trong đó A là số lần trích dẫn trong năm 2005 của những bài báo đã công bố trong thời gian 2003-2004, và B là số bài báo đã công bố trong thời gian 2003-2004. Ví dụ: trong 2 năm 2003 và 2004 tập san y khoa Lancet công bố 450 bài báo khoa học, và trong năm 2005 có 10,500 bài báo khác trích dẫn 450 bài báo đó, thì hệ số IF = 10.500 / 450 = 23.3. Mỗi năm ISI đánh giá cho khoảng 7,500 tập san trên thế giới. Hiện nay, IF của các tập san dao động từ 0.02 đến 69.
Chỉ số IF tuy được sử dụng rộng rãi, nhưng cũng bị phê bình rất nhiều. Một số khiếm khuyết của IF đã được chỉ ra trong quá khứ bao gồm những vấn đề liên quan đến văn hóa ngành, cách tính toán, :
• IF không biết đến sự khác biệt về "văn hóa" giữa các ngành khoa học, như ngành toán thường có chỉ số trích dẫn thấp hơn ngành vật lí ;
• IF tính luôn những bài bình luận và xã luận trong vế B (như nói trên) mà những bài này trong vế A ;
• IF không thể phân biệt xu hướng tác giả tự trích dẫn bài báo của mình ;
• IF trung bình hóa quá đáng, bởi vì trong thực tế chỉ có khoảng 20% trích dẫn của một tập san có thể chiếm đến 80% tổng số trích dẫn ;
• khoản thời gian 2 năm trong tính toán IF là quá ngắn và không công bằng cho các ngành khoa học cơ bản ;
• IF không phân biệt được những công trình nghiên cứu sai nhưng được trích dẫn thường xuyên để làm ví dụ.
Dù bị phê bình nhiều, nhưng IF vẫn được các cơ quan tài trợ nghiên cứu, đại học, và trung tâm khoa học áp dụng rộng rãi. Sự thật là hiện nay thế giới có trên 108.000 tạp chí khoa học với đủ thứ chất lượng “thượng vàng hạ cám” (con số này chưa kể đến các tạp chí trực tuyến). Do đó, một công trình nghiên cứu dù có chất lượng thấp cỡ nào đi nữa, và nếu tác giả kiên trì theo đuổi, thì công trình sẽ được in trong một tạp chí nào đó, cũng có thể mang tiếng “tạp chí quốc tế”. Do đó, việc sử dụng IF như là một tiêu chí để đánh giá năng lực của nhà khoa học là điều có thể hiểu được.
Như đề cập trên, bởi vì IF dao động rất lớn giữa các bộ môn khoa học. Chẳng hạn như các tập san thuộc bộ môn khoa học thực nghiệm thường có hệ số tác dụng cao hơn các tập san trong các ngành khoa học tự nhiên và toán học. Nhưng ngay cả trong cùng một bộ môn khoa học các tập san cũng có IF rất khác nhau. Chẳng hạn như trong ngành toán học, tập san “Bulletin of the American Mathematical Society” có IF khoảng 1.8, Annals of Methametics 1.7, nhưng tập san toán của Trung Quốc (Chinese Annals of Mathematics) có IF chỉ 0.3 hay tập san toán của Viện hàn lâm khoa học Nga (Russian Academy of Sciences Izvestiya Mathematics) có IF 0.04. Do đó, việc sử dụng IF trong khi đánh giá năng lực của một nhà khoa học cần phải đặt IF trong từng bộ môn khoa học, chứ không thể so sánh giữa các bộ môn.
Cho dù IF không phải là chỉ số hoàn hảo để “đo lường” ảnh hưởng của tập san và bị nhiều “tai tiếng”, nhưng trong thực tế bất cứ nhà khoa học nào cũng biết rằng công bố một bài báo trên các tập san có IF cao thường khó hơn rất nhiều so với công bố trên một tập san có IF gần bằng 0! Ở các nước đang phát triển như Trung Quốc, Pakistan, và ngay cả Hàn Quốc, Đài Loan, người ta thưởng cho nhà khoa học nào có những bài báo trên các tập san có IF cao.
Chỉ số Z và vị trí tác giả
Nghiên cứu khoa học trong những thập niên gần đây thường mang tính cách liên ngành. Một công trình nghiên cứu, nhất là nghiên cứu thực nghiệm như y sinh học, đòi hỏi sự đóng góp từ rất nhiều nhà khoa học với các chuyên ngành như sinh hóa, y khoa lâm sàng, thống kê học và dịch tễ học, y học hạt nhân, sinh học phân tử, di truyền học, v.v... Không những trong các ngành khoa học thực nghiệm, mà ngay cả khoa học xã hội cũng có xu hướng liên ngành. Theo một phân tích vào thập niên 1960s, có đến 62% số lượng các công trình nghiên cứu của các nhà khoa học được trao giải Nobel là do hợp tác với các đồng nghiệp khác [4].
Xu hướng hợp tác liên ngành dẫn đến xu hướng đa tác giả trong các bài báo khoa học. Ngày nay, không ngạc nhiên khi có những bài báo trên các tập san lớn như Science, Nature, Cell, New England Journal of Medicine, Lancet, JAMA ... mà danh sách tác giả có khi kéo dài đến nửa trang ! Do đó, một bài báo có thể xuất hiện trong hàng trăm lí lịch khác nhau.
Một trong những khó khăn trong các bài báo với nhiều tác giả là vấn đề định lượng công trạng (credit). Một cách hiển nhiên và theo cách hiểu thông thường, người nào có đóng góp nhiều nhất phải là tác giả đầu tiên, người có đóng góp quan trọng thứ hai đứng vai tác giả thứ hai … nhưng trong thực tế thì không đơn giản như thế. Trong thực tế, rất ít nhóm nghiên cứu tuân thủ theo các tiêu chuẩn trên đây, nhưng thứ tự tác giả thường được hoạch định theo một "văn hóa" của trung tâm nghiên cứu mà các nhà nghiên cứu ngầm chấp nhận. Các "qui chế" bất thành văn trong các văn hóa này có thể tóm lược như sau [5]:
• Văn hóa thứ tự (sequence-determined credit). Theo văn hóa này, tác giả có công nhiều nhất (ý tưởng nghiên cứu, thực hiện nghiên cứu, phân tích số liệu, viết bản thảo) sẽ đứng tên tác giả số 1, người có công thứ hai đứng tên tác giả 2, và người có công ít nhất đứng tên tác giả sau cùng. Đối với văn hóa thứ tự, tác giả đầu tiên có k điểm, tác giả hai có k/2 điểm, tác giả 3 có k/3 điểm, v.v... trong đó k là IF của tập san.
• Văn hóa tương đương (equal contribution norm). Theo văn hóa này, tất cả các tác giả có mức độ đóng góp như nhau, và thứ tự tác giả sẽ được quyết định bằng chữ cái của họ. Nói cách khác, tác giả nào có chữ cái là A sẽ đứng tên tác giả đầu, và cứ theo thứ tụ đến tác giả sau cùng có chữ cái của họ là Z. Đối với văn hóa tương đương, việc tính điểm dễ hơn, vì chỉ cần lấy k chia cho số tác giả trong bài báo.
• Văn hóa "đầu chót" (first-last emphasis). Theo văn hóa này, tác giả thứ nhất và tác giả sau cùng là hai người có đóng góp nhiều nhất và chịu trách nhiệm về dữ liệu trong bài báo. Thông thường, tác giả thứ nhất là nghiên cứu sinh tiến sĩ hay hậu tiến sĩ, tác giả sau cùng là trưởng nhóm nghiên cứu của lab hay cơ sở nghiên cứu, và các tác giả theo sau tác giả đầu được xếp theo mức độ đóng góp. Đối với văn hóa trước đầu chót, tác giả đầu có k điểm, tác giả chót k/2 điểm, các tác giả còn lại có k/n điểm, trong đó n là tổng số tác giả.
• Văn hóa định lượng (percent contribution indicated). Trong văn hóa này, chi tiết về đóng góp của từng tác giả được liệt kê một cách vắn tắt, và định lượng trong nội bộ với nhau. Chẳng hạn như hai hay ba tác giả có đóng góp tương đương nhau, và thứ tự tác giả được sắp xếp theo chữ cái của họ hay theo một phương pháp khá khoa học : đó là ngẫu nhiên hóa ! Đối với văn hóa định lượng, mỗi tác giả i có số phần trăm đóng góp (kí hiệu là pi), và điểm cho từng tác giả chỉ đơn giản là kpi.
Do đó, chúng ta cần phải điều chỉnh chỉ số Hc cho vị trí tác giả. Mới đây, có đề nghị tính yếu tố Z (Z factor) như sau [6]:
Z = tổng số (IFi x Pi)
Trong công thức này, P là “contribution factor”, phản ảnh đóng góp của tác giả cho công trình nghiên cứu. Chẳng hạn như tác giả đầu và cuối có P = 1, còn tác giả đóng vai trò hợp tác thì P có thể 0.3. IF là chỉ số ảnh hưởng của tập san. Thường thường, thời gian đòi hỏi một paper được trích dẫn cũng phải 2-5 năm, cho nên khi đánh giá thành tích trong năm, người đánh giá không có lựa chọn nào khác là dựa vào IF.
Do đó, một nhà khoa học công bố được N = 5 bài với IF của 5 tập san đó lần lược là 1, 2, 4.5, 2.5, và 3. Ngoài ra, trong số này nhà khoa học là tác giả chính của 2 bài, còn 3 bài kia là người hợp tác, chỉ số Z được tính như sau:
Z = 1×1 + 2×1 + 4.5×0.3 + 2.5×0.3 + 3×0.3 = 6
Một nhà khoa học khác cũng có 5 bài báo và cũng với IF như trên, nhưng nếu là tác giả chính thì chỉ số Z là 13.
Như vậy Z khắc phục được khiếm khuyết của số lượng bài báo và tính đến công trạng của tác giả. Tuy Z có phần tốt hơn IF, nhưng vấn đề lớn nhất của chỉ số Z là không tính phần trích dẫn và dựa vào IF, một chỉ số tự nó đã không hoàn hảo.
Chỉ số Hirsch (H index)
Nhưng hệ số ảnh hưởng IF chỉ phản ánh uy tín của tạp chí chứ không hẳn phản ảnh chất lượng của một bài báo cụ thể. Năm 2005, nhà vật lí học Jorge Hirsch (Đại học California San Diego) thực hiện một phân tích về xu hướng công bố bài báo khoa học và tần số trích dẫn, và qua kết quả phân tích, ông đề nghị một chỉ số mà ông lấy tên là H index (H có lẽ là viết tắt họ của ông) [7]. Ngay từ khi chỉ số H ra đời, có nhiều người tán thành và lấy đó làm thước đo thành tựu và ảnh hưởng của một nhà khoa học. Ngày nay, các tập san khoa học danh tiếng như Nature, Science, Cell, PNAS, v.v… và các cơ quan quản lí khoa học ở Âu châu, Mĩ châu, Úc châu đều sử dụng chỉ số H để làm cơ sở cho đề bạt, cấp tài trợ, và đánh giá thành công của một nhà khoa học hay một nhóm nghiên cứu.
Chỉ số H được tính toán dựa vào số công trình công bố và số lần trích dẫn. Mục tiêu của chỉ số H là đo lường mức độ ảnh hưởng tích lũy của một nhà khoa học. Chỉ số H được định nghĩa như sau: Chỉ số H của một nhà khoa học là H công trình trong số N công trình của nhà khoa học đó được trích dẫn ít nhất là H lần, và (N – H) được trích dẫn dưới H lần. Ví dụ, nếu một nhà khoa học có chỉ số H = 20 có nghĩa là nhà khoa học này có 20 công trình nghiên cứu với mỗi công trình được trích dẫn ít nhất là 20 lần. Một giáo sư (professor) ở đại học có tiếng ở Mĩ thường có chỉ số H khoảng 20. Một nhà khoa học với H = 20 sau 20 năm làm khoa học có thể xem là một nhà khoa học thành công (successful); một chỉ số H = 40 sau 20 năm làm khoa học được xem là xuất sắc (outstanding) thường hay thấy ở các đại học hàng đầu hay viện nghiên cứu đẳng cấp quốc tế; một chỉ số H = 60 sau 20 năm làm nghiên cứu được xem là thật sự cá biệt (truly unique) [7].
Chỉ số H qua cách tính như mô tả có 2 vế : năng suất và ảnh hưởng của nhà khoa học. Tuy được phát triển để đánh giá năng lực một cá nhân, nhưng ngày nay, chỉ số H được sử dụng để đánh giá một nhóm nhà khoa học, phân khoa trong đại học, thậm chí đánh giá năng lực khoa học của một quốc gia. Ngay cả Viện thông tin khoa học (ISI Thomson) cũng sử dụng chỉ số H trong báo cáo của họ.
Nhưng chỉ số H vẫn chưa hoàn hảo. Trong những khiếm khuyết mà giới khoa học chỉ ra trong thời gian qua, có 3 khiếm khuyết lớn. Thứ nhất, chỉ số H luôn luôn tăng theo thời gian, và do đó tùy thuộc vào độ tuổi của nhà nghiên cứu và thời gian làm nghiên cứu. Thứ hai, chỉ số H không phân biệt được những nhà khoa học đã nghỉ hưu với những nhà khoa học đang làm việc. Thứ ba, chỉ số H còn tùy thuộc vào ngành khoa học, với các ngành khoa học tự nhiên và thực nghiệm (như vật lí, y sinh học) có xu hướng công bố nhiều công trình nghiên cứu và thường hay trích dẫn nhau hơn các nghành khoa học như toán học hay xã hội học.
Để khắc phục các khiếm khuyết về thời gian tính, một vài chỉ số khác đã được đề xuất để “điều chỉnh” chỉ số H. Để điều chỉnh cho thời gian làm nghiên cứu, Hirsch đề nghị chia chỉ số H cho thời gian làm nghiên cứu và ông gọi chỉ số này là Chỉ số m. Chẳng hạn như một người làm khoa học 30 năm với chỉ số H = 61 thì chỉ số m là 61 / 35 = 1,74.
Nhưng khiếm khuyết thứ ba là đáng quan tâm nhất. Chúng ta biết rằng các bộ môn khoa học có những văn hóa ngành khác nhau. Chẳng hạn như các ngành khoa học thực nghiệm thường có truyền thống trích dẫn cao hơn so với các ngành khoa học tự nhiên như toán học. Do đó, rất khó mà so sánh chỉ số H của một nhà vật lí học với một nhà toán học, nếu không có một hệ số điều chỉnh.
Khi phân tích tổng số bài báo từ 1995 đến 2005, người ta thấy tần số trích dẫn bình quân (tính trên mỗi bài báo) của ngành miễn dịch học là 19.55, vật lí 7.22, còn ngành toán chỉ 2.66, ngành khoa học máy tính 2.49, v.v... Do đó, người ta phải đề ra một chỉ số H chuẩn hóa (standardized H index). Cách chuẩn hóa là lấy ngành vật lí làm ngưỡng chuẩn. Chỉ số H chuẩn hóa (kí hiệu Hc) là Hc = H×c, trong đó H là chỉ số H do ISI cung cấp, và c là hệ số liên quan đến trích dẫn của một ngành khoa học. Chẳng hạn như hệ số c của ngành vật lí [đương nhiên là] 1, toán 1.83, khoa học máy tính 1.75, miễn dịch học 0.52. Do đó, nếu một nhà toán học có H = 10 thì Hc = 18.3, tức cao hơn một nhà vật lí học có cùng H.
Vài nhận xét
Thành quả nghiên cứu khoa học có thể đánh giá qua số lượng và chất lượng bài báo khoa học. Trong thời gian qua, đã có khá nhiều tranh cãi chung quanh con số và cách tính điểm bài báo khoa học trong qui trình đề bạt chức vụ giáo sư, nhưng chưa ai bàn đến cách đánh giá chất lượng bài báo khoa học. Chẳng hạn như vị cựu Thư ký Hội đồng Nhà nước về Chức danh Giáo sư, cho biết: "Mỗi ứng viên cho chức danh giáo sư phải có 2 điểm - tương đương với hai công trình - đăng trong các tạp chí uy tín", và mỗi ngành chỉ có hai "tạp chí uy tín" ở trong nước, hiểu theo nghĩa "nếu đăng ở đấy thì nó khó, chất lượng cao hơn. Còn việc chọn đâu là hai tạp chí uy tín của mỗi ngành thì do hội đồng ngành đề xuất, hội đồng thường trực sẽ thông qua. Còn các bài báo đăng ở tạp chí khoa học ngoài nước tất nhiên là không hạn chế rồi." Đây là một cách đánh giá theo số lượng là chính, nhưng không/chưa xét đến chất lượng một cách có hệ thống.
Nhưng phân tích trên đây cho thấy số lượng bài báo khoa học không phải là một chỉ số đáng tin cậy, vì còn có vấn đề nhiều tác giả và văn hóa ngành. Ngay cả IF chỉ là chỉ số phản ảnh chất lượng của tập san, chứ không phải cá nhân nhà khoa học. Trong trường hợp này, chỉ số Z có lẽ là một thước đo tương đối khách quan, nhưng để áp dụng chỉ số này, cần phải hiểu phân định công trạng trong văn hóa ngành.
Có lẽ chỉ số đánh giá năng lực của một nhà khoa học tốt nhất hiện nay là chỉ số H (hay các chỉ số được cải tiến như chỉ số m). Tuy nhiên, cần phải ghi nhận rằng chỉ số H dựa vào tần số trích dẫn, mà tần số trích dẫn thì còn tùy thuộc vào cơ sở dữ liệu (database). Hiện nay, có 3 cơ sở dữ liệu chính là ISI Web of Knowledge, Scopus, và Google Scholar, và mỗi cơ sở dữ liệu có những ưu và khuyết điểm riêng. Chẳng hạn như ISI Web of Knowledge có đầy đủ các tập san in (print journals), nhưng dữ liệu về các bài báo trong các hội nghị chính (vốn rất quan trọng trong ngành khoa học máy tính) thì không đầy đủ ; do đó, chỉ số H dựa vào ISI có thể thấp hơn so với thực tế cho các nhà khoa học máy tính. Scopus thì bao trùm tốt các bài báo trong hội nghị nhưng lại rất thiếu các tập san ; do đó, dựa vào nguồn dữ liệu này có thể cho ra chỉ số H thấp hơn thực tế. Google Scholar có khả năng bao trùm các tập san in và bài báo hội nghị, nhưng chỉ hạn chế những bài sau 1990 ; do đó, không thể sử dụng cơ sở dữ liệu này để tính chỉ số H.
Không có một chỉ số nào là hoàn chỉnh. Tuy nhiên, các chỉ số như H hay Z vẫn còn khách quan hơn là đánh giá dựa vào ý kiên cá nhân hay cơ chế bình duyệt (peer review). Trước đây, một số nước Âu châu, kể cả Anh, từng dựa vào cơ chế bình duyệt để đánh giá các đại học, nhưng sau 2008 họ quyết định áp dụng các chỉ số trích dẫn để đánh giá các đại học. Ở nước ta, việc đánh giá năng lực nhà khoa học đã được đặt ra, nhưng phương pháp đánh gia vẫn chưa thích hợp và chưa khách quan. Hi vọng rằng những chỉ số trình bày trên đây sẽ cung cấp cho các hội đồng khoa bảng và đại học một số thước đo để đánh giá năng lực nhà khoa học chính xác và khách quan hơn. Áp dụng các chỉ số trên đây để đánh giá hoạt động khoa học của một đại học hay trung tâm nghiên cứu cũng là một hình thức giúp khoa học nước ta hội nhập quốc tế.
Ghi chú :
[1] Lawani SM. Citation analysis and the quality of scientific productivity. BioScience 1977; 27:26-31. Trong phân tích này, người ta thấy các công trình của Albert Eistein được trích dẫn 346 lần trong năm 1974.
[2] Phelan TJ. A compendium of issues for citation analysis. Scientometrics 1999; 45:117-36. Theo một nghiên cứu khác, có đến 90% các bài báo khoa học công bố không bao giờ được trích dẫn hay tham khảo (xem L. I. Meho, The rise and rise of citation analysis, Physics World). Tuy nhiên, tôi nghĩ con số 90% này được tính cả những bản tóm tắt (abstract) trong các hội nghị và các conference papers. Do đó, con số 55% chính xác hơn.
[3] Garfield E. The impact factor [internet] Current Contents 1994 20;3-7 (cited 16 August 2002). Hệ số ảnh hưởng cũng không phải là một chỉ số hoàn hảo phản ảnh chất lượng, nhưng cho đến nay vẫn chưa có chỉ số nào tốt hơn, cho nên giới khoa học vẫn phải sử dụng hệ số ảnh hưởng cho việc đề bạt giáo sư, tài trợ nghiên cứu, và đánh giá uy tín của một nhà khoa học. Ở Úc, khi ứng viên xin được đề bạt, ngoài danh sách bài báo khoa học, ứng viên còn phải cung cấp hệ số ảnh hưởng của tạp và số lần trích dẫn cho mỗi bài báo.
[4] Zuckerman H. Nobel laureates in science : patterns of productivity, collaboration, and authorship. American Sociological Review 1967 ; 32 :391-403.
[5] Tscharntke T, et al. Author sequence and credit for contributions in multiauthored publications. PLoS Biology January 2007 volume 5, issue 1, e18.
[6] Z factor : a new index for measuring academic research output. Molecular Pain 2008 ;4 :53.
[7] Chỉ số h do một nhà vật lí học đề nghị, và tài liệu tham khảo là: Hirsch, Jorge E., (2005), "An index to quantify an individual's scientific research output," Proc Natl Acad Sci USA 2005;102(46):16569-16572. Bài báo này có thể download hoàn toàn miễn phí từ địa chỉ sau đây: http://www.pnas.org/cgi/content/abstract/102/46/16569. "
Không có nhận xét nào:
Đăng nhận xét