کاربرد مدلهای زبانی بزرگ و روش تولید مبتنی بر بازیابی در روند استخراج دقیق اطلاعات از مقالات علمی: مطالعه ای در زمینه مرور ادبیات حوزه زبانشناسی کاربردی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 کارشناسی ارشد، گروه مهندسی سیستم‌های هوشمند، دانشکده مهندسی صنایع، دانشگاه علم و صنعت ایران، تهران، ایران.

2 استاد، گروه مهندسی سیستم‌های هوشمند، دانشکده مهندسی صنایع، دانشگاه علم و صنعت ایران، تهران، ایران.

3 استادیار، گروه مترجمی زبان انگلیسی، دانشکده علوم انسانی، دانشگاه دامغان، دامغان، ایران

چکیده

پژوهش حاضر با هدف بررسی کاربرد مدل‌های زبانی بزرگ (LLM) و فناوری تولید افزوده با بازیابی (RAG) در استخراج دقیق اطلاعات از مقالات علمی زبان‌شناسی کاربردی انجام شده است. با رشد روزافزون مقالات، نیاز به ابزارهای خودکار برای تبدیل متون غیرساختاریافته به داده‌های قابل تحلیل بیش از پیش افزایش یافته است. این مطالعه با مرور نظام‌مند ادبیات، چارچوبی مفهومی مبتنی بر LLM و RAG پیشنهاد می‌کند که مولفه‌هایی چون سؤال پژوهشی، چارچوب نظری، روش‌شناسی، یافته‌ها و محدودیت‌ها را استخراج می‌نماید. روش کار شامل انتخاب مقالات از مخازن داده‌های ثانویه، طراحی پرامپت‌های اختصاصی و ارزیابی دقیق با شاخص‌های Precision، Recall و F1-Score است. نتایج نشان داد ترکیب LLM و RAG در استخراج مولفه‌های ساختاریافته مانند منبع داده و روش تحلیل دقت بالایی دارد (F1 میانگین ۰.۸۱)، اما در مولفه‌های استنتاجی نیازمند بازبینی انسانی است. این یافته‌ها ظرفیت بالای رویکرد برای تسریع مرور ادبیات نظام‌مند را نشان داده و پیشنهادهایی عملی مانند فاین‌تایونینگ برای بهبود عملکرد ارائه می‌کند.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

The Application of Large Language Models and Retrieval-Augmented Generation in Precise Information Extraction from Scientific Articles: A Study in Applied Linguistics Literature Review

نویسندگان [English]

  • Seyed Mahdi Valizadeh 1
  • Mehdi Ghazanfari 2
  • Ghodrat Hassani 3
1 M.A., Department of Intelligent Systems Engineering, Faculty of Industrial Engineering, Iran University of Science and Technology, Tehran, Iran.
2 Professor, Department of Intelligent Systems Engineering, Faculty of Industrial Engineering, Iran University of Science and Technology, Tehran, Iran.
3 Assistant Professor, English Translation Department, Faculty of Humanities, Damghan University, Damghan, Iran
چکیده [English]

This study aims to examine the application of Large Language Models (LLMs) and Retrieval-Augmented Generation (RAG) in accurately extracting information from applied linguistics research articles. With the growing volume of publications, the need for automated tools to transform unstructured texts into analyzable data has become increasingly urgent. Through a systematic literature review, this research proposes a conceptual framework based on LLM and RAG to extract components such as research questions, theoretical frameworks, methodologies, findings, and limitations. The methodology involves selecting articles from secondary databases, designing specialized prompts, and conducting evaluations using Precision, Recall, and F1-Score metrics. Findings indicate that the integration of LLM and RAG achieves high accuracy (average F1 = 0.81) in extracting structured elements such as data sources and analytical methods, while inferential components still require human validation. These results highlight the significant potential of this approach for accelerating systematic literature reviews and offer practical recommendations, such as fine-tuning, to enhance overall performance.

کلیدواژه‌ها [English]

  • Large Language Models
  • Retrieval Augmented Generation
  • Information Extraction
  • Systematic Literature Review
  • Applied linguistics