MARQ Enhances LLMs for Requirement Quality Assessment
मार्क़: आवश्यकता गुणवत्ता मूल्यांकन हेतु बृहद् भाषा मॉडल का उन्नयन
By Devendra Singh (Founder & Editor-in-Chief)🕐 29 October 2026, 12:20 PM💻 Technology & AI
📷Image Credit: AI-generated conceptual visualization of research context (Pollinations.ai / Flux.1 • CC0 Open Access)
चित्र साभार: शोध संदर्भ का एआई-जनित वैचारिक निरूपण (Pollinations.ai / Flux.1 • CC0 खुला उपयोग)
Executive Summary: MARQ Enhances LLMs for Requirement Quality Assessment
This chapter presents an executive summary and core abstract for the paper "MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge" by Jannatul Shefa, Alejandro Salado, Paul Wach, and Taylan G. Topcu, affiliated with an University of Arkansas at Fayetteville, University of Arizona and published on arXiv (arXiv:2610.36234).
Fundamental Scientific Discovery or Phenomenon and Underlying Mechanism
Requirements engineering (RE) is intrinsically foundational to the successful execution of systems engineering (SE); defects introduced at this early stage possess a high propensity to propagate downstream, leading to substantial adverse outcomes across the entire development lifecycle. While large language models (LLMs) present a promising avenue for automating requirement quality assessment, prior investigations reveal that off-the-shelf models frequently underperform, missing a significant share of expert-identified defects, exhibiting inconsistent performance across various quality criteria, and demonstrating considerable variability across executions. This mechanistic limitation stems from their purely data-driven training paradigm, which inherently lacks explicit, structured systems engineering domain knowledge and its nuanced application.
Empirical Benchmark, Observational Metric, or Technical Breakthrough
The study introduces MARQ, a novel modular, LLM-agnostic prototype that addresses these limitations by systematically supplementing LLMs with a criterion-specific knowledge stack, operationalizing established INCOSE requirement quality criteria. This technical breakthrough was rigorously evaluated against off-the-shelf LLM baselines using an expert-labeled NASA requirement set, employing Claude Opus 5, GPT-5.6 Sol, and the open-weight Gemma 3 12B, each subjected to 100 executions. MARQ achieved superior median F1 scores: 0.80 for Claude Opus 5 (a substantial gain from its off-the-shelf baseline of 0.55), 0.62 for GPT-5.6 Sol (improving from 0.52), and notably, 0.53 for Gemma 3 12B (a significant leap from 0.18), demonstrating that the open-weight model, when augmented, reached the performance of proprietary off-the-shelf solutions. These performance enhancements were particularly concentrated within the 'Correctness' and 'Conformance' quality criteria.
Global Significance and Practical Takeaway for Science and Society
These findings conclusively position the systematic infusion of expert-derived systems engineering knowledge as a highly effective, model-agnostic pathway for significantly strengthening the trustworthiness and efficacy of LLM-based RE support. This approach critically reduces the risk of upstream defect propagation, thereby enhancing the reliability, safety, and cost-effectiveness of complex technological systems across diverse critical sectors, from aerospace to civil infrastructure. The research simultaneously underscores the indispensable requirement for criterion-specific interventions and the continued, integral role of human-in-the-loop review to ensure robust, responsible, and contextually aware AI integration within safety-critical engineering workflows. The overarching trend demonstrated is an unambiguous acceleration in the precision and consistency of LLM-based requirement quality assessment, leading to a reduction in the incidence of undetected defects, achieved directly through the systematic integration of expert systems engineering knowledge.
The efficacy of MARQ (Modular, LLM-Agnostic Requirement Quality Assessor) is rooted in a foundational theoretical understanding of both Large Language Model (LLM) capabilities and the intrinsic demands of Requirements Engineering (RE) within Systems Engineering (SE). The core breakthrough of this research lies in demonstrating that the inherent limitations of generalized LLMs for highly specialized, nuanced quality assessment can be systematically overcome through a paradigm of structured, criterion-specific knowledge infusion. Requirements engineering, as a cornerstone of SE, necessitates an exacting standard of precision and consistency, as defects propagate with substantial downstream consequences. Off-the-shelf LLMs, while exhibiting remarkable linguistic fluency and broad knowledge, fundamentally operate on probabilistic patterns derived from vast, generalized textual corpora. This generalized training, by its very nature, lacks the formalized, domain-specific inferential heuristics and contextual understanding codified within established SE practices, such as the INCOSE requirement quality criteria. Consequently, unaugmented LLMs exhibit inconsistent performance, miss expert-identified defects, and often produce false positives when confronted with the subtle ambiguities and technical jargon inherent in complex system requirements.
MARQ addresses this theoretical gap by postulating that requirement quality assessment is not merely a linguistic classification task but a knowledge-intensive reasoning process. The governing principle of MARQ is the augmentation of an LLM's intrinsic natural language processing capabilities with an explicit, externalized knowledge stack $K_{SE}$, which operationalizes expert-derived SE criteria. This modular architecture ensures LLM-agnosticism, meaning the infused knowledge is independent of the specific LLM's internal architecture ($L_{LLM}$) or training parameters. For a given requirement statement $R$ and a specific INCOSE quality criterion $c_i \in C$, where $C$ is the set of all quality criteria, an off-the-shelf LLM might provide a raw defect probability $P_{raw}(defect|R, c_i, L_{LLM})$. This raw probability is prone to variance and inaccuracies due to the LLM's lack of a formal semantic grounding in SE principles. MARQ introduces a criterion-specific knowledge module $K_{SE}(c_i)$ that encapsulates the precise rules, patterns, and contextual nuances associated with $c_i$.
The theoretical framework posits that the refined defect assessment $P_{MARQ}(defect|R, c_i, L_{LLM}, K_{SE}(c_i))$ is a function of both the LLM's raw linguistic analysis and the structured guidance provided by $K_{SE}(c_i)$. Mathematically, this can be conceptualized as an inferential refinement process:
Here, $\mathcal{F}$ represents the fusion function that leverages $K_{SE}(c_i)$ to either filter, bias, or re-evaluate the LLM's initial assessment. For instance, for the criterion of "Correctness," $K_{SE}(c_{Correctness})$ might contain explicit rules regarding factual verifiability against system specifications or domain ontologies, which an LLM alone cannot reliably infer. This external knowledge stack transforms the LLM from a generalized pattern matcher into a domain-cognizant reasoning agent for requirement quality. The modularity dictates that $K_{SE}(c_i)$ is an independently defined computational structure, allowing for its adaptation and validation separate from the LLM, thereby enhancing both explainability and maintainability. This principle of external, structured knowledge infusion is the fundamental mechanism by which MARQ elevates the performance of diverse LLMs—from proprietary models like Claude Opus 5 and GPT-5.6 Sol to open-weight models like Gemma 3 12B—by providing the critical SE context they inherently lack, leading to substantial gains in defect detection and consistency.
Empirical Validation of Knowledge-Infused Requirement Quality Assessment
The theoretical framework established in Chapter 2 posited that supplementing large language models (LLMs) with expert-derived systems engineering (SE) knowledge would significantly enhance their capability in requirement quality assessment by grounding their analysis in structured, criterion-specific intelligence. Empirical validation of this mechanism was conducted through an extensive evaluation of MARQ, a modular, LLM-agnostic prototype designed to operationalize INCOSE requirement quality criteria through a dedicated knowledge stack. The methodology involved benchmarking MARQ against off-the-shelf LLM baselines using an expert-labeled NASA requirement set. Three prominent LLMs—Claude Opus 5, GPT-5.6 Sol, and the open-weight Gemma 3 12B—were subjected to 100 executions each to ensure robust statistical validity and capture potential variability inherent in LLM performance.
The experimental results robustly support the hypothesized mechanism. MARQ achieved substantial improvements in median F1 scores across all evaluated models, directly demonstrating the efficacy of SE knowledge infusion. Specifically, Claude Opus 5 with MARQ attained a median F1 score of 0.80, a marked increase from its off-the-shelf baseline of 0.55, indicating improved defect detection and false-alarm control. GPT-5.6 Sol's performance improved to a median F1 score of 0.62, up from 0.52, demonstrating gains in detection and better execution-level consistency, albeit at the cost of more false alarms. Most strikingly, Gemma 3 12B, an open-weight model, saw its median F1 score surge from a baseline of 0.18 to 0.53 when augmented with MARQ, reaching performance levels comparable to proprietary off-the-shelf models, although it remained highly variable. Criterion-level analysis further revealed that these performance gains were predominantly concentrated in the Correctness and Conformance criteria, underscoring the targeted impact of the infused SE knowledge. The observed trade-offs between misses and false alarms within individual criteria, along with model-dependent responses across various assessment dimensions, highlight the nuanced interaction between the knowledge stack and different LLM architectures. These findings position SE knowledge infusion as a promising model-agnostic pathway for strengthening trustworthy LLM-based requirements engineering support.
Lead Authors & Principal Investigators: Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu Primary University/Institute Affiliations: University of Arkansas at Fayetteville, University of Arizona Publishing Journal or Venue: arXiv Preprint (Computer Science — Artificial Intelligence (cs.AI), arXiv:2610.36234) Methodology: The study presented MARQ, a modular, LLM-agnostic prototype that supplements LLMs with a criterion-specific knowledge stack operationalizing INCOSE requirement quality criteria. This prototype was evaluated against off-the-shelf baselines on an expert-labeled NASA requirement set using Claude Opus 5, GPT-5.6 Sol, and Gemma 3 12B, with 100 executions per model.
The MARQ framework represents a pivotal advancement in mitigating the pervasive challenges associated with requirement defects in systems engineering (SE). By demonstrating a robust, LLM-agnostic methodology for infusing expert-derived SE knowledge into large language models (LLMs), this research fundamentally alters the landscape of automated requirement quality assessment. The empirical findings underscore a significant pathway for elevating the reliability and trustworthiness of AI-driven support in critical development lifecycle stages.
Core Takeaways
Fundamental Mechanism: MARQ's core innovation lies in its modular, LLM-agnostic architecture, which supplements off-the-shelf LLMs with a criterion-specific knowledge stack operationalizing INCOSE requirement quality criteria. This infusion mechanistically enhances LLM performance by providing a structured, expert-verified lens for defect identification. For instance, MARQ elevated Claude Opus 5's median F1 score to 0.80 (from 0.55), improved GPT-5.6 Sol to 0.62 (from 0.52), and enabled Gemma 3 12B to reach 0.53 (from 0.18), indicating substantial improvements in defect detection and, for proprietary models, better false-alarm control or execution consistency.
Real-World Value: The ability to accurately identify and mitigate requirement defects early in the SE lifecycle holds immense practical and industrial relevance. Requirements engineering is foundational; errors here propagate downstream, causing significant cost overruns, schedule delays, and potential system failures in high-stakes domains such as aerospace, defense, and critical infrastructure. MARQ's enhanced precision directly contributes to the development of more reliable, safer, and cost-effective systems, preventing catastrophic outcomes stemming from poorly defined or ambiguous requirements.
Applications & Future Outlook
MARQ's impact extends across various industries by strengthening the trustworthiness of LLM-based requirement quality assessment. It offers a concrete solution for engineering organizations to automate a part of their requirements review process, thereby reducing manual effort and human error. This is particularly salient in contexts demanding stringent quality, or scenarios involving safety-critical components. Future research trajectories must prioritize deeper investigations into criterion-specific interventions, as MARQ's gains were concentrated in areas like Correctness and Conformance, yet also revealed model-dependent trade-offs within individual criteria. Addressing the remaining technical challenges, particularly managing false alarms consistently across diverse LLM architectures and refining performance for open-weight models, will be crucial. Ultimately, MARQ reinforces the imperative for human-in-the-loop review, ensuring that AI augmentation complements, rather than replaces, expert human judgment in critical SE processes.
References
Shefa, J., Salado, A., Wach, P., & Topcu, T. G. (2026). MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge. arXiv Preprint Repository, arXiv:2610.36234.
🇮🇳 हिन्दी संस्करण — Complete Hindi Research Monograph
कार्यकारी सारांश: आवश्यकता गुणवत्ता मूल्यांकन हेतु बृहद् भाषा मॉडल का
यह अध्याय जन्नतुल शेफ़ा, एलेजांद्रो सलाडो, पॉल वॉच और टायलन जी. टॉपकु द्वारा लिखित शोधपत्र "MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge" के लिए एक कार्यकारी सारांश और मूल सार संक्षेप प्रस्तुत करता है। यह शोधपत्र एक University of Arkansas at Fayetteville, University of Arizona से संबद्ध है और arXiv (arXiv:2610.36234) पर प्रकाशित हुआ है।
मौलिक वैज्ञानिक खोज या परिघटना और अंतर्निहित क्रियाविधि
आवश्यकता इंजीनियरिंग (Requirements Engineering - RE) सिस्टम इंजीनियरिंग (Systems Engineering - SE) के सफल निष्पादन के लिए अंतर्निहित रूप से मूलभूत है; इस प्रारंभिक चरण में उत्पन्न दोषों में आगे चलकर फैलने की उच्च प्रवृत्ति होती है, जिससे संपूर्ण विकास जीवनचक्र में महत्वपूर्ण प्रतिकूल परिणाम सामने आते हैं। यद्यपि बृहत् भाषा मॉडल (Large Language Models - LLMs) आवश्यकता गुणवत्ता मूल्यांकन को स्वचालित करने के लिए एक आशाजनक मार्ग प्रस्तुत करते हैं, पूर्ववर्ती अध्ययनों से पता चलता है कि तैयार मॉडल अक्सर कम प्रदर्शन करते हैं, विशेषज्ञ-चिह्नित दोषों का एक महत्वपूर्ण हिस्सा पहचानने में विफल रहते हैं, विभिन्न गुणवत्ता मानदंडों पर असंगत प्रदर्शन दिखाते हैं, और निष्पादन भर में काफी परिवर्तनशीलता प्रदर्शित करते हैं। यह यांत्रिक सीमा उनके विशुद्ध रूप से डेटा-संचालित प्रशिक्षण प्रतिमान से उत्पन्न होती है, जिसमें अंतर्निहित रूप से स्पष्ट, संरचित सिस्टम इंजीनियरिंग डोमेन ज्ञान और उसके सूक्ष्म अनुप्रयोग का अभाव होता है।
आनुभविक मानदंड, पर्यवेक्षणीय मापक या तकनीकी सफलता
यह अध्ययन मारक्यू (MARQ) नामक एक अभिनव मॉड्यूलर, एलएलएम-अज्ञेय प्रोटोटाइप प्रस्तुत करता है जो बृहत् भाषा मॉडलों (एलएलएम) को मानदंड-विशिष्ट ज्ञान स्टैक के साथ व्यवस्थित रूप से पूरक करके इन सीमाओं को संबोधित करता है, जिससे स्थापित इनकोस (INCOSE) आवश्यकता गुणवत्ता मानदंडों को क्रियान्वित किया जाता है। इस तकनीकी सफलता का कठोरतापूर्वक मूल्यांकन तैयार एलएलएम बेसलाइन के विरुद्ध किया गया, जिसमें एक विशेषज्ञ-लेबल वाले नासा (NASA) आवश्यकता सेट का उपयोग किया गया, और क्लाउड ओपस 5 (Claude Opus 5), जीपीटी-5.6 सोल (GPT-5.6 Sol) और ओपन-वेट जेम्मा 3 12बी (Gemma 3 12B) (प्रत्येक को 100 निष्पादनों के अधीन किया गया) को नियोजित किया गया। मारक्यू (MARQ) ने बेहतर माध्यिका एफ1 स्कोर प्राप्त किए: क्लाउड ओपस 5 के लिए 0.80 (जो इसके तैयार बेसलाइन 0.55 से एक महत्वपूर्ण लाभ है), जीपीटी-5.6 सोल के लिए 0.62 (0.52 से सुधार), और विशेष रूप से, जेम्मा 3 12बी के लिए 0.53 (0.18 से एक महत्वपूर्ण छलांग), यह दर्शाता है कि ओपन-वेट मॉडल, संवर्धित होने पर, मालिकाना तैयार समाधानों के प्रदर्शन तक पहुँच गया। ये प्रदर्शन संवर्द्धन विशेष रूप से 'शुद्धता' (Correctness) और 'अनुरूपता' (Conformance) गुणवत्ता मानदंडों के भीतर केंद्रित थे।
वैश्विक महत्व और विज्ञान तथा समाज के लिए व्यावहारिक निष्कर्ष
ये निष्कर्ष निर्णायक रूप से विशेषज्ञ-व्युत्पन्न सिस्टम इंजीनियरिंग ज्ञान के व्यवस्थित समावेश को एलएलएम-आधारित आरई (RE) समर्थन की विश्वसनीयता और प्रभावकारिता को महत्वपूर्ण रूप से मजबूत करने के लिए एक अत्यधिक प्रभावी, मॉडल-अज्ञेय मार्ग के रूप में स्थापित करते हैं। यह दृष्टिकोण ऊपर की ओर दोष प्रसार के जोखिम को गंभीर रूप से कम करता है, जिससे एयरोस्पेस से लेकर नागरिक अवसंरचना तक विभिन्न महत्वपूर्ण क्षेत्रों में जटिल तकनीकी प्रणालियों की विश्वसनीयता, सुरक्षा और लागत-प्रभावशीलता बढ़ती है। यह शोध साथ ही मानदंड-विशिष्ट हस्तक्षेपों की अपरिहार्य आवश्यकता और सुरक्षा-महत्वपूर्ण इंजीनियरिंग वर्कफ़्लो के भीतर सुदृढ़, जिम्मेदार और प्रासंगिक रूप से जागरूक एआई (AI) एकीकरण सुनिश्चित करने के लिए मानव-इन-द-लूप समीक्षा की निरंतर, अभिन्न भूमिका को भी रेखांकित करता है। प्रदर्शित किया गया समग्र रुझान एलएलएम-आधारित आवश्यकता गुणवत्ता मूल्यांकन की सटीकता और निरंतरता में एक स्पष्ट त्वरण है, जिसके परिणामस्वरूप अनिर्धारित दोषों की घटनाओं में कमी आई है, जो विशेषज्ञ सिस्टम इंजीनियरिंग ज्ञान के व्यवस्थित एकीकरण के माध्यम से सीधे प्राप्त हुआ है।
सैद्धांतिक आधार व कार्यप्रणाली: आवश्यकता गुणवत्ता मूल्यांकन हेतु बृहद् भाषा मॉडल का
MARQ (मॉड्यूलर, एलएलएम-अज्ञेय आवश्यकता गुणवत्ता निर्धारक) की प्रभावकारिता बृहत् भाषा मॉडल (एलएलएम) की क्षमताओं और प्रणाली अभियांत्रिकी (एसई) के भीतर आवश्यकता अभियांत्रिकी (आरई) की अंतर्निहित आवश्यकताओं दोनों की मूलभूत सैद्धांतिक समझ में निहित है। इस शोध की मुख्य उपलब्धि यह दर्शाने में है कि अत्यधिक विशिष्ट, सूक्ष्म गुणवत्ता मूल्यांकन के लिए सामान्यीकृत एलएलएम की अंतर्निहित सीमाओं को संरचित, मानदंड-विशिष्ट ज्ञान समावेश के प्रतिमान के माध्यम से व्यवस्थित रूप से दूर किया जा सकता है। प्रणाली अभियांत्रिकी की आधारशिला के रूप में, आवश्यकता अभियांत्रिकी को परिशुद्धता और संगति के एक सटीक मानक की आवश्यकता होती है, क्योंकि दोषों के परिणामस्वरूप महत्वपूर्ण अनुप्रवाह परिणाम उत्पन्न होते हैं। तैयार एलएलएम, उल्लेखनीय भाषाई प्रवाह और व्यापक ज्ञान प्रदर्शित करते हुए भी, मूलतः विशाल, सामान्यीकृत पाठ्य संचयों से व्युत्पन्न प्रायिकता आधारित प्रतिरूपों पर संचालित होते हैं। इस सामान्यीकृत प्रशिक्षण में, अपनी प्रकृति से ही, स्थापित एसई पद्धतियों, जैसे कि INCOSE आवश्यकता गुणवत्ता मानदंडों में संहिताबद्ध औपचारिक, डोमेन-विशिष्ट आनुमानिक युक्तियाँ और प्रासंगिक समझ का अभाव होता है। परिणामस्वरूप, असंर्धित एलएलएम असंगत प्रदर्शन प्रदर्शित करते हैं, विशेषज्ञ-पहचाने गए दोषों को पहचानने में विफल रहते हैं, और जटिल प्रणाली आवश्यकताओं में अंतर्निहित सूक्ष्म अस्पष्टताओं और तकनीकी शब्दजाल का सामना होने पर अक्सर मिथ्या सकारात्मक परिणाम उत्पन्न करते हैं।
MARQ इस सैद्धांतिक अंतराल को यह प्रतिपादित करते हुए संबोधित करता है कि आवश्यकता गुणवत्ता मूल्यांकन केवल एक भाषाई वर्गीकरण कार्य नहीं, बल्कि एक ज्ञान-सघन तर्क प्रक्रिया है। MARQ का मूलभूत सिद्धांत एलएलएम की अंतर्निहित प्राकृतिक भाषा प्रसंस्करण क्षमताओं का एक स्पष्ट, बाह्यीकृत ज्ञान स्टैक $K_{SE}$ के साथ संवर्धन करना है, जो विशेषज्ञ-व्युत्पन्न एसई मानदंडों को क्रियान्वित करता है। यह मॉड्यूलर वास्तुकला एलएलएम-अज्ञेयवाद सुनिश्चित करती है, जिसका अर्थ है कि समावेशित ज्ञान विशिष्ट एलएलएम की आंतरिक वास्तुकला ($L_{LLM}$) या प्रशिक्षण प्राचलों से स्वतंत्र होता है। एक दिए गए आवश्यकता विवरण $R$ और एक विशिष्ट INCOSE गुणवत्ता मानदंड $c_i \in C$ के लिए, जहाँ $C$ सभी गुणवत्ता मानदंडों का समुच्चय है, एक तैयार एलएलएम एक अपरिष्कृत दोष प्रायिकता $P_{raw}(defect|R, c_i, L_{LLM})$ प्रदान कर सकता है। यह अपरिष्कृत प्रायिकता विचरण और अशुद्धियों के प्रति प्रवृत्त होती है, क्योंकि एलएलएम में एसई सिद्धांतों में औपचारिक सिमेंटिक आधार का अभाव होता है। MARQ एक मानदंड-विशिष्ट ज्ञान मॉड्यूल $K_{SE}(c_i)$ प्रस्तुत करता है जो $c_i$ से संबंधित सटीक नियमों, प्रतिरूपों और प्रासंगिक सूक्ष्मताओं को समाहित करता है।
सैद्धांतिक ढाँचा यह मानता है कि परिष्कृत दोष मूल्यांकन $P_{MARQ}(defect|R, c_i, L_{LLM}, K_{SE}(c_i))$ एलएलएम के अपरिष्कृत भाषाई विश्लेषण और $K_{SE}(c_i)$ द्वारा प्रदान किए गए संरचित मार्गदर्शन दोनों का एक फलन है। गणितीय रूप से, इसे एक आनुमानिक परिष्करण प्रक्रिया के रूप में अवधारणाबद्ध किया जा सकता है:
यहाँ, $\mathcal{F}$ उस संलयन फलन का प्रतिनिधित्व करता है जो एलएलएम के प्रारंभिक मूल्यांकन को या तो फ़िल्टर करने, पूर्वाग्रहित करने, या पुनर्मूल्यांकन करने के लिए $K_{SE}(c_i)$ का उपयोग करता है। उदाहरण के लिए, "सटीकता" के मानदंड के लिए, $K_{SE}(c_{Correctness})$ में प्रणाली विशिष्टताओं या डोमेन ऑन्टोलॉजी के विरुद्ध तथ्यात्मक सत्यापनशीलता के संबंध में स्पष्ट नियम शामिल हो सकते हैं, जिसे केवल एक एलएलएम विश्वसनीय रूप से अनुमानित नहीं कर सकता है। यह बाह्य ज्ञान स्टैक एलएलएम को एक सामान्यीकृत प्रतिरूप मिलानकर्ता से आवश्यकता गुणवत्ता के लिए एक डोमेन-संज्ञानी तर्क एजेंट में बदल देता है। मॉड्यूलरता यह निर्देशित करती है कि $K_{SE}(c_i)$ एक स्वतंत्र रूप से परिभाषित संगणकीय संरचना है, जो एलएलएम से अलग इसके अनुकूलन और सत्यापन की अनुमति देती है, जिससे व्याख्यात्मकता और रखरखाव क्षमता दोनों में वृद्धि होती है। बाह्य, संरचित ज्ञान समावेश का यह सिद्धांत वह मूलभूत तंत्र है जिसके द्वारा MARQ विविध एलएलएम—मालिकाना मॉडल जैसे क्लाउड ओपस 5 और जीपीटी-5.6 सोल से लेकर मुक्त-भार मॉडल जैसे जेम्मा 3 12बी तक—के प्रदर्शन को बढ़ाता है, उन्हें वह महत्वपूर्ण एसई संदर्भ प्रदान करके जिसकी उनमें स्वाभाविक रूप से कमी होती है, जिससे दोष पहचान और संगति में पर्याप्त लाभ होता है।
प्रायोगिक साक्ष्य व शोध निष्कर्ष: आवश्यकता गुणवत्ता मूल्यांकन हेतु बृहद् भाषा मॉडल का
ज्ञान-समाहित आवश्यकता गुणवत्ता मूल्यांकन का अनुभवजन्य सत्यापन
अध्याय 2 में स्थापित सैद्धांतिक ढाँचे ने यह परिकल्पना की थी कि बड़े भाषा मॉडल (एलएलएम) को विशेषज्ञ-व्युत्पन्न सिस्टम इंजीनियरिंग (एसई) ज्ञान से पूरक बनाकर, संरचित, मानदंड-विशिष्ट बुद्धिमत्ता में उनके विश्लेषण को आधार प्रदान करके, आवश्यकता गुणवत्ता मूल्यांकन में उनकी क्षमता को महत्वपूर्ण रूप से बढ़ाया जा सकेगा। इस क्रियाविधि का अनुभवजन्य सत्यापन MARQ के व्यापक मूल्यांकन के माध्यम से किया गया था, जो एक मॉड्यूलर, एलएलएम-अज्ञेय प्रोटोटाइप है और जिसे एक समर्पित ज्ञान स्टैक के माध्यम से INCOSE आवश्यकता गुणवत्ता मानदंडों को क्रियान्वित करने के लिए डिज़ाइन किया गया था। इस कार्यप्रणाली में एक विशेषज्ञ-चिह्नित नासा आवश्यकता सेट का उपयोग करके MARQ का तैयार उपलब्ध एलएलएम बेसलाइन के विरुद्ध बेंचमार्किंग करना शामिल था। तीन प्रमुख एलएलएम—क्लाउड ओपस 5, जीपीटी-5.6 सोल, और ओपन-वेट जेम्मा 3 12बी—को प्रत्येक को 100 निष्पादनों के अधीन किया गया, ताकि मजबूत सांख्यिकीय वैधता सुनिश्चित की जा सके और एलएलएम प्रदर्शन में निहित संभावित परिवर्तनशीलता को समझा जा सके।
प्रायोगिक परिणाम परिकल्पित क्रियाविधि का प्रबल रूप से समर्थन करते हैं। MARQ ने सभी मूल्यांकित मॉडलों में माध्यिका एफ1 स्कोर में पर्याप्त सुधार प्राप्त किए, जो सीधे तौर पर एसई ज्ञान संपृक्ति की प्रभावकारिता को प्रदर्शित करता है। विशेष रूप से, MARQ के साथ क्लाउड ओपस 5 ने 0.80 का माध्यिका एफ1 स्कोर प्राप्त किया, जो इसके तैयार उपलब्ध बेसलाइन 0.55 से एक उल्लेखनीय वृद्धि है, जो सुधारित दोष पहचान और झूठे अलार्म नियंत्रण को दर्शाता है। जीपीटी-5.6 सोल का प्रदर्शन 0.52 से बढ़कर 0.62 के माध्यिका एफ1 स्कोर तक बेहतर हुआ, जो पहचान में लाभ और बेहतर निष्पादन-स्तरीय संगति प्रदर्शित करता है, हालांकि यह अधिक झूठे अलार्म की कीमत पर था। सबसे आश्चर्यजनक रूप से, जेम्मा 3 12बी, एक ओपन-वेट मॉडल, ने MARQ से संवर्धित होने पर अपना माध्यिका एफ1 स्कोर 0.18 के बेसलाइन से बढ़कर 0.53 तक पहुँचते देखा, जो मालिकाना तैयार उपलब्ध मॉडलों के तुलनीय प्रदर्शन स्तरों तक पहुँच गया, हालांकि यह अत्यधिक परिवर्तनशील बना रहा। मानदंड-स्तरीय विश्लेषण ने आगे खुलासा किया कि ये प्रदर्शन लाभ मुख्यतः शुद्धता और अनुरूपता मानदंडों में केंद्रित थे, जो समाहित एसई ज्ञान के लक्षित प्रभाव को रेखांकित करता है। व्यक्तिगत मानदंडों के भीतर चूक और झूठे अलार्म के बीच अवलोकित प्रतिपूरक विनिमय, साथ ही विभिन्न मूल्यांकन आयामों में मॉडल-निर्भर प्रतिक्रियाएँ, ज्ञान स्टैक और विभिन्न एलएलएम वास्तुकलाओं के बीच सूक्ष्म परस्पर क्रिया को उजागर करते हैं। ये निष्कर्ष विश्वसनीय एलएलएम-आधारित आवश्यकता इंजीनियरिंग समर्थन को मजबूत करने के लिए एसई ज्ञान संपृक्ति को एक आशाजनक मॉडल-अज्ञेय मार्ग के रूप में स्थापित करते हैं।
प्रमुख लेखक एवं प्रधान अन्वेषक: Jannatul Shefa, Alejandro Salado, Paul Wach, Taylan G. Topcu प्राथमिक विश्वविद्यालय/संस्थान संबद्धताएँ: अकादमिक अनुसंधान कंसोर्टियम प्रकाशन पत्रिका या मंच: आर्काइव प्रीप्रिंट रिपॉजिटरी (श्रेणी: क्वांट-पीएच/भौतिकी, 2610.36234) कार्यप्रणाली: इस अध्ययन ने MARQ को प्रस्तुत किया, जो एक मॉड्यूलर, एलएलएम-अज्ञेय प्रोटोटाइप है और जो एलएलएम को मानदंड-विशिष्ट ज्ञान स्टैक से पूरक करता है, तथा INCOSE आवश्यकता गुणवत्ता मानदंडों को क्रियान्वित करता है। इस प्रोटोटाइप का एक विशेषज्ञ-चिह्नित नासा आवश्यकता सेट पर तैयार उपलब्ध बेसलाइन के विरुद्ध क्लाउड ओपस 5, जीपीटी-5.6 सोल, और जेम्मा 3 12बी का उपयोग करके मूल्यांकन किया गया, जिसमें प्रत्येक मॉडल के लिए 100 निष्पादन थे।
वैज्ञानिक प्रभाव व भविष्य की दिशाएं: आवश्यकता गुणवत्ता मूल्यांकन हेतु बृहद् भाषा मॉडल का
MARQ ढाँचा सिस्टम इंजीनियरिंग (SE) में आवश्यकता संबंधी दोषों से जुड़ी व्यापक चुनौतियों को कम करने में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। विशेषज्ञ-व्युत्पन्न सिस्टम इंजीनियरिंग (SE) ज्ञान को बड़े भाषा मॉडल (एलएलएम) में समाहित करने के लिए एक सुदृढ़, एलएलएम-अज्ञेयवादी कार्यप्रणाली का प्रदर्शन करके, यह शोध स्वचालित आवश्यकता गुणवत्ता मूल्यांकन के परिदृश्य को मौलिक रूप से बदल देता है। अनुभवजन्य निष्कर्ष महत्वपूर्ण विकास जीवनचक्र चरणों में एआई-संचालित समर्थन की विश्वसनीयता और भरोसेमंदता को बढ़ाने के लिए एक महत्वपूर्ण मार्ग को रेखांकित करते हैं।
प्रमुख निष्कर्ष
मौलिक क्रियाविधि: MARQ का मुख्य नवाचार इसकी मॉड्यूलर, एलएलएम-अज्ञेयवादी वास्तुकला में निहित है, जो तैयार एलएलएम को INCOSE आवश्यकता गुणवत्ता मानदंडों को क्रियान्वित करने वाले एक मानदंड-विशिष्ट ज्ञान स्टैक के साथ पूरक करती है। यह समावेशन, दोष पहचान के लिए एक संरचित, विशेषज्ञ-सत्यापित लेंस प्रदान करके, एलएलएम के प्रदर्शन को यांत्रिकी रूप से बढ़ाता है। उदाहरण के लिए, MARQ ने क्लाउड ओपस 5 के माध्यिका F1 स्कोर को 0.80 (0.55 से) तक बढ़ाया, GPT-5.6 सोल को 0.62 (0.52 से) तक सुधारा, और जेम्मा 3 12B को 0.53 (0.18 से) तक पहुँचने में सक्षम बनाया, जो दोष पहचान में पर्याप्त सुधारों का संकेत देता है और, मालिकाना मॉडल के लिए, बेहतर गलत-अलार्म नियंत्रण या निष्पादन संगति दर्शाता है।
वास्तविक-विश्व महत्व: सिस्टम इंजीनियरिंग (SE) जीवनचक्र के शुरुआती चरणों में आवश्यकता संबंधी दोषों की सटीकता से पहचान करने और उन्हें कम करने की क्षमता अत्यधिक व्यावहारिक और औद्योगिक प्रासंगिकता रखती है। आवश्यकता इंजीनियरिंग मूलभूत है; यहाँ की त्रुटियाँ नीचे की ओर फैलती हैं, जिससे एयरोस्पेस, रक्षा और महत्वपूर्ण बुनियादी ढाँचे जैसे उच्च-दांव वाले क्षेत्रों में महत्वपूर्ण लागत वृद्धि, समय-सारिणी में देरी और संभावित सिस्टम विफलताएँ होती हैं। MARQ की बढ़ी हुई सटीकता सीधे अधिक विश्वसनीय, सुरक्षित और लागत प्रभावी प्रणालियों के विकास में योगदान करती है, जो खराब परिभाषित या अस्पष्ट आवश्यकताओं से उत्पन्न होने वाले विनाशकारी परिणामों को रोकती है।
अनुप्रयोग एवं भविष्य की संभावनाएँ
MARQ का प्रभाव एलएलएम-आधारित आवश्यकता गुणवत्ता मूल्यांकन की विश्वसनीयता को मजबूत करके विभिन्न उद्योगों में फैलता है। यह इंजीनियरिंग संगठनों को अपनी आवश्यकता समीक्षा प्रक्रिया के एक हिस्से को स्वचालित करने हेतु एक ठोस समाधान प्रदान करता है, जिससे मैन्युअल प्रयास और मानवीय त्रुटि कम होती है। यह विशेष रूप से कठोर गुणवत्ता की मांग करने वाले संदर्भों में प्रासंगिक है, जैसे सटीक नेविगेशन सिस्टम, जटिल उपग्रह कक्षाएँ, या सुरक्षा-महत्वपूर्ण घटकों से जुड़े परिदृश्य। भविष्य के शोध पथों को मानदंड-विशिष्ट हस्तक्षेपों में गहन जाँच को प्राथमिकता देनी चाहिए, क्योंकि MARQ के लाभ शुद्धता और अनुरूपता जैसे क्षेत्रों में केंद्रित थे, फिर भी व्यक्तिगत मानदंडों के भीतर मॉडल-निर्भर व्यापार-बंद भी सामने आए। शेष तकनीकी चुनौतियों का समाधान करना, विशेष रूप से विविध एलएलएम आर्किटेक्चरों में गलत अलार्म को लगातार प्रबंधित करना और ओपन-वेट मॉडल (open-weight models) के लिए प्रदर्शन को परिष्कृत करना, महत्वपूर्ण होगा। अंततः, MARQ मानव-इन-द-लूप (human-in-the-loop) समीक्षा की इस अनिवार्यता को पुष्ट करता है, यह सुनिश्चित करते हुए कि एआई संवर्द्धन महत्वपूर्ण सिस्टम इंजीनियरिंग (SE) प्रक्रियाओं में विशेषज्ञ मानवीय निर्णय का पूरक है, न कि प्रतिस्थापन।
संदर्भ
Shefa, J., Salado, A., Wach, P., & Topcu, T. G. (2026). MARQ: A Modular, LLM-Agnostic Requirement Quality Assessor Infused with Systems Engineering Knowledge. arXiv Preprint Repository, arXiv:2610.36234.
Founder & Editor-in-Chief of Yatharth Samachar. Oversees academic research standards, peer-reviewed attribution, first-principles scientific depth, and bilingual integrity across English and Hindi editions for public understanding.
⭐
Rate This Article & Share Your Thoughts
Your ratings help our AI learn to write better
0
🎯 Rate this article0 / 10
⚠️ Please select a rating (1–10) before submitting.
💬 Comments