حسین عباسی مهر
-
وب سایت Stack Overflow یکی از محبوب ترین جوامعی است که میلیون ها برنامه نویس از آن استفاده می کنند. اگر یک سوال و پاسخ های متناظر با آن را یک واحد دانشی در نظر بگیریم، آنگاه بین واحدهای دانشی ارتباط مختلف معنایی وجود دارد که این ارتباط شامل ارتباط تکراری، ارتباط مستقیم، ارتباط غیرمستقیم با سوال طرح شده است. تشخیص دسته های مختلف ارتباط معنایی بین واحدهای دانشی در Stack Overflow می تواند اثربخشی و کارایی جستجوی اطلاعات را به طور چشمگیری بهبود بخشد. در این مطالعه، یک رویکرد ترکیبی مبتنی بر روش های یادگیری عمیق و معیارهای تشابه سنتی جهت تشخیص ارتباط بین سوالات ارائه می شود. به طور خاص دو معماری شبکه عمیق ارائه می شود که معماری اول از شبکه حافظه کوتاه مدت طولانی دوطرفه و همچنین لایه محاسبه کننده شباهت کسینوسی تشکیل شده است. معماری دوم گسترش یافته ی معماری اول با اضافه کردن مکانیزم توجه است. رویکرد پیشنهادی روی یک مجموعه داده سوالات زبان برنامه نویسی جاوا شامل 40000 مورد ارزیابی قرار گرفت. نتایج به دست آمده نشان می دهد که در معیار های F1، Recall و Precision مدل پیشنهادی عملکرد بهتری نسبت به مدل های موجود از خود نشان می دهد. به طور خاص مدل پیشنهادی در این مقاله در معیار F1 بهبود 17.3 درصدی نسبت به برترین مدل فعلی دارد. همچنین نتایج آزمایش ها نشان می دهد که استفاده از مدل تعبیه کلمات از پیش آموزش دیده به طور قابل ملاحظه ای عملکرد مدل های ارائه شده را بهبود می بخشد.
کلید واژگان: تشخیص ارتباط, دسته بندی چند کلاسه, روش Bilstm, مکانیزم توجه, معیارهای شباهت متنThe Stack Overflow website is one of the most popular communities used by millions of programmers. If we consider a question and its corresponding answers as a knowledge unit on the Stack Overflow website, then there are different semantic relationships between two knowledge units, which include duplicate, direct, and indirect relationships with the proposed question. Recognizing different categories of semantic relationship between knowledge units in Stack Overflow can significantly improve the effectiveness and efficiency of information search. In this study, a hybrid approach based on deep learning methods and traditional similarity criteria is presented to detect the relationship between questions. In particular, two deep network architectures are presented, the first architecture consists of a long short-term memory network as well as a cosine similarity calculation layer. The second architecture is an extension of the first architecture by adding an attention mechanism. The proposed approach was evaluated on a dataset of Java programming language contining 40000 questions. The obtained results show that in terms of F1, Recall and Precision, the proposed model performs better than the existing models. Specifically, the model proposed in this article has a 17.3% improvement in terms of F1 measure compared to the best current model. Also, the results of the experiments show that using the pre-trained word embedding model significantly improves the performance of the presented models.
Keywords: Relatedness Prediction, Multiclass Classification, Bilstm Method, Attention Mechanism, Text Similarity Measures -
در یک محیط تجاری که رقابت سختی بین شرکتها وجود دارد، پیشبینی دقیق تقاضا یک امر مهمی است. اگر دادههای مربوط به تقاضای مشتری را در نقاط گسستهای از زمان جمعآوری کنیم، یک سری زمانی تقاضا به دست میآید. درنتیجه، مسیله پیشبینی تقاضا به عنوان یک مسیله پیشبینی سریهای زمانی فرموله میشود. در زمینه پیشبینی سریهای زمانی، روشهای یادگیری عمیق دقت مناسبی در پیشبینی سریهای زمانی پیچیده داشتهاند. با این وجود عملکرد خوب این روشها به میزان دادههای در دسترس وابسته است. بدین منظور در این مطالعه استفاده از تکنیکهای دادهافزایی سری زمانی در کنار روشهای یادگیری عمیق پیشنهاد میشود. در این مطالعه سه روش نوین جهت تست کارایی رویکرد پیشنهادی به کار گرفته شده است که عبارت اند از: 1) حافظه کوتاه مدت طولانی، 2) شبکه کانولوشنی 3) مکانیزم خودتوجه چندسر. همچنین در این مطالعه رویکرد پیشبینی چندگامی به کار گرفته میشود که امکان پیشبینی چند نقطه آینده را در یک عمل پیشبینی به وجود میآورد. روش پیشنهادی بر روی داده واقعی تقاضای یک شرکت مبلمان اعمال شده است. نتایج آزمایشها نشان میدهد که رویکرد پیشنهادی باعث بهبود دقت پیشبینی روشهای بهکار گرفته شده در اکثر حالات مختلف پیشبینی میشود.
کلید واژگان: سری زمانی, یادگیری عمیق, حافظه طولانی کوتاه-مدت, شبکه کانولوشنی, مکانیزم خودتوجه چندسرIn a business environment where there is fierce competition between companies, accurate demand forecasting is vital. If we collect customer demand data at discrete points in time, we obtain a demand time series. As a result, the demand forecasting problem can be formulated as a time series forecasting task. In the context of time series forecasting, deep learning methods have demonstrated good accuracy in predicting complex time series. However, the excellent performance of these methods is dependent on the amount of data available. For this purpose, in this study, we propose to use time series augmentation techniques to improve the performance of deep learning methods. In this study, three new methods have been used to test the effectiveness of the proposed approach, which are: 1) Long short-term memory, 2) Convolutional network 3) Multihead self-attention mechanism. This study also uses a multi-step forecasting approach that makes it possible to predict several future points in a forecasting operation. The proposed method is applied to the actual demand data of a furniture company. The experimental results show that the proposed approach improves the forecasting accuracy of the methods used in most different prediction scenarios
Keywords: Time Series, Deep Learning, Long short-term memory, Convolutional network, Multihead self-attention mechanism
- در این صفحه نام مورد نظر در اسامی نویسندگان مقالات جستجو میشود. ممکن است نتایج شامل مطالب نویسندگان هم نام و حتی در رشتههای مختلف باشد.
- همه مقالات ترجمه فارسی یا انگلیسی ندارند پس ممکن است مقالاتی باشند که نام نویسنده مورد نظر شما به صورت معادل فارسی یا انگلیسی آن درج شده باشد. در صفحه جستجوی پیشرفته میتوانید همزمان نام فارسی و انگلیسی نویسنده را درج نمایید.
- در صورتی که میخواهید جستجو را با شرایط متفاوت تکرار کنید به صفحه جستجوی پیشرفته مطالب نشریات مراجعه کنید.