Upload 16 files

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,659 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:16201
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2
+widget:
+- source_sentence: ما هو الحكم الشرعي لرهن ملك الغير في العلاقة بين المتعاقدين وفقًا
+    للرأي السائد في الفقه المصري؟
+  sentences:
+  - أعمال تجارية وكذلك عمليات إعادة البيع أو التأجير ثانية تعتبر بدورها أعمالاً تجارية
+    أ شروط إعتبار الشراء أو الاستئجار بقصد البيع أو التأجير عملا تجارياً على أي حال،
+    وبصرف النظر عن الملاحظتين السابقتين فإنه يشترط لإعتبار الشراء أو الإستئجار بقصد
+    البيع أو التأجير عملا تجارياً ثلاثة شروط الأول أن يكون الحصول على الشئ قد تم بطريق
+    الشراء أو الإستئجار والثاني أن يقع الشراء أو الإستئجار على منقول ن أما الشرط الثالث
+    والأخير فهو قصد إعادة البيع أو التأجير الحصول على ربح الشرط الأول أن يكون هناك
+    شراء أو إستئجار لم توضح الفقرات أ،ب من المادة الرابعة من قانون التجارة الجديد
+    المقصود بالشراء الذي
+  - فإن حق الراهن لا يترتب على العقار إلا من الوقت الذي يصبح فيه هذا العقار مملوكًا
+    للراهن وندرس فيما يلي حكم رهن ملك الغير فيما بين المتعاقدين ثم في مواجهة المالك
+    الحقيقي المطلب الأول حكم رهن ملك الغير في العلاقة بين المتعاقدين ثار خلاف في الفقه
+    المصري حول حكم رهن ملك الغير، فمنهم من يعتبره باطلاً بطلانًا نسبيًا، وذلك أسوة
+    بما يقرره القانون بصدد بيع ملك الغير فحيث تتحد العلة في اتساق التشريع يقتضي وحدة
+    الحكم وملكية العقار شرط لصحة العقد ومن الفقه من ذهب إلى أن رهن ملك الغير يعتبر
+    باطلاً بطلانًا مطلقًا تأسيسًا على أن فاقد الشيء لا يعطيه، وغير المالك لا يمكنه
+    ترتيب رهن العقار فيكون محل
+  - ويملك في سبيل تفنيد أدلة الاتهام أن يأتي بأدلة غير مشروعة وهو ما لا يملكه الاتهام
+    الذي يتقيد بالأدلة المشروعة في أعماله فضلاً عما يلتزم به الاتهام من موضوعية في
+    آرائه وتصرفاته وما لا يلتزم به الدفاع، فالاتهام ليس عدواً للدفاع بل يجب أن يشارك
+    معه أثناء المحاكمة من أجل إثبات الحقيقة لضمان فاعلية العدالة وقد كرس المشرع الدستوري
+    هذا المبدأ بما نصت عليه المادة ١٩٦ من دستور ٢٠١٤ من أن المتهم برئ حتى تثبت إدانته
+    في محاكمة قانونية عادلة، تكفل له فيها ضمانات الدفاع عن نفسه المطلب الخامس تدوين
+    الاجراءات أولًا أهمية المبدأ واساسه القانوني يعد تدوين إجراءات المحاكمة مبدأ مكملاً
+    لمبدأ الشفوية، ولا
+- source_sentence: ما هي التغييرات التي طرأت على المادة 80 من قانون الشركات فيما يتعلق
+    بدعوة مجلس الإدارة للاجتماع؟
+  sentences:
+  - عند دراستنا لخصائص الموازنة العامة ولقد ترتب على مبدأ تدخلية الدولة زيادة النفقات
+    العامة للدولة وذلك على عكس ما يحدث فى ظل سيادة مبدأ الدولة الحارسة وعلى عكس ما
+    سبق، فإن سيادة المذهب الاشتراكى أو الايديولوجية الشمولية فى مجتمع ما من شأنه أن
+    يزيد من حجم النفقات العامة بصورة كبيرة جدا ويرجع ذلك إلى أن الدولة تحمل على عاتقها
+    فى ظل هذه الايديولوجية رقم الصفحه 23 القيام بكافة الأنشطة الاقتصادية والاجتماعية
+    والثقافية وتقوم بإنتاج الجزء الأكبر من الناتج القومى الإجمالى، بينما يتهمش دور
+    الفرد أو القطاع الخاص بصورة عامة فى ظل المجتمع الاشتراكى وفى الواقع، فإن العالم
+    قد شهد تحولا فكريا واقتصاديا
+  - سنوات بدلاً من اثنتين ومثال النوع الثاني القانون الصادر بمنع صناعة من الصناعات
+    أو عمل من الأعمال دون أن يكون لصدور هذا القانون مبرر من الصحة العامة أو الآداب
+    ٢ نظرية الإثراء بلا سبب ذهب العميد هوريو إلى تقرير مسئولية الدولة عن القوانين
+    في بعض الأحوال على أساس فكرة الإثراء بلا سبب فإذا صدر قانون باحتكار صناعة من الصناعات
+    لحساب الدولة، وترتب على ذلك إغلاق المصانع التي كانت تمارس تلك الصناعة، جاز لأصحاب
+    هذه المصانع المطالبة بالتعويض لأن الدولة حينئذ تكون قد أثرت على حساب الغير بدون
+    سبب ونظرية الإثراء بلا سبب نظرية معروفة في القانون المدني، وتقوم على أن كل من
+    أثرى على حساب الغير دون سبب قانوني يلتزم
+  - ثمانين في المائة في عضوية مجالس إدارة الجمعيات التعاونية الزراعية والجمعيات التعاونية
+    الصناعية رقم الصفحه 121 كانت المَادَّة 80 من قَانُون الشَّرِكَات قبل تعديلها بموجب
+    القَانُون 4 لِسَنَةِ 1792018 تقصر حق الدعوة لاجتماع المَجْلِس على الرئيس أو بناء
+    على طلب مقدم من ثلث الأعضاء أو كلما دعت الحاجة لذلك ووفقًا للنص الحالي، يكون اجتماع
+    المَجْلِس وفقًا لما يلي يجتمع مَجْلِس الإِدَارَة بدعوة من رئيسه أو من أغلبية أعضائه
+    في حالة خلو منصب الرئيس بمعنى آخر أضحت الدعوة من الأغلبية فقط عند خلو منصب الرئيس
+    أجاز المُشَرِّع للمرة الأولي لثلث أعضاء المَجْلِس أن يتقدموا بطلب کتابي لرئیس
+    المَجْلِس لعقد اجتماع
+- source_sentence: ما هو دور وزير العدل في الإشراف على المحاكم؟
+  sentences:
+  - لم يخطئ في قصده، بل أخطأ في فعله ٤ والقتل الجاري مجرى الخطأ هو القتل الواقع ممن
+    لا قصد له، وذلك كنائم ينقلب على مورثه فيقتله، أو يسقط من مكان مرتفع عليه فيموت
+    ٩٨ رقم الصفحه 94 والنوع الأول يستوجب القصاص، وأما الثاني فالواجب فيه دية مغلظة
+    مع الكفارة، والأخيران الواجب فيهما الكفارة مع الدية، والقاتل في الأنواع الأربعة
+    قد باشر القتل بنفسه أما القتل الذي لا يستوجب القصاص ولا الكفارة فلا يكون مانعاً
+    من الميراث، ويشمل ذلك عندهم ما يأتي ١ القتل بحق كقتل الشخص مورثه بحكم وظيفته قصاصاً
+    إذا قتل غيره عدواناً، أو حداً كقتل المرتد عن الإسلام، أو دفاعاً علن النفس إذا
+    تعين القتل طريقاً
+  - والأجور والعقارات وعلى العكس من ذلك، فإن الضريبة غير المباشرة هى التى تنصب على
+    وعاء مادى غير مستقر ولا يتمتع بالثبات أو الاستمرارية فالضرائب غير المباشرة تفرض
+    على وقائع أو أعمال عرضية مؤقتة مثل الاستهلاك والتداول والاستعمال والإنتاج٣٤ وفى
+    الواقع فإنه على الرغم من قدرة هذا المعيار على التمييز أحيانا بين الضرائب المباشرة
+    وغير المباشرة إلا أنه يتسم بالغموض وعدم الدقة فى أحيان أخرى فالضريبة على التركات
+    والتى تفرض على رأس المال هى ضريبة مباشرة ولكنه يمكن اعتبارها ضريبة غير مباشرة
+    وفقا لمعيار استقرار وثبات المادة الخاضعة للضريبة باعتبار أنها تفرض عند انتقال
+    الثروة من المتوفى إلى الورثة وهى واقعة عرضية
+  - فإن هذا الدور يظل مع ذلك دورًا مشاركاً وليس أصيلاً فالقرارات التي تصدرها السلطة
+    التنفيذية في خصوص هذه الشئون تعتمد في وجه أو في آخر على موافقة الهيئات القضائية
+    أو بالأقل استطلاع رأيها وفي هذا الإطار يتحدد مضمون نص المادة ٩٣ من قانون السلط��
+    القضائية والذي يقضي بأن لوزير العدل حق الإشراف الإداري على المحاكم، ولرئيس كل
+    محكمة وللجمعية العامة حق الإشراف على القضاة التابعين لها ١ فالمقصود بالإشراف في
+    هذا المقام هو مجرد الإشراف الإداري، وهو لا يتجسد في غالب الحالات في قرارات إلا
+    بعد موافقة الجهات القضائية المختصة أو بالأقل التعرف على رأيها ويجد هذا الدور أساسه
+    في سندين فمن ناحية
+- source_sentence: ما هو موقف المحكمة الدستورية العليا من فصل ملكية العين عن ملكية
+    الرقبة بشكل دائم؟
+  sentences:
+  - الحبوب لأصحاب المطاحن الذين يقومون بطحنها لحسابهم وبيعها دقيقا بالسعر الجبري فإذا
+    انتهت عمليتهم بربح أو خسارة فإنهم يتحملون نتيجتها الطعن رقم 56 لسنة 35 ق جلسة
+    196924 س 20 ع 1 ص248 على أنه يبقى التأكيد على أن القيود التي تفرض على الملكية
+    ، استنادا إلى مبررات الوظيفة الاجتماعية للملكية ينبغي أن تكون مؤقتة وعارضة 34
+    وان بقاء هذه القيود بما يستغرق حياة طرفي العلاقة العقدية أو أحدهما ، يعني أنها
+    قيود مؤبدة وان في ذلك أهدار لحق الملكية ومساس بجوهر الملكية وسلطات المالك وأن
+    فصل ملكية العين عن ملكية الرقبة فصلا دائما ومؤبدا يهدر بالضرورة حق الملكية ، كما
+    أكدت على ذلك المحكمة الدستورية العليا في العديد من
+  - الجامعات، والمعاهد، والسكك الحديدية، والمطابع الأميرية إلخ إلا أن المشرع المصرى
+    بالرغم من ذلك فإنه لم يأخذ بفكرة استقلال الميزانيات المستقلة على إطلاقها، وإنما
+    وجب عرض تلك الميزانيات على السلطة التشريعية لمناقشتها واعتمادها ثم فى وقت لاحق
+    عدل المشرع المصرى الأخذ بنظام الميزانيات المستقلة وأدمجها فى الميزانية العامة
+    للدولة وذلك بموجب صدور القرار الجمهورى رقم ١٢٨٨ لسنة ١٩٦٣ ثم عاد المشرع المصرى
+    إلى الأخذ بنظام الميزانيات المستقلة وذلك فى قانون الموازنة العامة رقم ٥٣ لسنة
+    ١٩٧٣ والمعدل بالقانون رقم ١١ لسنة ١٩٧٩ حيث نصت المادة الثالثة بالفقرة الثانية
+    على أن الموازنة العامة للدولة
+  - هذه الوصية وهم أهل لتلك الإجازة، أما إذا لم يكن هناك وارث فلا تنفذ الوصية بما
+    زاد على الثلث ولقد اتجه قانون الوصية في مصر إلى الأخذ بمذهب الحنفية والحنابلة،
+    وجاء النص على ذلك في الفقرة الثانية من المادة ٣٧ من هذا القانون حيث جاء فيها تنفذ
+    وصية من لا دين عليه ولا وارث له بكل ماله أو بعضه من غير توقف على إجازة الخزانة
+    العامة وجاء في المادة الرابعة من قانون المواريث إذا لم توجد ورثة قضى من التركة
+    بالترتيب الآتي أولاً استحقاق من أقر له الميت بنسب على غيره ثانياً ما أوصى به فيما
+    زاد على الحد الذي تنفذ فيه الوصية فإذا لم يوجد أحد من هؤلاء آلت التركة أو ما بقى
+    منها إلى الخزانة العامة وإنما
+- source_sentence: ما هي الوسائل الحسية التي يمكن استخدامها في عملية المعاينة؟
+  sentences:
+  - الفصل في المنازعات فقد كان من اختصاص الوزير قانوناً ، وهو ما يعبر عنه بنظرية الوزير
+    القاضي، أو القضاء المحجوز وظل الحال هكذا حتى قيام الجمهورية الثالثة وصدور قانون
+    ٢٤ مايو ١٨٧٢ والذي منح مجلس الدولة سلطة الفصل في المنازعات الإدارية رقم الصفحه
+    33 بصفة نهائية أي سلطة إصدار أحكام نهائية دون تدخل من جانب رئيس الدولة أو الوزير
+    المختص، فأصبح بذلك محكمة بالمعنى الصحيح ولهذا يطلق على هذه المرحلة بمرحلة القضاء
+    البات أو القضاء المفوض كما نص هذا القانون على إنشاء محكمة للفصل في حالات تنازع
+    الاختصاص بين المحاكم الإدارية والمحاكم العادية أطلق عليه أسم محكمة التنازع وهكذا
+    نستطيع القول إن صدور
+  - إشكالاً وجب عليه وقف التنفيذ وتحديد جلسة لنظره أمام قاضي التنفيذ، وإذا ذيل الحكم
+    بالصيغة التنفيذية وتبين للمحضر أنه غير مشمول بالنفاذ المعجل بأمر المحكمة ولم تتوافر
+    الشروط اللازمة لاعتباره نافذاً بقوة القانون بخلوه من البيان الذي يفيد صدوره في
+    مادة تجارية أو مستعجلة ، تعين عليه أن يمتنع عن تنفيذه أو بوقف تنفيذه ، أنور طلبه
+    ، مرجع سابق ، ص 284 201 تحكم بالنفاذ المعجل ؛ فسلطتها في ذلك جوازية808 ، ويطلب
+    هذا النفاذ أمام أول درجة فإذا انتهت الخصومة أمامها دون طلبه تكون هذه المحكمة قد
+    استنفدت ولايتها ، ولا يجوز العودة إليها مرة ثانية ، كما لا يجوز طلبه أمام الاستئناف
+    لأن أحكام
+  - جدية الطلب أو اقتنعت بجدوى الانتقال للمعاينة فى إثبات الحقيقة، ولها أن ترفض طلبهم
+    هذا على أن تسبب رفضها حتى لا يعتور حكمها القصور وإذا كان طلب إجراء المعاينة لا
+    يتجه إلى نفى الفعل المسند للمتهم ولا إلى إثبات استحالة حصوله، ٦٣ وتتم المعاينة
+    بأى حاسة من الحواس التى تتسق مع الواقعة محل المعاينة، فقد تتمثل المعاينة فى المشاهدة
+    فتعتمد على البصر أو تتمثل فى اللمس أو فى السمع أو فى الشم أو فى التذوق وقد تنصب
+    المعاينة على شخص من الأشخاص، كمعاينة جسم المجنى عليه للتأكد من وقوع إكراه عليه
+    أثناء ارتكاب المتهم لجريمته، كما قد تنصب المعاينة على مكان معين كمعاينة مكان القذف
+    أو السب للتأكد
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: SentenceTransformer based on Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: custom dataset evaluation
+      type: custom_dataset_evaluation
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.621963262887616
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.8262393837645665
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.8843077226940549
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.9401046810191586
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.621963262887616
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.2754131279215221
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.17686154453881098
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.09401046810191586
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.621963262887616
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.8262393837645665
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.8843077226940549
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.9401046810191586
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.7849111131501391
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.7346985522104195
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.7376242387041089
+      name: Cosine Map@100
+---
+
+# SentenceTransformer based on Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2](https://huggingface.co/Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2](https://huggingface.co/Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2) <!-- at revision ed357f222f0b6ea6670d2c9b5a1cb93950d34200 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'ما هي الوسائل الحسية التي يمكن استخدامها في عملية المعاينة؟',
+    'جدية الطلب أو اقتنعت بجدوى الانتقال للمعاينة فى إثبات الحقيقة، ولها أن ترفض طلبهم هذا على أن تسبب رفضها حتى لا يعتور حكمها القصور وإذا كان طلب إجراء المعاينة لا يتجه إلى نفى الفعل المسند للمتهم ولا إلى إثبات استحالة حصوله، ٦٣ وتتم المعاينة بأى حاسة من الحواس التى تتسق مع الواقعة محل المعاينة، فقد تتمثل المعاينة فى المشاهدة فتعتمد على البصر أو تتمثل فى اللمس أو فى السمع أو فى الشم أو فى التذوق وقد تنصب المعاينة على شخص من الأشخاص، كمعاينة جسم المجنى عليه للتأكد من وقوع إكراه عليه أثناء ارتكاب المتهم لجريمته، كما قد تنصب المعاينة على مكان معين كمعاينة مكان القذف أو السب للتأكد',
+    'إشكالاً وجب عليه وقف التنفيذ وتحديد جلسة لنظره أمام قاضي التنفيذ، وإذا ذيل الحكم بالصيغة التنفيذية وتبين للمحضر أنه غير مشمول بالنفاذ المعجل بأمر المحكمة ولم تتوافر الشروط اللازمة لاعتباره نافذاً بقوة القانون بخلوه من البيان الذي يفيد صدوره في مادة تجارية أو مستعجلة ، تعين عليه أن يمتنع عن تنفيذه أو بوقف تنفيذه ، أنور طلبه ، مرجع سابق ، ص 284 201 تحكم بالنفاذ المعجل ؛ فسلطتها في ذلك جوازية808 ، ويطلب هذا النفاذ أمام أول درجة فإذا انتهت الخصومة أمامها دون طلبه تكون هذه المحكمة قد استنفدت ولايتها ، ولا يجوز العودة إليها مرة ثانية ، كما لا يجوز طلبه أمام الاستئناف لأن أحكام',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Dataset: `custom_dataset_evaluation`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.622      |
+| cosine_accuracy@3   | 0.8262     |
+| cosine_accuracy@5   | 0.8843     |
+| cosine_accuracy@10  | 0.9401     |
+| cosine_precision@1  | 0.622      |
+| cosine_precision@3  | 0.2754     |
+| cosine_precision@5  | 0.1769     |
+| cosine_precision@10 | 0.094      |
+| cosine_recall@1     | 0.622      |
+| cosine_recall@3     | 0.8262     |
+| cosine_recall@5     | 0.8843     |
+| cosine_recall@10    | 0.9401     |
+| **cosine_ndcg@10**  | **0.7849** |
+| cosine_mrr@10       | 0.7347     |
+| cosine_map@100      | 0.7376     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 16,201 training samples
+* Columns: <code>question</code> and <code>context</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | question                                                                         | context                                                                              |
+  |:--------|:---------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                           | string                                                                               |
+  | details | <ul><li>min: 7 tokens</li><li>mean: 16.2 tokens</li><li>max: 46 tokens</li></ul> | <ul><li>min: 49 tokens</li><li>mean: 125.02 tokens</li><li>max: 191 tokens</li></ul> |
+* Samples:
+  | question                                                                                               | context                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   |
+  |:-------------------------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>ما هي الدعوى التي رفعها المعلن إلي الطالب وما هي مطالبته؟</code>                                 | <code>الحد المقرر قانونا باعتبارها مؤجرة خاليه فأقام المعلن اليه الدعوى رقم سنة مستعجل الجيزة بطلب طرد الطالب زاعما فيها انه استأجر شقة النزاع مفروشة ولم يشر فيها الى انها مكتب لفرع شركة تجارية كما ورد بعقد الإيجار، وقدم في ملف تلك الدعوى عقد الإيجار المؤرخ وقدم كذلك قائمة بمنقولات زعم انها ملحقة لذلك العقد، وزورها على الطالب صلبا وتوقيعا ولما كان تقديم ورقة في الدعوى ليس في استطاعة من احتج عليه بها أن يطعن عليها بالتزوير، كما إذا قدمت في دعوى مستعجلة، فانه يجوز له أن يرفع دعوى تزوير أصلية فقد قضت محكمة النقض بأنه إذا لم يكن لمن احتج عليه بالورقة أن يسلك سبيل الادعاء</code>                                      |
+  | <code>ما هو الأثر القانوني لصدور حكم بعدم الدستورية على القانون أو المعاهدة الدولية؟</code>            | <code>بعدم الدستورية، أو من التاريخ الذى يحدده المجلس؛ فهو أى القانون المقضى بعدم دستوريته يتوقف من هذه اللحظة عن أن يشكل جزءاً من الكيان أو النظام القانونى بالمجتمع هذا من ناحية ومن ناحية أخرى، فإنه يتضح من النص سالف الذكر، أن إلغاء القانون أو المع��هدة الدولية بمقتضى الحكم بعدم الدستورية لا يسرى بأثر رجعى، وإنما بأثر فورى من تاريخ صدوره ، وهو ما يتعارض فى حقيقة الأمر مع ما ينبغى أن يكون الأصل فى هذا الشأن وهو الأثر الرجعى، ذلك أن إبطال نص لعدم الدستورية ليس صفة عارضة تلحقه، ولا هو بعنصر جديد يضاف إليه، وإنما هو كاشف لحالته التى كان عليها ابتداء عند صدوره أو إقراره ،</code>                                      |
+  | <code>ما هي الشروط والإجراءات المطلوبة لإنشاء منشآت على الشواطئ البحرية في جمهورية مصر العربية؟</code> | <code>وحظر القرار ضمن مواده الترخيص بإقامة أي منشآت علي الشواطئ البحرية لجمهورية مصر العربية لمسافة 200 متر إلي الداخل من خط الشاطئ، أو إقامة هذه المنشآت إلا بعد موافقة الهيئة المصرية العامة لحماية الشواطئ وجهاز شئون البيئة ويتبع في شأن الترخيص بإقامة تلك المنشآت بوجه خاص، أن يقدم الطلب كتابة إلي الجهة المانحة للترخيص، موضحاً فيه نوعية المنشأة داخل مناطق الحظر علي أن يرفق بالطلب دراسة متكاملة عن تقويم التأثير البيئي للمشروع أو الأعمال المستجدة المطلوب تنفيذها، بما في ذلك تأثيرها علي الاتزان البيئي للمنطقة الساحلية وعلي خط الشاطئ، وعلي عدد من العناصر أهمها النحر والإرساب والتيارات الساحلية والتلوث الناجم</code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Evaluation Dataset
+
+#### Unnamed Dataset
+
+* Size: 2,025 evaluation samples
+* Columns: <code>question</code> and <code>context</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | question                                                                          | context                                                                              |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               |
+  | details | <ul><li>min: 8 tokens</li><li>mean: 16.24 tokens</li><li>max: 38 tokens</li></ul> | <ul><li>min: 76 tokens</li><li>mean: 125.61 tokens</li><li>max: 186 tokens</li></ul> |
+* Samples:
+  | question                                                                                                                        | context                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       |
+  |:--------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>ما هي نسبة الأغلبية المطلوبة في الحالات التي تترتب عليها حقوق إضافية في التصويت أو توزيعات الأرباح أو عند التصفية؟</code> | <code>بأغلبية لا تقل عن ثلاثة أرباع رأس المال، أو بأغلبية أكبر في الحالات الآتية 1 إذا ترتبت على الاتفاق حُقُوق إضافية في التصويت أو توزيعات الأرباح أو عند التصفية 2 إذا كان الاتفاق ينطبق عليه ضوابط عقود المعاوضة 3 إذا كان العقد يضع ضوابط أو قيودًا على التعامل على الأَسْهُم أو على إدارة الشَّرِكَة 246 علی عکس المُشَرِّعِ الجزائري الذي نص في المَادَّة 715 المکرر علی أن المُسَاهِم إذا لم يسدد قيمة الأَسْهُم فهو لم يشارك في تكوين رَأسمَال الشَّرِكَة وبالتالي ليس له الحق في المشاركة فِي الجَمْعِيَّةِ العَامَّة أي إن المُسَاهِم يوقف حقه في التصويت كإجراء عقابي؛ وذلك لعدم تحرير الحصة</code>                                                                                               |
+  | <code>ما هو المظهر الخارجي للقرار الإداري وما هي آثار عدم اتباع الشكل المحدد قانوناً؟</code>                                    | <code>القرار المظهر الخارجي الذي تبدو أو تتجسد فيه إرادة الإدارة أو المظهر الذي يتضمن ما أفصحت به الإدارة عن إرادتها وترتيباً علي ذلك إذا لم يكن المشرع قد ألزم الإدارة بضرورة إفراغ إرادتها في شكل معين فإنه يكون لها وهذا هو الأصل مطلق الحرية في كيفية التعبير عن هذه الإرادة ١ أما إذا نص القانون علي ضرورة إتباع شكل معين كأن يتطلب مثلاً أن يأخذ القرار شكلاً مكتوبا ففي هذه الحالة يتحتم علي رجل الإدارة ضرورة الالتزام بذلك وإلا كان قراره معيباً باطلاً وكان بالتالي جديراً بالإلغاء وإذا كان الأصل أن الإدارة ليست ملزمة بتسبيب قراراتها أي بذكر أسباب قراراتها إذ يفترض دائماً أن هذه القرارات</code>                                                                                              |
+  | <code>ما هي الميزات التي يتمتع بها صاحب الحق العيني التبعي في القانون الكويتي؟</code>                                           | <code>أو الإجرائية في التنفيذ، وصاحب الحق العيني التبعي يتمتع بميزتي التتبع والتقدم أو الأولوية 205 نقض مدني 9 يناير 1939 مجموعة عمر 2 158 ، مشار إليه في فتحي والي ، التنفيذ الجبري في القانون الكويتي ، ص 87 هامش 5 206 استئناف مختلف 5 فبراير 1929 بيلتان 41 198 ، مشار إليه في فتحي والي ، مرجع سابق، ص 87 ، هامش 6 207 أحمد هندي وسيد أحمد محمود وعبدالستار الملا، التنفيذ الجبري في القانون الكويتي، قواعده وإجراءاته، الجزء الأول 2000 ، ص 418 بند 85 208 فتحي والي ، التنفيذ الجبري الكويتي ، ص 87 فنسان وبريفوليه ، طرق التنفيذ وإجراءات التوزيع ، ط 15 ، داللوز 1984 ، ص 57 ، بند 70 209 وجدي راغب ، النظرية العامة للتنفيذ القضائي ، ص 264 ، محمد عبدالخالق عمر ، مبادئ التنفيذ ، ص 189 210</code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 16
+- `per_device_eval_batch_size`: 16
+- `learning_rate`: 2e-05
+- `warmup_ratio`: 0.1
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 16
+- `per_device_eval_batch_size`: 16
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 3
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss | Validation Loss | custom_dataset_evaluation_cosine_ndcg@10 |
+|:------:|:----:|:-------------:|:---------------:|:----------------------------------------:|
+| -1     | -1   | -             | -               | 0.6198                                   |
+| 0.0987 | 100  | 0.4785        | 0.4484          | 0.6508                                   |
+| 0.1974 | 200  | 0.4112        | 0.3707          | 0.6739                                   |
+| 0.2962 | 300  | 0.2838        | 0.3282          | 0.6920                                   |
+| 0.3949 | 400  | 0.2422        | 0.2887          | 0.7051                                   |
+| 0.4936 | 500  | 0.2369        | 0.2837          | 0.7144                                   |
+| 0.5923 | 600  | 0.2899        | 0.2684          | 0.7232                                   |
+| 0.6910 | 700  | 0.1801        | 0.2665          | 0.7320                                   |
+| 0.7897 | 800  | 0.2279        | 0.2617          | 0.7299                                   |
+| 0.8885 | 900  | 0.2051        | 0.2683          | 0.7334                                   |
+| 0.9872 | 1000 | 0.2097        | 0.2445          | 0.7417                                   |
+| 1.0859 | 1100 | 0.1047        | 0.2397          | 0.7467                                   |
+| 1.1846 | 1200 | 0.0984        | 0.2229          | 0.7558                                   |
+| 1.2833 | 1300 | 0.0498        | 0.2587          | 0.7433                                   |
+| 1.3820 | 1400 | 0.0993        | 0.2147          | 0.7568                                   |
+| 1.4808 | 1500 | 0.0621        | 0.2045          | 0.7617                                   |
+| 1.5795 | 1600 | 0.0922        | 0.2054          | 0.7601                                   |
+| 1.6782 | 1700 | 0.1093        | 0.1993          | 0.7678                                   |
+| 1.7769 | 1800 | 0.0795        | 0.1943          | 0.7712                                   |
+| 1.8756 | 1900 | 0.1181        | 0.2066          | 0.7701                                   |
+| 1.9743 | 2000 | 0.0709        | 0.2000          | 0.7699                                   |
+| 2.0731 | 2100 | 0.0423        | 0.1928          | 0.7793                                   |
+| 2.1718 | 2200 | 0.0365        | 0.2017          | 0.7797                                   |
+| 2.2705 | 2300 | 0.0488        | 0.2220          | 0.7714                                   |
+| 2.3692 | 2400 | 0.0405        | 0.2090          | 0.7775                                   |
+| 2.4679 | 2500 | 0.0327        | 0.1960          | 0.7822                                   |
+| 2.5666 | 2600 | 0.0369        | 0.1985          | 0.7827                                   |
+| 2.6654 | 2700 | 0.0493        | 0.1987          | 0.7848                                   |
+| 2.7641 | 2800 | 0.0466        | 0.2008          | 0.7856                                   |
+| 2.8628 | 2900 | 0.03          | 0.2035          | 0.7847                                   |
+| 2.9615 | 3000 | 0.0633        | 0.2036          | 0.7849                                   |
+
+
+### Framework Versions
+- Python: 3.11.11
+- Sentence Transformers: 3.4.1
+- Transformers: 4.48.3
+- PyTorch: 2.5.1+cu124
+- Accelerate: 1.3.0
+- Datasets: 3.3.0
+- Tokenizers: 0.21.0
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,25 @@
+{
+  "_name_or_path": "Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2",
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.48.3",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 64000
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.4.1",
+    "transformers": "4.48.3",
+    "pytorch": "2.5.1+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1d3cb7fbea2b8516ed27c3727e81e5635a0885cff8660dd4ea3c2bf1fed3d7c3
+size 540795752

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:31928a059b5d3b0110bb75c7a76e9722bb115c2d252e29ff75599855ff1497d2
+size 1076986810

rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2954a4ece94a8e003c67b5e30b040e264e73a9861675e465f19102d5479446ab
+size 14244

scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d2da84600df310c80e3ddbaf08c14bbafd7477428303afb008dbfa763b281711
+size 1064

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,94 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "5": {
+      "content": "[رابط]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": true,
+      "special": true
+    },
+    "6": {
+      "content": "[بريد]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": true,
+      "special": true
+    },
+    "7": {
+      "content": "[مستخدم]",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": true,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": false,
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "max_len": 512,
+  "max_length": 512,
+  "model_max_length": 512,
+  "never_split": [
+    "[بريد]",
+    "[مستخدم]",
+    "[رابط]"
+  ],
+  "pad_to_multiple_of": null,
+  "pad_token": "[PAD]",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "[SEP]",
+  "stride": 0,
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "[UNK]"
+}

trainer_state.json

@@ -0,0 +1,933 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 3.0,
+  "eval_steps": 100,
+  "global_step": 3039,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.09871668311944719,
+      "grad_norm": 7.595918655395508,
+      "learning_rate": 6.578947368421054e-06,
+      "loss": 0.4785,
+      "step": 100
+    },
+    {
+      "epoch": 0.09871668311944719,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.48153268812956745,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.8239186253209559,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.6804266245309105,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.7476298637171638,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6014421644194009,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.5954963687693909,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.650756003676077,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.48153268812956745,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.0823918625320956,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.22680887484363688,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.14952597274343274,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.48153268812956745,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.8239186253209559,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.6804266245309105,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.7476298637171638,
+      "eval_loss": 0.4484286308288574,
+      "eval_runtime": 204.03,
+      "eval_samples_per_second": 9.925,
+      "eval_steps_per_second": 0.622,
+      "step": 100
+    },
+    {
+      "epoch": 0.19743336623889438,
+      "grad_norm": 10.92927074432373,
+      "learning_rate": 1.3157894736842108e-05,
+      "loss": 0.4112,
+      "step": 200
+    },
+    {
+      "epoch": 0.19743336623889438,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5033083152281256,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.8463855421686747,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7041279873592732,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.772615050365396,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.624250951720462,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6187061477761295,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.6738741593374042,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5033083152281256,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.08463855421686747,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2347093291197577,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.1545230100730792,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5033083152281256,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.8463855421686747,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7041279873592732,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.772615050365396,
+      "eval_loss": 0.3707010746002197,
+      "eval_runtime": 203.8165,
+      "eval_samples_per_second": 9.935,
+      "eval_steps_per_second": 0.623,
+      "step": 200
+    },
+    {
+      "epoch": 0.29615004935834155,
+      "grad_norm": 33.57826232910156,
+      "learning_rate": 1.9736842105263158e-05,
+      "loss": 0.2838,
+      "step": 300
+    },
+    {
+      "epoch": 0.29615004935834155,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5243432747382974,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.860655737704918,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7234841003357693,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.7913292514319573,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6432678473897245,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6380460561998335,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.6920347683997495,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5243432747382974,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.0860655737704918,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.24116136677858976,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.15826585028639148,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5243432747382974,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.860655737704918,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7234841003357693,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.7913292514319573,
+      "eval_loss": 0.32815688848495483,
+      "eval_runtime": 203.3881,
+      "eval_samples_per_second": 9.956,
+      "eval_steps_per_second": 0.624,
+      "step": 300
+    },
+    {
+      "epoch": 0.39486673247778875,
+      "grad_norm": 2.814175605773926,
+      "learning_rate": 1.9297989031078612e-05,
+      "loss": 0.2422,
+      "step": 400
+    },
+    {
+      "epoch": 0.39486673247778875,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5371321350977681,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.8726051747975508,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7371123839620778,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8044143788267826,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6563831674366017,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6514166541262787,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7051169138321652,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5371321350977681,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.08726051747975509,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.24570412798735927,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.1608828757653565,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5371321350977681,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.8726051747975508,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7371123839620778,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8044143788267826,
+      "eval_loss": 0.28870803117752075,
+      "eval_runtime": 203.6125,
+      "eval_samples_per_second": 9.945,
+      "eval_steps_per_second": 0.624,
+      "step": 400
+    },
+    {
+      "epoch": 0.49358341559723595,
+      "grad_norm": 7.553986072540283,
+      "learning_rate": 1.856672760511883e-05,
+      "loss": 0.2369,
+      "step": 500
+    },
+    {
+      "epoch": 0.49358341559723595,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5465139245506616,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.8817894528935414,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7465929290934229,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8143393245111594,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6652980546980072,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6607006284309909,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.714385034123883,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5465139245506616,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.08817894528935415,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.24886430969780762,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.16286786490223187,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5465139245506616,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.8817894528935414,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7465929290934229,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8143393245111594,
+      "eval_loss": 0.28374621272087097,
+      "eval_runtime": 204.4559,
+      "eval_samples_per_second": 9.904,
+      "eval_steps_per_second": 0.621,
+      "step": 500
+    },
+    {
+      "epoch": 0.5923000987166831,
+      "grad_norm": 32.98969268798828,
+      "learning_rate": 1.783546617915905e-05,
+      "loss": 0.2899,
+      "step": 600
+    },
+    {
+      "epoch": 0.5923000987166831,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5526367766146554,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.8908749753110804,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7583448548291527,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8260912502468892,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6738304576911812,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.669296996730104,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7232271970632966,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5526367766146554,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.08908749753110803,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.25278161827638423,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.16521825004937787,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5526367766146554,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.8908749753110804,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7583448548291527,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8260912502468892,
+      "eval_loss": 0.26842400431632996,
+      "eval_runtime": 203.2737,
+      "eval_samples_per_second": 9.962,
+      "eval_steps_per_second": 0.625,
+      "step": 600
+    },
+    {
+      "epoch": 0.6910167818361304,
+      "grad_norm": 9.886919021606445,
+      "learning_rate": 1.710420475319927e-05,
+      "loss": 0.1801,
+      "step": 700
+    },
+    {
+      "epoch": 0.6910167818361304,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5653268812956745,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.8955164921983014,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7669365988544341,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8332510369346238,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.683737510172223,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6793955094382355,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7320247334733945,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5653268812956745,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.08955164921983014,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.255645532951478,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.16665020738692476,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5653268812956745,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.8955164921983014,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7669365988544341,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8332510369346238,
+      "eval_loss": 0.2664617896080017,
+      "eval_runtime": 203.9076,
+      "eval_samples_per_second": 9.931,
+      "eval_steps_per_second": 0.623,
+      "step": 700
+    },
+    {
+      "epoch": 0.7897334649555775,
+      "grad_norm": 17.79576873779297,
+      "learning_rate": 1.637294332723949e-05,
+      "loss": 0.2279,
+      "step": 800
+    },
+    {
+      "epoch": 0.7897334649555775,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5654256369741261,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.8918131542563698,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7636282836263085,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8272763183883073,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6824116708533701,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6777940607081065,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7298590424609255,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5654256369741261,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.08918131542563698,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2545427612087695,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.16545526367766147,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5654256369741261,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.8918131542563698,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7636282836263085,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8272763183883073,
+      "eval_loss": 0.2617240250110626,
+      "eval_runtime": 203.217,
+      "eval_samples_per_second": 9.965,
+      "eval_steps_per_second": 0.625,
+      "step": 800
+    },
+    {
+      "epoch": 0.8884501480750246,
+      "grad_norm": 29.348552703857422,
+      "learning_rate": 1.564168190127971e-05,
+      "loss": 0.2051,
+      "step": 900
+    },
+    {
+      "epoch": 0.8884501480750246,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5677463954177365,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.8971953387319771,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7670353545328856,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8318190795970768,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6851778091536691,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6808611691104925,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7334481505960582,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5677463954177365,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.08971953387319773,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.25567845151096186,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.16636381591941535,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5677463954177365,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.8971953387319771,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7670353545328856,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8318190795970768,
+      "eval_loss": 0.26834186911582947,
+      "eval_runtime": 203.4633,
+      "eval_samples_per_second": 9.953,
+      "eval_steps_per_second": 0.624,
+      "step": 900
+    },
+    {
+      "epoch": 0.9871668311944719,
+      "grad_norm": 0.5696656703948975,
+      "learning_rate": 1.491042047531993e-05,
+      "loss": 0.2097,
+      "step": 1000
+    },
+    {
+      "epoch": 0.9871668311944719,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5728323128579893,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9064783725064192,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7784910132332609,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8429290934228718,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.692767963880535,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6886411963231704,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.741697294005231,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5728323128579893,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09064783725064192,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.259497004411087,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.1685858186845744,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5728323128579893,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9064783725064192,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7784910132332609,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8429290934228718,
+      "eval_loss": 0.2445395439863205,
+      "eval_runtime": 203.8284,
+      "eval_samples_per_second": 9.935,
+      "eval_steps_per_second": 0.623,
+      "step": 1000
+    },
+    {
+      "epoch": 1.085883514313919,
+      "grad_norm": 5.538768291473389,
+      "learning_rate": 1.4179159049360148e-05,
+      "loss": 0.1047,
+      "step": 1100
+    },
+    {
+      "epoch": 1.085883514313919,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5813253012048193,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9092435315030615,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7825399960497729,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8449535848311278,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6984402538800855,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6944231453526992,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7466897096167746,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5813253012048193,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09092435315030614,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2608466653499243,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.16899071696622553,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5813253012048193,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9092435315030615,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7825399960497729,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8449535848311278,
+      "eval_loss": 0.23973241448402405,
+      "eval_runtime": 203.3277,
+      "eval_samples_per_second": 9.959,
+      "eval_steps_per_second": 0.625,
+      "step": 1100
+    },
+    {
+      "epoch": 1.1846001974333662,
+      "grad_norm": 6.3217902183532715,
+      "learning_rate": 1.3447897623400368e-05,
+      "loss": 0.0984,
+      "step": 1200
+    },
+    {
+      "epoch": 1.1846001974333662,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5921390479952597,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9151688722101521,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7911317400750543,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8541378629271184,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7083777420863926,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7045087061752225,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.755835586028989,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5921390479952597,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09151688722101521,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2637105800250181,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.1708275725854237,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5921390479952597,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9151688722101521,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7911317400750543,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8541378629271184,
+      "eval_loss": 0.2229250818490982,
+      "eval_runtime": 203.6954,
+      "eval_samples_per_second": 9.941,
+      "eval_steps_per_second": 0.623,
+      "step": 1200
+    },
+    {
+      "epoch": 1.2833168805528135,
+      "grad_norm": 11.505134582519531,
+      "learning_rate": 1.2716636197440586e-05,
+      "loss": 0.0498,
+      "step": 1300
+    },
+    {
+      "epoch": 1.2833168805528135,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5782638751728224,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9055895714003556,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7789354137862927,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8386825992494569,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.6954513367155198,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.6912109797503966,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7433337553688117,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5782638751728224,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09055895714003556,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2596451379287642,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.16773651984989138,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5782638751728224,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9055895714003556,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7789354137862927,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8386825992494569,
+      "eval_loss": 0.2586788237094879,
+      "eval_runtime": 204.0885,
+      "eval_samples_per_second": 9.922,
+      "eval_steps_per_second": 0.622,
+      "step": 1300
+    },
+    {
+      "epoch": 1.3820335636722607,
+      "grad_norm": 1.1614787578582764,
+      "learning_rate": 1.1985374771480804e-05,
+      "loss": 0.0993,
+      "step": 1400
+    },
+    {
+      "epoch": 1.3820335636722607,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.59411416156429,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9151194943709263,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7925636974126012,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8543353742840213,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7096847447019631,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.705814299351989,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7568020206373794,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.59411416156429,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09151194943709264,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2641878991375337,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17086707485680427,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.59411416156429,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9151194943709263,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7925636974126012,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8543353742840213,
+      "eval_loss": 0.2147156298160553,
+      "eval_runtime": 204.4732,
+      "eval_samples_per_second": 9.903,
+      "eval_steps_per_second": 0.621,
+      "step": 1400
+    },
+    {
+      "epoch": 1.4807502467917077,
+      "grad_norm": 1.6429851055145264,
+      "learning_rate": 1.1254113345521024e-05,
+      "loss": 0.0621,
+      "step": 1500
+    },
+    {
+      "epoch": 1.4807502467917077,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5962867864902232,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9217855026664034,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7997234841003358,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.860853249061821,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7136002941229976,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7100783500904636,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7616828218263099,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5962867864902232,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09217855026664035,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2665744947001119,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.1721706498123642,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5962867864902232,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9217855026664034,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7997234841003358,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.860853249061821,
+      "eval_loss": 0.20447228848934174,
+      "eval_runtime": 204.051,
+      "eval_samples_per_second": 9.924,
+      "eval_steps_per_second": 0.622,
+      "step": 1500
+    },
+    {
+      "epoch": 1.579466929911155,
+      "grad_norm": 15.424310684204102,
+      "learning_rate": 1.0522851919561243e-05,
+      "loss": 0.0922,
+      "step": 1600
+    },
+    {
+      "epoch": 1.579466929911155,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.5950029626703536,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9201560339719533,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.7980446375666601,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.858038712225953,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7121969229630567,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7085377027234775,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7601050276866773,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.5950029626703536,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09201560339719535,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.26601487918888667,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17160774244519061,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.5950029626703536,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9201560339719533,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.7980446375666601,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.858038712225953,
+      "eval_loss": 0.20542284846305847,
+      "eval_runtime": 203.1105,
+      "eval_samples_per_second": 9.97,
+      "eval_steps_per_second": 0.625,
+      "step": 1600
+    },
+    {
+      "epoch": 1.678183613030602,
+      "grad_norm": 4.0268096923828125,
+      "learning_rate": 9.791590493601464e-06,
+      "loss": 0.1093,
+      "step": 1700
+    },
+    {
+      "epoch": 1.678183613030602,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6026071499111199,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9248469286984001,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8095496741062611,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8681117914280071,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7204789219182511,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7169305441908291,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7677587208908659,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6026071499111199,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09248469286984001,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.26984989136875365,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.1736223582856014,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6026071499111199,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9248469286984001,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8095496741062611,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8681117914280071,
+      "eval_loss": 0.1992715299129486,
+      "eval_runtime": 203.9449,
+      "eval_samples_per_second": 9.929,
+      "eval_steps_per_second": 0.623,
+      "step": 1700
+    },
+    {
+      "epoch": 1.7769002961500493,
+      "grad_norm": 0.6978006958961487,
+      "learning_rate": 9.060329067641682e-06,
+      "loss": 0.0795,
+      "step": 1800
+    },
+    {
+      "epoch": 1.7769002961500493,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.605816709460794,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9286984001580091,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8117222990321944,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8722101520837449,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7237388658743508,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7203004837460861,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7712328450315743,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.605816709460794,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09286984001580093,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2705740996773981,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17444203041674897,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.605816709460794,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9286984001580091,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8117222990321944,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8722101520837449,
+      "eval_loss": 0.19426828622817993,
+      "eval_runtime": 204.0488,
+      "eval_samples_per_second": 9.924,
+      "eval_steps_per_second": 0.622,
+      "step": 1800
+    },
+    {
+      "epoch": 1.8756169792694966,
+      "grad_norm": 2.5955662727355957,
+      "learning_rate": 8.329067641681902e-06,
+      "loss": 0.1181,
+      "step": 1900
+    },
+    {
+      "epoch": 1.8756169792694966,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6043353742840213,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9297847126209757,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8089077621963263,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8701362828362631,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7219374022367849,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7185761194661708,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7700958544922684,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6043353742840213,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09297847126209759,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2696359207321088,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17402725656725263,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6043353742840213,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9297847126209757,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8089077621963263,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8701362828362631,
+      "eval_loss": 0.20659147202968597,
+      "eval_runtime": 204.0716,
+      "eval_samples_per_second": 9.923,
+      "eval_steps_per_second": 0.622,
+      "step": 1900
+    },
+    {
+      "epoch": 1.9743336623889438,
+      "grad_norm": 0.8803901672363281,
+      "learning_rate": 7.597806215722121e-06,
+      "loss": 0.0709,
+      "step": 2000
+    },
+    {
+      "epoch": 1.9743336623889438,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.603199683981829,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9302784910132332,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8102903416946474,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8703831720323919,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7214873578820934,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7181931668908422,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7699451899898953,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.603199683981829,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09302784910132333,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.27009678056488245,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.1740766344064784,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.603199683981829,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9302784910132332,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8102903416946474,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8703831720323919,
+      "eval_loss": 0.19996753334999084,
+      "eval_runtime": 203.9747,
+      "eval_samples_per_second": 9.928,
+      "eval_steps_per_second": 0.623,
+      "step": 2000
+    },
+    {
+      "epoch": 2.073050345508391,
+      "grad_norm": 0.9776083827018738,
+      "learning_rate": 6.866544789762341e-06,
+      "loss": 0.0423,
+      "step": 2100
+    },
+    {
+      "epoch": 2.073050345508391,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6150503653960103,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9359075646849694,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8209065771281848,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8796168279676081,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7317976394363255,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.728681000348013,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7793256141306921,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6150503653960103,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09359075646849695,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.27363552570939487,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17592336559352165,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6150503653960103,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9359075646849694,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8209065771281848,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8796168279676081,
+      "eval_loss": 0.19277189671993256,
+      "eval_runtime": 203.5377,
+      "eval_samples_per_second": 9.949,
+      "eval_steps_per_second": 0.624,
+      "step": 2100
+    },
+    {
+      "epoch": 2.171767028627838,
+      "grad_norm": 0.3466501235961914,
+      "learning_rate": 6.13528336380256e-06,
+      "loss": 0.0365,
+      "step": 2200
+    },
+    {
+      "epoch": 2.171767028627838,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6160379221805253,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9352162749358088,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8210547106458621,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8787280268615445,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7324401240286031,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7293587895689079,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7796830803735836,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6160379221805253,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.0935216274935809,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2736849035486207,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17574560537230893,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6160379221805253,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9352162749358088,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8210547106458621,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8787280268615445,
+      "eval_loss": 0.2016632854938507,
+      "eval_runtime": 203.3562,
+      "eval_samples_per_second": 9.958,
+      "eval_steps_per_second": 0.625,
+      "step": 2200
+    },
+    {
+      "epoch": 2.270483711747285,
+      "grad_norm": 11.319628715515137,
+      "learning_rate": 5.40402193784278e-06,
+      "loss": 0.0488,
+      "step": 2300
+    },
+    {
+      "epoch": 2.270483711747285,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6060635986569227,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9303772466916848,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.810784120086905,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8715188623345842,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7233919610739875,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7200670950782208,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7713978686997449,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6060635986569227,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09303772466916849,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.27026137336230166,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17430377246691683,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6060635986569227,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9303772466916848,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.810784120086905,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8715188623345842,
+      "eval_loss": 0.2220190316438675,
+      "eval_runtime": 203.7981,
+      "eval_samples_per_second": 9.936,
+      "eval_steps_per_second": 0.623,
+      "step": 2300
+    },
+    {
+      "epoch": 2.3692003948667324,
+      "grad_norm": 1.2127763032913208,
+      "learning_rate": 4.672760511882998e-06,
+      "loss": 0.0405,
+      "step": 2400
+    },
+    {
+      "epoch": 2.3692003948667324,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.612482717756271,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9345249851866483,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8190302192376062,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8769010468101915,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7299302543873705,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7267631415592252,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7775318729565346,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.612482717756271,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09345249851866484,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.27301007307920205,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17538020936203833,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.612482717756271,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9345249851866483,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8190302192376062,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8769010468101915,
+      "eval_loss": 0.20903073251247406,
+      "eval_runtime": 204.2344,
+      "eval_samples_per_second": 9.915,
+      "eval_steps_per_second": 0.622,
+      "step": 2400
+    },
+    {
+      "epoch": 2.4679170779861797,
+      "grad_norm": 0.3473336398601532,
+      "learning_rate": 3.941499085923218e-06,
+      "loss": 0.0327,
+      "step": 2500
+    },
+    {
+      "epoch": 2.4679170779861797,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6181611692672329,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9379814339324511,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8215484890381197,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8832214102310882,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7347609073841157,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7317605707764854,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7821769875234544,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6181611692672329,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09379814339324512,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.27384949634603983,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17664428204621765,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6181611692672329,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9379814339324511,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8215484890381197,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8832214102310882,
+      "eval_loss": 0.1959671527147293,
+      "eval_runtime": 204.2804,
+      "eval_samples_per_second": 9.913,
+      "eval_steps_per_second": 0.622,
+      "step": 2500
+    },
+    {
+      "epoch": 2.566633761105627,
+      "grad_norm": 3.084174871444702,
+      "learning_rate": 3.210237659963437e-06,
+      "loss": 0.0369,
+      "step": 2600
+    },
+    {
+      "epoch": 2.566633761105627,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6188524590163934,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9379814339324511,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8248568042662453,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.882678253999605,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7355447502017791,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7324816047954649,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7827478877040044,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6188524590163934,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09379814339324513,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2749522680887484,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17653565079992103,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6188524590163934,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9379814339324511,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8248568042662453,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.882678253999605,
+      "eval_loss": 0.19852839410305023,
+      "eval_runtime": 203.3999,
+      "eval_samples_per_second": 9.956,
+      "eval_steps_per_second": 0.624,
+      "step": 2600
+    },
+    {
+      "epoch": 2.665350444225074,
+      "grad_norm": 0.2841149568557739,
+      "learning_rate": 2.4789762340036565e-06,
+      "loss": 0.0493,
+      "step": 2700
+    },
+    {
+      "epoch": 2.665350444225074,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6227039304760024,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9392652577523207,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8246099150701165,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8839126999802489,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7377982498848669,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7347973078888687,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7847760881684369,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6227039304760024,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.0939265257752321,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2748699716900388,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.1767825399960498,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6227039304760024,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9392652577523207,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8246099150701165,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8839126999802489,
+      "eval_loss": 0.1986970454454422,
+      "eval_runtime": 203.1067,
+      "eval_samples_per_second": 9.97,
+      "eval_steps_per_second": 0.625,
+      "step": 2700
+    },
+    {
+      "epoch": 2.7640671273445214,
+      "grad_norm": 35.21987533569336,
+      "learning_rate": 1.7477148080438758e-06,
+      "loss": 0.0466,
+      "step": 2800
+    },
+    {
+      "epoch": 2.7640671273445214,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6232964645467114,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9393640134307722,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8262887616037922,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8854434129962473,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7388327302504635,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7358363978944812,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7856277834747031,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6232964645467114,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09393640134307724,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2754295872012641,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17708868259924945,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6232964645467114,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9393640134307722,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8262887616037922,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8854434129962473,
+      "eval_loss": 0.20075508952140808,
+      "eval_runtime": 203.5383,
+      "eval_samples_per_second": 9.949,
+      "eval_steps_per_second": 0.624,
+      "step": 2800
+    },
+    {
+      "epoch": 2.8627838104639682,
+      "grad_norm": 1.2376320362091064,
+      "learning_rate": 1.0164533820840951e-06,
+      "loss": 0.03,
+      "step": 2900
+    },
+    {
+      "epoch": 2.8627838104639682,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.6220620185660676,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9396109026269011,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8248568042662453,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8844558562117322,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7376002793094979,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7346429237637674,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7847496074277119,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.6220620185660676,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09396109026269013,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2749522680887484,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17689117124234646,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.6220620185660676,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9396109026269011,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8248568042662453,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8844558562117322,
+      "eval_loss": 0.2035462111234665,
+      "eval_runtime": 202.781,
+      "eval_samples_per_second": 9.986,
+      "eval_steps_per_second": 0.626,
+      "step": 2900
+    },
+    {
+      "epoch": 2.9615004935834155,
+      "grad_norm": 0.5317863821983337,
+      "learning_rate": 2.8519195612431445e-07,
+      "loss": 0.0633,
+      "step": 3000
+    },
+    {
+      "epoch": 2.9615004935834155,
+      "eval_custom_dataset_evaluation_cosine_accuracy@1": 0.621963262887616,
+      "eval_custom_dataset_evaluation_cosine_accuracy@10": 0.9401046810191586,
+      "eval_custom_dataset_evaluation_cosine_accuracy@3": 0.8262393837645665,
+      "eval_custom_dataset_evaluation_cosine_accuracy@5": 0.8843077226940549,
+      "eval_custom_dataset_evaluation_cosine_map@100": 0.7376242387041089,
+      "eval_custom_dataset_evaluation_cosine_mrr@10": 0.7346985522104195,
+      "eval_custom_dataset_evaluation_cosine_ndcg@10": 0.7849111131501391,
+      "eval_custom_dataset_evaluation_cosine_precision@1": 0.621963262887616,
+      "eval_custom_dataset_evaluation_cosine_precision@10": 0.09401046810191586,
+      "eval_custom_dataset_evaluation_cosine_precision@3": 0.2754131279215221,
+      "eval_custom_dataset_evaluation_cosine_precision@5": 0.17686154453881098,
+      "eval_custom_dataset_evaluation_cosine_recall@1": 0.621963262887616,
+      "eval_custom_dataset_evaluation_cosine_recall@10": 0.9401046810191586,
+      "eval_custom_dataset_evaluation_cosine_recall@3": 0.8262393837645665,
+      "eval_custom_dataset_evaluation_cosine_recall@5": 0.8843077226940549,
+      "eval_loss": 0.20363624393939972,
+      "eval_runtime": 203.946,
+      "eval_samples_per_second": 9.929,
+      "eval_steps_per_second": 0.623,
+      "step": 3000
+    }
+  ],
+  "logging_steps": 100,
+  "max_steps": 3039,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 3,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 16,
+  "trial_name": null,
+  "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a94c44eb80a75a6bf64112fe418a0d995105175028bb9a26b141abd8ec356d2e
+size 5560