Hugging Face's logo

x1saint
/
gte-small-tr

Sentence Similarity
sentence-transformers
Safetensors
Turkish
bert
feature-extraction
Generated from Trainer
dataset_size:1416892
loss:SoftmaxLoss
loss:CoSENTLoss
Eval Results
text-embeddings-inference
Model card Files
xet
Community

SentenceTransformer based on Supabase/gte-small

This is a sentence-transformers model finetuned from Supabase/gte-small on the all-nli-pair-class, stsb and x1saint datasets. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: Supabase/gte-small
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 384 dimensions
  • Similarity Function: Cosine Similarity
  • Training Datasets:
  • Language: tr

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("x1saint/gte-small-tr")
# Run inference
sentences = [
    'answers-forums',
    '2015',
    '1017',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

Metric Value
pearson_cosine 0.427
spearman_cosine 0.4347

Training Details

Training Datasets

all-nli-pair-class

  • Dataset: all-nli-pair-class at 67baa14
  • Size: 474,283 training samples
  • Columns: premise, hypothesis, and label
  • Approximate statistics based on the first 1000 samples:
    premise hypothesis label
    type string string int
    details
    • min: 19 tokens
    • mean: 419.29 tokens
    • max: 512 tokens
    • min: 40 tokens
    • mean: 401.34 tokens
    • max: 512 tokens
    • 0: ~40.80%
    • 1: ~42.60%
    • 2: ~16.60%
  • Samples:
    premise hypothesis label
    Davacı tarafından davalı aleyhine açılan İtirazın İptali davasının mahkememizde yapılan açık yargılaması sonunda dosya incelendi. AÇILAN DAVA VE İDDİA :Davacı vekilinin dava dilekçesinde özetle; Müvekkilinin EPDK'dan (Enerji Piyasası DenetlemeKurumu) aldığı onay ile Eylül 2012 den bu yana tüm Türkiye'de elektrik enerjisi tedariki ve toptan satış hizmeti sunduğunu, davalıdan da davacı şirket ile akdettiği sözleşmeye binaen müvekkili şirkketten satın aldığı elektrik ödemelerini aksattıığı düzenlenen faturaları ödemedğinden temerrüde düştüğünü, davacı tarafından defalarca uyarılmasına rağmen de borcunu ödemedeğini bunün üzerine müvekkili İstanbul ... İcra müdürlüğünün ... Esas sayılı dosyasıda ilamsız icra takibi başlattığını davalının borca kötü niyetli olarak itiraz ettiğini ve takibin durduğunu itirazın iptali ile takibin devamına davalı hakkında haksız ve kötü niyetli irizları nedeniyle %20 den aşağı olmamak üzere icra inkar tazminatına hükmedilmesine ve yargılama gideri ile vekale... Davacı vekili dava dilekçesinde özetle;Müvekkili ...'a karşı halihazırda 17/07/2018'de açılmış .... İcra Dairesi'nde ... Esas Sayılı dosya ile devam eden bir icra dosyası bulunduğunu, bu icra dosyası kapsamında 12/11/2018'den beri müvekkilinin maaşına haciz uygulandığını, dosya ödeme emrinde dosyanın dayanağı, "(Kredi kartı borcu) .... İcra-... Esas dosyalarından kaynaklanan alacağın takipte ve tahsilde tekerrür olmamak üzere tahsili talebidir." şeklinde yazıldığını, müvekkili ...'ın, 2003 yılında kimliğinin çalınarak bazı bankacılık ve telefon işlemlerinde kullanıldığını, adına kredi çekildiğini, kredi kartı çıkarıldığını, telefon hattı açıldığını ve o dönemde bu konuda şikayette bulunduğunu, ... Cumhuriyet Başsavcılığı'nca 28/01/2004 suç tarihli ... soruşturma numaralı dosyasına ulaşıldığını, bu dosyada, müvekkilinin şüpheli olarak görünmekte iken şikayetçi ...A.Ş.' olduğunu, yapılan soruşturma sonucunda gerçek şüpheli şahısların ortaya çıkarılamadığı, fakat müvekkilinin suçlu olmad... 0
    Davacı vekili dava dilekçesinde özetle; müvekkili şirket tarafından,----işbu sözleşmeye istinaden düzenlenen ---- ait alüminyum levha emtiasının, davalı taşıyıcı şirket tarafından, ---- tarihinde, dava dışı sigortalı firmanın ------ fabrikasından yüklenildiğini, davalı taşıyıcı firmanın sorumluluğunda, --- nakli gerçekleşen toplam ---; net ağırlığı --- uygun ambalajlar ile nakledilen emtiaların, gümrük işlemleri sonrası--- alıcı şirket tarafından --- tarihinde teslim alındığı ancak teslim esnasında ------paket no’lu levhaların ıslanması sebebi ile emtianın hasara uğramış olduğu tespit edilerek taşıma senedine ihtirazi kayıt düşüldüğü ve bu levhaların hurda edilmek üzere ayrıldığını, davalı taşıyıcı şirketin sorumluluk sahasında gerçekleşen işbu hasar sonrası, bağımsız ve uzman eksper tarafından yapılan incelemelere istinaden tanzim edilmiş olan ekspertiz raporunda; hasar nedeninin, emtianın taşıyıcının sorumluluğunda bulunduğu esnada ıslanarak hasara uğramış olmasından, ıslanan paketi... Davacı vekili dava dilekçesinde özetle; Müvekkili------- ------------- tarihinde davalının------ aracın çarpması nedeniyle hasara uğradığını, meydana gelen kazada davalının %100 kusurlu olduğunu, müvekkili şirket tarafından zarar gören araç için ------ hasar tazminatı ödendiğini, yapılan incelemeler neticesinde davalının sigortacısı olduğu aracın kusurlu olduğunun tespit edildiğini, kaza neticesinde ------ aracın ---- geldiğini, buna göre aracın piyasa değerinin tespit edildiğini ve tespit edilen değerin ------------ tarafından, kalan ------ ise -----tarafından ödendiğini, ayrıca, -----aracın hasarı sırasında ------ kırılması,---- durdurulamaması nedeniyle ------- hasarın tespitinin de ayrıca gerekli hale geldiğini, bu nedenle müvekkili --------- hasarının tespiti için---------------nedeniyle-------- daha ödendiğini, davalının, kusurlu --------------- nedeniyle davalı tarafa başvurulduğunu, davalı tarafın --------- hiçbir gerekçesi olmaksızın ödemediğini, müvekkili şirket tarafından 1.... 1
    Davacı vekili dava dilekçesinde özetle, müvekkili şirketin keşidecisi olduğu ----------------- Taşdelen Şubesine ait, ---- seri numaralı, 17.02.2019 vade tarihli, 50.000,00-TL bedelli çeki lehtara vermek üzere hazırlandığını ancak müvekkili şirket yetkilisinin cüzdanını kaybetmesi suretiyle çeklerin zayi olduğunu, söz konusu çeklerin kötü niyetli üçüncü kişilerin eline geçmesi halinde müvekkilinin mağdur olacağını, bu nedenle ödemeden men talimatı verilmesini ve zayi edilen çekin iptaline dair karar verilmesini talep ve dava etmiştir. Davacı vekili dava dilekçesinde özetle; ... plakalı araç ... sayılı Genişletilmiş Kasko Sigortası Poliçesi ile müvekkili şirkete, sigortalı olduğunu, hadisenin, 14/06/2017 tarihinde ... plakalı aracın ... ... ... yolu üzerinde seyir halinde iken önünde seyir halinde bulunan sigortalı ... plakalı aracın trafik nedeniyle duraksaması nedeniyle duramayarak çarpması akabinde sigortalı ... plakalı aracın önünde seyir halinde bulunan ... plakalı araca, onun da önünde seyir halinde bulunan ... plakalı araca arkadan çarpması ve bu araçların sırasıyla ... aracın arkaya ... plakalı araca onun da duramayarak ... plakalı araca arkadan çarpması neticesinde çoklu maddi hasarlı trafik kazası meydana gelmiştir, Davalı/Borçlu ... sigortalısı olan ... plakalı aracın, müvekkil şirket sigortalısı olan ... Plakalı araca çarpması neticesinde maddi hasar aldığını, sigortalının, yapmış olduğu başvuru neticesinde Hasar gören sigortalı araca yaptırılan ekspertiz incelemesi sonucunda aracın hasarlı olduğunun tesp... 0
  • Loss: SoftmaxLoss

stsb

  • Dataset: stsb at daeabfb
  • Size: 941,086 training samples
  • Columns: sentence1, sentence2, and score
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 score
    type string string float
    details
    • min: 5 tokens
    • mean: 47.0 tokens
    • max: 301 tokens
    • min: 4 tokens
    • mean: 25.29 tokens
    • max: 103 tokens
    • min: 0.0
    • mean: 0.48
    • max: 1.0
  • Samples:
    sentence1 sentence2 score
    Kavramsal olarak krem kaymağının iki temel boyutu vardır - ürün ve coğrafya. Ürün ve coğrafya krem kaymağını işe yarıyor. 0.5
    Mevsim boyunca ve sanırım senin seviyendeyken onları bir sonraki seviyeye düşürürsün. Eğer ebeveyn takımını çağırmaya karar verirlerse Braves üçlü A'dan birini çağırmaya karar verirlerse çifte bir adam onun yerine geçmeye gider ve bekar bir adam gelir. Eğer insanlar hatırlarsa, bir sonraki seviyeye düşersin. 1.0
    Numaramızdan biri talimatlarınızı birazdan yerine getirecektir. Ekibimin bir üyesi emirlerinizi büyük bir hassasiyetle yerine getirecektir. 1.0
  • Loss: CoSENTLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

x1saint

  • Dataset: x1saint at 85ac563
  • Size: 1,523 training samples
  • Columns: sentence1, sentence2, and score
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 score
    type string string float
    details
    • min: 5 tokens
    • mean: 42.14 tokens
    • max: 353 tokens
    • min: 5 tokens
    • mean: 40.23 tokens
    • max: 172 tokens
    • min: 0.0
    • mean: 0.69
    • max: 1.0
  • Samples:
    sentence1 sentence2 score
    George Orwell, 1903 yılında Hindistan'ın Bengal bölgesinde doğdu. George Orwell, Montihari şehrinde doğmuştur. 0.8
    Orwell, Eton College'de eğitimini tamamladı. Orwell öğrenimini Eton College'de bitirdi. 1.0
    George Orwell, İngiltere yönetimine karşı çıkarak Hindistan Polisi görevinden istifa etti. Orwell, İmparatorluk yönetiminin iç yüzünü görünce istifayı tercih etti. 0.8
  • Loss: CoSENTLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

Evaluation Datasets

all-nli-pair-class

  • Dataset: all-nli-pair-class at 67baa14
  • Size: 5,000 evaluation samples
  • Columns: premise, hypothesis, and label
  • Approximate statistics based on the first 1000 samples:
    premise hypothesis label
    type string string int
    details
    • min: 74 tokens
    • mean: 420.94 tokens
    • max: 512 tokens
    • min: 43 tokens
    • mean: 406.85 tokens
    • max: 512 tokens
    • 0: ~44.30%
    • 1: ~39.00%
    • 2: ~16.70%
  • Samples:
    premise hypothesis label
    Davacı vekili dava dilekçesinde özetle; Davacı şirketin taşıyan sıfatıyla davalı şirkete ait yükü kendisi ile yapılan taşıma sözleşmesi uyarınca ... Limanından ... tarihinde yükleyerek .../ ... Limanı’na taşıdığını ve yükü ihtiva eden 3 adet konteyneri liman sahasına kapalı ve mühürlü olarak ... tarihinde gemiden tahliye ettiğini, ... numaralı konişmentoda belirtildiği üzere, söz konusu deniz taşıma işinde davacı şirkete ait ‘...’ numaralı 3 adet konteynerin kullanıldığını, taşıma konusu yüklere ilişkin varış ihbarlarının düzenlendiğini ve yüklerin tahliye edildiğini, bugüne dek söz konusu yüklerin teslim alınmadığını, yüklerin konişmentolarda öngörülen süre içerisinde gönderilen tarafından teslim alınmaması nedeniyle, davacı şirket tarafından yapılan bütün iyiniyetli girişimlerin sonuçsuz kaldığını, aradan geçen yaklaşık 11 aylık süre zarfında yükün teslim alınmadığını, konteynerlerin tahliye edilmediğini, konteynerlerin tahliye edilmemesi üzerine davacı taşıyan şirket çalışanı tarafı... Davacı vekili dava dilekçesinde özetle; Davalı tarafın taşıyan müvekkili ... A/Ş vasıtası ile ... numaralı konişmento tahtında ... numaralı 1 adet 40'lık REEFER tip konteyner muhteviyatı yükünü Hindistan'ın Cochin Limanından Gemlik Limanı' na denizyolu ile taşıttığını, bu taşımalarda davalı yanın ithalatçı ve taşımaya ilişkin konişmentoya göre yük alıcısı konumunda olduğunu, davalının ithalatçısı ve yük alıcısı olduğu ... numaralı konişmento tahtında taşınan 1 adet 40 'lık reefer konteynerin yükleme limanı olan Hindistan' in Cochin Limanı' nda 11.07.2017 tarihinde gemiye yüklendiğini ve 28.08.2017 tarihinde Gemlik ... Limanı' nda gemiden tahliye edildiğini, davalının ... numaralı konişmento tahtında taşman emtiaları tahliye limanı olan Gemlik Limanı' na ulaşmadan önce davalıya bir örneği delil listelerinde sunulan "..." yani "Varış İhbarnamesi" gönderildiği ve davalının yükünün 28.08.2017 tarihinde Gemlik Limanı' na ulaşacağının ihbar edildiğini, tahliye limanındaki konteyner muhtevi... 1
    Davacı vekili dava dilekçesinde özetle; Davacı ... A.Ş.'nin 1986 yılından beri Irak piyasasında iş yapan ve gerek iş ahlakı ve gerekse dürüstlüğüyle tanınan ve dolayısıyla Irak'ta yapılacak yeni bir iş olduğunda, ilk haberdar edilen bir firma olduğunu, 1989 yılında da İrak'a daimi ofisini açtığını, 2001 yılında ilgili bakanlığın davacı şirketten Saf Bakır Şerit talebinde bulunduğunu, davacının da bunu temin etmek için davalı şirketle ilişki kurduğunu, davalı şirketin Irak'ın talep ettiği spesifikasyonda mal üretecek araca sahip bulunmadığını beyan etmesi üzerine, davacı şirketin bu konuda da yardımcı olduğunu ve üretimi gerçekleştirecek makinelerin davalı tarafından teminine hem teknolojik bilgi ve hem de maddi katkıda bulunduğunu, böylelikle ilk olarak 2002 yılında, davalının ürettiği malların davacı şirket tarafından Irak'a pazarlandığını, bu arada Amerika Irak'ı istila edince, ilişkilerin bir süre askıda kaldığını ve nihayet 2006 yılında Irak Sanayi Bakanlığı'nın davacı şirketi yen... Haksız rekabete ilişkin
    bu Kısım hükümlerinin amacı, bütün katılanların menfaatine, dürüst ve bozulmamış
    rekabetin sağlanmasıdır.Rakipler arasında veya tedarik edenlerle müşteriler
    arasındaki ilişkileri etkileyen aldatıcı veya dürüstlük kuralına diğer şekillerdeki
    aykırı davranışlar ile ticari uygulamalar haksız ve hukuka aykırıdır.    		 2
    Davacı vekili dava dilekçesinde özetle; Müvekkili şirketin perakende sektöründe ağırlıklı olarak elektronik cihazların satışı işiyle iştigal ettiğini ve tüketiciler tarafından çeşitli şikayetlerle kendisine teslim edilen ürünleri, teknik servis olarak faaliyet gösteren belirli şirketlere onarım için yönlendirdiğini, bu lojistik faaliyetlerin zaman zaman, kargo şirketi olarak faaliyet gösteren davalı taraf ile gerçekleştirildiğini, ... A.Ş.'nin, müvekkili şirketin ticari ilişkileri kapsamında belirli ürünlerini teslim ettiği bir yetkili teknik servis olarak faaliyet gösterdiğini ve belirli cihazları onarım için teslim aldıktan sonra yine müvekkili şirkete teslim ettiğini, bu operasyonların dış lojistik tarafının da ...'nin anlaşmalı olduğu kargo şirketi olan davalı taraf ile gerçekleştirildiğini, bu ticari ilişki sebebi ile yedi adet cep telefonun da onarım için ...’ne gönderildiğini ve ...’nde işleme tabi tutulan 7 adet telefonların gönderici sıfatı ile ... tarafından müvekkili şirket... Zarara, kasten veya
    pervasızca bir davranışla ve böyle bir zararın meydana gelmesi ihtimalinin bilinciyle
    işlenmiş bir fiilinin veya ihmalinin sebebiyet verdiği ispat edilen taşıyıcı veya
    879 uncu maddede belirtilen kişiler, bu Kısımda öngörülen sorumluluktan kurtulma
    hâllerinden ve sorumluluk sınırlamalarından yararlanamaz.    		 2
  • Loss: SoftmaxLoss

stsb

  • Dataset: stsb at bb7685b
  • Size: 1,500 evaluation samples
  • Columns: sentence1, sentence2, and score
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 score
    type string string float
    details
    • min: 4 tokens
    • mean: 45.29 tokens
    • max: 304 tokens
    • min: 6 tokens
    • mean: 24.86 tokens
    • max: 92 tokens
    • min: 0.0
    • mean: 0.5
    • max: 1.0
  • Samples:
    sentence1 sentence2 score
    Yeni haklar yeterince güzel. Herkes gerçekten en yeni faydaları seviyor 0.5
    Bu site, tüm ödül kazananların bir listesini ve Hükümet Yönetici makalelerinin aranabilir bir veritabanını içerir. Web sitesinde yer alan Hükümet Yürütme makaleleri aranamaz. 0.0
    Bilemiyorum. Onunla ilgili karışık duygularım var. Bazen ondan hoşlanıyorum ama aynı zamanda birisinin onu dövmesini görmeyi seviyorum. Çoğunlukla ondan hoşlanıyorum, ama yine de birinin onu dövdüğünü görmekten zevk alıyorum. 1.0
  • Loss: CoSENTLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

x1saint

  • Dataset: x1saint at bb7685b
  • Size: 1,500 evaluation samples
  • Columns: sentence1, sentence2, and score
  • Approximate statistics based on the first 1000 samples:
    sentence1 sentence2 score
    type string string float
    details
    • min: 4 tokens
    • mean: 45.29 tokens
    • max: 304 tokens
    • min: 6 tokens
    • mean: 24.86 tokens
    • max: 92 tokens
    • min: 0.0
    • mean: 0.5
    • max: 1.0
  • Samples:
    sentence1 sentence2 score
    Yeni haklar yeterince güzel. Herkes gerçekten en yeni faydaları seviyor 0.5
    Bu site, tüm ödül kazananların bir listesini ve Hükümet Yönetici makalelerinin aranabilir bir veritabanını içerir. Web sitesinde yer alan Hükümet Yürütme makaleleri aranamaz. 0.0
    Bilemiyorum. Onunla ilgili karışık duygularım var. Bazen ondan hoşlanıyorum ama aynı zamanda birisinin onu dövmesini görmeyi seviyorum. Çoğunlukla ondan hoşlanıyorum, ama yine de birinin onu dövdüğünü görmekten zevk alıyorum. 1.0
  • Loss: CoSENTLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • learning_rate: 1e-06
  • num_train_epochs: 1
  • warmup_ratio: 0.1
  • fp16: True

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 1e-06
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional

Training Logs

Click to expand
Epoch Step Training Loss all-nli-pair-class loss stsb loss x1saint loss sts-dev_spearman_cosine
0.0011 100 3.5189 - - - -
0.0023 200 3.0711 - - - -
0.0011 100 3.5187 - - - -
0.0023 200 3.0709 - - - -
0.0034 300 3.2458 - - - -
0.0045 400 3.1891 - - - -
0.0056 500 3.3556 - - - -
0.0068 600 3.4514 - - - -
0.0079 700 3.2443 - - - -
0.0090 800 3.2109 - - - -
0.0102 900 3.4956 - - - -
0.0113 1000 3.4255 1.0730 4.5456 4.5456 0.2466
0.0124 1100 3.1637 - - - -
0.0136 1200 3.2261 - - - -
0.0147 1300 3.3524 - - - -
0.0158 1400 3.4991 - - - -
0.0169 1500 3.5157 - - - -
0.0181 1600 3.5079 - - - -
0.0192 1700 3.2644 - - - -
0.0203 1800 3.2737 - - - -
0.0215 1900 3.5461 - - - -
0.0226 2000 3.6754 1.0257 4.5012 4.5012 0.2563
0.0237 2100 3.414 - - - -
0.0248 2200 3.0237 - - - -
0.0260 2300 3.383 - - - -
0.0271 2400 3.2955 - - - -
0.0282 2500 3.0388 - - - -
0.0294 2600 3.2 - - - -
0.0305 2700 3.3309 - - - -
0.0316 2800 3.0292 - - - -
0.0327 2900 2.9697 - - - -
0.0339 3000 2.8957 0.9897 4.4610 4.4610 0.2651
0.0350 3100 3.3987 - - - -
0.0361 3200 3.0995 - - - -
0.0373 3300 3.1995 - - - -
0.0384 3400 3.4175 - - - -
0.0395 3500 3.1195 - - - -
0.0407 3600 3.1149 - - - -
0.0418 3700 3.2614 - - - -
0.0429 3800 3.3849 - - - -
0.0440 3900 3.3391 - - - -
0.0452 4000 3.1803 0.9553 4.4195 4.4195 0.2719
0.0463 4100 3.0133 - - - -
0.0474 4200 3.3885 - - - -
0.0486 4300 3.132 - - - -
0.0497 4400 3.2 - - - -
0.0508 4500 3.3284 - - - -
0.0519 4600 3.1747 - - - -
0.0531 4700 3.1531 - - - -
0.0542 4800 3.3195 - - - -
0.0553 4900 3.0077 - - - -
0.0565 5000 2.7127 0.8501 4.3839 4.3839 0.2808
0.0576 5100 3.2574 - - - -
0.0587 5200 3.3916 - - - -
0.0598 5300 3.0803 - - - -
0.0610 5400 3.3637 - - - -
0.0621 5500 3.4361 - - - -
0.0632 5600 3.4658 - - - -
0.0644 5700 3.1167 - - - -
0.0655 5800 3.3059 - - - -
0.0666 5900 3.1765 - - - -
0.0678 6000 3.2381 0.7268 4.3579 4.3579 0.2943
0.0689 6100 3.0319 - - - -
0.0700 6200 3.2476 - - - -
0.0711 6300 2.9789 - - - -
0.0723 6400 3.1056 - - - -
0.0734 6500 3.2808 - - - -
0.0745 6600 2.9506 - - - -
0.0757 6700 2.8923 - - - -
0.0768 6800 3.0534 - - - -
0.0779 6900 3.0781 - - - -
0.0790 7000 3.3438 0.6398 4.3437 4.3437 0.3081
0.0802 7100 3.2635 - - - -
0.0813 7200 3.2018 - - - -
0.0824 7300 2.8889 - - - -
0.0836 7400 3.4046 - - - -
0.0847 7500 3.4731 - - - -
0.0858 7600 3.1368 - - - -
0.0869 7700 2.9244 - - - -
0.0881 7800 3.1948 - - - -
0.0892 7900 3.2156 - - - -
0.0903 8000 2.9844 0.5916 4.3358 4.3358 0.3234
0.0915 8100 2.8774 - - - -
0.0926 8200 2.5593 - - - -
0.0937 8300 2.8402 - - - -
0.0949 8400 3.0853 - - - -
0.0960 8500 3.2655 - - - -
0.0971 8600 3.1169 - - - -
0.0982 8700 3.2144 - - - -
0.0994 8800 2.8349 - - - -
0.1005 8900 2.9291 - - - -
0.1016 9000 2.7601 0.5400 4.3210 4.3210 0.3397
0.1028 9100 2.8425 - - - -
0.1039 9200 3.0608 - - - -
0.1050 9300 3.1085 - - - -
0.1061 9400 2.9238 - - - -
0.1073 9500 2.9525 - - - -
0.1084 9600 3.3401 - - - -
0.1095 9700 2.9262 - - - -
0.1107 9800 3.1004 - - - -
0.1118 9900 2.5464 - - - -
0.1129 10000 3.1688 0.4847 4.3110 4.3110 0.3512
0.1141 10100 3.1941 - - - -
0.1152 10200 3.0643 - - - -
0.1163 10300 2.8023 - - - -
0.1174 10400 3.3176 - - - -
0.1186 10500 3.162 - - - -
0.1197 10600 3.0185 - - - -
0.1208 10700 3.0583 - - - -
0.1220 10800 3.2895 - - - -
0.1231 10900 2.8879 - - - -
0.1242 11000 3.135 0.4262 4.3080 4.3080 0.3620
0.1253 11100 3.1176 - - - -
0.1265 11200 3.0155 - - - -
0.1276 11300 3.0035 - - - -
0.1287 11400 3.0159 - - - -
0.1299 11500 2.8225 - - - -
0.1310 11600 2.9968 - - - -
0.1321 11700 2.9152 - - - -
0.1332 11800 3.0774 - - - -
0.1344 11900 3.2168 - - - -
0.1355 12000 2.7994 0.3985 4.2907 4.2907 0.3715
0.1366 12100 3.1756 - - - -
0.1378 12200 3.3252 - - - -
0.1389 12300 3.0435 - - - -
0.1400 12400 3.0718 - - - -
0.1412 12500 3.121 - - - -
0.1423 12600 3.2819 - - - -
0.1434 12700 3.0131 - - - -
0.1445 12800 3.3347 - - - -
0.1457 12900 3.228 - - - -
0.1468 13000 2.9512 0.3903 4.2888 4.2888 0.3793
0.1479 13100 3.0776 - - - -
0.1491 13200 2.9721 - - - -
0.1502 13300 2.8265 - - - -
0.1513 13400 2.9286 - - - -
0.1524 13500 2.7661 - - - -
0.1536 13600 2.8168 - - - -
0.1547 13700 3.1262 - - - -
0.1558 13800 3.1392 - - - -
0.1570 13900 3.1336 - - - -
0.1581 14000 3.1258 0.3315 4.2807 4.2807 0.3860
0.1592 14100 3.0987 - - - -
0.1603 14200 2.7666 - - - -
0.1615 14300 3.0599 - - - -
0.1626 14400 3.1154 - - - -
0.1637 14500 3.1234 - - - -
0.1649 14600 3.025 - - - -
0.1660 14700 3.0224 - - - -
0.1671 14800 2.922 - - - -
0.1683 14900 2.7217 - - - -
0.1694 15000 2.7902 0.3253 4.2890 4.2890 0.3908
0.1705 15100 3.2199 - - - -
0.1716 15200 3.1018 - - - -
0.1728 15300 2.6536 - - - -
0.1739 15400 3.0888 - - - -
0.1750 15500 2.728 - - - -
0.1762 15600 3.0917 - - - -
0.1773 15700 2.9809 - - - -
0.1784 15800 2.9921 - - - -
0.1795 15900 3.1358 - - - -
0.1807 16000 3.1537 0.3201 4.2816 4.2816 0.3950
0.1818 16100 3.0497 - - - -
0.1829 16200 3.014 - - - -
0.1841 16300 2.7652 - - - -
0.1852 16400 2.809 - - - -
0.1863 16500 3.138 - - - -
0.1874 16600 2.7983 - - - -
0.1886 16700 2.9568 - - - -
0.1897 16800 2.9604 - - - -
0.1908 16900 3.1076 - - - -
0.1920 17000 3.0263 0.2751 4.2702 4.2702 0.4003
0.1931 17100 3.0295 - - - -
0.1942 17200 3.1564 - - - -
0.1954 17300 2.8307 - - - -
0.1965 17400 3.1378 - - - -
0.1976 17500 3.0607 - - - -
0.1987 17600 2.8302 - - - -
0.1999 17700 2.8098 - - - -
0.2010 17800 3.4055 - - - -
0.2021 17900 2.7756 - - - -
0.2033 18000 3.0922 0.2955 4.2613 4.2613 0.4060
0.2044 18100 3.161 - - - -
0.2055 18200 3.3236 - - - -
0.2066 18300 2.6951 - - - -
0.2078 18400 2.9456 - - - -
0.2089 18500 2.7356 - - - -
0.2100 18600 3.0398 - - - -
0.2112 18700 2.9493 - - - -
0.2123 18800 2.9966 - - - -
0.2134 18900 3.3613 - - - -
0.2146 19000 2.9626 0.2534 4.2668 4.2668 0.4097
0.2157 19100 3.0809 - - - -
0.2168 19200 2.9583 - - - -
0.2179 19300 2.9046 - - - -
0.2191 19400 3.4546 - - - -
0.2202 19500 3.2281 - - - -
0.2213 19600 2.8041 - - - -
0.2225 19700 2.7885 - - - -
0.2236 19800 2.9419 - - - -
0.2247 19900 2.9497 - - - -
0.2258 20000 2.8604 0.2315 4.2608 4.2608 0.4136
0.2270 20100 2.897 - - - -
0.2281 20200 3.0587 - - - -
0.2292 20300 2.9539 - - - -
0.2304 20400 3.0268 - - - -
0.2315 20500 2.5965 - - - -
0.2326 20600 2.5413 - - - -
0.2337 20700 2.975 - - - -
0.2349 20800 2.8803 - - - -
0.2360 20900 2.8471 - - - -
0.2371 21000 2.8503 0.2041 4.2626 4.2626 0.4157
0.2383 21100 3.0019 - - - -
0.2394 21200 2.8871 - - - -
0.2405 21300 2.8686 - - - -
0.2417 21400 3.0021 - - - -
0.2428 21500 2.9747 - - - -
0.2439 21600 2.8709 - - - -
0.2450 21700 3.0914 - - - -
0.2462 21800 3.2664 - - - -
0.2473 21900 2.7196 - - - -
0.2484 22000 3.1535 0.2467 4.2663 4.2663 0.4176
0.2496 22100 2.8622 - - - -
0.2507 22200 2.9969 - - - -
0.2518 22300 2.53 - - - -
0.2529 22400 2.4632 - - - -
0.2541 22500 3.1082 - - - -
0.2552 22600 2.5799 - - - -
0.2563 22700 2.8729 - - - -
0.2575 22800 2.8414 - - - -
0.2586 22900 2.8917 - - - -
0.2597 23000 2.6811 0.2159 4.2583 4.2583 0.4209
0.2608 23100 3.0415 - - - -
0.2620 23200 2.8393 - - - -
0.2631 23300 3.2675 - - - -
0.2642 23400 2.8109 - - - -
0.2654 23500 3.2762 - - - -
0.2665 23600 3.0291 - - - -
0.2676 23700 3.0371 - - - -
0.2688 23800 2.5999 - - - -
0.2699 23900 3.1188 - - - -
0.2710 24000 2.548 0.2729 4.2453 4.2453 0.4242
0.2721 24100 2.8282 - - - -
0.2733 24200 2.872 - - - -
0.2744 24300 2.6728 - - - -
0.2755 24400 3.229 - - - -
0.2767 24500 2.6548 - - - -
0.2778 24600 2.9694 - - - -
0.2789 24700 2.6256 - - - -
0.2800 24800 3.0095 - - - -
0.2812 24900 3.2991 - - - -
0.2823 25000 2.7506 0.2124 4.2584 4.2584 0.4249
0.2834 25100 2.7212 - - - -
0.2846 25200 3.1904 - - - -
0.2857 25300 2.9579 - - - -
0.2868 25400 3.0365 - - - -
0.2880 25500 3.053 - - - -
0.2891 25600 2.9033 - - - -
0.2902 25700 2.6707 - - - -
0.2913 25800 2.8541 - - - -
0.2925 25900 3.047 - - - -
0.2936 26000 2.5607 0.2063 4.2468 4.2468 0.4281
0.2947 26100 2.9208 - - - -
0.2959 26200 2.8091 - - - -
0.2970 26300 3.5143 - - - -
0.2981 26400 2.5564 - - - -
0.2992 26500 2.8665 - - - -
0.3004 26600 2.5691 - - - -
0.3015 26700 2.5526 - - - -
0.3026 26800 2.7084 - - - -
0.3038 26900 3.1267 - - - -
0.3049 27000 2.4162 0.1569 4.2439 4.2439 0.4296
0.3060 27100 2.5168 - - - -
0.3071 27200 3.0819 - - - -
0.3083 27300 3.0642 - - - -
0.3094 27400 3.2743 - - - -
0.3105 27500 2.7929 - - - -
0.3117 27600 2.8661 - - - -
0.3128 27700 2.9403 - - - -
0.3139 27800 2.8967 - - - -
0.3151 27900 2.8949 - - - -
0.3162 28000 2.9087 0.1647 4.2450 4.2450 0.4316
0.3173 28100 2.7417 - - - -
0.3184 28200 3.0461 - - - -
0.3196 28300 2.747 - - - -
0.3207 28400 2.8057 - - - -
0.3218 28500 3.0305 - - - -
0.3230 28600 3.1517 - - - -
0.3241 28700 2.9611 - - - -
0.3252 28800 2.7057 - - - -
0.3263 28900 2.5268 - - - -
0.3275 29000 2.9869 0.2016 4.2455 4.2455 0.4334
0.3286 29100 3.2638 - - - -
0.3297 29200 2.8948 - - - -
0.3309 29300 3.0118 - - - -
0.3320 29400 2.8534 - - - -
0.3331 29500 3.1632 - - - -
0.3342 29600 2.9116 - - - -
0.3354 29700 2.5557 - - - -
0.3365 29800 2.7745 - - - -
0.3376 29900 2.5932 - - - -
0.3388 30000 2.7092 0.1921 4.2458 4.2458 0.4347
0.3399 30100 3.2183 - - - -
0.3410 30200 2.857 - - - -
0.3422 30300 2.9008 - - - -
0.3433 30400 2.8235 - - - -
0.3444 30500 2.6956 - - - -
0.3455 30600 2.9611 - - - -
0.3467 30700 3.1242 - - - -
0.3478 30800 3.1466 - - - -
0.3489 30900 2.8542 - - - -
0.3501 31000 2.8809 - - - -

Framework Versions

  • Python: 3.11.11
  • Sentence Transformers: 3.4.0
  • Transformers: 4.47.1
  • PyTorch: 2.5.1+cu121
  • Accelerate: 1.2.1
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers and SoftmaxLoss 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss 

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}
Downloads last month
1
Safetensors
Model size
33.4M params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for x1saint/gte-small-tr

Base model

Supabase/gte-small
Finetuned
(6)
this model

Datasets used to train x1saint/gte-small-tr

Paper for x1saint/gte-small-tr

Evaluation results