MLTable Sınıf

Belirtilen sütunları ilgili yeni türlerine dönüştürmek için bir dönüştürme adımı ekler.

   from mltable import DataType
       data_types = {
           'ID': DataType.to_string(),
           'Date': DataType.to_datetime('%d/%m/%Y %I:%M:%S %p'),
           'Count': DataType.to_int(),
           'Latitude': DataType.to_float(),
           'Found': DataType.to_bool(),
           'Stream': DataType.to_stream()
       }

convert_column_types(column_types)

Parametreler

Döndürülenler

Veri kümesinden belirli sütunları bırakmak için bir dönüştürme adımı ekler. Boş bir liste, tanımlama grubu veya küme verildiğinde hiçbir şey bırakılmaz. Yinelenen sütunlar userErrorException oluşturur.

MLTable.traits.timestamp_column veya MLTable.traits.index_columns olan bir sütunu bırakma girişimi, UserErrorException'ı tetikler.

drop_columns(columns: str | List[str] | Tuple[str] | Set[str])

Parametreler

Döndürülenler

Her yolun bölüm bilgilerini kullanmak ve bunları belirtilen bölüm biçimine göre sütunlara ayıklamak için bir dönüştürme adımı ekler.

'{column_name}' biçim bölümü dize sütunu oluşturur ve '{column_name:yyyy/AA/GG/SS/aa/ss}' datetime sütunu oluşturur; burada tarih saat türü için yıl, ay, gün, saat, dakika ve saniyeyi ayıklamak için 'yyyy', 'MM', 'dd', 'SS', 'mm' ve 'ss' kullanılır.

Biçim, ilk bölüm anahtarının konumundan dosya yolunun sonuna kadar başlamalıdır. Örneğin, bölümün bölüm adına ve saatlerine göre olduğu '/Accounts/2019/01/01/data.csv' yolu göz önünde bulundurulduğunda, partition_format='/{Department}/{PartitionDate:yyyy/MM/dd}/data.csv', 'Accounts' değerine sahip 'Department' dize sütunu ve '2019-01-01' değerine sahip 'PartitionDate' tarih saat sütunu oluşturur.

extract_columns_from_partition_format(partition_format)

Parametreler

Döndürülenler

Yalnızca belirtilen ifadeyle eşleşen kayıtları bırakarak verileri filtreleyin.

filter(expression)

Parametreler

Döndürülenler

Açıklamalar

İfadeler, mltable'ın dizinini bir sütun adıyla oluşturarak başlatılır. Bunlar çeşitli işlevleri ve işleçleri destekler ve mantıksal işleçler kullanılarak birleştirilebilir. Sonuçta elde edilen ifade, tanımlandığı yerde değil, bir veri çekme işlemi gerçekleştiğinde her kayıt için gevşek bir şekilde değerlendirilir.

   filtered_mltable = mltable.filter('feature_1 == "5" and target > "0.5)"')
   filtered_mltable = mltable.filter('col("FBI Code") == "11"')

Bu MLTable ile ilişkili verilerin temelini oluşturan veri bölümlerinin sayısını döndürür.

get_partition_count() -> int

Döndürülenler

Belirtilen sütunları korumak ve diğer tüm sütunları veri kümesinden kaldırmak için bir dönüştürme adımı ekler. Boş bir liste, tanımlama grubu veya küme verildiğinde hiçbir şey bırakılmaz. Yinelenen sütunlar userErrorException oluşturur.

MLTable.traits.timestamp_column sütun veya MLTable.traits.index_columns'daki sütunlar açıkça saklanmazsa, UserErrorException düzensizdir.

keep_columns(columns: str | List[str] | Tuple[str] | Set[str])

Parametreler

Döndürülenler

Bu MLTable'ı rastgele olarak iki MLTable'a böler; bunlardan biri özgün MLTable verilerinin yaklaşık %"sine", diğeri kalana (%1-"yüzde") sahiptir.

random_split(percent=0.5, seed=None)

Parametreler

Döndürülenler

Bu MLTable'ı verilen dizin yolu ile ilişkilendirilmiş yollarını & MLTable YAML dosyası olarak kaydedin.

Yol verilmezse, varsayılan olarak geçerli çalışma dizinini kullanır. Yol yoksa oluşturulur. Yol uzaksa, temel alınan veri deposunun zaten mevcut olması gerekir. Yol yerel bir dizinse & mutlak değilse, mutlak yapılır.

Yol bir dosyaya işaret ederse, userErrorException oluşturulur. Yol zaten kaydedilmiş bir veya daha fazla dosya içeren bir dizin yoluysa (MLTable YAML dosyası dahil) ve üzerine yazma False veya 'fail' olarak ayarlandıysa, UserErrorException oluşturulur. Yol uzaksa, birlikte bulunan yol olarak verilmeyen tüm yerel dosya yolları (MLTable'ın yüklendiği dizine göre dosya yolu) userErrorException oluşturur.

birlikte konumlandırılmış , ilişkili yolların yola nasıl kaydedileceğini denetler. True ise, dosyalar MLTable YAML dosyasının yanındaki yola göreli dosya yolları olarak kopyalanır. Aksi takdirde ilişkili dosyalar kopyalanmaz, uzak yollar verilen şekilde kalır ve gerekirse yerel dosya yolları yol yeniden yönlendirmesiyle göreli hale getirilir. False'un önerilmez, ayrıca yol uzaksa uzak URI'ler için göreli yol yeniden yönlendirmesi desteklenmediğinden UserErrorException ile sonuçlanabileceğini unutmayın.

MLTable, from_paths() veya yerel göreli yollara sahip from_read_delimited_files() gibi yöntemlerle programlı olarak oluşturulursa, MLTable dizin yolunun geçerli çalışma dizini olduğu varsayılır.

Yeni bir MLTable & ilişkili veri dosyalarını, yeni dosyaları kaydetmeden önce dizinin mevcut dosyalardan temizlenmediği ilişkili veri dosyaları & mevcut MLTable dosyasıyla bir dizine kaydederken dikkatli olun. Özellikle mevcut veri dosyalarının yeni veri dosyalarıyla eşleşen adları yoksa, yeni dosyaları kaydettikten sonra zaten var olan veri dosyalarının kalıcı olması mümkündür. Yeni MLTable, yollarının altında bir desen belirleyicisi içeriyorsa, varolan veri dosyalarını yeni MLTable ile ilişkilendirerek MLTable'ı istemeden değiştirebilir.

Bu MLTable'daki dosya yolları yoldaki mevcut bir dosyayı gösteriyorsa ancak farklı bir URI'sine sahipse, üzerine yazma 'başarısız' veya 'atla' ise varolan dosyanın üzerine yazılmaz (atlanır).

save(path=None, overwrite=True, colocated=False, show_progress=False, if_err_remove_files=True)

Parametreler

Döndürülenler

Bölümü seçmek için bir dönüştürme adımı ekler.

select_partitions(partition_index_list)

Parametreler

Döndürülenler

Açıklamalar

Aşağıdaki kod parçacığı, sağlanan MLTable'dan seçilen bölümlere select_partitions API'sinin nasıl kullanılacağını gösterir.

   partition_index_list = [1, 2]
   mltable = mltable.select_partitions(partition_index_list)

Bu MLTable'ın ilk sayı satırlarını Pandas Veri Çerçevesi olarak alır.

show(count=20)

Parametreler

Döndürülenler

Bu MLTable'ın ilk sayı satırlarını atlamak için bir dönüştürme adımı ekler.

skip(count)

Parametreler

Döndürülenler

Bu MLTable'ın ilk sayı satırlarını seçmek için bir dönüştürme adımı ekler.

take(count=20)

Parametreler

Döndürülenler

Olasılık olasılığı olan bu MLTable'ın her satırını rastgele seçmek için bir dönüştürme adımı ekler. Olasılık [0, 1] aralığında olmalıdır. İsteğe bağlı olarak rastgele bir tohum ayarlayabilir.

take_random_sample(probability, seed=None)

Parametreler

Döndürülenler

MLTable dosyasında belirtilen yollardaki tüm kayıtları Pandas DataFrame'e yükleyin.

to_pandas_dataframe()

Döndürülenler

Açıklamalar

Aşağıdaki kod parçacığı, sağlanan MLTable'a karşılık gelen bir pandas veri çerçevesini almak için to_pandas_dataframe API'sinin nasıl kullanılacağını gösterir.

   from mltable import load
   tbl = load('.\samples\mltable_sample')
   pdf = tbl.to_pandas_dataframe()
   print(pdf.shape)

Bu MLTable'ın verilerinin yüklenebildiğini doğrular, MLTable'ın veri kaynaklarının geçerli işlemden erişilebilir olmasını gerektirir.

validate()

Döndürülenler

Bölüm anahtarlarını döndür.

Döndürülenler

Bu MLTable'a verilen özgün yolları içeren sözlüklerin listesini döndürür. Göreli yerel dosya yollarının, bu MLTable örneğinin yüklendiği MLTable YAML dosyasının bulunduğu dizine göre olduğu varsayılır.

Döndürülenler