wake-up-neo.com

Wie wird die Groß- / Kleinschreibung der gesamten Spalte geändert?

Ich möchte die Groß - und Kleinschreibung der gesamten Spalte in Spark Dataset) ändern

        Desired Input
        +------+--------------------+
        |ItemID|       Category name|
        +------+--------------------+
        |   ABC|BRUSH & BROOM HAN...|
        |   XYZ|WHEEL BRUSH PARTS...|
        +------+--------------------+

        Desired Output
        +------+--------------------+
        |ItemID|       Category name|
        +------+--------------------+
        |   ABC|brush & broom han...|
        |   XYZ|wheel brush parts...|
        +------+--------------------+

Ich habe es mit collectAsList () und toString () versucht, was ein langsames und komplexes Verfahren für sehr große Datenmengen ist.

Ich habe auch eine Methode 'lower' gefunden, aber nicht erfahren, wie sie in dasaset funktioniert. Danke im Voraus

13
Shreeharsha

Ich habe es (benutze Functions#lower, siehe Javadoc )

import org.Apache.spark.sql.functions.lower

        String columnName="Category name";
        src=src.withColumn(columnName, lower(col(columnName)));
        src.show();

Diese ersetzte die alte Spalte durch eine neue, wobei der gesamte Datensatz erhalten blieb.

        +------+--------------------+
        |ItemID|       Category name|
        +------+--------------------+
        |   ABC|brush & broom han...|
        |   XYZ|wheel brush parts...|
        +------+--------------------+
20
Shreeharsha

Verwenden Sie die Funktion lower aus org.Apache.spark.sql.functions

Zum Beispiel:

df.select($"q1Content", lower($"q1Content")).show

Die Ausgabe.

+--------------------+--------------------+
|           q1Content|    lower(q1Content)|
+--------------------+--------------------+
|What is the step ...|what is the step ...|
|What is the story...|what is the story...|
|How can I increas...|how can i increas...|
|Why am I mentally...|why am i mentally...|
|Which one dissolv...|which one dissolv...|
|Astrology: I am a...|astrology: i am a...|
| Should I buy tiago?| should i buy tiago?|
|How can I be a go...|how can i be a go...|
|When do you use  ...|when do you use  ...|
|Motorola (company...|Motorola (company...|
|Method to find se...|method to find se...|
|How do I read and...|how do i read and...|
|What can make Phy...|what can make phy...|
|What was your fir...|what was your fir...|
|What are the laws...|what are the laws...|
|What would a Trum...|what would a trum...|
|What does manipul...|what does manipul...|
|Why do girls want...|why do girls want...|
|Why are so many Q...|why are so many q...|
|Which is the best...|which is the best...|
+--------------------+--------------------+
14