Wie wird die Benutzereingabe ungültiger UTF-8-Zeichen behandelt?

Der Empfang ungültiger Zeichen aus Ihrer Web-App hat möglicherweise mit den für HTML-Formulare angenommenen Zeichensätzen zu tun. Sie können angeben, welcher Zeichensatz für Formulare mit dem Attribut accept-charset verwendet werden soll:

<form action="..." accept-charset="UTF-8">

Sie können auch ähnliche Fragen in StackOverflow mit Zeigern zum Umgang mit ungültigen Zeichen betrachten, z. die in der rechten Spalte, aber ich denke, dass das Signalisieren eines Fehlers für den Benutzer besser ist als der Versuch, die ungültigen Zeichen zu bereinigen, die einen unerwarteten Verlust wichtiger Daten oder eine unerwartete Änderung der Eingaben des Benutzers verursachen.

Ich habe eine ziemlich einfache Klasse zusammengestellt, um zu überprüfen, ob die Eingabe in UTF-8 erfolgt und wie es notwendig ist, utf8_encode() auszuführen:

class utf8
{

    /**
     * @param array $data
     * @param int $options
     * @return array
     */
    public static function encode(array $data)
    {
        foreach ($data as $key=>$val) {
            if (is_array($val)) {
                $data[$key] = self::encode($val, $options);
            } else {
                if (false === self::check($val)) {
                    $data[$key] = utf8_encode($val);
                }
            }
        }

        return $data;
    }

    /**
     * Regular expression to test a string is UTF8 encoded
     * 
     * RFC3629
     * 
     * @param string $string The string to be tested
     * @return bool
     * 
     * @link http://www.w3.org/International/questions/qa-forms-utf-8.en.php
     */
    public static function check($string)
    {
        return preg_match('%^(?:
            [\x09\x0A\x0D\x20-\x7E]              # ASCII
            | [\xC2-\xDF][\x80-\xBF]             # non-overlong 2-byte
            |  \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
            | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}  # straight 3-byte
            |  \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
            |  \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
            | [\xF1-\xF3][\x80-\xBF]{3}          # planes 4-15
            |  \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
            )*$%xs',
            $string);
    }
}

// For example
$data = utf8::encode($_POST);

Ich empfehle, nur den Müll nicht zuzulassen. Verlassen Sie sich nicht auf benutzerdefinierte Funktionen, die Ihr System zum Stillstand bringen können. Vergleichen Sie einfach die übermittelten Daten mit einem von Ihnen entworfenen Alphabet. Erstellen Sie eine akzeptable Alphabetzeichenfolge, und bewegen Sie die übermittelten Daten Byte für Byte wie ein Array. Übertragen Sie akzeptable Zeichen in eine neue Zeichenfolge und lassen Sie inakzeptable Zeichen aus. Die Daten, die Sie in Ihrer Datenbank speichern, sind Daten, die vom Benutzer ausgelöst werden, nicht jedoch die vom Benutzer angegebenen Daten.

EDIT # 4: Ersetzen eines schlechten Zeichens durch ein Zeichen: ent

BEARBEITEN # 3: Aktualisiert: 22. September 2010 @ 13:32 Uhr Grund: Die zurückgegebene Zeichenfolge ist UTF-8, und ich habe die Testdatei verwendet, die Sie als Beweis bereitgestellt haben.

<?php
// build alphabet
// optionally you can remove characters from this array

$alpha[]= chr(0); // null
$alpha[]= chr(9); // tab
$alpha[]= chr(10); // new line
$alpha[]= chr(11); // tab
$alpha[]= chr(13); // carriage return

for ($i = 32; $i <= 126; $i++) {
$alpha[]= chr($i);
}

/* remove comment to check ascii ordinals */

// /*
// foreach ($alpha as $key=>$val){
//  print ord($val);
//  print '<br/>';
// }
// print '<hr/>';
//*/
// 
// //test case #1
// 
// $str = 'afsjdfhasjhdgljhasdlfy42we875y342q8957y2wkjrgSAHKDJgfcv kzXnxbnSXbcv   '.chr(160).chr(127).chr(126);
// 
// $string = teststr($alpha,$str);
// print $string;
// print '<hr/>';
// 
// //test case #2
// 
// $str = ''.'©?™???';
// $string = teststr($alpha,$str);
// print $string;
// print '<hr/>';
// 
// $str = '©';
// $string = teststr($alpha,$str);
// print $string;
// print '<hr/>';

$file = 'http://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-test.txt';
$testfile = implode(chr(10),file($file));

$string = teststr($alpha,$testfile);
print $string;
print '<hr/>';


function teststr(&$alpha, &$str){
    $strlen = strlen($str);
    $newstr = chr(0); //null
    $x = 0;
    if($strlen >= 2){

        for ($i = 0; $i < $strlen; $i++) {
            $x++;
            if(in_array($str[$i],$alpha)){
                // passed
                $newstr .= $str[$i];
            }else{
                // failed
                print 'Found out of scope character. (ASCII: '.ord($str[$i]).')';
                print '<br/>';
                $newstr .= '&#65533;';
            }
        }
    }elseif($strlen <= 0){
        // failed to qualify for test
        print 'Non-existent.';

    }elseif($strlen === 1){
        $x++;
        if(in_array($str,$alpha)){
            // passed

            $newstr = $str;
        }else{
            // failed
            print 'Total character failed to qualify.';
            $newstr = '&#65533;';
        }
    }else{
        print 'Non-existent (scope).';
        }

if(mb_detect_encoding($newstr, "UTF-8") == "UTF-8"){
// skip
}else{
    $newstr = utf8_encode($newstr);
}


// test encoding:
if(mb_detect_encoding($newstr, "UTF-8")=="UTF-8"){
    print 'UTF-8 :D<br/>';
    }else{
        print 'ENCODED: '.mb_detect_encoding($newstr, "UTF-8").'<br/>';
        }




return $newstr.' (scope: '.$x.', '.$strlen.')';
}

Für die Vollständigkeit dieser Frage (nicht unbedingt die beste Antwort) ...

function as_utf8($s) {
    return mb_convert_encoding($s, "UTF-8", mb_detect_encoding($s));
}

Es gibt eine Multibyte-Erweiterung für PHP. Schauen Sie sich das an: http://www.php.net/manual/de/book.mbstring.php

Sie sollten die Funktion mb_check_encoding () ausprobieren.

Viel Glück!

Versuchen Sie, das zu tun, was Rails tut, damit alle Browser immer UTF-8-Daten bereitstellen:

<form accept-charset="UTF-8" action="#{action}" method="post"><div
    style="margin:0;padding:0;display:inline">
    <input name="utf8" type="hidden" value="&#x2713;" />
  </div>
  <!-- form fields -->
</form>

Siehe railssnowman.info oder den ursprünglichen Patch für eine Erklärung.

1. Damit der Browser Formular-Übermittlungsdaten in der UTF-8-Codierung sendet, rendern Sie die Seite einfach mit einem Content-Type-Header mit "text/html; charset = utf-8" (oder verwenden Sie ein meta http-equiv-Tag).
2. Damit der Browser die Daten zum Senden von Formularen in der UTF-8-Codierung sendet, verwenden Sie accept-charset="UTF-8" im Formular, auch wenn der Benutzer mit der Seitencodierung herumfummelt (Browser lassen dies zu).
3. Damit der Browser Daten zum Senden von Formularen in der UTF-8-Codierung sendet, auch wenn der Benutzer mit der Seitencodierung herumfummelt (bei Browsern ist dies möglich) und auch wenn der Browser IE ist und der Benutzer die Seite gewechselt hat Wenn Sie für die Codierung in Koreanisch und in die Formularfelder eingegebene koreanische Zeichen eingegeben haben, fügen Sie dem Formular eine ausgeblendete Eingabe hinzu, beispielsweise ✓, die nur aus dem Unicode-Zeichensatz stammen kann (und in diesem Beispiel nicht aus dem koreanischen Zeichensatz).

Wie wäre es, wenn Sie alle Zeichen außerhalb Ihrer angegebenen Untermenge entfernen. Zumindest in einigen Teilen meiner Anwendung würde ich keine Zeichen außerhalb der [a-Z] [0-9-Sets] zulassen, z. B. Benutzernamen. Sie können eine Filterfunktion erstellen, die alle Zeichen außerhalb dieses Bereichs unbemerkt entfernt oder einen Fehler zurückgibt, wenn sie diese erkennt und die Entscheidung an den Benutzer weiterleitet.

Legen Sie UTF-8 als Zeichensatz für alle Header fest, die von Ihrem PHP -Code ausgegeben werden

Geben Sie in jedem PHP - Ausgabeheader UTF-8 als Kodierung an:

header('Content-Type: text/html; charset=utf-8');