☰

Мой веб-сервер Nginx некорректно отображает содержимое файлов с диакритическими символами в именах

tag-icon • tag-icon linux nginx web-server
Мой веб-сервер Nginx некорректно отображает содержимое файлов с диакритическими символами в именах

Я только что создал новый веб-сервер с использованием Linux box и NginX. Кажется, он работает правильно для большинства контента.

Я только что преобразовал сайт, который раньше был на коробке Windows Server, и по большей части контент и функциональность (HTML и JavaScript) были перенесены нормально. Однако я обнаружил, что у NginX, похоже, есть проблемы с именами изображений (возможно, и других файлов тоже??), которые содержат символы с ударением, например é,è,ô и т. д.

Если бы их было всего несколько, я бы мог вручную переименовать файлы, но их сотни (может быть, тысячи), что делает ручной процесс невыполнимым. Может ли кто-нибудь предложить способ легкого переименования файлов с этими акцентированными символами?

Спасибо..РДК

edit: Первоначальное преобразование старого сайта имело много страниц, использующих "windows-1252", и несколько, использующих "UTF-8" для "charset". У последнего были проблемы с отображением содержимого страницы для специальных символов, обычно таких как символ "черный ромб?". У другого, похоже, были проблемы с JavaScript, а также некоторые проблемы с отображением. После поиска в Интернете по этой проблеме я изменил все значения "charset=" на "iso-8859-1", которое является значением по умолчанию для многих браузеров, что исправило все эти проблемы. Но теперь у меня есть проблема со специальными символами в именах файлов...

решение1

Один из способов удаления диакритических знаков с помощьюПерлсrename:

если вам нужно переименоватьдиакритические знакив эквиваленте ascii:

rename -u utf8 '
    BEGIN{use Text::Undiacritic qw(undiacritic)}
    s/.*/undiacritic($&)/e
' éééé.txt 
rename(éééé.txt, eeee.txt)

Еще один способ — использоватьдетоксУтилита. Доступна в составе Debian/Ubuntu и других дистрибутивов в виде пакета.

Еще один последний способ — использовать этот скрипт, основанный наconvmv(1)перевод на английский язык с французского проекта: форум.ubuntu-fr.org:

Он предназначен для изменения неправильной кодировки на utf8. (Это не мой скрипт, ноLapogne71), может стать решением проблемы.

#!/bin/bash

VERSION="v0.04"

#---------------------------------------------------------------------------------------
# This script allows to loop the "convmv" utility that allows converting file names coded in
# something other than UTF-8 to UTF-8
# Restart the script with the ALLCODES argument if no result has been found
#---------------------------------------------------------------------------------------

# here are the colors of the text displayed in the shell
RED="\\033[1;31m"
NORMAL="\\033[0;39m"
BLUE="\\033[1;36m"
GREEN="\\033[1;32m"

echo
echo -e "$GREEN $0 $NORMAL  $VERSION"
echo

echo "----------------------------------------------------------
This script allows to loop the 'convmv' utility that allows converting file names coded in
something other than UTF-8 to UTF-8. Restart the script with the ALLCODES argument if no result
has been found.
----------------------------------------------------------"

# The main loop launches convmv tests to "visually" detect the original encoding
# We only loop over the iso-8859* and cp* code families as they are the most likely ones (EBCDIC codes have also been removed from the list)

CODES_LIST="
iso-8859-1
iso-8859-2
iso-8859-3
iso-8859-4
iso-8859-5
iso-8859-6
iso-8859-7
iso-8859-8
iso-8859-9
iso-8859-10
iso-8859-11
iso-8859-13
iso-8859-14
iso-8859-15
iso-8859-16
cp437
cp737
cp775
cp850
cp852
cp855
cp856
cp857
cp860
cp861
cp862
cp863
cp864
cp865
cp866
cp869
cp874
cp932
cp936
cp949
cp950
cp1250
cp1251
cp1252
cp1253
cp1254
cp1255
cp1256
cp1257
cp1258
"

# We check if the convmv utility is installed
path=`which convmv 2> /dev/null`
if [ -z "$path" ]; then
    echo -e "$RED ERROR: convmv is not installed, please install it by typing:"
    echo
    echo -e "$BLUE    sudo apt-get install convmv "
    echo
    echo -e "$RED ==> program exit"
    echo
    echo -e "$NORMAL"
    exit 1
fi

# To loop over all the codepages supported by convmv, the ALLCODES argument must be provided
if [ "$1" = "ALLCODES" ]; then
    CODES_LIST=`convmv --list`
    echo
    echo -e "$RED Check which original encoding seems correct (press 'y' and validate if waiting for display)$NORMAL"
    echo
fi

# Main loop of the program
for CODAGE in $CODES_LIST; do
    echo -e "$BLUE--- Encoding hypothesis: $RED $CODAGE $BLUE---$NORMAL"
    echo
    # echo -e "$RED Press 'y' and validate if no list is displayed $NORMAL"
    convmv -f $CODAGE -t utf-8 -r * 2>&1 | grep -v Perl | grep -v Starting | grep -v notest | grep -v Skipping > /tmp/affichage_convmv.txt
    NOMBRE_FICHIERS=`cat /tmp/affichage_convmv.txt | wc -l`
    if [ $NOMBRE_FICHIERS -eq 0 ]; then
        echo
        echo -e "$RED No filename to convert " $NORMAL
        echo
        echo -e "$BLUE Exiting program ... $NORMAL"
        echo
        rm /tmp/affichage_convmv.txt 2>/dev/null
        exit 0
    fi

    # sed 's ..  ' source.txt   ==> this removes the first 2 characters from a string
    echo -e $GREEN "Original filenames coded in $CODAGE: " $NORMAL
    # ALTERNATIVE cat /tmp/affichage_convmv.txt | cut -f 2 -d '"' | sed 's ..  '
    cat /tmp/affichage_convmv.txt | cut -f 2 -d '"'
    echo
    echo -e $GREEN "Filenames converted to UTF-8: " $NORMAL
    # ALTERNATIVE cat /tmp/affichage_convmv.txt | cut -f 4 -d '"' | sed 's ..  '
    cat /tmp/affichage_convmv.txt | cut -f 4 -d '"'
    echo

    echo -n -e $GREEN "Found encoding? $RED [N]$NORMAL""on /$RED o$NORMAL""ui /$RED q$NORMAL""uit: "
    read confirm
    echo

    # request for file conversion using convmv
    if [ "$confirm" = O ] || [ "$confirm" = o ];then
        echo -e "$BLUE Convert filenames now from encoding $CODAGE? $NORMAL"
        echo -e "$BLUE   ==> convmv -f $CODAGE -t utf-8 * --notest $NORMAL"
        echo -n -e $GREEN "Confirm conversion $RED [N]$NORMAL""on /$RED o$NORMAL""ui /$RED r$NORMAL""ecursive: "
        read confirm
        echo

        case $confirm in
            O|o)    convmv -f $CODAGE -t utf-8 * --notest 2>/dev/null
                echo
                echo -e "$BLUE File name conversion done... $NORMAL" ;;
            R|r)    convmv -f $CODAGE -t utf-8 * -r --notest 2>/dev/null
                echo
                echo -e "$BLUE Recursive file name conversion done... $NORMAL" ;;
            *)      echo -e "$BLUE Exiting program... $NORMAL" ;;
        esac

        echo
        rm /tmp/affichage_convmv.txt 2>/dev/null
        exit 0

    # request for program exit
elif [ "$confirm" = Q ] || [ "$confirm" = q ];then
    echo -e "$BLUE Exiting program... $NORMAL"
    echo
    rm /tmp/affichage_convmv.txt 2>/dev/null
    exit 0
    fi
    clear
done
rm /tmp/affichage_convmv.txt 2>/dev/null

решение2

Вам нужно открыть каждый файл с помощью Notepad++, Sublime, VSCode или другого текстового редактора, который поддерживает переключение кодировки. Переключите кодировку на UTF-8 и затем сохраните файл. Если вы редактируете файлы непосредственно в Linux, вы можете рассмотреть возможность использованиязначокvдля преобразования каждого файла в кодировку UTF-8.

Затем, после того как вы конвертировали все текстовые файлы в кодировку UTF-8, протестируйте nginx, и символы должны отобразиться. Если нет, вы также можете попробовать (в nginx.confфайле .confконфигурации вашего сервера) добавить эту строку:

charset UTF-8;

Файлы и веб-сервер должны иметь одинаковую кодировку, поэтому преобразование всего в UTF-8 — самый простой способ избежать подобных проблем в будущем.

Связанный контент