☰

Изменить формат даты с ММ/ДД/ГГГГ ЧЧ:ММ:СС am/pm на ГГГГ-ММ-ДД ЧЧ:ММ:СС в CSV-файле

tag-icon • tag-icon linux date csv
Изменить формат даты с ММ/ДД/ГГГГ ЧЧ:ММ:СС am/pm на ГГГГ-ММ-ДД ЧЧ:ММ:СС в CSV-файле

Я пытаюсь скрыть формат даты для этого CSV-файла, который я получил от поставщика, чтобы я мог загрузить данные в свой Google Bigquery. Я использую виртуальную машину из Google Cloud Console.

Данные выглядят примерно так:

Name ,Phone ,SalesDate ,Venue ,NoOfUnits ,ModifiedDatae

Victor ,5555555 ,12/6/2013 10:26:32 AM , Colosseum ,1 ,12/8/2013 1:05:45 PM

Я постараюсь сделать это в формате:

Name ,Phone ,SalesDate ,Venue ,NoOfUnits ,ModifiedDatae

Victor ,5555555 ,2013-12-6 10:26:32 ,Colosseum,1 ,2013-12-8 13:05:45

Я знаю, что могу использовать sed или awk.

решение1

Я написал скрипт на Python и скрипт на Bash, которые должны делать то, что вам нужно.

Решение на Python

Вот скрипт Python, который преобразует все поля времени из одного формата в другой, как указано в вопросе:

#!/usr/bin/env python3
# -*- coding: ascii -*-
"""reformat_time.py

Change date format from:

    MM/DD/YYYY HH:MM:SS am/pm

to:

    YYYY-MM-DD HH:MM:SS

in a CSV file
"""

import csv
from datetime import date
from datetime import datetime
import sys

# Open the file (taken as a command-line argument)
with open(sys.argv[1], 'r') as csvfile:

    # Parse the CSV data
    csvreader = csv.reader(csvfile, delimiter=',', quotechar='"')

    # Iterate over the rows
    for row in csvreader:

        # Iterate over the columns of each row
        for index, col in enumerate(row):

            # Try to parse and convert each column
            try:
                _datetime = datetime.strptime(col, "%m/%d/%Y %H:%M:%S %p")
                newcol = _datetime.strftime("%Y-%m-%d %H:%M:%S")

            # If parsing fails, leave the column unchanged
            except ValueError:
                newcol = col

            # Update the column value
            row[index] = newcol

        # Output the updated row
        print(','.join(row))

Предположим, ваш CSV-файл называется data.csvи содержит следующую строку (взятую из вашего сообщения):

Victor,5555555,12/6/2013 10:26:32 AM,Colosseum,1,12/8/2013 1:05:45 PM

Затем вы можете запустить скрипт следующим образом:

python reformat_time.py data.csv

Это даст следующий результат:

Victor,5555555,2013-12-06 10:26:32,Colosseum,1,2013-12-08 01:05:45

Решение Баша

А вот скрипт Bash, использующий dateутилиту GNU, который имеет (почти) тот же эффект:

#!/bin/bash
# reformat_time.sh

# Loop over the lines of the file
while read -r line; do

    # Extract the field values for each row
    Name="$(echo ${line} | cut -d, -f1)";
    Phone="$(echo ${line} | cut -d, -f2)";
    SalesDate="$(echo ${line} | cut -d, -f3)";
    Venue="$(echo ${line} | cut -d, -f4)";
    NoOfUnits="$(echo ${line} | cut -d, -f5)";
    ModifiedDate="$(echo ${line} | cut -d, -f6)";

    # Convert the time-fields from the old format to the new format
    NewSalesDate="$(date -d "${SalesDate}" "+%Y-%m-%d %H:%M:%S")";
    NewModifiedDate="$(date -d "${ModifiedDate}" "+%Y-%m-%d %H:%M:%S")";

    # Output the updated row
    echo "${Name},${Phone},${NewSalesDate},${Venue},${NoOfUnits},${NewModifiedDate}";

done < "$1"

Вы можете запустить это так:

bash reformat_time.sh data.csv

И это даст следующий результат:

Victor ,5555555 ,2013-12-06 10:26:32, Colosseum ,1 ,2013-12-08 13:05:45

Обратите внимание, что скрипт Bash гораздо более хрупкий. Он не обрабатывает ошибки и влияет только на 3-е и 6-е поля. Он также сохраняет пробелы вокруг разделителя полей, чего не делает скрипт Python выше.

решение2

Я новичок в Linux и пытаюсь изменить формат даты.

Попробуйте использовать dateс -dпереключателем:

       -d, --date=СТРОКА
              время отображения, описанное STRING, а не «сейчас»

А затем отформатируйте вывод так, как вам нужно.

Пример:

date -d "12/6/2013 10:26:32 AM" "+%F %H:%M:%S"
2013-12-06 10:26:32

Объяснение форматирования см. в man date( FORMATразделе).

решение3

Вы можете попробовать с этим awk

awk -F, '
function cvtdate( dat,  array) {
    split(dat,array,"/| |:")
    array[4]=array[7]=="PM"?(array[4]+12):array[4]
    return array[3]"-"array[1]"-"array[2]" "array[4]":"array[5]":"array[6]
}
{
    $3=cvtdate($3)
    $6=cvtdate($6)
}1' OFS=',' infile

решение4

Еще один возможный однострочник на awk:

awk -F, '{ a[3];a[6] ; for (i in a) "date -d \""$i"\" \"+%Y-%m-%d %H:%M:%S\"" |& getline $i }1' OFS=, filename

Связанный контент