Экспорт большой таблицы MySql

У меня есть таблица в MySql, которой я управляю с помощью PhpMyAdmin. В настоящее время он сидит около 960 000 рядов.

У меня есть босс, которому нравится смотреть данные в Excel, что означает еженедельно, я должен экспортировать данные в Excel.

Я ищу более эффективный способ сделать это. Поскольку я не могу на самом деле сделать всю таблицу сразу, потому что это время. Таким образом, я застрял в том, что «разбивая» таблицу на более мелкие запросы и экспортируя ее так.

Я попытался подключить Excel (и Access) непосредственно к моей базе данных, но та же проблема; это время. Есть ли способ расширить ограничение на соединение?

Честно говоря, для такого размера данных я бы предложил сделать mysqldump, а затем импортировать таблицу обратно в другую копию MySQL, установленную где-то еще, возможно, на виртуальную машину, посвященную этой задаче. Оттуда вы можете установить тайм-ауты и такие высокие, как вы хотите, и не беспокоиться о ограничениях ресурсов, взорвавших вашу производственную базу данных. Используя nice ОС на основе Unix или приоритеты процессов в системе на базе Windows, вы сможете сделать это без особого влияния на производственную систему.

Кроме того, вы можете настроить реплику своей производственной базы данных и извлечь данные из нее. Наличие так называемой «базы данных отчетов», которая реплицирует различные таблицы или даже целые базы данных из вашей производственной системы, на самом деле является довольно распространенной практикой в ​​крупных средах, чтобы гарантировать, что вы случайно не убили свою производственную базу данных, вытягивая номера для кого-то. В качестве дополнительного преимущества вам не нужно ждать завершения резервного копирования mysqldump, прежде чем вы начнете извлекать данные для своего босса; вы можете сделать это сразу.

Является ли ваш босс Rain Man? Он просто указывает «информацию» в сырые «данные»?

Или он строит функции в excel, а не спрашивает, что ему действительно нужно?

Посидите с ним в течение часа и посмотрите, что он на самом деле делает с данными. Какие вопросы задают? Какие шаблоны обнаруживаются (вручную)? Напишите настоящий инструмент, чтобы найти эту информацию, а затем подключите ее к своей системе мониторинга / оповещения.

Или, возьмите нового босса. Серьезно . Вы можете сказать ему, что я так сказал.

Строков не так уж много. Запустите запрос для экспорта ваших данных в файл csv:

 SELECT column,column2 INTO OUTFILE '/path/to/file/result.txt' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' FROM yourtable WHERE columnx = 'çondition'; 

Один из вариантов заключается в использовании SELECT ... INTO OUTFILE или mysqldump для экспорта вашей таблицы в CSV, которую Excel может открыть непосредственно.

  • Загрузка данных в SQL из файла Excel (.CSV) с использованием приложения Windows Forms
  • Импорт листа Excel с изображениями и изображениями в таблицу Pervasive SQL
  • Импорт данных из Excel Мастер автоматически определяет типы данных
  • Использование Excel MS Query для извлечения данных из Access
  • Использование concatrelated vba excel
  • Excel 2010 32-разрядные окна 7 64-разрядный odbc- Проблема с подключением
  • PowerPivot Calculate фильтры не работают
  • Подключиться к файлу Excel с помощью QODBC / QODBC3 Qt драйвера
  • Неправильный синтаксис в запросе, который загружает данные в файл excel
  • Что случилось с моей операцией SQL?
  • Как группировать столбцы, когда значение повторяется в sql
  • Interesting Posts

    Получение имени листа Excel с помощью OleDbConnection

    Сохранить файл .xls в Java

    Чтение проблемы в CSV-файле. + и – символы, считанные как 0

    Прочитайте одну строку за каждый раз / только конкретный столбец и создайте объект

    чтение комментария от excel с использованием Apache POI

    Проверка данных на основе LOOKUP

    excel formula: сумма элементов в столбце a, где столбец b имеет четное число

    Открытие CSV-файла в Листе путем автоматизации нажатия и загрузки CSV-файла с использованием кода VBA

    Excel – строка в одной строке для символов в нескольких столбцах

    СЧЕТ DATEDIF для расчета, если он был 12 месяцев

    Drive.exists (String для выбора диапазона ячеек A1: A26)

    Подстановочный знак макроса VBA в пути к файлу и имени файла

    Атрибут MDS-кода, созданный как текст. Как сортировать как числовое значение в Excel

    Проблемы с циклизацией программы для установки формата в общий для ячеек при выборе

    Зависимости использования Apache POI для чтения файлов excel в Android

    Давайте будем гением компьютера.