Реализовать базу данных с 100 000 000(100 млн.) записей

seregali, 251 просмотр

Нужно организовать базу данных с 100 000 000 записей, использовал php mysql, уже второй день пишет туда. Но это не вариант. Нужно максимально быстрый срок.
Есть идеи? Возможно использовать другую бд? (например какую)

Примечание:
Создать цикл подходит, но отнимает очень долго времени. Нужно максимально быстро.
Такой цикл за два дня с учетом траблов, заполнил около 1 млн. А нужно еще 79.
Все это делается, просто чтобы протестить. Поиск по записям.

в бд 2 поля. code, isActivated

Примечание:
1. Да

2,3 Спасибо, а есть ссылки на статьи и пример?

Ответы:

CrazyFreeMan

Ну так создать цикл на php и заполнить не подходит?

Андрей Архангельский

1) Нужно организовать базу данных с 100 000 000 записей?
2) Insert происходит долго если при этом идет вставка в индексы. Нужна перестройка индексов через некоторое количество вставок.
У меня БД на 25 млн., загонял данные около 8 часов, периодически делал backup/restore для перестройки индексов - производительность восстанавливалась практически на первоначальный уровень
3) Используй транзакции. В каждой транзакции полезно вставлять около 1000 записей.

Alex Rengen

1. Сгенерировать файл с помощью PHP вида
INSERT INTO table VALUES (1,2), (4,5), (7,8)...;
до 1 млн строк. Можно больше если будет быстро справляться.
2. Импортировать файл с помощью клиента
mysql -u root -p -h localhost bdname<importfilename.sql

Alex Rengen

Так вот, не поленился даже написать и потестить

11 лет назад

RPI.su - самая большая русскоязычная база вопросов и ответов. Наш проект был реализован как продолжение популярного сервиса otvety.google.ru, который был закрыт и удален 30 апреля 2015 года. Мы решили воскресить полезный сервис Ответы Гугл, чтобы любой человек смог публично узнать ответ на свой вопрос у интернет сообщества.

Все вопросы, добавленные на сайт ответов Google, мы скопировали и сохранили здесь. Имена старых пользователей также отображены в том виде, в котором они существовали ранее. Только нужно заново пройти регистрацию, чтобы иметь возможность задавать вопросы, или отвечать другим.

Чтобы связаться с нами по любому вопросу О САЙТЕ (реклама, сотрудничество, отзыв о сервисе), пишите на почту [email protected]. Только все общие вопросы размещайте на сайте, на них ответ по почте не предоставляется.