Публикации по теме 'database'
Управление временными рядами больших данных — часть 2
Когда мы решили написать собственную базу данных временных рядов, у нас определенно были большие ожидания и требования к этому инструменту, включая:
быстрый доступ для чтения/записи формат байта на диске для экономии места на диске мониторинг (регистрация и пассивные измерения) Интерфейс REST для операций CRUD над данными нет шардинга Ява
Создание базы данных временных рядов
Во-первых, мы создали интерфейс REST, который был написан с помощью Spark — не путать с проектом..
Как база данных избавляется от сбоев OOM
Что гарантирует стабильность системы в задачах запроса больших данных? Это эффективный механизм распределения и мониторинга памяти. Это то, как вы ускоряете вычисления, избегаете горячих точек памяти, быстро реагируете на нехватку памяти и минимизируете ошибки OOM.
С точки зрения пользователя базы данных, как он страдает от плохого управления памятью? Вот список вещей, которые раньше беспокоили наших пользователей:
Ошибки OOM вызывают сбой внутренних процессов. Процитирую одного..
Важные команды с пакетом Pandas
Импорт данных
pd.read_csv() pd.read _table() pd.read_excel() pd.real_sql() pd.read_json() pd.read_html() pd.DataFrame() pd.concat() pd.Серия() pd.date_range()
Очистка данных
df.dropna() df.fillna() df.sort_values() df.groupby() df.apply() df.append() df.join() дф.переименовать() df.set_index() df.to_csv()
Статистика данных
дф.голова() дф.высокий() df.info() df.desribe() df.mean() дф.медиана() df.std() df.count() дф.макс() дф.мин()
База данных Firebase Firestore: очень простые документы
Привет, ребята! Это время пожарной базы. В прошлый раз мы говорили об Аутентификации в Firebase . Теперь пришло время базы данных.
Я Ахмед Абдельбасет, разработчик интерфейса React.js, мне 20 лет, я из Египта. Я разработчик-самоучка, я начал изучать веб-разработку в 2019 году и буду учиться вечно.
В этом блоге мы говорим о Firestore, установке, методах CRUD, правилах безопасности и обработке ошибок.
Что такое Firestore?
Firestore — это база данных NoSQL, которая хранит..
Как мы кардинально оптимизировали время запроса в БД PostgreSQL
Недавно мы начали использовать BigQuery , который отлично подходит для хранения 30 миллионов строк данных для более быстрого запроса. Сегодня я потратил некоторое время, пытаясь ускорить некоторые запросы.
Запрос, который возвращает наибольший объем данных, занял 7,482 секунды. Что, в свою очередь, увеличило время отклика API примерно до 8 секунд. Помимо всего прочего, BigQuery взимает плату в зависимости от объема обработанных данных, что было для нас дорогостоящим делом, поскольку..
Начало работы с MySQL — Часть 1
В этом блоге мы установим правильное мышление и базовые знания, которые необходимы, прежде чем приступить к практическому разделу. Надеюсь, вы читали мой предыдущий блог , где я поделился своей дорожной картой, чтобы получить хорошие знания о концепциях машинного обучения.
У большинства из вас могут возникнуть следующие вопросы: зачем мне изучать SQL? Какое это имеет отношение к машинному обучению? Отвечая на приведенные выше вопросы, мы должны сначала понять, что общее между..
CTE в MySQL - Первые шаги…
Недавно обновив свою среду обучения / разработки до MySQL 8 с версии 5.7, я решил начать вести блог о паре (многих) новых фантастических функциях, включенных в эту последнюю версию. С этого сообщения в блоге я начну то, что я планирую стать серией из нескольких частей, посвященных общим табличным выражениям, по мере их изучения, изучения и использования ...
Примечание: все данные, имена или наименования, найденные в базе данных, представленной в этом посте, строго используются для..
