Вдохновленный удивительной работой закиси я обеспечит инструмент (и данные) для загрузки и обновления
исторические торговые данные mtgox и других обменов для ряда валют, как BTC / LTC и других в стандартизированной форме.
Toolbox Имя является TradePickler
набор инструментов будет состоять из трех частей:
- сборщик данных, то, что собирает данные из источников variouse и загружает эти данные на несколько хостов (Google Диск, SkyDrive, Dropbox, cloudme, другие ...)
Вы не будете находиться в контакте с той частью, так что будет сделано на наших серверах.
- tradepickler-Gobble: загрузчик, он загружает джонки данных на ваш жесткий диск
Это будет также вполне возможно, чтобы написать свой собственный downloadtool, так как DataFormat будет полностью документирован,
но мы не рекомендуем его - так как инструмент написан для выполнения загрузки имея в виду очень низкий уровень использования API из filehosters (не вышвырнут ими)
- tradepickler-Расшифруйте: инструмент экспорта, который будет экспортировать данные, загруженные в наиболее гибкий способ для пользователей целевой DataFormat или базу данных.
Вы можете внести свой вклад модули переписчика или написать свою собственную реализацию.
вот причины, почему:
- закись служба требует BigQuery, что медленно и требует регистрации (полная загрузка нуждается в более 24 часов на моем состоянии искусства машины на связи 10Mbit)
- так как данные только растут нет необходимости использовать bigdata
- Я хочу, чтобы иметь более надежный, более распределенный подход (я буду загружать данные в несколько filehosters)
- база данных BigQuery не обновляется по mtgox до сих пор, и никто не будет знать, если и когда это произойдет
- база данных BigQuery будет просто обновить мой mtgox - но как насчет других обменов как bitstamp?
- обеспечение пуля оказалась и полностью автоматическим способом извлечения и экспортировать все tradedata Вы хотите, чтобы любой формат или базы данных Вы хотите
- TradePickler не будет ограничиваться только BTC и MtGox.
что я люблю закиси downloadtool:
- хороший интерфейс адресовать не являющиеся технарь
- хорошая упаковка для окон и Макинтоша
то, что я не люблю о закиси downloadtool:
- нет автоматизации для автоматического обновления и так далее ...
- нет автоматизации для экспорта / обновлений для других DataFormats. Вы не можете сохранить ваши настройки.
- полагаться на большой запрос, полагаться на обновления от mtgox
Здесь понятие:
- торговые данные будут предоставлены на filehosters (Google Диск, SkyDrive, Dropbox, cloudme, другие ...)
- нет регистрации, бесплатный сервис
- Обновления каждый день (холодные данные) / и каждые 10 минут (горячие данные)
- небольшой размер, избыточные данные удаляются (полный tradedata для всех валют от mtgox потребляет около только 150МБ на жестком диске)
- Dont полагаться на загрузки из MtGox - мы собираем данные OURSELF
- расширяемая к другим валютам (litecoin) в будущем
- с возможностью расширения до других обменов (как bitstamp и других) в будущем
цели:
- прочный и безотказное
- очень простая настройка и очень проста в использовании на любой платформе (Linux / Windows / Mac)
- Интерфейс командной строки, так что может быть легко использован в batchjobs, shellscripts, макросы, chronjobs, чтобы иметь возможность автоматизировать обновления для ваших целевой базы данных или DataFormat
- Настройки сохраняются в легкий, полный документированную ине файл с большим количеством примеров, как преобразовать данные к цели Вы хотите.
- вероятно, интеграция в закиси downloadtool, иметь возможность обновить свою существующую базу данных SQLite
- написано в питона 2.7.x
- с открытым исходным кодом (GPL 3.0)
недостатки:
- Я не могу представить App идентификатор торгов / продающей стороной (лицо, покупка / продажа BTC), так как это не распространяется в MtGox API
Однако, так как только 4% от сделки до теперь некоторые App ID это не должно большое дело.
что я получил в настоящее время:
- все данные mtgox не собирается до сих пор, по состоянию на 2013-08-27
- Я могу обновить данные в 10 минут сроки без каких-либо проблем
- документирование структуры данных для данных, а метафайлах
что я работаю сейчас:
- реорганизовать данные в соответствии с разработанной DataFormat
- автоматическая загрузка файлов на Google диск для первой версии.
список дел:
- создание загрузки клиента (тот легко)
- создание инструмента экспорта (преобразующий данные из моего собственного формата proprietery в любой формат вы хотите), начиная с экспортом CSV
- перекрестная проверка моих данных с закисью базы данных
период времени:
- так как я могу пожертвовать всего лишь несколько часов в неделю, чтобы этот проект, то будет ветер медленно
- Я создал проект по BitBucket, когда придет время, любая помощь приветствуется
что мне нужно от вас некоторый входной сигнал:
- проголосуйте - Вы заинтересованы в таком инструменте? Есть ли необходимость в этом инструменте? голосовать здесь, пожалуйста:
- проголосуйте - как часто должны данные будут обновляться? голосовать здесь, пожалуйста:
Ваши комментарии приветствуются
|
|
||||||
27 августа 2013, 9:40:09 AM
|
# 1 |
Сообщений: 13
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Взлом Биткоин адресов.
500 Биткоинов взломаны в "мозговом кошельке" с паролем "bitcoin is awesome" Адрес кошелька: 14NWDXkQwcGN1Pd9fboL8npVynD5SfyJAE Приватный ключ: 5J64pq77XjeacCezwmAr2V1s7snvvJkuAz8sENxw7xCkikceV6e подробнее... Всем кто хочет заработать Биткоины без вложений - рекомендую сайт http://bitcoin-zarabotat.ru |
|
|
|
Как заработать Биткоины?
Без вложений. Не майнинг.
|
27 августа 2013, 10:59:14 AM
|
# 2 |
|
Сообщения: 246
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Получил 1806 Биткоинов
Реальная история. Замечательно! Следует признать, что мой инструмент должен был быть очень быстрый проект, опираясь на наличие BigQuery и подвергая данные не-технарей, но это было немного глючит, и я провел больше времени, чем я на самом деле было, как это.
В первую очередь, обратите внимание на кого-то, кто думает делать то же самое. Я знаю, что whydifficult есть проект под названием wizbit, так что вы можете убедиться, что вы не изобретать колесо. Вы собираетесь провести это на сервере? Что касается, как часто следует обновлять - одна вещь, которую некоторые люди, упомянутые в том, что они хотели бы, чтобы передавать данные в (рядом с) в реальном времени для их торговых приложений. Конечно, если вы загружаете в Google Drive, что это на самом деле не представляется возможным, но если вы размещаете его на серверах можно эффективно создать зеркало торговли данных в режиме реального времени. Единственной альтернативой я могу думать о том, в какой-то момент в будущем, писать в поддержку API в приложение пользователя, который может загрузить самые последние данные (но по-прежнему загружать основную часть данных от вас). Одна вещь, чтобы следить за то, что иногда MtGox добавляет новые валюты без предупреждения или обновлений. Один из способов я рассматриваю в своих проектах, чтобы загрузить список каналов из потока Вот, полоса префиксы, игнорировать эти три буквы из них (например, BTC, лаг), а затем раздеться дубликаты. Я считаю, что 39 валютных пар, но только 17 являются активными. Во всяком случае, это начало. Может быть, вы могли бы запросить MagicalTux пишет метод API, который возвращает список активных валютных пар с моментом их первой сделки (маловероятно из-за опасения за апите нагрузки, но если вы объясняете свой проект, он может быть более приятным). Кроме того, для другой из моих проектов (хотя и не очень легко интегрировать в мой инструмент данных) я храню уточненный данные MtGox (с использованием сокета, мы надеемся получить в реальном времени), так что если вы хотите, я могу перекрестную проверку статистических данных с база данных. Кстати, это 150MB включает индексы на вашей базе данных? Вы можете найти запросы и экспорт довольно медленно и без них. Я рекомендовал бы один в том числе по крайней мере три раза в день, или уникальный индекс по три раза в день, первичной. Еще один на сегодняшний день может быть полезным. Во всяком случае, я с нетерпением жду того, что вы придумали! Вы можете повторно использовать любой код из моего инструмента (если это так, пожалуйста, включите спасибо и ссылку на мой первоначальный проект). |
|
|
|
|
27 августа 2013, 12:18:53 PM
|
# 3 |
|
Сообщений: 13
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Уважаемая закись,
спасибо Вам большое за Ваш дружественный комментарий. Вот мой ответ на это: ... и я провел больше времени, чем я на самом деле было, как это. это также мое беспокойство, так что я буду ПОЦЕЛУЙ (держать его просто и глупо) котировка В первую очередь, обратите внимание на кого-то, кто думает делать то же самое. Я знаю, что whydifficult есть проект под названием wizbit, так что вы можете убедиться, что вы не изобретать колесо. спасибо за ссылку - я проверил это, и это что-то другое. Мой инструмент не будет делать не любую representatation данных, но действует только в качестве интерфейса. Он будет загружать данные и кормить его в другой формат custumizable или базу данных Для подробного исследования или использования инструментов сторонних как торговые роботы, анализ данных, независимо от ... котировка Вы собираетесь провести это на сервере? Я не хочу подвергать наши серверы для сообщества, потому что мы не хотим быть жертвой DDOS атак и т.д. Предотвращение этих видов атак, аренда серверов и так далее, будет стоить больше времени и денег я готов потратить на него - и я хочу, чтобы держать обслуживание бесплатны. Так что я просто загрузить джонки данных на ряд filehosters. Инструмент просто загружает и собрать эти джонки, а также предоставить некоторые механизмы, чтобы перевести эти данные в форматах изменяемые и подача его в другую базу данных или CSV или любой другой. Поскольку нет никакой операции базы данных участвуют на веб-сервере, это очень и очень быстро, и безотказный - я могу распространять эти загрузки по множественным числом хостеров, например Google Диска, Dropbox и другие. Также прокси-дружественные и будет полностью trasnsparent для межсетевых экранов и т.д. Все, что вам нужно, это доступ к порту 80 и возможность загрузки * .gz файлов из Интернета (некоторые очень ограничительные брандмауэры {} фырканье может предотвратить это) котировка Что касается, как часто следует обновлять - одна вещь, которую некоторые люди, упомянутые в том, что они хотели бы, чтобы передавать данные в (рядом с) в реальном времени для их торговых приложений. Конечно, если вы загружаете в Google Drive, что это на самом деле не представляется возможным, но если вы размещаете его на серверах можно эффективно создать зеркало торговли данных в режиме реального времени. Единственной альтернативой я могу думать о том, в какой-то момент в будущем, писать в поддержку API в приложение пользователя, который может загрузить самые последние данные (но по-прежнему загружать основную часть данных от вас). это именно то, что я имею в виду. для статистики анализов и прочего было бы достаточно, чтобы иметь возможность обновлять каждые 10 минут. Если кто-то хочет кормить в режиме реального времени, он может загрузить bulkdata с моим инструментом, а затем позаботиться о самых последних данных сам по себе, или другой инструмент, вероятно, при условии, позже. котировка Одна вещь, чтобы следить за то, что иногда MtGox добавляет новые валюты без предупреждения или обновлений. Один из способов я рассматриваю в своих проектах, чтобы загрузить список каналов из потока Вот, полоса префиксы, игнорировать эти три буквы из них (например, BTC, лаг), а затем раздеться дубликаты. Я считаю, что 39 валютных пар, но только 17 являются активными. Во всяком случае, это начало. Может быть, вы могли бы запросить MagicalTux пишет метод API, который возвращает список активных валютных пар с моментом их первой сделки (маловероятно из-за опасения за апите нагрузки, но если вы объясняете свой проект, он может быть более приятным). ПОЦЕЛУЙ. Если какой-либо из бирж, добавляет определенный currenypair в будущем, пользователи могут просто сообщить мне, что они хотят, чтобы данные. И если это возможно я буду интегрировать, что в инструмент. Я просто взять то, что я могу получить и обеспечить его, поэтому нет необходимости беспокоить MagicalTux или других, также не зависит более необходимому на доброй воле или Recources различных бирж, организаций или лиц. Инструмент будет автоматически обновляться (если пользователь допускает, что) для того, чтобы иметь возможность обрабатывать такие будущие DataFormats, currencypairs, обмены, независимо от ... котировка Кроме того, для другой из моих проектов (хотя и не очень легко интегрировать в мой инструмент данных) я храню уточненный данные MtGox (с использованием сокета, мы надеемся получить в реальном времени), так что если вы хотите, я могу перекрестную проверку статистических данных с база данных. да, круто, я вернусь к этому позже. котировка Кстати, это 150MB включает индексы на вашей базе данных? нет - нет вообще Индексы, и как можно более низкой избыточностью, чтобы сохранить пропускную способность и след как можно. кстати, я планирую, что пользователь при необходимости может удалить datajunks после экспорта / обновлений для его цели котировка Вы можете найти запросы и экспорт довольно медленно и без них. Я рекомендовал бы один в том числе по крайней мере три раза в день, или уникальный индекс по три раза в день, первичной. Еще один на сегодняшний день может быть полезным. Это не будет объем инструмента. Он должен просто предоставить способ накормить данные в любой формат или базы данных Вы хотите - там можно сделать все индексы, сортировки и запросы Вам может понадобиться. Основное внимание, чтобы сделать надежный сценарий, чтобы иметь возможность использовать его в макросах, batchjobs, cronjobs и так далее, чтобы сохранить существующую базу данных в актуальном состоянии, или просто загрузить сыпучие-данные до сих пор (). котировка Во всяком случае, я с нетерпением жду того, что вы придумали! Вы можете повторно использовать любой код из моего инструмента (если это так, пожалуйста, включите спасибо и ссылку на мой первоначальный проект). Конечно, лучше работать вместе, так что мой код будет GPL в любом случае - так, конечно, вы или любой другой пользователь также можете повторно использовать свой код или данные, предоставленные каким-либо образом. Для того, чтобы быть полностью законными и сохранить для повторного использования кода, я предлагаю Вам также включить некоторые GPL лицензию с вашим материалом на BitBucket и другие материалы, которые вы предоставляете. Искренне Ваш bitranox |
|
|
|
|
27 августа 2013, 12:45:01 PM
|
# 4 |
Сообщения: 175
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Я хотел бы инициативу, но я не уверен, что это правильное направление ...
закись сделал обходной путь, вы собираетесь создать еще один обходной путь, вероятно, немного лучше. Другой способ справиться делом будет разместить все данные сделок для общественности через простой интерфейс и попросить пользователь пожертвовать 0,005 каждый раз, когда они забирающие всю историю. Я не уверен, сколько людей было бы пожертвовать, но микро платежи поощряют оплачивая процесс. |
|
|
|
|
27 августа 2013, 1:09:25 PM
|
# 5 |
|
Сообщений: 13
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Уважаемый MusX,
нет никаких проблем, чтобы обеспечить полные данные бесплатно. есть только проблема обеспечения RealTimeData. В этом случае мне нужно положить вещи на одном из моих собственных серверов, что сделает услугу уязвимой для атак DDOS. Так что вы, вероятно, не хотите использовать такой источник как корм для tradebot, Wouldnt Вы? Мое мнение, для исторических данных мой метод будет работать нормально (обновление каждый час или каждые 10 минут, наверное). Для RealTimeData я предлагаю использовать каналы из mtgox. Искренне Ваш bitranox |
|
|
|
|
27 августа 2013, 1:24:25 PM
|
# 6 |
|
Сообщения: 246
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Уважаемый bitranox,
Хорошо, я под GPL мои публичные операции РЕПО, так что должно решить правовые вопросы Искренне Ваш, азотистый |
|
|
|
|
27 августа 2013, 4:55:48 PM
|
# 7 |
|
Сообщений: 13
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
|
|
|
|
|
27 августа 2013, 5:04:36 PM
|
# 8 |
|
Сообщения: 246
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Уважаемая закись, Хорошо, я под GPL мои публичные операции РЕПО, так что должно решить правовые вопросы да, это может выглядеть смешно, но я не хочу, чтобы получить иск от парня, как, что: только потому, что tradingbot нервничала по поводу или что-то в этом роде ... Искренне Ваш bitranox Уважаемый bitranox, Не беспокойтесь об этом, это нормально, я, вероятно, должен был лицензирован им давно все равно. Я, конечно, не хочу никаких юридических проблем с моими проектами с открытым исходным кодом! Искренне Ваш, азотистый |
|
|
|
|
30 августа 2013, 11:45:04 AM
|
# 9 |
|
Сообщения: 9
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Это здорово видеть, что вы работаете на таком инструменте.
Есть много дискуссий о ботах, стратегиях и т.д. ... но все они бесполезны, если у нас нет соответствующих данных в наших руках, чтобы Backtest с. Я считаю, что ваш инструмент будет помогать много людей. Я хотел бы помочь, так как вы говорите, что вы не можете совершать слишком много часов, но, к сожалению, я не разработчик, но я могу помочь с GUI, если вы хотите, чтобы использовать и выглядеть красиво. Арвин |
|
|
|
|
30 августа 2013, 12:15:10 PM
|
# 10 |
|
Сообщения: 9
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Во время ожидания, было бы замечательно, если вы можете, пожалуйста, поделитесь обновленными данными, которые вы получили, чтобы мы могли воспользоваться этим.
Благодаря! Арвин |
|
|
|
|
1 сентября 2013, 9:56:21 PM
|
# 11 |
|
Сообщений: 13
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Уважаемый Арвин,
спасибо за Ваше предложение - но там не будет, графический интерфейс, так как это будет совершенно бесполезно для просто DataPump. Я думаю, что он будет принимать до начала октября, чтобы иметь первую версию онлайн. Искренне Ваш bitranox |
|
|
|
|
2 сентября 2013, 6:37:44 AM
|
# 12 |
|
Сообщения: 1568
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Со всеми проблемами Mt GOx, я не думаю, что кто-то «отчаянно» нуждается в информации от них больше 🙂
|
|
|
|
|
2 сентября 2013, 10:00:48 PM
|
# 13 |
|
Сообщений: 13
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Дорогой б! Г,
Я также буду пытаться охватить bitstamp tradedata, если это возможно. Искренне Ваш bitranox |
|
|
|
|
2 сентября 2013, 10:07:03 PM
|
# 14 |
|
Сообщения: 246
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Дорогой б! Г, Я также буду пытаться охватить bitstamp tradedata, если это возможно. Искренне Ваш bitranox Уважаемый bitranox, Bitstamp было бы здорово. Я связался с ними некоторое время назад с просьбой, если они будут рассмотреть вопрос о применении метода для загрузки больших объемов данных, аналогичные решения BigQuery MtGox для того, чтобы уменьшить их потенциальную нагрузку на сервер. Они ответили, что они будут реализовывать это, но мне кажется, что они тоже забыли. Если ваш инструмент перерастает в объемный источник данных торговли для наиболее популярных обменов, то я думаю, что это будет очень полезным инструмент на самом деле! Если покрыть bitstamp в будущем, пожалуйста, также рассмотреть и Kraken BTC-E, а также. Искренне Ваш, азотистый |
|
|
|
|
3 сентября 2013, 12:46:23 AM
|
# 15 |
Сообщения: 175
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
|
|
|
|
|
4 сентября 2013, 11:11:24 PM
|
# 16 |
|
Сообщений: 13
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Уважаемый MusX,
не плохо - но на мой вкус слишком много зависимостей и единая точка отказа. Однако, если есть много источников его хорошая вещь - также перекрестные данные. Искренне Ваш bitranox |
|
|
|
|
2 января 2014, 6:17:13 PM
|
# 17 |
|
Сообщения: 102
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
Привет, имеет ли какое-либо развитие? Этот инструмент очень нужен.
Всего наилучшего |
|
|
|
|
2 января 2014, 7:51:14 PM
|
# 18 |
|
Сообщения: 175
цитировать ответ |
Re: TradePickler - тянуть торговые данные MtGox без BigQuery - проголосуйте
R сценарий Приведенный выше, готовый для всех валют mtgox, можно отрегулировать для bitstamp тоже. На самом деле он может интегрировать все рынки, доступных на bitcoincharts.com Csv апи.
С точки зрения это скорость узкое место является скорость передачи данных от bitcoincharts.com, и ничего больше, я считаю, что это будет трудно превзойти его. |
|
|
|
Как заработать Биткоины?
Bitcoin Wallet * Portefeuille Bitcoin * Monedero Bitcoin * Carteira Bitcoin * Portafoglio Bitcoin * Bitcoin Cüzdan * 比特币钱包
bitcoin-zarabotat.ru
Почта для связи: bitcoin-zarabotat.ru@yandex.ru
3HmAQ9FkRFk6HZGuwExYxL62y7C1B9MwPW
Bitcoin Wallet * Portefeuille Bitcoin * Monedero Bitcoin * Carteira Bitcoin * Portafoglio Bitcoin * Bitcoin Cüzdan * 比特币钱包
bitcoin-zarabotat.ru
Почта для связи: bitcoin-zarabotat.ru@yandex.ru
3HmAQ9FkRFk6HZGuwExYxL62y7C1B9MwPW
Регистрация для новых участников, на данный момент не доступна. Просим извинения за временные неудобства.