AlgoLab Yardımlaşma

[atillayurtseven]

👋 Selam!

Öncelikle şunu belirtmek isterim ki; Algolab ile bir anlaşmam veya işbirliğim yoktur.

Bildiğiniz üzere, Bist üzerinde API sağlayan bir aracı kurum bulmak çok zor. Algolab, biz algoritmik yatırımcılara bu olanağı sağlıyor. İhtiyaçlarınızı ve karşılaştığınız zorlukları ve hataları paylaşabilirseniz, talepler üzerine de Algolab'in gelişiminde yardımcı olabiliriz diye düşünüyorum. Ayrıca bir çok BİST algoritması geliştiren yatırımcıların birbirleri ile beyin fırtınası yapmasını bu sohbet bölümünde de sağlayabiliriz.

Paylaşım yaparken;

• Şayet bir problemle karşılaştıysanız, problem hakkında mümkün olduğu kadar bilgi verin,
• Fikirlerinizi paylaşmaktan çekinmeyin
• Diğer üyelerle etkileşimde olun
• Cevabını bildiğinizi düşündüğünüz bir soru ile karşılaşırsanız, yardımcı olun,
• Örnek algoritmalar paylaşın
• Etik ve ahlaki kurallara uyun
• Kimse ile tartışmaya, kavgaya girmeyin
• Reklam yapmayın

Nereden başlayacağınızı henüz bilmiyorsanız, aşağıya kendinizi tanıtan bir yorum ekleyebilirsiniz :)

[muratbuluc42]

Atilla Bey Merhaba,
Öncelikle paylaşımınız için teşekkür ederim. Kullandığınız kütüphaneleri gene aynı kullandığınız sürümleri ile kurdum. Ancak ornek.py yi çalıştırıp kodu denemek istediğimde incorrect pading hatası alıyorum. Anladığım kadarı ile base64 ile ilgili bir sorun ancak aşamadım bir türlü. bir tavsiyeniz var mı acaba?

[hojuabi]

Merhabalar ,

Oncelikle calismanizi paylastiginiz icin tesekkur ederim.
Oncelikle ornek.py'yi calistirdigimiz zaman iki defa login oluyor ve iki defa sms istiyor. Gerci ona bakacagim ama asil sorum Algolab API dokumaninda GetCandleData ile ilgili bilgi yokken sizin kutuphanede var ve oldugkca ise yariyor :) Bunun parametre bilgileri var midir ? yahoo finance'te oldugu gibi start_date end_date var midir ? veya interval'i gunluk yapma sansimiz var midir ?

Tekrar eliniz saglik ve tesekkurler,

[citiemonk]

Selamlar,

Atilla hocam kendi cevabini verecektir ama ben Algolab'tan "websocket uzerinden aldiginiz verilerle kendi verinizi olusturun" cevabini aldim. Ben de kendim veriyi alip influxdb'de istedigim interval'larda historical data'yi olusturdum. Ilgilenirseniz kodu paylasirim.

Saygilar

Selamlar,
Influx db icin siz hangi secenegi secmistiniz birde ek olarak onu sormak isterim,
Tesekkur ederim

[hojuabi]

Merhaba,

fonksiyonel olarak calistigi icin cok temiz olmayabilir. Logger taraflarini silebilirsiniz mesela.
DB icin kullandigim versiyon. https://docs.influxdata.com/influxdb/v2/ .
Isin uzmani degilim ama bunu secip yaptim siz baska bir time series db de kullanabilirsiniz . canli veriyi influx db'ye yazdiktan sonra 1dk 5dk 15dk vs olusturan tasklari ekte gonderiyorum.organization ve bucket isimlerini kendinize gore guncellersiniz.

collect_stock_data.py

from algolab import AlgoLab
from algolab_socket import AlgoLabSocket
import json
import time,sys
from config_algo import *
from config import *
import pandas as pd
import numpy as np
from Database_influxDB import *
from Logger import Logger


# USER INFO
logger = Logger("influx")
stock_data = pd.DataFrame()

if __name__ == "__main__":

    while True:
        algo = AlgoLab(api_key=API_KEY, username=USERNAME, password=PASSWORD, auto_login=True)
        soket = AlgoLabSocket(algo.api_key, algo.hash, "T")
        soket.connect()
        while not soket.connected:
            time.sleep(0.05)
    
        #request = {"Type": "T", "Symbols": ['GARAN'] }
        request = {"Type": "T", "Symbols": bist_custom }
        print("sending request")
        soket.send(request)
        print("request has been sent")
        i = 0
        while soket.connected:
            data = soket.recv()
            i += 1
            if data:
                try:
                    json_data = json.loads(data)
                    logger.info(f"{json_data}")
                    if json_data["Content"]["Price"] > 0 and json_data["Content"]["Market"]=="IMKBH":
                        logger.info(f"{json_data}")
                        write_json_to_influxdb(json_data)
                    #stock_data = pd.DataFrame.concat(stock_data,pd.DataFrame(msg['Content']))
                    #stock_data=pd.concat([stock_data,pd.DataFrame(msg['Content'],index=[0])])
                    #print(stock_data)
                except Exception as e:
                    print(str(e))
                    logger.error(f"hata olustu {e}")
                    soket.close()
                    break

asagida da Database_influxDB.py var.

from influxdb_client import InfluxDBClient, Point
from influxdb_client.client.write_api import SYNCHRONOUS
import dateutil.parser
from config import *



client = InfluxDBClient(url=url, token=token)
write_api = client.write_api(write_options=SYNCHRONOUS)

# Define function to fetch live stock data from an API
def fetch_stock_data(symbol):
    api_key = "your_alpha_vantage_api_key"
    endpoint = f"https://www.alphavantage.co/query?function=TIME_SERIES_INTRADAY&symbol={symbol}&interval=1min&apikey={api_key}"
    response = requests.get(endpoint)
    data = response.json()
    latest_data = data["Time Series (1min)"]
    latest_timestamp = max(latest_data.keys())
    latest_price = float(latest_data[latest_timestamp]["4. close"])
    return latest_timestamp, latest_price

# Define function to write data points to InfluxDB
def write_json_to_influxdb(json_data):
    date_time = dateutil.parser.parse(json_data["Content"]["Date"])
    point = Point("stock_data") \
        .tag("symbol", json_data["Content"]["Symbol"]) \
        .tag("market", json_data["Content"]["Market"]) \
        .field("price", json_data["Content"]["Price"]) \
        .field("change", json_data["Content"]["Change"]) \
        .field("ask", json_data["Content"]["Ask"]) \
        .field("bid", json_data["Content"]["Bid"]) \
        .time(date_time) \
        .field("change_percentage", json_data["Content"]["ChangePercentage"]) \
        .field("high", json_data["Content"]["High"]) \
        .field("low", json_data["Content"]["Low"]) \
        .field("trade_quantity", json_data["Content"]["TradeQuantity"]) \
        .field("direction", json_data["Content"]["Direction"]) \
        .field("ref_price", json_data["Content"]["RefPrice"]) \
        .field("balance_price", json_data["Content"]["BalancePrice"]) \
        .field("balance_amount", json_data["Content"]["BalanceAmount"]) \
        .tag("buying", json_data["Content"]["Buying"]) \
        .tag("selling", json_data["Content"]["Selling"])
    write_api.write(bucket=bucket, org=org, record=point)

1d_task.flux.zip
1h_task.flux.zip
1m_task.flux.zip
4h_task.flux.zip
5m_task.flux.zip
15m_task.flux.zip

[citiemonk]

Merhaba,

fonksiyonel olarak calistigi icin cok temiz olmayabilir. Logger taraflarini silebilirsiniz mesela.

DB icin kullandigim versiyon. https://docs.influxdata.com/influxdb/v2/ .

Isin uzmani degilim ama bunu secip yaptim siz baska bir time series db de kullanabilirsiniz . canli veriyi influx db'ye yazdiktan sonra 1dk 5dk 15dk vs olusturan tasklari ekte gonderiyorum.organization ve bucket isimlerini kendinize gore guncellersiniz.

collect_stock_data.py

from algolab import AlgoLab

from algolab_socket import AlgoLabSocket

import json

import time,sys

from config_algo import *

from config import *

import pandas as pd

import numpy as np

from Database_influxDB import *

from Logger import Logger





# USER INFO

logger = Logger("influx")

stock_data = pd.DataFrame()



if __name__ == "__main__":



    while True:

        algo = AlgoLab(api_key=API_KEY, username=USERNAME, password=PASSWORD, auto_login=True)

        soket = AlgoLabSocket(algo.api_key, algo.hash, "T")

        soket.connect()

        while not soket.connected:

            time.sleep(0.05)

    

        #request = {"Type": "T", "Symbols": ['GARAN'] }

        request = {"Type": "T", "Symbols": bist_custom }

        print("sending request")

        soket.send(request)

        print("request has been sent")

        i = 0

        while soket.connected:

            data = soket.recv()

            i += 1

            if data:

                try:

                    json_data = json.loads(data)

                    logger.info(f"{json_data}")

                    if json_data["Content"]["Price"] > 0 and json_data["Content"]["Market"]=="IMKBH":

                        logger.info(f"{json_data}")

                        write_json_to_influxdb(json_data)

                    #stock_data = pd.DataFrame.concat(stock_data,pd.DataFrame(msg['Content']))

                    #stock_data=pd.concat([stock_data,pd.DataFrame(msg['Content'],index=[0])])

                    #print(stock_data)

                except Exception as e:

                    print(str(e))

                    logger.error(f"hata olustu {e}")

                    soket.close()

                    break

asagida da Database_influxDB.py var.

from influxdb_client import InfluxDBClient, Point

from influxdb_client.client.write_api import SYNCHRONOUS

import dateutil.parser

from config import *







client = InfluxDBClient(url=url, token=token)

write_api = client.write_api(write_options=SYNCHRONOUS)



# Define function to fetch live stock data from an API

def fetch_stock_data(symbol):

    api_key = "your_alpha_vantage_api_key"

    endpoint = f"https://www.alphavantage.co/query?function=TIME_SERIES_INTRADAY&symbol={symbol}&interval=1min&apikey={api_key}"

    response = requests.get(endpoint)

    data = response.json()

    latest_data = data["Time Series (1min)"]

    latest_timestamp = max(latest_data.keys())

    latest_price = float(latest_data[latest_timestamp]["4. close"])

    return latest_timestamp, latest_price



# Define function to write data points to InfluxDB

def write_json_to_influxdb(json_data):

    date_time = dateutil.parser.parse(json_data["Content"]["Date"])

    point = Point("stock_data") \

        .tag("symbol", json_data["Content"]["Symbol"]) \

        .tag("market", json_data["Content"]["Market"]) \

        .field("price", json_data["Content"]["Price"]) \

        .field("change", json_data["Content"]["Change"]) \

        .field("ask", json_data["Content"]["Ask"]) \

        .field("bid", json_data["Content"]["Bid"]) \

        .time(date_time) \

        .field("change_percentage", json_data["Content"]["ChangePercentage"]) \

        .field("high", json_data["Content"]["High"]) \

        .field("low", json_data["Content"]["Low"]) \

        .field("trade_quantity", json_data["Content"]["TradeQuantity"]) \

        .field("direction", json_data["Content"]["Direction"]) \

        .field("ref_price", json_data["Content"]["RefPrice"]) \

        .field("balance_price", json_data["Content"]["BalancePrice"]) \

        .field("balance_amount", json_data["Content"]["BalanceAmount"]) \

        .tag("buying", json_data["Content"]["Buying"]) \

        .tag("selling", json_data["Content"]["Selling"])

    write_api.write(bucket=bucket, org=org, record=point)

1d_task.flux.zip

1h_task.flux.zip

1m_task.flux.zip

4h_task.flux.zip

5m_task.flux.zip

15m_task.flux.zip

Selamlar,
Cok tesekkur ederim ilginiz icin, hemen uzerine dusuo gelismeden sizi de haberdar ederim🙏

[citiemonk]

Merhaba,

fonksiyonel olarak calistigi icin cok temiz olmayabilir. Logger taraflarini silebilirsiniz mesela.

DB icin kullandigim versiyon. https://docs.influxdata.com/influxdb/v2/ .

Isin uzmani degilim ama bunu secip yaptim siz baska bir time series db de kullanabilirsiniz . canli veriyi influx db'ye yazdiktan sonra 1dk 5dk 15dk vs olusturan tasklari ekte gonderiyorum.organization ve bucket isimlerini kendinize gore guncellersiniz.

collect_stock_data.py

from algolab import AlgoLab

from algolab_socket import AlgoLabSocket

import json

import time,sys

from config_algo import *

from config import *

import pandas as pd

import numpy as np

from Database_influxDB import *

from Logger import Logger





# USER INFO

logger = Logger("influx")

stock_data = pd.DataFrame()



if __name__ == "__main__":



    while True:

        algo = AlgoLab(api_key=API_KEY, username=USERNAME, password=PASSWORD, auto_login=True)

        soket = AlgoLabSocket(algo.api_key, algo.hash, "T")

        soket.connect()

        while not soket.connected:

            time.sleep(0.05)

    

        #request = {"Type": "T", "Symbols": ['GARAN'] }

        request = {"Type": "T", "Symbols": bist_custom }

        print("sending request")

        soket.send(request)

        print("request has been sent")

        i = 0

        while soket.connected:

            data = soket.recv()

            i += 1

            if data:

                try:

                    json_data = json.loads(data)

                    logger.info(f"{json_data}")

                    if json_data["Content"]["Price"] > 0 and json_data["Content"]["Market"]=="IMKBH":

                        logger.info(f"{json_data}")

                        write_json_to_influxdb(json_data)

                    #stock_data = pd.DataFrame.concat(stock_data,pd.DataFrame(msg['Content']))

                    #stock_data=pd.concat([stock_data,pd.DataFrame(msg['Content'],index=[0])])

                    #print(stock_data)

                except Exception as e:

                    print(str(e))

                    logger.error(f"hata olustu {e}")

                    soket.close()

                    break

asagida da Database_influxDB.py var.

from influxdb_client import InfluxDBClient, Point

from influxdb_client.client.write_api import SYNCHRONOUS

import dateutil.parser

from config import *







client = InfluxDBClient(url=url, token=token)

write_api = client.write_api(write_options=SYNCHRONOUS)



# Define function to fetch live stock data from an API

def fetch_stock_data(symbol):

    api_key = "your_alpha_vantage_api_key"

    endpoint = f"https://www.alphavantage.co/query?function=TIME_SERIES_INTRADAY&symbol={symbol}&interval=1min&apikey={api_key}"

    response = requests.get(endpoint)

    data = response.json()

    latest_data = data["Time Series (1min)"]

    latest_timestamp = max(latest_data.keys())

    latest_price = float(latest_data[latest_timestamp]["4. close"])

    return latest_timestamp, latest_price



# Define function to write data points to InfluxDB

def write_json_to_influxdb(json_data):

    date_time = dateutil.parser.parse(json_data["Content"]["Date"])

    point = Point("stock_data") \

        .tag("symbol", json_data["Content"]["Symbol"]) \

        .tag("market", json_data["Content"]["Market"]) \

        .field("price", json_data["Content"]["Price"]) \

        .field("change", json_data["Content"]["Change"]) \

        .field("ask", json_data["Content"]["Ask"]) \

        .field("bid", json_data["Content"]["Bid"]) \

        .time(date_time) \

        .field("change_percentage", json_data["Content"]["ChangePercentage"]) \

        .field("high", json_data["Content"]["High"]) \

        .field("low", json_data["Content"]["Low"]) \

        .field("trade_quantity", json_data["Content"]["TradeQuantity"]) \

        .field("direction", json_data["Content"]["Direction"]) \

        .field("ref_price", json_data["Content"]["RefPrice"]) \

        .field("balance_price", json_data["Content"]["BalancePrice"]) \

        .field("balance_amount", json_data["Content"]["BalanceAmount"]) \

        .tag("buying", json_data["Content"]["Buying"]) \

        .tag("selling", json_data["Content"]["Selling"])

    write_api.write(bucket=bucket, org=org, record=point)

1d_task.flux.zip

1h_task.flux.zip

1m_task.flux.zip

4h_task.flux.zip

5m_task.flux.zip

15m_task.flux.zip

Selamlar,
Bir sorum daha olucakti, imkb deki hisselerin datalarini komple nasil cektiniz ? Influx db ye yazdirmak icin, herbirini teker teker secmemiz mi gerekiyor ?
Tesekkur ederim skmdiden,

[citiemonk]

Selamlar,

Atilla hocam kendi cevabini verecektir ama ben Algolab'tan "websocket uzerinden aldiginiz verilerle kendi verinizi olusturun" cevabini aldim. Ben de kendim veriyi alip influxdb'de istedigim interval'larda historical data'yi olusturdum. Ilgilenirseniz kodu paylasirim.

Saygilar

Selamlar,
Ben kafka connect ile quest db ye baglaniyorum ama bir sekilde bottleneck olusuyor ve quest db ye yazilirken gecikme oluyor, bu tarz problem sizde yasadiniz mi ?