训练流内组件拉取oss数据时kuscia节点报全局数据源不匹配 #461
Comments
|
是通过allinoen-secrerpad 注册的数据源，还是单独部署kuscia 。 同时辛苦将日志文件重新发送一下，详情信息中日志格式有点问题可读性较差。 |
好的，我发送的一下日志文件 |
|
可以参照这个文档获取一下双方节点的pod日志文件。 |
查看alice节点下的pod的详细信息，与日志文件中的报错一致： apiVersion: kuscia.secretflow/v1alpha1 |
|
另一方节点日志也是相同错误吗？ |
|
这个问题解决了吗？ |
|
问题解决了，是因为执行任务的时候未选择默认数据源。 |
|
但是还有一个问题，在联合圈人训练流中，在隐私求交组件执行成功后，全表统计组件执行错误，alice节点未报错，bob节点报错了，使用的数据源是oss数据源（使用节点内已经存在的alice.csv和bob.csv执行联合圈人可以执行成功），报错信息显示bob.csv列名不匹配，经过核对bob.csv输入是正确的： |
|
日志提示bob的列 获取一下/home/kuscia/var/stdout/pods目录下根据任务id(pad右上角j‘记录和结果’)获取一下node-4的日志 看一下。 |
|
把上传到oss的表下载下来重新注册到secretpad中，再次运行了联合圈人模板，报的还是列名不匹配问题（查看隐私求交的输出表，对应列是有的），以下是node-4中的部分日志： Traceback (most recent call last): |
需要提供一个完整的日志。 |
|
sh-5.2# cat bob_umfz-dmtjvuud-node-4-0_b3129c51-9b78-41ea-94ff-69215f2de14a/secretflow/0.logWARNING:root:Since the GPL-licensed package 2024-11-28 17:56:29,990|bob|INFO|secretflow|entry.py:start_ray:81| Succeeded to start ray head node at umfz-dmtjvuud-node-4-0-global.bob.svc. ....
|
|
secretpad 隐私求交 的参数配置截个图，我看一下。 |
|
|
|
我需要确定一下你的引擎版本
同时确认一下训练流状态，使用的模版还是自己拖拉拽组合的？可以提供一下训练流连线配置 |
|
部署的时候是按照kuscia和secretflow的版本对应部署的，是1.8.0b0 在容器中执行命令得到了下面的日志： |
|
中心化模式在master节点执行，P2P在autonomy节点执行 |
|
训练流使用的联合圈人模板，具体配置如下： |
|
今天也重新跑了一次，选择的不是隐私求交中发送方的表中的字段，是可以执行成功的 |
因为你提供的日志中输出secretflow 版本为1.7.0b0所以我需要确定一下，我需要确定是日志输出错误还是你使用sf版本是错误的。 |
|
移除掉两方选项只选择，output隐私求交的数据集尝试一下，记得组件配置保存。 |
确实是1.7.0b0版本，在master节点执行kubectl get app image secret flow-image -oyaml，报sh-5.2# kubectl get app image secret flow-image -oyaml 现在重新打镜像将sf切换到了1.8.0b0，执行联合圈人训练流也失败了 日志如下：
|
试了一下，报和以上相同的日志。 |
你这样操作一次试试。
|
部署依赖于allinone的脚本自行改造的吗？还是什么方式。 |
不是依赖于allinone的脚本部署的，kuscia通过https://github.com/secretflow/kuscia/blob/release/0.10.x/build/dockerfile/kuscia-secretflow.Dockerfile#L15本地打包后上传到环境中部署的，secretpad也是上面这种方式 |
|
从oss中下载下来了隐私求交后的结果集，发现结果集中没有bob.csv中的列 |
|
kuscia runp 在k8s环境部署的吗？ secretpad 部署命令方便提供一下吗？ |
对，runp k8s部署 secretpad部署命令： ARG TARGETPLATFORM ENV TZ=Asia/Shanghai RUN mkdir -p /var/log/secretpad && mkdir -p /app/db && mkdir -p /app/config/certs && yum install -y sqlite COPY config /app/config |
双方oss数据源是同一个地址吗？bucket相同吗？ |
|
同一个地址，bucket也相同 |
|
那就对了，因为双方的输出结果文件名称一致，后者覆盖掉前者导致全表统计时获取不到数据。 |
|
感谢！为两个节点分了一下桶，执行成功了 |
|
Stale issue message. Please comment to remove stale tag. Otherwise this issue will be closed soon. |
Issue Type
Feature
Search for existing issues similar to yours
Yes
Kuscia Version
kuscia 0.10.0b0
Link to Relevant Documentation
No response
Question Details
录入oss数据源，上传相应的文件到oss，将文件信息注册到alice节点中，当在训练流中使用该数据表时报全局数据源id不匹配问题，详细报错如下： Seek to current after exception; nested exception is org.apache.kafka.common.errors.SerializationException: Error deserializing key/value for partition ioc_event_info-0 at offset 11997. If needed, please seek past the record to continue consumption.2024-11-26 15:28:16,167|alice|INFO|secretflow|entry.py:start_ray:59| ray_conf: RayConfig(ray_node_ip_address='ygih-ktidpmea-node-3-0-global.alice.svc', ray_node_manager_port=29109, ray_object_manager_port=29110, ray_client_server_port=29111, ray_worker_ports=[], ray_gcs_port=29114)\n2024-11-26 15:28:16,176|alice|INFO|secretflow|entry.py:start_ray:67| Trying to start ray head node at ygih-ktidpmea-node-3-0-global.alice.svc, start command: ray start --head --include-dashboard=false --disable-usage-stats --num-cpus=32 --node-ip-address=ygih-ktidpmea-node-3-0-global.alice.svc --port=29114 --node-manager-port=29109 --object-manager-port=29110 --ray-client-server-port=29111\n2024-11-26 15:28:18,957|alice|INFO|secretflow|entry.py:start_ray:80| 2024-11-26 15:28:16,807\tINFO usage_lib.py:423 -- Usage stats collection is disabled.\n2024-11-26 15:28:16,807\tINFO scripts.py:744 -- Local node IP: ygih-ktidpmea-node-3-0-global.alice.svc\n2024-11-26 15:28:18,817\tSUCC scripts.py:781 -- --------------------\n2024-11-26 15:28:18,817\tSUCC scripts.py:782 -- Ray runtime started.\n2024-11-26 15:28:18,817\tSUCC scripts.py:783 -- --------------------\n2024-11-26 15:28:18,817\tINFO scripts.py:785 -- Next steps\n2024-11-26 15:28:18,817\tINFO scripts.py:788 -- To add another node to this Ray cluster, run\n2024-11-26 15:28:18,817\tINFO scripts.py:791 -- ray start --address='ygih-ktidpmea-node-3-0-global.alice.svc:29114'\n2024-11-26 15:28:18,817\tINFO scripts.py:800 -- To connect to this Ray cluster:\n2024-11-26 15:28:18,817\tINFO scripts.py:802 -- import ray\n2024-11-26 15:28:18,817\tINFO scripts.py:803 -- ray.init(_node_ip_address='ygih-ktidpmea-node-3-0-global.alice.svc')\n2024-11-26 15:28:18,818\tINFO scripts.py:834 -- To terminate the Ray runtime, run\n2024-11-26 15:28:18,818\tINFO scripts.py:835 -- ray stop\n2024-11-26 15:28:18,818\tINFO scripts.py:838 -- To view the status of the cluster, use\n2024-11-26 15:28:18,818\tINFO scripts.py:839 -- ray status\n\n2024-11-26 15:28:18,958|alice|INFO|secretflow|entry.py:start_ray:81| Succeeded to start ray head node at ygih-ktidpmea-node-3-0-global.alice.svc.\n2024-11-26 15:28:18,959|alice|INFO|secretflow|entry.py:main:510| datasource.access_directly True\nsf_node_eval_param {\n \"domain\": \"data_prep\",\n \"name\": \"psi\",\n \"version\": \"0.0.5\",\n \"attrPaths\": [\n \"input/receiver_input/key\",\n \"input/sender_input/key\",\n \"protocol\",\n \"sort_result\",\n \"allow_duplicate_keys\",\n \"allow_duplicate_keys/no/skip_duplicates_check\",\n \"fill_value_int\",\n \"ecdh_curve\"\n ],\n \"attrs\": [\n {\n \"ss\": [\n \"id1\"\n ]\n },\n {\n \"ss\": [\n \"id2\"\n ]\n },\n {\n \"s\": \"PROTOCOL_KKRT\"\n },\n {\n \"b\": true\n },\n {\n \"s\": \"no\"\n },\n {\n \"isNa\": true\n },\n {\n \"isNa\": true\n },\n {\n \"s\": \"CURVE_FOURQ\"\n }\n ],\n \"inputs\": [\n {\n \"type\": \"sf.table.individual\",\n \"meta\": {\n \"@type\": \"type.googleapis.com/secretflow.spec.v1.IndividualTable\",\n \"lineCount\": \"-1\"\n },\n \"dataRefs\": [\n {\n \"uri\": \"csv/alice.csv\",\n \"party\": \"alice\",\n \"format\": \"csv\"\n }\n ]\n },\n {\n \"type\": \"sf.table.individual\",\n \"meta\": {\n \"@type\": \"type.googleapis.com/secretflow.spec.v1.IndividualTable\",\n \"lineCount\": \"-1\"\n },\n \"dataRefs\": [\n {\n \"uri\": \"csv/bob.csv\",\n \"party\": \"bob\",\n \"format\": \"csv\"\n }\n ]\n }\n ],\n \"checkpointUri\": \"ckygih-ktidpmea-node-3-output-0\"\n} \nTraceback (most recent call last):\n File \"/usr/local/lib/python3.10/runpy.py\", line 196, in _run_module_as_main\n return _run_code(code, main_globals, None,\n File \"/usr/local/lib/python3.10/runpy.py\", line 86, in _run_code\n exec(code, run_globals)\n File \"/usr/local/lib/python3.10/site-packages/secretflow/kuscia/entry.py\", line 547, in \u003cmodule\u003e\n main()\n File \"/usr/local/lib/python3.10/site-packages/click/core.py\", line 1157, in __call__\n return self.main(*args, **kwargs)\n File \"/usr/local/lib/python3.10/site-packages/click/core.py\", line 1078, in main\n rv = self.invoke(ctx)\n File \"/usr/local/lib/python3.10/site-packages/click/core.py\", line 1434, in invoke\n return ctx.invoke(self.callback, **ctx.params)\n File \"/usr/local/lib/python3.10/site-packages/click/core.py\", line 783, in invoke\n return __callback(*args, **kwargs)\n File \"/usr/local/lib/python3.10/site-packages/secretflow/kuscia/entry.py\", line 514, in main\n sf_node_eval_param = preprocess_sf_node_eval_param(\n File \"/usr/local/lib/python3.10/site-packages/secretflow/kuscia/entry.py\", line 290, in preprocess_sf_node_eval_param\n domaindata_id_to_dist_data(\n File \"/usr/local/lib/python3.10/site-packages/secretflow/kuscia/entry.py\", line 149, in domaindata_id_to_dist_data\n raise RuntimeError(\nRuntimeError: datasource_id of domain_data [isrdvqid] is oss-306740c5753cc10a6b951ddca3a7f788, which doesn't match global datasource_id default-data-sourceThe text was updated successfully, but these errors were encountered: