阿里云电脑系统更新失败-阿里云系统怎么升级
1.如何删除django重新装(2023年最新整理)
2.一起讨论下,消息幂等(去重)通用解决方案
如何删除django重新装(2023年最新整理)
导读:今天首席CTO笔记来给各位分享关于如何删除django重新装的相关内容,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
苹果电脑安装djando失败,如何解决苹果电脑django安装问题其实很简单,下载django的安装文件,然后解压缩,然后用命令行cd到解压缩出来文件的目录,执行pythonsetup.pyinstall即可
Django数据库表删除了,怎么重新生成请确认只删除了表,没有删除scheme
1.8或以上版本,按顺序使用
pythonmanage.pymakemigrations
pythonmanage.pymigrate
其他版本使用
pythonmanage.pysyncdb
为什么在mac,python2.7里安装不了django
一.下载Django
如果电脑没安装python,点击这里。然后从这里下载Django稳定版本。
或者执行命令下载Django最新版本:gitclone
这里我用的是Mac自带的python2.7,下载是最新版本的Django后发现python2.7版本需要升级,但是注意,对iOS开发者来说,最好不要升级python2.7到python3,因为Xcode只支持最稳定版的python2.7脚本。所以这里我下载的Django版本是1.6.1。
二.安装Django
cdDjangosudopythonsetup.py.install
Python默认在/Library/Python/2.7中,那么无论如何你在哪里安装完DJango,都会在/Library/Python/2.7/site-packages中生成一个django的文件夹。如果要删除django,只需要把该目录下的django文件夹删除即可。
三.测试LocalHost是否成功
sudomkdir~/Djangodemo
/*创建一个用于测试Localhost的网站样例*/
sudodjango-admin.pystartprojecttestLocalHost
cdtestLocalHost
pythonmanage.pyrunserver
浏览器打开,成功的话你将会看到Django的简单的成功页面
说明:django-admin.py在我们安装完Django之后除了在site-packages中生成django文件夹之外(里面都是一些DJango命令的一些文件和代码),在/usr/local/bin/中也生成了一个名为django-admin.py的链接,这样无论你在何种路径下都可以直接调用django-admin.py文件了。在Win下我们称这个过程为:加入到环境变量。
四.文件结构
1.创建mysite工程
删除原来的LocalHost工程,创建mysite工程,执行命令:$mkdirmysite
$django-admin.pystartporjectmysite
此时的目录结构如下:
mysite/
mysite/
__init__.py
settings.py
urls.py
manage.py
2.manage.py
作用:
把该工程的包加入了sys.path;以后你可以直接在你的代码中引用该工程中其他的包。
加载DJANGO_SETTINGS_MODULE,指明该工程的配置文件是mysite/settings.py。
最主要的是它包裹了django-admin.py的一些函数,让你可以通过它来操作整个工程。
3.__init__.py
严格意义上讲__init__.py不属于DJango的范畴,而是Python语言的一种习惯,经常为空文件。主要是告诉工程这是一个包(Package),防止不经意间因为包名为诸如String之类的字符串而引起的混乱,当然你也可以在里面加一些初始化的函数,但不在我们的讨论之列。
4.settings.py
此前我们提到了manage.py的第二件工作便是指定了它是工程的配置文件,那它配置了些什么呢?代码量在其他几个文件中属于比较多的,有一百行的样子,主要设置了关于数据库,后台管理等配置,等到我们要用的时候再详细说明。
5.urls.py
它负责把客户的请求翻译成函数调用。是重要要掌握的文件。
DJango通过settings.py中指定的URLconf参数找到对应的urls.py文件,此例中正好为我们的这个文件。
DJango在urls.py中找到urlpatterns变量。
DJango收到一个客户地址请求,我们不妨设为localhost。
DJango在urlpatterns中顺序遍历正则式,找到第一个匹配,调用该正则式对应的函数。
该函数返回客户端所请求的内容。
对开发者来说,真正需要关心的是如何完成正则表达式和对应函数的对应。如下面例子:
123
urlpatterns=patterns("",url(r'^$','hello.views.home'),)
说明:其中url里面左半部分是正则式,右半部分是函数调用。r说明是raw匹配,表明正则表达式要求每个字符都必须被匹配,是一个可选项,如果不能理解可以省略。^表示匹配开始,$表示匹配结束。所以这个正则表达式匹配了空字符,正好符合地址为localhost的客户请求(DJango收到的请求会自动省略域名,即localhost,即真正的请求字符串为空)。右侧表明腰调用名为hello的app的views.py文件的home函数。
6.增加helloapp
刚才我们在url匹配的时候调用了home函数,此时我们就开始创建它:
pythonmanage.pystartapphello
这样我们在manage.py同级目录下生成了hello目录,进入hello目录其他文件都不用管,也不需要理解,直接打开views.py编辑成如下样子:
fromdjango.httpimportHttpResponse
defhome(request):
returnHttpResponse("HelloWorld")
启动服务器。其实hello相当于是一个app应用被添加进了mysite工程,当特定的请求到来时通过url匹配调用相应app下的views.py中的函数来达到不同的显示效果。
五.Django-URL解析和匹配
1.patterns()函数
patterns函数的的原型:
patterns(prefix,pattern_description,...)
其中prefix表示函数调用的前缀,而pattern_description则是一系列的元组。举例说明prefix的作用:
urlpatterns=patterns("hello.views",
url(r'^$','home'),
)
上例和上例的执行效果一样,都表明了helloapp下的views文件里的home函数。注意:前缀末尾不必包含“.”;另外因为python函数规定参数不能多于255个,因此如果你的映射关系很多,可以利用诸如:urlpatterns+=patterns(…)这种形式累加。
2.url()函数
url函数的原型:
1
url(regex,view,kwargs=None,name=None,prefix='')
其中后三项是可选项,在我们的例子中:regex=”r’^$'”;view=”hello.views.home”;name项给该url命名,这在未来通过name反向确定url有很大的作用;kwargs则传递额外的参数;prefix和此前的prefix作用一致,不过只适用这一条url。
3.通过url传递信息
DJango在通过url传递参数时有两种方式,一种通过位置,一种通过关键词。我们先看第一种,改此前的映射关系如下:
1
url(r'^(\d{4})/(\d{2})$','hello.views.home'),
修改hello/views.py,增加两行代码如下:
defhome(request,year='0000',month='00'):
returnHttpResponse("HelloWorld"+year+""+month)
这样当用户请求locahost:8000/2015/5时候,相当于在调用home(request,‘2015’,’5’),注意此时year和month的相对关系,因为参数传递是基于位置信息的,第一个是4个数字是年,第二个2个数字是月。
下面是第二种,即关键词方式,我们修改两个文件如下:
#mysite/urls.py
url(r'^(?P\d{4})/(?P\d{2})$','hello.views.home'),
#hello/views.py
#注意year和month的位置
defhome(request,month='00',year='0000'):
returnHttpResponse("HelloWorld"+year+""+month)
pycharm已经安装了django并成功新建了django项目,新建第二个django项目的又在安装django?新建速度慢是因为你可能用了默认的源,默认的源是在国外的,速度比较慢。你可以加一个国内的镜像源,以后不光安装Django,安装别的需要用到的各种包,都会速度比较快。
添加国内源方法:
点击文件菜单中的设置,进入设置界面,然后点右边这个+号就可以安装Django或者别的包
点开这个加号后,点管理源
然后点右边的加号添加国内的镜像源,我添加了两个,一个是豆瓣,一个是阿里云的
还有一些常用的源,我贴在这里,仅供参考
#清华大学
#阿里云
#豆瓣
#中国科学技术大学
#华中科技大学
在执行django-admin时,总是抛出错误ModuleNotFoundError:Nomodulenamed'mysite'怎么办这是由包重名导致的问题,没有配置对路径,解释器没有找到你的mysite模块。
卸载后重新安装django1.3.7版本即可。
Django常用常见问题
odels中,对sqlites数据更新时,updatetime不更新问题
现象:使用批量更新的.update操作,数据更新了,但是updatetime不更新。而单独更新.save()则正常更新。
说明:
auto_now_addwillsetthefieldtothecurrenttimewhenanobjectiscreatedandauto_nowwillsetthefieldtothecurrenttimewhenanobjectiscreatedorupdated?
auto_now_add是在创建字段的时候会自动记录创建时间。?
auto_now是在更新对象和更新的时候记录更新时间。
原因:
ThefieldisonlyautomaticallyupdatedwhencallingModel.save().Thefieldisn’tupdatedwhenmakingupdatestootherfieldsinotherwayssuchasQuerySet.update(),thoughyoucanspecifyacustomvalueforthefieldinanupdatelikethat.
这个字段只有在调用Mode.save()时才会自动更新。当使用批量插入的QuerySet.update()不会更新该字段,你可以通过指定一个特定的值来更新该字段。
怎么ubuntu下django文件删除不了方法:如果电脑安装有360安全卫士,可以右击需要删除的文件夹--选择使用360强力删除;点击打开勾选防止恢复或者防止文件再生后点击粉碎文件。
结语:以上就是首席CTO笔记为大家介绍的关于如何删除django重新装的全部内容了,希望对大家有所帮助,如果你还想了解更多这方面的信息,记得收藏关注本站。
一起讨论下,消息幂等(去重)通用解决方案
消息中间件是分布式系统常用的组件,无论是异步化、解耦、削峰等都有广泛的应用价值。我们通常会认为,消息中间件是一个可靠的组件——这里所谓的可靠是指,只要我把消息成功投递到了消息中间件,消息就不会丢失,即消息肯定会至少保证消息能被消费者成功消费一次,这是消息中间件最基本的特性之一,也就是我们常说的“AT LEAST ONCE”,即消息至少会被“成功消费一遍”。
举个例子,一个消息M发送到了消息中间件,消息投递到了消费程序A,A接受到了消息,然后进行消费,但在消费到一半的时候程序重启了,这时候这个消息并没有标记为消费成功,这个消息还会继续投递给这个消费者,直到其消费成功了,消息中间件才会停止投递。
然而这种可靠的特性导致,消息可能被多次地投递。举个例子,还是刚刚这个例子,程序A接受到这个消息M并完成消费逻辑之后,正想通知消息中间件“我已经消费成功了”的时候,程序就重启了,那么对于消息中间件来说,这个消息并没有成功消费过,所以他还会继续投递。这时候对于应用程序A来说,看起来就是这个消息明明消费成功了,但是消息中间件还在重复投递。
这在RockectMQ的场景来看,就是同一个messageId的消息重复投递下来了。
基于消息的投递可靠(消息不丢)是优先级更高的,所以消息不重的任务就会转移到应用程序自我实现,这也是为什么RocketMQ的文档里强调的,消费逻辑需要自我实现幂等。背后的逻辑其实就是:不丢和不重是矛盾的(在分布式场景下),但消息重复是有解决方案的,而消息丢失是很麻烦的。
例如:假设我们业务的消息消费逻辑是:插入某张订单表的数据,然后更新库存:
要实现消息的幂等,我们可能会采取这样的方案:
这对于很多情况下,的确能起到不错的效果,但是在并发场景下,还是会有问题。
假设这个消费的所有代码加起来需要1秒,有重复的消息在这1秒内(假设100毫秒)内到达(例如生产者快速重发,Broker重启等),那么很可能,上面去重代码里面会发现,数据依然是空的(因为上一条消息还没消费完,还没成功更新订单状态),
那么就会穿透掉检查的挡板,最后导致重复的消息消费逻辑进入到非幂等安全的业务代码中,从而引发重复消费的问题(如主键冲突抛出异常、库存被重复扣减而没释放等)
要解决上面并发场景下的消息幂等问题,一个可取的方案是开启事务把select 改成 select for update语句,把记录进行锁定。
但这样消费的逻辑会因为引入了事务包裹而导致整个消息消费可能变长,并发度下降。
当然还有其他更高级的解决方案,例如更新订单状态采取乐观锁,更新失败则消息重新消费之类的。但这需要针对具体业务场景做更复杂和细致的代码开发、库表设计,不在本文讨论的范围。
但无论是select for update, 还是乐观锁这种解决方案,实际上都是基于业务表本身做去重,这无疑增加了业务开发的复杂度, 一个业务系统里面很大部分的请求处理都是依赖MQ的,如果每个消费逻辑本身都需要基于业务本身而做去重/幂等的开发的话,这是繁琐的工作量。本文希望 探索 出一个通用的消息幂等处理的方法,从而抽象出一定的工具类用以适用各个业务场景。
在消息中间件里,有一个投递语义的概念,而这个语义里有一个叫”Exactly Once”,即消息肯定会被成功消费,并且只会被消费一次。以下是阿里云里对Exactly Once的解释:
在我们业务消息幂等处理的领域内,可以认为业务消息的代码肯定会被执行,并且只被执行一次,那么我们可以认为是Exactly Once。
但这在分布式的场景下想找一个通用的方案几乎是不可能的。不过如果是针对基于数据库事务的消费逻辑,实际上是可行的。
假设我们业务的消息消费逻辑是:更新MySQL数据库的某张订单表的状态:
要实现Exaclty Once即这个消息只被消费一次(并且肯定要保证能消费一次),我们可以这样做:在这个数据库中增加一个消息消费记录表,把消息插入到这个表,并且把原来的订单更新和这个插入的动作放到同一个事务中一起提交,就能保证消息只会被消费一遍了。
1、开启事务
2、插入消息表(处理好主键冲突的问题)
3、更新订单表(原消费逻辑)
4、提交事务
说明:
1、这时候如果消息消费成功并且事务提交了,那么消息表就插入成功了,这时候就算RocketMQ还没有收到消费位点的更新再次投递,也会插入消息失败而视为已经消费过,后续就直接更新消费位点了。这保证我们消费代码只会执行一次。2、如果事务提交之前服务挂了(例如重启),对于本地事务并没有执行所以订单没有更新,消息表也没插入成功;而对于RocketMQ服务端来说,消费位点也没更新,所以消息还会继续投递下来,投递下来发现这个消息插入消息表也是成功的,所以可以继续消费。这保证了消息不丢失。
事实上,阿里云ONS的EXACTLY-ONCE语义的实现上,就是类似这个方案基于数据库的事务特性实现的。更多详情可参考:
基于这种方式,的确这是有能力拓展到不同的应用场景,因为他的实现方案与具体业务本身无关——而是依赖一个消息表。
但是这里有它的局限性
1、消息的消费逻辑必须是依赖于关系型数据库事务。如果消费的消费过程中还涉及其他数据的修改,例如Redis这种不支持事务特性的数据源,则这些数据是不可回滚的。
2、数据库的数据必须是在一个库,跨库无法解决
注:业务上,消息表的设计不应该以消息ID作为标识,而应该以业务的业务主键作为标识更为合理,以应对生产者的重发。阿里云上的消息去重只是RocketMQ的messageId,在生产者因为某些原因手动重发(例如上游针对一个交易重复请求了)的场景下起不到去重/幂等的效果(因消息id不同)。
如上所述,这种方式Exactly Once语义的实现,实际上有很多局限性,这种局限性使得这个方案基本不具备广泛应用的价值。并且由于基于事务,可能导致锁表时间过长等性能问题。
例如我们以一个比较常见的一个订单申请的消息来举例,可能有以下几步(以下统称为步骤X):
1、 检查库存(RPC)
2、 锁库存(RPC)
3、 开启事务,插入订单表(MySQL)
4、 调用某些其他下游服务(RPC)
5、 更新订单状态
6、 commit 事务(MySQL)
这种情况下,我们如果采取消息表+本地事务的实现方式,消息消费过程中很多子过程是不支持回滚的,也就是说就算我们加了事务,实际上这背后的操作并不是原子性的。怎么说呢,就是说有可能第一条小在经历了第二步锁库存的时候,服务重启了,这时候实际上库存是已经在另外的服务里被锁定了,这并不能被回滚。当然消息还会再次投递下来,要保证消息能至少消费一遍,换句话说,锁库存的这个RPC接口本身依旧要支持“幂等”。
再者,如果在这个比较耗时的长链条场景下加入事务的包裹,将大大的降低系统的并发。所以通常情况下,我们处理这种场景的消息去重的方法还是会使用一开始说的业务自己实现去重逻辑的方式,如前面加select for update,或者使用乐观锁。
那我们有没有方法抽取出一个公共的解决方案,能兼顾去重、通用、高性能呢?
其中一个思路是把上面的几步,拆解成几个不同的子消息,例如:
1、库存系统消费A:检查库存并做锁库存,发送消息B给订单服务
2、订单系统消费消息B:插入订单表(MySQL),发送消息C给自己(下游系统)消费
3、下游系统消费消息C:处理部分逻辑,发送消息D给订单系统
4、订单系统消费消息D:更新订单状态
注:上述步骤需要保证本地事务和消息是一个事务的(至少是最终一致性的),这其中涉及到分布式事务消息相关的话题,不在本文论述。
可以看到这样的处理方法会使得每一步的操作都比较原子,而原子则意味着是小事务,小事务则意味着使用消息表+事务的方案显得可行。
然而,这太复杂了!这把一个本来连续的代码逻辑割裂成多个系统多次消息交互!那还不如业务代码层面上加锁实现呢。
上面消息表+本地事务的方案之所以有其局限性和并发的短板,究其根本是因为它依赖于关系型数据库的事务,且必须要把事务包裹于整个消息消费的环节。
如果我们能不依赖事务而实现消息的去重,那么方案就能推广到更复杂的场景例如:RPC、跨库等。
例如,我们依旧使用消息表,但是不依赖事务,而是针对消息表增加消费状态,是否可以解决问题呢?
67_1.png
以上是去事务化后的消息幂等方案的流程,可以看到,此方案是无事务的,而是针对消息表本身做了状态的区分:消费中、消费完成。只有消费完成的消息才会被幂等处理掉。而对于已有消费中的消息,后面重复的消息会触发延迟消费(在RocketMQ的场景下即发送到RETRY TOPIC),之所以触发延迟消费是为了控制并发场景下,第二条消息在第一条消息没完成的过程中,去控制消息不丢(如果直接幂等,那么会丢失消息(同一个消息id的话),因为上一条消息如果没有消费完成的时候,第二条消息你已经告诉broker成功了,那么第一条消息这时候失败broker也不会重新投递了)
上面的流程不再细说,后文有github源码的地址,读者可以参考源码的实现,这里我们回头看看我们一开始想解决的问题是否解决了:
1、 消息已经消费成功了,第二条消息将被直接幂等处理掉(消费成功)。
2、 并发场景下的消息,依旧能满足不会出现消息重复,即穿透幂等挡板的问题。
3、 支持上游业务生产者重发的业务重复的消息幂等问题。
关于第一个问题已经很明显已经解决了,在此就不讨论了。
关于第二个问题是如何解决的?主要是依靠插入消息表的这个动作做控制的,假设我们用MySQL作为消息表的存储媒介(设置消息的唯一ID为主键),那么插入的动作只有一条消息会成功,后面的消息插入会由于主键冲突而失败,走向延迟消费的分支,然后后面延迟消费的时候就会变成上面第一个场景的问题。
关于第三个问题,只要我们设计去重的消息键让其支持业务的主键(例如订单号、请求流水号等),而不仅仅是messageId即可。所以也不是问题。
如果细心的读者可能会发现这里实际上是有逻辑漏洞的,问题出在上面聊到的个三问题中的第2个问题(并发场景),在并发场景下我们依赖于消息状态是做并发控制使得第2条消息重复的消息会不断延迟消费(重试)。但如果这时候第1条消息也由于一些异常原因(例如机器重启了、外部异常导致消费失败)没有成功消费成功呢?也就是说这时候延迟消费实际上每次下来看到的都是 消费中 的状态,最后消费就会被视为消费失败而被投递到信Topic中(RocketMQ默认可以重复消费16次)。
有这种顾虑是正确的!对于此,我们解决的方法是,插入的消息表必须要带一个最长消费过期时间,例如10分钟,意思是如果一个消息处于 消费中 超过10分钟,就需要从消息表中删除(需要程序自行实现)。所以最后这个消息的流程会是这样的:
67_2.png
我们这个方案实际上没有事务的,只需要一个存储的中心媒介,那么自然我们可以选择更灵活的存储媒介,例如Redis。使用Redis有两个好处:
1、性能上损耗更低
2、上面我们讲到的超时时间可以直接利用Redis本身的ttl实现
当然Redis存储的数据可靠性、一致性等方面是不如MySQL的,需要用户自己取舍。
以上方案针对RocketMQ的Java实现已经开源放到Github中,具体的使用文档可以参考 ,
以下仅贴一个Readme中利用Redis去重的使用样例,用以意业务中如果使用此工具加入消息去重幂等的是多么简单:
以上代码大部分是原始RocketMQ的必须代码,唯一需要修改的仅仅是创建一个 DedupConcurrentListener 示例,在这个示例中指明你的消费逻辑和去重的业务键(默认是messageId)。
更多使用详情请参考Github上的说明。
实现到这里,似乎方案挺完美的,所有的消息都能快速的接入去重,且与具体业务实现也完全解耦。那么这样是否就完美的完成去重的所有任务呢?
很可惜,其实不是的。原因很简单:因为要保证消息至少被成功消费一遍,那么消息就有机会消费到一半的时候失败触发消息重试的可能。还是以上面的订单流程X:
1、 检查库存(RPC)
2、 锁库存(RPC)
3、 开启事务,插入订单表(MySQL)
4、 调用某些其他下游服务(RPC)
5、 更新订单状态
6、 commit 事务(MySQL)
当消息消费到步骤3的时候,我们假设MySQL异常导致失败了,触发消息重试。因为在重试前我们会删除幂等表的记录,所以消息重试的时候就会重新进入消费代码,那么步骤1和步骤2就会重新再执行一遍。如果步骤2本身不是幂等的,那么这个业务消息消费依旧没有做好完整的幂等处理。
那么既然这个并不能完整的完成消息幂等,还有什么价值呢?价值可就大了!虽然这不是解决消息幂等的银弹(事实上,软件工程领域里基本没有银弹),但是他能以便捷的手段解决:
1、各种由于Broker、负载均衡等原因导致的消息重投递的重复问题
2、各种上游生产者导致的业务级别消息重复问题
3、重复消息并发消费的控制窗口问题,就算重复,重复也不可能同一时间进入消费逻辑
也就是说,使用这个方法能保证正常的消费逻辑场景下(无异常,无异常退出),消息的幂等工作全部都能解决,无论是业务重复,还是rocketmq特性带来的重复。
事实上,这已经能解决99%的消息重复问题了,毕竟异常的场景肯定是少数的。那么如果希望异常场景下也能处理好幂等的问题,可以做以下工作降低问题率:
1、消息消费失败做好回滚处理。如果消息消费失败本身是带回滚机制的,那么消息重试自然就没有副作用了。
2、消费者做好优雅退出处理。这是为了尽可能避免消息消费到一半程序退出导致的消息重试。
3、一些无法做到幂等的操作,至少要做到终止消费并告警。例如锁库存的操作,如果统一的业务流水锁成功了一次库存,再触发锁库存,如果做不到幂等的处理,至少要做到消息消费触发异常(例如主键冲突导致消费异常等)
4、在#3做好的前提下,做好消息的消费监控,发现消息重试不断失败的时候,手动做好#1的回滚,使得下次重试消费成功
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。